사용자 경험 측정 (Measuring User Experience) 6. Self-Recorded Metrics 숙명여자대학교 임순범

목차 6장. 자가 기록 메트릭스 자가 기록 데이터의 중요성 자가 기록 데이터 수집하기 사후 태스크 (Post-task) 평가 사후 (Post-session) 평가 SUS를 통한 디자인 비교 온라인 서비스 다른 종류의 자가 기록 메트릭스

6.1 자가 기록 데이터의 중요성 사용자에게 제품 사용 경험 설명을 요청 자가 기록 데이터 참여자에게 정보를 요구 => 자가 기록 메트릭 객관식 질문이 메트릭으로 사용 자가 기록 데이터 시스템에 대한 사용자의 이해 인터랙션에 대한 가장 중요한 정보 감성적 수준의 데이터 : 사용자의 느낌

6.2 자가 기록 데이터 수집하기 대표적 평가 척도 리커트 척도 (Likert Scales) 긍정/부정적인 문장에 동의하는 정도: 5점 혹은 7점 척도 1. 매우반대, 2. 반대, 3. 보통, 4. 찬성, 5. 매우 찬성 동의 정도를 문장으로 표현(심한 표현 조심), 홀수개의 항목 의미차이 판별법 (Semantic Differential Scales) : SD법 반대되는 한 쌍의 형용사 표현, 5점 혹은 7점 척도 예, 약한 ○ ○ ○ ○ ○ ○ ○ 강한 밝은 ○ ○ ○ ○ ○ ○ ○ 어두운 단어 구성이 중요 예, Friendly/Unfriendly, Friendly/Not-Friendly, Friendly/Hostile : 다른 결과

자가기록 데이터 수집시기 수집방법 수집시 편향(Bias) 방지 각 태스크의 마지막(태스크 후 평가) : 문제 있었던 인터페이스에 초점 전체 섹션의 마지막 (연구 후 평가) : 좀 더 깊이 있고 전반적인 평가 수집방법 구두 대답: 태스크후 빠르게 평가 내릴 때 효과 서면조사: 빠른평가/일반평가 모두 적합, 에러발생 가능 온라인도구: 빠른평가/일반평가 모두 적합, 설문작성 도구 이용 수집시 편향(Bias) 방지 사회적 규범 편향(Social Desirability Bias) 직접 질문하는 경우 익명보다 긍정적인 피드백 진행자가 보지 않는 방법으로 테스트 후 자료 수집 테스트 후 우편이나 이메일로 보낼 경우 숫자 감소 우려

평가 척도에 대한 가이드 자가 기록 데이터 분석하기 매력도, 신뢰도, 반응성 등 속성은 여러 방법을 사용하는 것이 유리 긍정 부정 표현하는 문장을 모두 포함 중립적인 반응을 위해 홀수 척도 사용. 단, 약간 치우치게 자가 기록 데이터 분석하기 척도상 구간을 ‘구간 수위’로 가정 => 구간자료로 취급 가능 상위데이터/하위데이터의 빈도 조사 => 동의 비율, 반대 비율 주관식 답변은 분석 어렵다 => 질문을 구체적으로, 유사한 것끼리 정렬

6.3 사후 태스크 평가(Post-task Rating) 주 목적 : 어떤 태스크가 어렵다고 생각했는지? => 개선할 부분 사용편이성 태스크가 쉬웠는지 어려웠는지 평가 리커트 5점/7첨 척도 의미차이 판별법 사후 시나리오 설문 After-Scenario Questionnaire (ASQ), Jim Lewis, 1991 다음 세가지 유저빌리티에 7점 척도 태스크를 쉽게 완료하는데 만족, 태스크 완료에 걸린 시간에 만족, 지원된 정보(도움말,메시지)에 만족 => 유효성 effectiveness (1), 효율성 efficiency (2), 만족도 satisfaction (모두)

예상 측정 Expectation Measure Albert & Dixon 2003 참여자의 사전생각과 실제 결과를 비교 태스크 수행 전 기대 평가(expectation rating) 태스크 수행 후 경험 평가(experience rating) [그림6.2] 분산도표(scatterplot) 빨리 개선(Fix it fast) 비수정(Don’t touch) 홍보(Promote it) 큰 기회(Big opportunity) 유저빌리티 중요도 평가 생략

사후 태스크 자가기록 메트릭의 비교 5가지 평가방법을 비교: 169쪽 상황1 ~ 상황5 비교 결과 [그림 6.4~6.7] 1 (간단한 사후 평가 척도), 2 (태스크 유저빌리티에 중점), 3 (ASQ 2개 질문) 4 (기대측정), 5 (usability scale) 6가지 태스크 수행, 1131명 참여 (한가지 자가 기록 방법에 최소 210명) 비교 결과 [그림 6.4~6.7] 각 태스크별 효율성(수정 횟수) 각 태스크별 자가기록 평균 각 태스크별 자가기록(5개 상황) 표본수에 따른 데이터 상관관계

6.4 사후 평가(Post-session Rating) 가장 단순한 방법 개별 태스크 평가를 한군데로 (평균) 전체 유저빌리티 평가 시스템 유저빌리티 척도 (SUS; System Usability Scale) 컴퓨터 시스템 유저빌리티 설문 (CSUQ) Computer System Usability Questionnaire 사용자 인터페이스 만족도에 대한 설문 (QUIS) Questionnaire for User Interface Satisfaction 유용성, 만족도, 사용 편이성에 대한 설문 (USE) Usefulness, Satisfaction, Ease-of-Use Questionnaire 제품반응카드 (Product Reaction Cards)

시스템 유저빌리티 척도 (SUS; System Usability Scale) 1986, John Brook 동의 수준을 평가하는 10개 문장 5점 척도, 긍정/부정 혼재 => 전체가 결합된 평가가 목적 최종 100점 만점 <50: Not acceptable 50–70: Marginal >70: Acceptable

사용자 인터페이스 만족도에 대한 설문 (QUIS) 컴퓨터 시스템 유저빌리티 설문 (CSUQ) 1995, Jim Lewis, PSSUQ(Post-Study System Usability Quest.)와 유사 4개 카테고리 : 시스템 유용성, 정보 품질, 인터페이스 품질, 전체 만족도 19개 평가, 7점 척도, 모두 긍정적 문항 사용자 인터페이스 만족도에 대한 설문 (QUIS) 1988, Maryland Univ. HCI Lab 5개 분류 : 전체 반응, 스크린, 용어/시스템 정보, 학습, 시스템 능력 27개 평가 10점 척도, 양쪽에 반대되는 단어

유용성, 만족도, 사용 편이성에 대한 설문 (USE) 30개 항목, 7점 척도 4개 카테고리(유용성, 만족도, 사용편이성, 학습용이성)를 레이터 차트로 제품반응카드 (Product Reaction Cards) 형용사 카드 118개 제품을 설명하는 카드 선택 후, 상위5개 선정 이유 설명 혹은 긍정/부정적 단어 개수 산출

5가지 방법 비교 시스템 관련된 것을 웹/웹사이트에 맞도록 변형(2004, Tullis & Stetson) 두 개의 사이트에서 평가 비교하여 사이트1을 확실히 선호한 비율 측정 (123명 참여) 표본 6일 때 : 30~40%가 사이트 1을 확실히 선호 SUS 설문지 표본 8일 때 75%, 10일 때 80%, 12일 때 100% SUS가 우월한 이유 긍정/부정 혼용으로 보다 집중 상세한 요소 평가 배제 6.5 SUS를 통한 디자인 비교 생략

6.6 온라인 서비스 실시간 웹사이트에서 평가 대표적인 온라인 서비스 목록 사후 자가 메트릭스와 동일 프로세스 대개, 로그아웃, 업무처리 완료 시점 대표적인 온라인 서비스 목록 웹사이트 분석과 측정 목록 (WAMMI) Website Analysis and Measurement Inventory 미국 고객 만족도 인덱스 (ACSI) American Customer Satisfaction Index 오피니언랩 (OpinionLab)

웹사이트 분석과 측정 목록 (WAMMI) 아일랜드 콕 대학 SUMI에서 발전, 20개 문장 5점 척도 5가지 영역: 매력도, 통제가능성, 효율성, 유용성, 학습성 참조 데이터베이스를 기반하여 표준화, 100점 만점으로 환산

미국 고객 만족도 인덱스 (ACSI) 웹사이트에 최적화된 14~20개 질문 만족도 관련 6가지 품질요소로 구분(10점 척도) : 콘텐츠, 가능성, 룩앤필, 내비게이션, 검색, 퍼포먼스 전반적인 만족도에 품질점수가 미치는 영향

오피니언랩(opinionLab) 실시간 사이트 설문 고려사항 각 페이지별 긍정/부정 피드백 화면 아이콘에서 -- - +- + ++ 입력 실시간 사이트 설문 고려사항 질문개수 20개 이내, 응답자가 완료 선택, 응답자의 수 응답자 중복 방지

6.7 다른 종류의 자가기록 척도 특정 속성의 진단(Assessing Specific Attributes) 특정한 X자세로 X접근하기 => 특정 속성 진단(평가) 시각적 매력도(Visual appeal) 인지 효율성(Perceived efficiency) 신뢰성(Confidence) 유용성(Usefulness) 즐거움(Enjoyment) 진실성(Credibility) 용어 적합성(Appropriateness of terminology) 내비게이션 용이성(Ease of navigation) 반응성(Responsiveness)

특정 속성을 측정하는 연구 사례 웹페이지의 시각적 매력(첫인상)에 어느정도 시간이 필요한지 웹사이트 매력 평가 시각적 매력에 해당하는 5가지 질문(양극에 반대 단어 나열) 노출시간 50msec와 500msec 두 가지 경우 결과 동일 웹사이트 매력 평가 매력의 정의 : 1) 흥미/호기심 자극, 2) 사이트를 더 보고 싶음, 3) 재방문 욕구 양끝 5점 척도 : “전혀 매력적이지 않다 … 매우 매력적이다” 로딩시간에 대한 평가 양끝 5점 척도 : “전혀 허용 불가 … 완전히 허용 가능” 척도의 양끝 점수만 비교 분석 웹사이트 신뢰도 평가 51개 항목 설문지, 7점 척도 7개 카테고리: 실제 느낌(Real-World Feel), 사용 편이성(Ease of Use), 전문성(Expertise), 신뢰(Trustworthiness), 적합(Tailoring), 상업적 이해(Commercial Implications), 아마추어리즘(Amateurism)

특정 요소의 진단 (Assessing Specific Elements) 특정한 요소로 X접근하기 => 특정 요소 진단(평가) 웹사이트의 특정 요소 지시문, FAQ, 온라인 도움말, 홈페이지, 검색기능, 사이트맵 등 특정 측면/속성 평가 방법과 동일 사례: 10개 사이트맵 평가(노만그룹) 6가지 문장의 설문지, 7점 척도 찾기쉽다, 정보 유용, 사용쉽다, 쉽게 정보 발견,구조 이해, 콘텐츠 이해 사례; 웹사이트 디자인 평가(툴리스) 5가지 디자인 대상 페이지 형식, 매력도, 컬러 5점척도, 형편없는 … 훌륭한: -2,-1,0,1,2

주관식 질문 (Open-Ended Questions) Word Cloud가 분석에 유용 인식(Awareness)과 이해(Comprehension) 웹사이트 방문 후 특징을 인식하는지 검사: 어떤 내용이 있었는지 아닌지 웹사이트 콘텐츠에 대한 이해도 질문: incident learning 인식(Awareness)과 유용함(Usefulness) 간의 차이(Gap) 차이가 큰 경우 홍보 혹은 강조 필요