사용자 경험 측정 (Measuring User Experience) 6. Self-Recorded Metrics 숙명여자대학교 임순범

목차 6장. 자가 기록 메트릭스 자가 기록 데이터의 중요성 자가 기록 데이터 수집하기 사후 태스크 (Post-task) 평가 사후 (Post-session) 평가 SUS를 통한 디자인 비교 온라인 서비스 다른 종류의 자가 기록 메트릭스

6.1 자가 기록 데이터의 중요성 사용자에게 제품 사용 경험 설명을 요청 자가 기록 데이터 참여자에게 정보를 요구 => 자가 기록 메트릭 전체 만족도, 사용 편의성, 내비게이션 효율성, 특정 기능, 용어 명확성 등 객관식 질문이 사용성 척도로 사용 주관적인 의견을 객관적인 데이터로 자가 기록 데이터 시스템에 대한 사용자의 이해 인터랙션에 대한 가장 중요한 정보 감성적 수준의 데이터 : 사용자의 느낌

6.2 자가 기록 데이터 수집하기 대표적 평가 척도 리커트 척도 (Likert Scales) 긍정/부정적 문장에 동의하는 정도(level of agreement): 5점 or 7점 척도 1. 매우반대, 2. 반대, 3. 보통, 4. 찬성, 5. 매우 찬성 동의 정도를 문장으로 표현(“매우, 극히, 절대로” 등 심한 표현 조심), 홀수 개의 항목 의미차이 판별법 (Semantic Differential Scales) : SD법 반대되는 한 쌍의 형용사 표현, 5점 혹은 7점 척도 예, 약한 ○ ○ ○ ○ ○ ○ ○ 강한 밝은 ○ ○ ○ ○ ○ ○ ○ 어두운 단어 구성이 중요 예, Friendly/Unfriendly, Friendly/Not-Friendly, Friendly/Hostile : 다른 결과

자가기록 데이터 수집시기 수집방법 수집시 편향(Bias) 방지 각 태스크의 마지막(태스크 후 평가) : 문제 있었던 인터페이스에 초점 전체 섹션의 마지막 (연구 후 평가) : 좀 더 깊이 있고 전반적인 평가 수집방법 구두 대답: 태스크후 빠르게 평가 내릴 때 효과 서면조사: 빠른평가/일반평가 모두 적합, 해석시 에러발생 가능 온라인도구: 빠른평가/일반평가 모두 적합, 설문작성 도구 이용 수집시 편향(Bias) 방지 사회적 규범 편향(Social Desirability Bias) 직접 질문하는 경우 익명보다 긍정적인 피드백 진행자가 보지 않는 방법으로 테스트 후 자료 수집 테스트 후 우편이나 이메일로 보낼 경우 숫자 감소 우려

평가 척도에 대한 가이드 자가 기록 데이터 분석하기 매력도, 신뢰도, 반응성 등 속성은 여러 방법을 사용하는 것이 유리 긍정 부정 표현하는 문장을 모두 포함 중립적인 반응을 위해 홀수 척도 사용. 단, 약간 치우치게 자가 기록 데이터 분석하기 척도상 구간을 ‘구간 수위’로 가정 => 구간자료로 취급 가능 상위데이터/하위데이터의 빈도 조사 => 동의 비율, 반대 비율 주관식 답변은 분석 어렵다 => 질문을 구체적으로, 유사한 것끼리 정렬

6.3 사후 태스크 평가(Post-task Rating) 주 목적 : 어떤 태스크가 어렵다고 생각했는지? => 개선할 부분 사용편이성 (Ease of Use) 태스크가 쉬웠는지 어려웠는지 평가 리커트 5점/7첨 척도 의미차이 판별법 사후 시나리오 설문 (ASQ) After-Scenario Questionnaire, Jim Lewis, 1991 다음 세가지 유저빌리티에 7점 척도 태스크를 쉽게 완료하는데 만족 => 매우 동의 못함 1….7 매우동의 태스크 완료에 걸린 시간에 만족 => … 지원된 정보(도움말,메시지)에 만족 => … => 유효성 effectiveness (1), 효율성 efficiency (2), 만족도 satisfaction (모두)

예상 측정 (Expectation Measure) Albert & Dixon 2003 참여자의 사전생각과 실제 결과를 비교 : 어렵다/쉽다 7점 척도 태스크 수행 전 기대 평가(expectation rating) 태스크 수행 후 경험 평가(experience rating) [그림6.2] 태스크별 평가 결과 => 분산도표(scatterplot) 빨리 개선(Fix it fast) 비수정(Don’t touch) 홍보(Promote it) 큰 기회(Big opportunity)

유저빌리티 중요도 평가 사후 태스크 자가기록 메트릭의 비교 실험 Usability Magnitude Estimation, McGee (2004) 평가자 스스로 “사용성 잣대(usability scale)”를 수립 점진적으로 잣대 수립해 나가기도 사후 태스크 자가기록 메트릭의 비교 실험 5가지 평가방법을 비교: 169쪽 상황(condition)1 ~ 상황 (condition)5 1 (간단한 사후 평가 척도) 2 (태스크 유저빌리티에 중점) 3 (ASQ 중에서 2개 질문) 4 (기대측정) 5 (usability scale) 6가지 태스크, 온라인 수행 1131명 참여 한가지 자가 기록 방법에 최소 210명

비교 결과 [그림 6.4~6.7] 각 태스크별 효율성(수정 횟수) 각 태스크별 자가기록 평균 각 태스크별 자가기록(5개 상황) 표본수에 따른 데이터 상관관계

6.4 사후세션평가(Post-session Rating) 가장 단순한 방법 시간 흐름에 따라 동일 측정 방식으로 기록 => 전체 지표로 사용 가능 평가 방법 각 태스크 후 자가기록 데이터 수집하여 평균 계산, 혹은 마지막 부분에서 측정 전체 유저빌리티 평가 시스템 유저빌리티 척도 (SUS; System Usability Scale) 컴퓨터 시스템 유저빌리티 설문 (CSUQ) Computer System Usability Questionnaire 사용자 인터페이스 만족도에 대한 설문 (QUIS) Questionnaire for User Interface Satisfaction 유용성, 만족도, 사용 편이성에 대한 설문 (USE) Usefulness, Satisfaction, Ease-of-Use Questionnaire 제품반응카드 (Product Reaction Cards)

시스템 유저빌리티 척도 (SUS; System Usability Scale) 1986, John Brook, 디지털장비회사 동의 수준을 평가하는 10개 문장 5점 척도, 긍정/부정 혼재 => 전체가 결합된 평가가 목적 최종 100점 만점 <50: Not acceptable 50–70: Marginal >70: Acceptable

컴퓨터 시스템 유저빌리티 설문 (CSUQ) 1995, Jim Lewis(ASQ 개발), Computer System Usability Questionnaire PSSUQ(Post-Study System Usability Quest.)와 유사 4개 카테고리 19개 항목 시스템 유용성 정보 품질 인터페이스 품질 전체 만족도 7점 척도 모두 긍정적 문항

사용자 인터페이스 만족도에 대한 설문 (QUIS) 1988, Maryland Univ. HCI Lab Questionnaire for User Interface Satisfaction 5개 분류 전체 반응 스크린 용어/시스템 정보 학습, 시스템 능력 27개 평가 10점 척도, 양쪽에 반대되는 단어

유용성, 만족도, 사용 편이성에 대한 설문 (USE) Usefulness, Satisfaction, and Ease-of-Use Questionnaire 30개 항목, 7점 척도 4개 카테고리(유용성, 만족도, 사용편이성, 학습용이성)를 레이저 차트로

제품반응카드 (Product Reaction Cards) 형용사 카드 118개 제품을 설명하는 카드 선택 후, 상위5개 선정 이유 설명 혹은 긍정/부정적 단어 개수 산출

5가지 방법 비교 실험 시스템 관련된 것을 웹/웹사이트에 맞도록 변형(2004, Tullis & Stetson) SUS, QUIS, CSUQ, Word(제품반응카드), 자체설문지 두 개 사이트를 평가 비교 => 사이트1을 확실히 선호한 비율 (123명 참여) 표본 6일 때 : 30~40%가 사이트 1을 확실히 선호 SUS 설문지 표본 8일 때 75%, 10일 때 80%, 12일 때 100% SUS가 우월한 이유 긍정/부정 혼용으로 보다 집중 상세한 요소 평가 배제

6.5 SUS를 통한 디자인 비교 서로 다른 디자인에서 유사한 태스크 수행을 비교할 때 사례 SUS 점수의 판단 (187쪽) ‘성인층에게 친숙한’ 웹사이트 비교 윈도우 ME 와 윈도우 XP 비교 투표 용지의 비교 SUS 점수의 판단 (187쪽)

6.6 온라인 서비스 실시간 웹사이트에서 평가 대표적인 온라인 서비스 목록 웹사이트 사용자로부터 얻는 피드백 : VOC(Voice of Customer) 사후 자가 메트릭과 동일 프로세스 대개, 로그아웃, 업무처리 완료 시점에 실시 대표적인 온라인 서비스 목록 웹사이트 분석과 측정 목록 (WAMMI) Website Analysis and Measurement Inventory 미국 고객 만족도 인덱스 (ACSI) American Customer Satisfaction Index 오피니언랩 (OpinionLab)

웹사이트 분석과 측정 목록 (WAMMI) 아일랜드 콕 대학, Human Factors Research Group SUMI에서 발전, 20개 문장 5점 척도 5가지 영역: 매력도, 통제가능성, 효율성, 유용성, 학습성 참조 데이터베이스를 기반하여 표준화, 100점 만점으로 환산 WAMMI-www.wammi.com

미국 고객 만족도 인덱스 (ACSI) www.ForeSeeResults.org : ACSI 방법론 적용 웹사이트에 최적화된 14~20개 질문 만족도 관련 6가지 품질요소로 구분(10점 척도) : 콘텐츠, 가능성, 룩앤필, 내비게이션, 검색, 퍼포먼스 전반적인 만족도에 품질점수가 미치는 영향

오피니언랩(opinionLab) 실시간 사이트 설문 고려사항 각 페이지별 긍정/부정 피드백 화면 아이콘에서 -- - +- + ++ 입력 실시간 사이트 설문 고려사항 질문개수 20개 이내 응답자가 완료 선택 응답자의 수: 비율 근거 응답자 중복 방지

6.7 다른 종류의 자가기록 척도 특정 속성의 진단(Assessing Specific Attributes) 특정한 X자세로 X접근하기 => 특정 속성 진단(평가) 시각적 매력도(Visual appeal) 인지 효율성(Perceived efficiency) 신뢰성(Confidence) 유용성(Usefulness) 즐거움(Enjoyment) 진실성(Credibility) 용어 적합성(Appropriateness of terminology) 내비게이션 용이성(Ease of navigation) 반응성(Responsiveness)

특정 속성을 측정하는 연구 사례(198쪽) 웹페이지의 시각적 매력(첫인상)에 어느정도 시간이 필요한지 웹사이트 매력 평가 시각적 매력에 해당하는 5가지 질문(양극에 반대 단어 나열) 노출시간 50msec와 500msec 두 가지 경우 결과 동일 웹사이트 매력 평가 매력의 정의 : 1) 흥미/호기심 자극, 2) 사이트를 더 보고 싶음, 3) 재방문 욕구 양끝 5점 척도 : “전혀 매력적이지 않다 … 매우 매력적이다” 로딩시간에 대한 평가 양끝 5점 척도 : “전혀 허용 불가 … 완전히 허용 가능” 척도의 양끝(혹은 두개) 점수만 비교 분석 웹사이트 신뢰도 평가 51개 항목 설문지, 7점 척도 7개 카테고리: 실제 느낌(Real-World Feel), 사용 편이성(Ease of Use), 전문성(Expertise), 신뢰(Trustworthiness), 적합(Tailoring), 상업적 이해(Commercial Implications), 아마추어리즘(Amateurism)

특정 요소의 진단 (Assessing Specific Elements) 특정한 요소로 X접근하기 => 특정 요소 진단(평가) 웹사이트의 특정 요소 지시문, FAQ, 온라인 도움말, 홈페이지, 검색기능, 사이트맵 등 특정 측면/속성 평가 방법과 동일 사례: 10개 사이트맵 평가(노만그룹) 6가지 문장의 설문지, 7점 척도 찾기쉽다, 정보 유용, 사용쉽다, 쉽게 정보 발견,구조 이해, 콘텐츠 이해 사례; 웹사이트 디자인 평가(툴리스) 5가지 디자인 대상 페이지 형식, 매력도, 컬러 5점척도, 형편없는 … 훌륭한: -2,-1,0,1,2

주관식 질문 (Open-Ended Questions) Word Cloud가 분석에 유용 예, 가장 좋은점/가장 나쁜 점 3~5개 나열 => 동일한 항목 개수와 빈도 인식(Awareness)과 이해(Comprehension) 웹사이트 방문 후 특징을 인식하는지 검사: 어떤 내용이 있었는지 아닌지 기억 여부 ‘틀린 항목’도 포함해야 : 없었는데 있었던 것처럼 웹사이트 콘텐츠에 대한 이해도 질문: 부차적 학습(incident learning) 콘텐츠에 대한 이해력 테스트 사전 테스트와 사후 테스트 비교

인식(Awareness)과 유용함(Usefulness) 간의 차이(Gap) 차이가 큰 경우 홍보 혹은 강조 필요 실험 기능 알고 있었는지? 사용후 얼마나 유용한지?