사용자 경험 측정 (Measuring User Experience) 1장, 3장, (4~9장 요약) 숙명여자대학교 임순범

목차 톰 툴리스, 빌 알버트, 사용자 경험측정 (Measuring User Experience), 2008, 지앤선 1장. 개요 Usability? Usability Metrics? 10 Common Myths 3장. 유저빌리티 연구 계획하기 Study Goals, User Goals, Choosing Right Metrics, Study Details

1장. 개요 유저빌리티 메트릭스(Usability Metrics) 이 책의 특징 주의 사용성 척도 수집 및 분석 방법, 가이드라인 및 사례 이 책의 특징 포괄적 – 거의 모든 종류의 메트릭 포함 실용적인 관점 – 실무 적용 상황에 맞는 올바른 결정을 하도록 많은 예제, 사례 연구 어떤 제품이나 기술에도 적용 가능 주의 매트릭스 ⇒ 메트릭스, 척도 엄격함 ⇒ 심각성

1.1 책의 구성 서론부 사용성 척도 적용 방법 1장. 개요 2장. 통계에 대한 배경 지식 3장. 사용성 연구 계획 4장. 수행 메트릭스 5장. 이슈 기반 메트릭스 6장. 자가 기록 메트릭스 7장. 행태적/생리적 메트릭스 8장. 메트릭스 결합 9장. 특수한 주제 적용 방법 10장. 6가지 사례 연구 11장. 실무적용 10단계

1.2 Usability 란? ISO 9241-11 Usability 정의의 공통점 특정한 사용 상황 내에서 유효하고, 효율적이고 만족도를 가지고 특정 사용자에 의해 특정 목표를 획득할 수 있도록 사용되는 제품의 정도 Usability 정의의 공통점 사용자 포함 사용자가 어떤 일을 한다 사용자가 제품이나 시스템을 통해 어떤일을 한다

1.3 Usability 중요성 다양한 사례 Usability Metrics 제품 사용시 불평, 위급 상황, 회사 곤란한 상황, 사회에 영향 의료현장 : 의료기구나 프로세스 공장에서 지시문 도로 표지판 투표 용지 … 모든 일상생활이 사용성과 관련 Usability Metrics 복잡한 기술을 사용하기 쉽도록 만들기 위해 개발과정에서 중요한 부분

1.4 Usability Metrics 란? 메트릭스(Metrics) : 척도 유저빌리티 메트릭스의 공통 특징 일반적으로 특정한 현상이나 사물을 측정하고 평가하는 방법 유저빌리티 메트릭스의 공통 특징 측정 시스템에 기반 관찰 가능 : 태스크 성공적 완료, 소요시간 등 관찰 대상 측정 가능 : 측정 결과를 수치로 표기하고 사용자 경험을 표현 유저빌리티 메트릭스의 차이점 사물을 사용하는 사람의 개인적인 경험을 표현 유효성(effectiveness, 태스크를 완료할 수 있는 능력) 효율성(efficiency, 태스크를 완료하는데 필요한 능력) 만족도(satisfaction, 사용자가 태스크를 수행할 때 경험하는 유쾌한 정도) 사람들의 행동(behavior), 태도(attitudes)를 측정 사람은 다양하고 융통성 있는 존재이므로 신뢰구간으로 논의 필요

정보에 근거한 결론으로 실질적 도움 되도록 첨예한 질문에 답 제공 가능 사람들이 이 제품을 좋아할 것인가? 새로운 제품이 현재 있는 제품보다 더 효과적일 것인가? 경쟁사의 제품과 비교하였을 때 이 제품의 유저빌리티는 어떠한가? 제품을 반복해서 디자인할 때 개선 사항들이 나타나고 있는가?

1.5 Usability Metrics의 가치 단순한 관찰 이상 이슈/문제의 중요도 측정 사용자 경험을 개선 디자인과 평가 프로세스의 구조 보완, 영감 제공, 결정권자에 정보 제공 부정확한 추측이나 막연한 직감이 아님 이슈/문제의 중요도 측정 사용자의 수를 측정하는 방법을 제공 사용자 경험을 개선 개선해야 할 항목이 구현되었는지 검토, 개선 가능성 평가 (13쪽) ROI 계산의 핵심 요소 비용 절감과 수익 증가 계산 보이지 않는 패턴을 표현하는데 도움

1.6 유저빌리티 메트릭스에 대한 오해 메트릭스 데이터 수집에 너무 긴 시간이 소요된다 비용이 너무 많이 든다 유저빌리티 테스트 일부에 포함 테스트 도입부나 끝머리에 몇 가지 추가 질문, 설문지나 짧은 추가 작업 일부 데이터는 손쉽게 수집: 이메일, 이슈의 빈도나 심각성(severity) 비용이 너무 많이 든다 매일 소소한 테스트, 이메일 서베이, 데이터 분석 툴 사소한 개선사항에는 불필요하다 유저빌리티 이슈의 빈도, 심각도, 원인에 대한 분석이 도움 프로젝트의 비용 및 시간 절감 효과 문제의 원인을 이해하는데 도움이 되지 않는다 문제의 중요도만 부각시키지 않고, 이슈의 근본적 원인 파악에 도움

현재 이슈에 적합한 유저빌리티 메트릭스가 없다 노이즈가 너무 많다 변수가 너문 많아서 큰 그림 파악이 힘들다 ⇒ 극단 데이터는 제외, 신중하게 메트릭 선택, 측정과정을 잘 정의 표준 유저빌리티 설문지 그냥 자신의 직관을 믿으면 된다 근거 데이터를 통해 부정확한 추측 제거 가능 직관력은 중요하지만 데이터가 훨씬 나은 경우가 많다 새로운 제품에 적용되지 않는다 디자인 개선 여부를 정확히 파악하는 유일한 방법 현재 이슈에 적합한 유저빌리티 메트릭스가 없다 어떤 프로젝트건 두세개 메트릭스는 직간접적으로 연관 감성 반응 측정, 인지 측정, 스트레스 레벨 측정, 혹은 창의적인 방법

적은 표본크기를 신뢰할 수 있는 데이터를 수집할 수 없다 관리자급에게 인정받지 못한다 정량적인 피드백을 줄 수 있는 유일한 방법 적은 표본크기를 신뢰할 수 있는 데이터를 수집할 수 없다 8~10명으로도 충분한 의미 가능 예제에서는 대부분 20명 미만의 참가자

3장. Planning a Usability Study 유저빌리티 연구에 성공하려면 데이터 수집 전에 철저한 계획 수립 연구 목적을 이해 새로운 기능 확인? 기존 제품 벤치마킹? 사용자 목적을 이해 일시적으로 제품 사용? 일상생활에 사용? 실질적인 세부 항목을 고려 적합한 평가 방법론? 참여자 규모? 시간과 예산에 영향? 데이터 수집 및 분석 방법

3.1 연구 목적(Study Goals) 구성 유저빌리티(formative usability) 예, 요리하는 과정, 요리사 역할 반복 테스트로 디자인을 개선하는 목적: 문제진단-해결책제시-재평가 현재 디자인을 개선시킬 기회가 있을 때 핵심 질문 심각한 이슈, 선호하는 점, 실수, 개선 여부, 예상되는 문제 평가 유저빌리티(summative usability) 예, 완성된 요리를 평가, 음식 평론가 역할 본래의 목적에 얼마나 잘 부합되는가 확인 목적 제품 개선에 중점이 아니라 평가에 중점 중요 질문 목적 달성? 경쟁사 제품과 비교, 기존 제품에서 개선?

3.2 사용자 목표(User Goals) 사용자에게 중요한 것이 무엇인지? 수행(performance) : 성능/실행 매일 작업에 사용? 잠깐 사용? 즐기는 목적? 태스크 완료? 효율성? 심미성? ⇒ 두가지 측정 방법 : 수행, 만족도 수행(performance) : 성능/실행 사용자가 실제로 제품과 상호작용하며 행하는 모든 것 태스크 수행과 관련된 여러 가지 측정값 수행시간, 노력의 양, 에러 횟수, 학습 시간 등 만족도(satisfaction) 사용자가 제품과 상호작용하며 말을 하거나 생각하는 것 제품을 접하면서 다양한 측면으로 느끼는 점 성능과 만족도는 항상 일치하지는 않는다

3.3 메트릭스 선택: 10가지 시나리오 생략 : 실시간 웹사이트, 카드소팅 4장. 성능 메트릭 5장 6장 7장 8장 태스크 성공 태스크 시간 에러 효율성 학습성 이슈기반 메트릭 자가기록 메트릭 행태적/생리적 메트릭 결합/비교 메트릭 1. 작업 완료하기 ○ ● 2. 제품 비교하기 3. 잦은 사용 평가 4. 정보구조 평가 5. 인지 증가시키기 6. 문제 발견하기 7. 사용성 극대화 8. 긍정적 경험 창출 9. 미묘한 변화 평가 10. 디자인 시안 비교

작업 완료하기 제품 비교하기 가능한 부드럽게 작업이 동작하도록, 작업은 시작과 끝 경쟁사 제품 혹은 기존 제품과 비교 태스크 성공률, 효율성(시간당 작업 성공율) 이슈 심각도(문제 원인 파악) 자가기록 메트릭 : 되돌아올 가능성, 사용자 기대도 웹사이트: 작업 감소율 제품 비교하기 경쟁사 제품 혹은 기존 제품과 비교 다양한 메트릭 사용 권장 태스크 성공 : 필수 항목 효율성 : 태스크 완료 시간, 페이지 개수, 액션 단계 개수 만족도(자가기록) : 사용자의 전체 경험을 요약 제품간 비교에는 결합/비교 메트릭 권장

동일 제품의 사용빈도 평가 내비게이션 및 정보구조 평가 사용하기 쉽고 효율성 높아야 태스크 완료 시간 효율성: 액션 단계, 페이지 개수 학습성 : 시간에 대비한 효율성 인지/유용성 (자가기록) : 사용자 인식과 지각된 유용성 간의 차이 내비게이션 및 정보구조 평가 찾는 것을 빠르고 쉽게, 현재 위치 파악, 사용가능 옵션 파악 태스크 성공 : 잘 동작하는지 파악 에러 및 효율성 : 길을 잃고 헤메지 않았는지 카드소팅 방법도 유효 : closed sort

인지(awareness) 증가 문제 발견 응급제품의 사용성 극대화 쉽고 효율적 사용이 아니라 특정 콘텐츠나 기능을 인지시키기 위해 평가 자가기록: 문제요소 및 인터랙션 개수, 인지가능성 측정, 기억 행태적/생리적 메트릭 : 아이트래킹, 트래픽 패턴 등 문제 발견 주요 이슈 확인 참여자간 데이터 대조 이슈 메트릭이 가장 적합 : 데이터의 빈도/종류에 따라 구분 응급제품의 사용성 극대화 용이성과 효율성은 필수 요소 : 심장 소생기, 투표기계, 비상탈출 안내문 사용자 에러가 중요 태스크 성공 : 성공적으로 완료하는가? 특정 조건(시간, 에러 없이)? 효율성 (시간) 자가기록 메트릭은 중요도 낮음

긍정적 사용자 경험 미묘한 변화의 영향 평가 디자인 시안 비교 주관적인 사용자 경험 (예, 아이팟) 스스로의 경험을 말하도록 : 자가기록 메트릭 필요 만족감, 기대치, 향후 사용의지(구입, 추천 등) 매력 측정을 위해 생리적 메트릭도 가능 미묘한 변화의 영향 평가 작은 변화가 전체에 영향: 폰트, 위치, 시가적 대비, 컬러, 이미지 등 실시간 사이트 메트릭을 통한 A/B 비교 테스트 디자인 시안 비교 학습효과 방지를 위해 각 참여자가 하나의 디자인만 평가 혹은 하나의 디자인 사용후 디자인간의 선호도 평가 이슈기반 메트릭이 가장 적합

3.4 기타 세부 사항 예산과 기간(budget & timeline) 모든 변수 고려, 가능한 초기에 논의 예측 못한 변수 발생하므로 최소 10% 추가 확보 구성 연구 (10명 내외) 메트릭 수집이 시간과 비용에 적은 영향 주도록, 디자인 개선 지연 안되도록 빈도 측정과 심각도 분석에 몇시간 이내 12명 이상 참여 참여자 모집 비용 많이 증가 참여자 태스크 수행 시간 증가, 데이터 정제 및 분석에도 별도의 시간 필요 온라인 연구 태스크 정의, 질문과 척도 개발, 프로토타입 평가, 참여자 모집에 많은 시간 데이터 수집은 적은 시간 데이터 정제와 분석에 나머지 절반 시간

평가 방법(evaluation methods) 메트릭스 수집에는 평가방법의 제한이 없다 랩 테스트 : 4~10명 1대1 섹션 포함, think aloud 기법 사용, 참여자의 행동과 반응을 기록 수집 메트릭: 빈도, 종류, 심각성 이슈 등, 실행 데이터 수집도 도움 질문을 통해 자가 기록 메트릭도 가능하나 객관적 데이터 중심 웹사이트 트랙픽 추정, 미세한 디자인 변화 등 측정에는 부적합 온라인 연구 동시에 많은 참여자 테스트, 짧은 시간에 많은 데이터 수집 실행 메트릭, 자가 기록 메트릭 수집, 이슈 메트릭은 다른 데이터를 통해 지적 포커스그룹 8~10명으로 구성, 최소 3개 그룹 권장 데이터는 자가 기록 메트릭스 형태

참여자 실제 사용자에 가까운 참여자 포함시키도록 계획 참여자 모집 단계 1. 모집 기준 결정 2. 참여자 숫자 3. 모집 전략 구체적으로 작성: 사용 경험, 수행기간, 재정상태 등 2. 참여자 숫자 구성 연구 : 6~8명 (6명에서 가장 유의미), 그룹으로 구분할 경우 최소 4명씩 평가 연구 : 50~100명 권장, 20명 경우 일반화 곤란, 미세한 변화 측정시 100명 3. 모집 전략 모집 방법 : 고객 데이터, 이메일, 제3자 의뢰, 웹이나 이메일로 공고

데이터 수집 데이터 정리 랩 테스트 : 적은 참여자 대규모 테스트 : 데이터 수집 툴 사용 권장 기록자가 데이터 수집, 가능한 숫자 형식으로 입력 팀원이 코드 체계를 잘 이해해야: 척도 순서, 특정 변수의 의미 등 대규모 테스트 : 데이터 수집 툴 사용 권장 데이터 정리 데이터 걸러내기 : 이상값/비정상값의 확인 새로운 변수 만들기 : 원본 데이터를 구축 응답 내용 증명하기 : 참여자 반응에 이상이 없는지 확인 일관성 확인하기 : 데이터가 적절한지 확인, 수집 방법 혹은 질문 방식 데이터 변환하기 : 통계 처리 가능하도록

4장. Performance(성능) 메트릭 1. 태스크 성공 : 성공 측정 방법 2. 시간 기반 태스크 3. 에러 4. 효율성 이진 성공 측정 => 성공분포, 성공 수위 측정 => 누적 비율 2. 시간 기반 태스크 시간 데이터 분석 : 완료시간, 시간범위, 한계치 이상, 분포 고려사항 : 성공한 태스크만 ? Think aloud 방식의 경우 3. 에러 에러 측정 타임, 원인, 에러의 측정 및 분석 4. 효율성 태스크 완료를 위한 노력의 양, 수집/측정 방법, 분석 방법, 성공과 시간의 결합 5. 학습성 학습성 데이터 수집/측정, 학습 시도

5장. 이슈 기반 메트릭 사용성 이슈란? 129쪽 이슈 확인 방법 심각도 평가 필요 사용성 이슈 분석과 보고 방식 사용성 이슈란? 129쪽 이슈 확인 방법 대면 연구, 자동화 연구, 시작/끝, 상세함, 다양한 관찰자 심각도 평가 필요 사용자 경험 기반, 다양한 요소 기반, 평가 시스템 사용 사용성 이슈 분석과 보고 방식 개별 이슈의 빈도 참여자에 따른 이슈의 빈도 참여자들의 빈도 카테고리에 의한 이슈 태스크에 의한 이슈 긍정적인 이슈 보고하기

6장. 자가 기록 메트릭 자가 기록 데이터 수집 사후 태스크 평가 방법 소개 리커트 척도 : 5점 척도 의미차이판별법 : 반대되는 한 쌍의 형용사 수집시기 : 각 태스크 후, 연구 후 평가 수집방법 : 구두, 서면 조사, 온라인 수집 편의성과 익명성 사후 태스크 평가 방법 소개 사용 편이성 평가 사후 시나리오 설문 (3가지: 쉽게 완료, 시간, 지원 정보에 만족하는지?) 예상 측정 : 수행전 ‘기대평가’, 수행후 ‘경험평가’ => 분산 그래프 사용성 중요도 평가 사후 태스크 자가 기록 메트릭의 비교 : 5가지 상황을 테스트하여 분석

사후 연구 평가 : 전체 사용성을 평가할 목적 시스템 유저빌리티 척도 (SUS) – 그림6.8 10개 평가, 5점 척도, 긍정/부정 혼재 컴퓨터 시스템 유저빌리티 설문 (CSUQ) – 그림6.9 19개 평가, 7점 척도, 긍정 문항 4개 카테고리 : 시스템 유용성, 정 보품질, 인터페이스 품질, 전체 만족도 사용자 인터페이스 만족도에 대한 설문 (QUIS) – 그림6.10 5개 카테고리 : 전체 반응, 스크린, 용어/시스템 정보, 학습, 시스템 능력 27개 평가 10점 척도(양쪽에 반대되는 단어) 유용성, 만족도, 사용 편이성에 대한 설문 (USE) – 그림6.11 4개 카테고리(유용성, 만족도, 사용편이성, 학습용이성), 30개, 7점 척도 제품반응카드 – 그림6.12 형용사 카드 118개, 긍정/부정 단어 개수, 상위5개 선정 이유

온라인 서비스 웹사이트 분석과 측정 목록 (WAMMI) – 그림6.17 미국 고객 만족도 인덱스 (ACSI) – 그림6.19 5가지 영역(5점척도) : 매력도, 통제가능성, 효율성, 유용성, 학습성 미국 고객 만족도 인덱스 (ACSI) – 그림6.19 6가지 요소(10점 척도) : 콘텐츠, 가능성, 룩앤필, 내비게이션, 검색, 퍼포먼스) 오피니언랩 실시간 사이트 설문