UI설계및평가 UX Evaluation 숙명여자대학교 임순범

사용자경험 리서치 매뉴얼 김승인, 안지현 저, 2018.1. 지앤선 목차 엑셀로시작하는 정량적 사용자경험 측정 1. 사용자경험 측정 방법의 이해 2. 데이터와 시각화 3. 피벗 기능을 이용한 데이터의 요약 4. 예제를 통해 배우는 통계분석 5. 설문지 작성 방법 6. 사용자경험 연구논문 실습

Part 1. 1. 사용자 경험의 측정 사용자 경험(User Experience) 사용자 경험의 측정 사용자경험 리서치 제품의 상호작용을 통해 얻게 되는 경험 사용자 경험의 측정 사용자의 행동이나 태도를 관찰하거나 측정하는 것 정량적(quantitative) 방법: 실험, 조사 자료수집 => 수량화 => 통계 분석 정성적(qualitative) 방법: 면접, 관찰 => 기술(narrative) 자료 분석 혼합(mixed) 방법 사용자경험 리서치 사용자경험 측정 과정 목표가 불확실한 경우 의미 있는 결과/결론 도출이 곤란 마켓 리서치와는 차이 : 데이터에 의존

2. 분석대상을 고려한 사용자경험 측정방법 두가지 관점 측정 대상 : 행동 vs. 태도(생각)

측정방법 유저빌리티 테스트와 사용자경험 스터디 구분해야 사용자경험의 정량적 측정 방법 => 모두 행동을 측정 유저빌리티: 정성적 결과 도출 UX study: 정량적 측정이 더 중요시 사용자경험의 정량적 측정 방법 웹로그 분석 A/B 테스트 UX study : 행동 측정 서베이 : 태도 측정

3. 제품개발과정을 고려한 사용자경험 측정방법 [그림 1.3] 기회 탐색 단계 개발 단계 최종 평가 단계 방법: 서베이, 데이터 분석, 필드 스터디, 일기장 조사 목적: 제품별 유저빌리티 측정, 런칭제품/경쟁제품 대비 개선점 도출 개발 단계 방법: UX 스터디, 카드소팅, 필드 스터디, 유저빌리티 테스트 목적: 기대 대비 유저빌리티 평가, 최적의 시안 평가 최종 평가 단계 방법: 서베이, A/B 테스트 목적: 제품 유형별 유저빌리티 측정, 개선점 도출

4. 사용자경험 측정 목적별 분석 방법 기회탐색단계 구분 측정 목적 행동 분석 태도 분석 제품유형별 유저빌리티 평가 내비게이션 제품 혹은 정보구조가 복잡한 제품의 유저빌리티? ∙ 성공수준 비율 ∙ 효율성(완료 단계수 vs. 최소완료 단계수) ∙ 에러발생 수 - 일상 생활에서 반복적으로 사용 제품의 유저빌리티? ∙ 성공률, 완료시간 ∙ 효율성(액션 단계 수, 페이지 수) ∙ 학습성 ∙ 사전 인지율 ∙ 유용성 생명 관련 제품의 유저빌리티? ∙ 에러율, 효율성 ∙ 시간내 성공률 ∙ 효율성(시간대비 완료수) 감성적 제품의 유저빌리티? ∙ 만족도, 유용성, ∙ 사용편이성, ∙ 구입의향, 추천의향

개발 단계 최종 평가 단계 구분 측정 목적 행동 분석 태도 분석 기대대비 태스크 완료 평가 예상대로 태스크 수행 여부 ∙ 성공수준 비율 ∙ 효율성(액션단계, 페이지 수, 시간대비 완료수) ∙ 기대 만족도 대비 체감 만족도, ∙ 향후 이용 의향 최적의 시안 평가 가장 좋은 시안? ∙ 중요도에 따른 빈도,비율 ∙ 성공률, 완료시간 ∙ 선호도, 편이성 ∙ 시각적 매력도 구분 측정 목적 행동 분석 태도 분석 경쟁 제품과 비교하기 기존 디자인과 비교시 제품의 유저빌리티 ∙ 성공 수준 비율 ∙ 효율성(완료시간, 액션단계, 페이지 수) ∙ 만족도 제품의 유저빌리티 개선점 도출 런칭된 제품의 유저빌리티 문제점 탐색 ∙ 문제별 빈도/비율 ∙ 중요도 평가(디자인 우선 개선 사항) ∙ VOC 분석

Part 2. 데이터와 시각화 1. 데이터의 종류와 특징 척도의 종류 연산 불가 > 연산 불가 > 연산 가능 > 연산 가능 간격>비율 >정보의 양이 많아진다. 정보의 양이 많을수록 측정 비용과 노력이 더 필요

2. UX측정에서 이용되는 데이터 형태 유저빌리티 측정 서베이 1. 태스크 성공, 2. 성공한 태스크 완료 시간, 3. 에러 1. 태스크 성공, 2. 성공한 태스크 완료 시간, 3. 에러 4. 태스크 효율성, 5. 학습성, 6. 문제 중요도 서베이 1. 제품 유용성, 2. 선호도, 3. 사용 편이성 4. 시각적 매력도, 5. 만족도, 6. 이용 의향, 구입 의향 7. 추천 의향, 8. VOC 분석

3. 유저빌리티 측정 3.1 태스크 성공 3.2 성공한 태스크의 완료시간 단순 성공율(simple success rate) : 주어진 태스크 완료 여부 얼마나 효과적으로 완료? : 성공의 수준(level of success) 3단계: 성공, 부분성공, 실패 4단계: 문제없음, 경미한 문제, 중대한 문제, 실패/포기 분석 방법 : 성공률 평균, 신뢰구간, 수준별 성공률 보통 5~20명 피실험자 => 신뢰구간, t-검정, ANOVA 3.2 성공한 태스크의 완료시간 태스크별 완료 시간 => 기술 통계 태스크별 완료 시간 구간별 비율 => 시간 구간별 빈도, 비율 (p.44) 태스크별 완료 시간 한계치내 비율 => 시간내 완료한 빈도, 비율 (p.45)

3.3 에러 하나의 에러 확인 다양한 에러 발생 태스크별 피실험자가 다를 경우 보정방법 개별 태스크별 에러의 빈도, 비율 (p.48) 태스크별 전체 평균 에러 비율 (p.48) 한계치 이상의 에러율을 보인 태스크 비율 (p.49) 다양한 에러 발생 태스크별 에러 발생 빈도, 비율 (p.50) 태스크별 한계치 이상의 에러율을 보인 비율 (p.51) 특정 에러가 나타난 태스크 비율 (p.52) 태스크별 피실험자가 다를 경우 보정방법 에러수/피실험자*100

3.4 태스크 효율성 3.5 학습성 물리적 노력의 효율성 시간에 의한 효율성 인지적 노력의 효율성 태스크별 행동 수의 평균, 신뢰구간(p.58) 시간에 의한 효율성 시간과 성공을 고려, 태스크성공률/평균시간 => 평균, 빈도 분석(p.58) 인지적 노력의 효율성 태스크의 난이도 수준의 비교, 성공 태스크 수/시간 (p.59) 피실험자별 태스크 수행시 행동 손실률 (p.60) 3.5 학습성 측정 방법 : 횟수 3~4번, 연속 진행 / 일정 휴식후 진행 / 하루 간격으로 학습성 : 측정 횟수별 학습 수준, 제품에 능숙때까지 횟수, 필요 학습량 예제, p.63~65

3.6 유저빌리티 문제의 중요도 단순한 평가 형태 : 낮음~높음에서 3점척도, 5점척도 구체적인 예를 제시하는 형태 : 1:재앙, 2. 심각, 3.보통, 4.다소, 5.사소 효율성과 만족도에 미치는 영향을 고려 : 낮음~높음 3단계 문제 발생 비율 : 1.10% 이하, 2.11~50%, 3.51~90%, 4.91%이상

4. 서베이 태도에 대한 평가 방법 학습성 : 사용속도 및 사용편리성 증가 유용성 : 기능, 요소의 유용성 선호도 : 브랜드, 기능, 요소의 절대적/상대적 선호의 정도 사용편리성 시각적 매력도 중요도 : 구입 또는 이용시 브랜드, 기능, 요소의 중요도 만족도 : 제품의 기능, 요소에 대한 만족도 및 제품 전반적인 만족도 향후 제품 이용의향 또는 구입의향 향후 추천 의향 VOC 분석 : 불만족점 또는 개선해야 할 내용 예, p.75~76