사용자 경험 측정 (Measuring User Experience)

Presentation on theme: "사용자 경험 측정 (Measuring User Experience)"— Presentation transcript:

1 사용자 경험 측정 (Measuring User Experience)
8. Combined and Comparative Metrics 숙명여자대학교 임순범

2 목차 8장. 결합 메트릭스와 비교 메트릭스 8.1 SINGLE USABILITY SCORES
8.1.1 Combining Metrics Based on Target Goals 8.1.2 Combining Metrics Based on Percentages 8.1.3 Combining Metrics Based on Z Scores 8.1.4 Using Single Usability Metric 8.2 USABILITY SCORECARDS 8.3 COMPARISON TO GOALS AND EXPERT PERFORMANCE 8.3.1 Comparison to Goals 8.3.2 Comparison to Expert Performance

3 8.1 단일 유저빌리티 점수 새로운 유저빌리티 메트릭 생성 방법 유저빌리티 테스트 종료후 “이제 어떻게 하지?”
여러 메트릭을 결합하여 하나의 사용성 척도로 생성 (combining more than one metric into a single usability measure) 기존 전문가 평가 결과 혹은 목표치와 비교 유저빌리티 테스트 종료후 “이제 어떻게 하지?” 개별 결과(완료율, 시간, 설문 점수 등) 보다는 총체적인 평가를 요구 제품이 잘 동작? 지난번 테스트와 비교해서? 등 단일 유저빌리티 점수를 결합해야 예, 비율로 측정된 태스크 완료율, 분이나 초단위 태스크 시간, 등 타깃 목표에 기반하여 메트릭 결합하기 비율에 기반하여 메트릭 결합하기 z-점수에 기반하여 메트릭 결합하기

4 1) 타깃 목표에 기반하여 메트릭 결합하기 가장 쉬운 방법
타깃 목표에서 결과 비교하여, 목표 획득한 참여자 비율을 하나의 메트릭 예, [표]에서 평균 70초 이하로 태스크 80% 이상 완료하기가 목표 수행시간 평균 67초, 태스크 완료율 82% => 목표 완료처럼 보임 결합 메트릭(개인별 목표 달성 여부)으로는 38% => 미흡

5 2) 비율에 기반하여 메트릭 결합하기 타깃 목표가 없을 때
다른 척도의 점수를 결합하려면 : 각 점수를 비율로 전환 후 평균 계산 태스크 완료, 주관적 평가 : 최대값이 있으므로 최대값으로 나누기 시간 데이터 : ‘최상’, ‘최악’이 없으므로 가장 빠른 시간을 ‘최상’으로 비율 계산 (개정판에서는 가장 빠른 시간을 100%, 가장 느린 시간을 0%로 계산) 제품에 대한 전체 평균은 62% (95% 신뢰구간은 51~72)

6 비율 계산시 가중평균 구하기 세가지 비율에 동등한 비중 : 두 가지는 수행 메트릭, 하나는 자가기록
자가 기록에 2배 비중 할당 => 비중의 총합으로 나누기 평가 메트릭의 비중은 비즈니스 목표에 따라 결정 예, 웹사이트 인지도 평가의 경우 자가기록에 많은 비중 예, 안정성이 중요한 제품의 경우 수행 측정값에 더 많은 비중

7 하나 이상의 메트릭을 전환할 때 코드화 태스크 완료율 : 10개 만점
에러 개수 : 고정 값 없음, 최대값을 만점으로 비율 계산하여 1에서 빼기 만족도 : 최소는 0에서 시작하도록 코딩, 최대는 전체 점수/개수 시간값처럼 최대/최소 없을 때는 가장 낮은값 가장 좋은값을 0~100으로

8 3) z-점수에 기반하여 메트릭 결합하기 정규분포(normal distribution)에 기반한 비교
측정값이 정규분포에서 평균의 위 혹은 아래에 있는지 z-점수(z-score) : 해당 점수가 평균과 얼마나 차이 있는지(표준편차 비율) : μ 평균, σ 표준편차 z-score는 같은 방향으로 z-점수의 전체 평균은 0이므로 점수로 간주하기는 곤란

9 한 집합 내에서 데이터를 비교할 때 유용 첫 번째 실험 참여자 그룹과 두 번째 실험 참여자간의 차이 확인
전체를 하나의 집합으로 z-점수 계산, 전체 평균은 0, 각각의 평균은 차이

10 4) 단일 유저빌리티 메트릭(SUM) 사용하기
유저빌리티 메트릭을 단일 점수와 결합하는 모델 개발 Single Usability Metric(SUM) 모델 : 데이터 값의 표준화 quantitative model for combining usability metrics into a single usability score 예, 4가지 메트릭을 SUM 점수로 변환 (SUM점수 계산방법 설명 없음)

11 8.2 유저빌리티 채점표(Scorecards)
평점표, 평가표 서로 다른 메트릭을 결합해서 전체 점수 파악 => 메트릭 결과를 요약 차트에 도표로 표현 결합 그래프 : 2개의 메트릭 레이더 차트(radar chart) : 3가지 이상의 메트릭

12 하베이 볼(Harvey Balls) 3개 이상의 메트릭 요약 데이터를 나타내면서 태스크 수위 정보도 표현 가능

13 8.3 목표 및 전문가 수행결과와 비교 목표(goal)와 비교 예, 웹페이지 방문 목표치 대비 실제 방문횟수 단순 비교
목표 대비 비율 : 문제점 쉽게 파악(1,3,5번)

14 전문가 수행결과 (expert performance)와 비교
‘전문가’: 관련분야 전문지식 보유, 태스크 혹은 테스트 제품에 완전 익숙 모든 태스크를 에러 없이 수행할 수 있다는 가정, 태스크별 수행 시간은 필요 예, 참여자 실제 시간 대비 전문가 시간의 비율