사용자 경험 측정 (Measuring User Experience) 8. Combined and Comparative Metrics 숙명여자대학교 임순범

목차 8장. 결합 메트릭스와 비교 메트릭스 8.1 SINGLE USABILITY SCORES 8.1.1 Combining Metrics Based on Target Goals 8.1.2 Combining Metrics Based on Percentages 8.1.3 Combining Metrics Based on Z Scores 8.1.4 Using Single Usability Metric 8.2 USABILITY SCORECARDS 8.3 COMPARISON TO GOALS AND EXPERT PERFORMANCE 8.3.1 Comparison to Goals 8.3.2 Comparison to Expert Performance

8.1 단일 유저빌리티 점수 새로운 유저빌리티 메트릭 생성 방법 유저빌리티 테스트 종료후 “이제 어떻게 하지?” 여러 메트릭을 결합하여 하나의 사용성 척도로 생성 (combining more than one metric into a single usability measure) 기존 전문가 평가 결과 혹은 목표치와 비교 유저빌리티 테스트 종료후 “이제 어떻게 하지?” 개별 결과(완료율, 시간, 설문 점수 등) 보다는 총체적인 평가를 요구 제품이 잘 동작? 지난번 테스트와 비교해서? 등 단일 유저빌리티 점수를 결합해야 예, 비율로 측정된 태스크 완료율, 분이나 초단위 태스크 시간, 등 타깃 목표에 기반하여 메트릭 결합하기 비율에 기반하여 메트릭 결합하기 z-점수에 기반하여 메트릭 결합하기

1) 타깃 목표에 기반하여 메트릭 결합하기 가장 쉬운 방법 타깃 목표에서 결과 비교하여, 목표 획득한 참여자 비율을 하나의 메트릭 예, [표]에서 평균 70초 이하로 태스크 80% 이상 완료하기가 목표 수행시간 평균 67초, 태스크 완료율 82% => 목표 완료처럼 보임 결합 메트릭(개인별 목표 달성 여부)으로는 38% => 미흡

2) 비율에 기반하여 메트릭 결합하기 타깃 목표가 없을 때 다른 척도의 점수를 결합하려면 : 각 점수를 비율로 전환 후 평균 계산 태스크 완료, 주관적 평가 : 최대값이 있으므로 최대값으로 나누기 시간 데이터 : ‘최상’, ‘최악’이 없으므로 가장 빠른 시간을 ‘최상’으로 비율 계산 (개정판에서는 가장 빠른 시간을 100%, 가장 느린 시간을 0%로 계산) 제품에 대한 전체 평균은 62% (95% 신뢰구간은 51~72)

비율 계산시 가중평균 구하기 세가지 비율에 동등한 비중 : 두 가지는 수행 메트릭, 하나는 자가기록 자가 기록에 2배 비중 할당 => 비중의 총합으로 나누기 평가 메트릭의 비중은 비즈니스 목표에 따라 결정 예, 웹사이트 인지도 평가의 경우 자가기록에 많은 비중 예, 안정성이 중요한 제품의 경우 수행 측정값에 더 많은 비중

하나 이상의 메트릭을 전환할 때 코드화 태스크 완료율 : 10개 만점 에러 개수 : 고정 값 없음, 최대값을 만점으로 비율 계산하여 1에서 빼기 만족도 : 최소는 0에서 시작하도록 코딩, 최대는 전체 점수/개수 시간값처럼 최대/최소 없을 때는 가장 낮은값 가장 좋은값을 0~100으로

3) z-점수에 기반하여 메트릭 결합하기 정규분포(normal distribution)에 기반한 비교 측정값이 정규분포에서 평균의 위 혹은 아래에 있는지 z-점수(z-score) : 해당 점수가 평균과 얼마나 차이 있는지(표준편차 비율) : μ 평균, σ 표준편차 z-score는 같은 방향으로 z-점수의 전체 평균은 0이므로 점수로 간주하기는 곤란

한 집합 내에서 데이터를 비교할 때 유용 첫 번째 실험 참여자 그룹과 두 번째 실험 참여자간의 차이 확인 전체를 하나의 집합으로 z-점수 계산, 전체 평균은 0, 각각의 평균은 차이

4) 단일 유저빌리티 메트릭(SUM) 사용하기 유저빌리티 메트릭을 단일 점수와 결합하는 모델 개발 Single Usability Metric(SUM) 모델 : 데이터 값의 표준화 quantitative model for combining usability metrics into a single usability score 예, 4가지 메트릭을 SUM 점수로 변환 (SUM점수 계산방법 설명 없음) http://www.measuringusability.com/SUM/ http://www.usabilityscorecard.com/

8.2 유저빌리티 채점표(Scorecards) 평점표, 평가표 서로 다른 메트릭을 결합해서 전체 점수 파악 => 메트릭 결과를 요약 차트에 도표로 표현 결합 그래프 : 2개의 메트릭 레이더 차트(radar chart) : 3가지 이상의 메트릭

하베이 볼(Harvey Balls) 3개 이상의 메트릭 요약 데이터를 나타내면서 태스크 수위 정보도 표현 가능

8.3 목표 및 전문가 수행결과와 비교 목표(goal)와 비교 예, 웹페이지 방문 목표치 대비 실제 방문횟수 단순 비교 목표 대비 비율 : 문제점 쉽게 파악(1,3,5번)

전문가 수행결과 (expert performance)와 비교 ‘전문가’: 관련분야 전문지식 보유, 태스크 혹은 테스트 제품에 완전 익숙 모든 태스크를 에러 없이 수행할 수 있다는 가정, 태스크별 수행 시간은 필요 예, 참여자 실제 시간 대비 전문가 시간의 비율