사용자 경험 측정 (Measuring User Experience) 5. Issue-Based Metrics 숙명여자대학교 임순범

5.1 유저빌리티 이슈 확인하기 유저빌리티 이슈(Usability Issue) 유저빌리티 이슈 확인하기 디자인 개선 사항 제공이 목적 대부분 정성적 : 참여자가 경험한 문제, 원인 평가, 개선 방안 제시 측정 가능하며, 프로세스 지연 없이, 디자인에 가치 추가 유저빌리티 이슈 확인하기 무엇이 이슈인지, 무엇이 이슈가 아닌지 확인하기 사용성 전문가의 능력 제품과 유저빌리티 사항을 파악하기 제품을 잘 알수록 이슈 파악이 용이 참여자의 행동을 주의 깊게 살펴보기 열린 마음으로 청취/관찰, 세밀히 주의할 수록 이슈를 쉽게 파악

5.2 유저빌리티 이슈란? 유저빌리티 이슈를 특징짓는 예제 태스크 완료를 방해 예상 방향에서 이탈 혼동 야기 에러 발생 눈에 띄어야 하는데 보이지 않는 것 잘못된 것을 옳다고 여김 완료 안된 태스크를 완료로 간주 잘못된 행동 콘텐츠 일부를 오역 내비게이션 이해 부족 …

유저빌리티 이슈 정의시 고려 사항 긍정적인 이슈 어떻게 쓰일까? 개선사항을 지적하는 이슈가 유용 예, 129쪽 제품 개선을 위해 디자인 프로세스를 반복할 때 개선사항을 지적하는 이슈가 유용 즉, 합리적으로 실행에 옮길 수 있는 이슈 예, 129쪽 “애플리케이션의 멘탈 모델과 사용자 멘탈 모델이 불일치” “많은 참여자들이 상위 레벨 내비게이션 메뉴로 인해 혼란 야기. 다른 섹션으로 자주 이동” 긍정적인 이슈 사용편이성, 효율성, 만족도 등 긍정적인 이슈를 포함 => 발견 결과라고 하기도 계속 유지시키고 강화

실제 이슈 vs. 허위 이슈 문제와 단순 탈선의 구분하여 파악해야 쉽게 파악할 수 있는 ‘간단한’ 이슈 vs. 불명확한 이슈 불명확성 실제 이슈인지 확신 부족한 경우 예, 참여자 10명 중 한 명이 콘텐츠에 대해 혼동 => 대규모 표본에서도 동일한 문제가 일어날 가능성은? 참여자 행동이 논리적으로 타당한지, 일관성 있는지? 아니면, 단지 우연히 발생한 문제로 간주, 특이 사항 사례, 잘못된 링크를 클릭 => 종료 후 이유 질문 단순히 눌렀는지? 타당한 이유로 오인했는지?

5.3 이슈 확인 방법 대면연구 (직접 참여자와 상호작용) 자동화 연구 이슈의 시작지점 종료 지점 think aloud 방법으로 쉽게 확인 가능 감정 변화 및 확신/주저함의 언어 표현, 반응, 비언어 표현의 관찰 자동화 연구 성공, 시간, 사용편이성 평가, 사용자 코멘트 수집 코멘트 분석이 이슈 이해에 도움 : 특정 단어, 패턴 분석 등으로 구체화 이슈의 시작지점 태스크 시작 시점, 의문을 품은 시점, 또는 프로세스 이탈 지점 등 종료 지점 태스크 실패, 다른 이슈가 시작될 경우, 이슈에서 복귀 지점

5.4 심각도 평가(severity rating) “엄격한 평가” => “심각도 평가” 사용자 경험에 기반한 심각도 평가 다섯 단계 5(사소한 에러), 4(거슬리는), 3(보통수준), 2(심각한 문제), 1(파괴적) 세단계 낮음(짜증 및 좌절유도), 중간(태스크 실패 유발), 높음(실패의 직접적 요인) 다양한 요소에서 심각도 평가 사용자 경험(2점), 빈도(2점) => 3단계 심각성 평가(4점) + 발생 빈도(4점) => 2~8 범위 3가지 3점 척도 => 3~9 범위 사용자 경험에 미치는 영향, 발생 빈도, 목표에 미치는 영향 사용자 경험에 적은 영향 많은 영향 소수가 경험 낮은 심각도 중간 심각도 다수가 경험 높은 심각도

심각도 평가 시스템 고려사항 심각도 평가에 대한 경고 일관성 필요 평가 수위의 정확한 의미 전달 한 명 이상의 전문가에게 의뢰 버그 트래킹 시스템의 일부에 속할지는 논쟁 심각도 평가에 대한 경고 완벽하지 않지만 여전히 유용

5.5 이슈 메트릭스 분석과 보고 개별 이슈 빈도분석 참여자에 따른 이슈의 빈도 전체 개수보다 서로 다른 이슈의 개수가 중요 : 디자인 반복에 따라 감소 심각도에 따른 그룹핑 : 높은 심각도에서 많은 감소 있어야 참여자에 따른 이슈의 빈도 참여자당 이슈 개수 디자인 반복시 개별 이슈의 개수 감소가 중요

참여자의 빈도 카테고리에 의한 이슈 태스크에 의한 이슈 특정 이슈를 경험한 참여자 빈도/비율 특정 문제가 해결되는지는 파악 곤란 카테고리에 의한 이슈 유용한 카테고리 (3 ~ 8개 정도) 어떤 부분을 중점적으로 개선할지 파악 태스크에 의한 이슈 태스크 별 이슈의 개수 태스크 별 특정 이슈를 경험한 참여자 빈도

긍정적인 이슈 5.6 일관성 : 생략 5.7 편의(BIAS) => “편향” 유대감 고려하여 필요. 최소 한가지 이상 효과적인 부분 파악, 긍정적 측면은 계속 유지 신뢰도 상승 5.6 일관성 : 생략 5.7 편의(BIAS) => “편향” 편향을 만드는 원인 참여자, 태스크, 평가방법, 제품, 환경, 진행자

5.8 참여자의 수 5명이면 충분 5명으로 불충분 제안 : 조건부로 5명 적용 이슈의 80%가 5명에 관찰 사례: 다양한 제품을 구입하는 사이트에서 처음 5명이 35%의 이슈 발견 제안 : 조건부로 5명 적용 제한된 기능만 평가, 20~30개의 웹페이지, 5~10개의 태스크에 해당 사용자가 잘 정의되어 있고, 참여자가 이를 대표할 때 사용자 그룹이 다르면 각기 5명씩