사용자 경험 측정 (Measuring User Experience) 9. Special Topics 숙명여자대학교 임순범

목차 9장. 특수한 주제 9.1 LIVE WEBSITE DATA 9.2 CARD-SORTING DATA 9.1.1 Server Logs 9.1.2 Click-Through Rates 9.1.3 Drop-Off Rates 9.1.4 A/B Tests 9.2 CARD-SORTING DATA 9.2.1 Analyses of Open Card-Sort Data 9.2.2 Analyses of Closed Card-Sort Data 9.2.3 Tree Testing 9.3 ACCESSIBILITY DATA 9.4 RETURN-ON-INVESTMENT DATA 9.5 SIX SIGMA

9.1 실시간 웹사이트 데이터 1) 서버 로그 방문자가 사이트에서 취하는 행동 파악 목적 초기 : 서버로 보내지는 리퀘스트 개수 보다 정확한 계산 방법 : page view, 혹은 visit 기본적인 웹 분석 기준 (Basic web analytics) Visitors : “new visitors” , 웹사이트 방문자 수 Visits : “sessions”, 웹사이트 접근 횟수, 복수 방문 가능 Page views : 개별 페이지 접근 횟수, 페이지 재 로드시에도 하나 증가 Landing page or entrance page : 웹사이트 방문 때 첫 페이지 Exit page : 웹사이트 떠날 때 마지막 페이지 Bounce rate : 웹사이트 방문시 하나의 페이지만 보고 떠나는 비율 Exit rate (for a page) : 웹사이트 떠날 때 마지막 페이지가 되는 비율 Conversion rate : 단순 방문에서 특정 행위를 하는 방문자로 변하는 비율

사례, 예제, 홈페이지 변경 후 (링크에 대한 설명 추가), 페이지 뷰 증가 계절별로 특정 페이지 뷰 숫자에 차이 Search bot 도 사이트 통계에 영향 : 뉴스나 이벤트 영향 예제, 2주간의 페이지 뷰 숫자 paired t-test로 분석

2) 클릭율(click-through rates) 링크의 효율성 측정 노출 대비 클릭한 방문자 비율 웹 광고의 효율성 측정, 어떤 링크에도 적용 가능 사례, 클릭율 차이가 있는지 분석 링크1 클릭율 : 1.4 = 145 / (145 +10289) 링크2 클릭율 : 1.7 = 198 / (198 + 11170) => 차이 있는가? 카이제곱 검정 기대 빈도표 (expected frequency) 기대 빈도 : 164.2 = (343 x 10434) / 21802 178.8 = (343 x 11368) / 21802 CHITEST p=0.037

3) 탈락율(drop-off rates) 사용성 문제 있는 곳 발견 목적 계정 생성, 구입 완료 등 프로세스 완료한 사용자 비율 => 각 페이지 별 탈락율

4) A/B Tests 두 개의 시안 비교 A/B/C tests 무작위로 A, B 할당 같은 시간에 서로 다른 버전 테스트 요령 작은 차이 측정 유의성 검증(significance test): 카이제곱 검정 Be agile 데이터를 신뢰 (특정인 신뢰 말고) A/B/C tests

9.2 카드 소팅 데이터 1980년대부터 두 가지 방법 메인프레임 OS 메뉴 구성 (튤리스, 1985) 최근, 웹사이트 정보구조 결정에 사용 실물 인덱스 카드 사용 => 온라인 가상 카드 사용 다양한 메트릭이 카드 소팅에 적용 가능 두 가지 방법 Open card-sorts : 참여자들 스스로 그룹 생성하며 카드 분류 Closed card-sorts : 참여자들에게 그룹 이름을 주고 카드를 분류

1) 오픈 카드 소팅 예제, 인지거리(perceived distance) 매트릭스 예, 참여자#1 크고 둥근: 사,오,복,토 작다: 딸,포,체,자 재미있다: 바,배 참여자#1 거리 행렬식 전체 거리 매트릭스 (유사성 매트릭스) 여러가지 방법으로 분석 계층적 군집 분석 다차원크기조정(MDS)

계층적 군집 분석(Hierarchical cluster analysis) 트리 다이어그램 작성 카드들이 ‘서로 결합하는‘ 지점 관찰 일찍 결합하는 카드가 더 유사도 높다 여러 알고리즘 가능: 그룹평균 이용 사례 => 장점 카드 구성 방법에 직접적 정보 제공 그룹핑 형성과정 예상 가능 파생된 그룹에 대한 적합도(goodness of fit)검사 참여자#1dml 적합도 7쌍 불일치 : 84% 일치 전체 일치 비율의 평균 => 파생된 그룹의 적합도

두 가지 모두 실행하면 유용 카드가 외톨이(outlier)되는 이유 적정 참여자 수 한 쪽에서 안보이는 것 다른 쪽에서 보일수도 카드가 외톨이(outlier)되는 이유 정말로 다른 그룹과 차이 두 개 이상 그룹에 속할 때 적정 참여자 수 변곡점 위치: 10~20 적정 인원수: 15명 정도

2) 닫힌 카드 소팅 분류 그룹 이름까지 제시 예제 기획안과 실험 결과가 얼마나 일치하는지 확인 각 그룹으로 분류한 참여자 비율 한 그룹으로 분류되는 경우 비율 높고, 여러 그룹에 나누어질때는 차이 적다

9.3 접근성 데이터 Accessibility, 접근성 사례, Neilson 2001 사용자 그룹 : 리딩 SW 사용, 확대 SW 사용, 일반 사용자 4가지 사용성 척도 적용 : 성공율, 시간, 에러, 주관적 평가

Web Accessibility Guideline W3C, Web Contents Accessibility Guideline(WCAG) 3가지 범주 Priority 1: must satisfy 16 checkpoints priority 2: should satisfy 30 checkpoints priority 3: may address 19 checkpoints 페이지 내의 심각도로 분류 페이지당 에러 개수로 분류

9.4 투자 수익률 데이터 ROI (Return On Investment) 예제 사용성 개선과 연관된 비용 확인, 재정적 이익과 비교 예제 두 버전의 웹사이트 비교 10개 태스크 시간, 완료율, 자가기록 등 요약표 단위 시간당 태스크 완료율, 평균 시간, 효율성

ROI 계산 가정 설정 이후 연쇄 추론 증가된 수입계산 사용성 ROI 계산시 문제점 주 거주자 270만명 중 ¼이 최소 한달에 한번 웹사이트 사용 각 사용자가 79초를 절약하면, 매년 5300만초 (14,800시간) 절약 노동비용(주40시간)으로 환산하면 매달 7명의 일 절약 주 거주민의 평균 연봉은 14,700 달러 120만 달러의 연간 이익 증가된 수입계산 새로운 사이트 실패율 5%, 이전 사이트 28% 10만명 사용자가 최소 한달에 한번, 거래당 2달러 서비스 비용 지불 예상 23% 성공율 증가는 매년 55.2만 달러의 추가 이윤 발생 사용성 ROI 계산시 문제점 사용자가 회사 직원일 때 계산 용이 사용자가 고객인 경우 사용성 ROI 계산은 더 어렵다

9.5 Six Sigma