휴리스틱 평가 숙명여자대학교 임순범

교재 인간과 컴퓨터의 상호작용, 김희철 저, 사이텍미디어 14장. 휴리스틱 평가 Human Computer Interaction 개론, 김진우 저, 안그라픽스, 2005 15장. 분석적 평가:전문가들에 의한 평가 Univ. of Washington, James Landay 교수 홈페이지 UI Design 강좌 홈페이지  http://www.cs.washington.edu/education/courses/440/08au/

분석적 평가(Analytical evaluating) 분석적 평가 방법 사용자 중심이 아닌 전문가 중심 예측적(predictive) 평가 평가방법 종류 검사법 (Inspection methods) 이미 정해진 평가 척도에 따라 휴리스틱 검사법, 정규 사용성 검사법, 일관성 검사법, 리허설 검사법 모형법 (Modeling methods) 예상되는 모형을 구축 GOMS, 인지적 과업 분석, 시뮬레이션

Heuristic evaluation 휴리스틱 평가 특징 단점 그리스어 “발견한다”, 이미 널리 알려진 일반적인 설계법칙 휴리스틱 준수 여부를 사용성 전문가들이 판단 시스템 개발이나 평가에 사용, 초기 단계에 유용 특징 비정규적인 평가방법이면서 가장 저렴한 방법 적은 수의 참여자 투입으로 비교적 정확한 결과 제공 단점 구체적이고 계량적인 평가 자료 부족 전문가와 실제 사용자가 시스템을 바라보는 시각 차이 전문가 자질에 따라 평가 결과가 유동적

휴리스틱 평가척도 닐슨의 휴리스틱 : 닐슨(Jacob Nielsen)이 제안 특징 10개의 휴리스틱 척도별 분석방법을 제시 소프트웨어 사용자 인터페이스 평가 목적으로 개념화시킨 방법 휴리스틱을 사용하여 시스템 인터페이스의 문제점 파악 특징 비정규적인 평가방법이면서 가장 저렴 적은 수의 참여자 투입으로 비교적 정확한 결과 제공 단점 평가자가 실제 사용자가 아닌 대행자: “실제 상황은 시뮬레이션과 다르다.” 실제 사용자들은 평가자들이 생각하지 못했던 사용성 문제를 제기할 수도 전문가 자질에 따라 평가 결과가 유동적 그러나 이러한 단점을 상쇄할 만큼의 가치 10개의 휴리스틱 척도별 분석방법을 제시

휴리스틱 평가척도 닐슨의 휴리스틱 닐슨(Jacob Nielsen) 제안 닐슨의 10계명 소프트웨어 사용자 인터페이스 평가 목적으로 개념화시킨 방법 휴리스틱을 사용하여 인터페이스의 문제점 파악 닐슨(Jacob Nielsen) 제안 1990년 몰릭과 함께 개발 (Nielsen and Molich, 1990) 개선된 휴리스틱 집합 제안 (Nielsen, 1994) 닐슨의 10계명 시스템 상태의 시각화 시스템/ 실세계 일치 제어의 자유 일치와 표준 에러 방지 기억보다 인식 융통성과 효율성 간소화 된 디자인 에러인식,진단,복구 도움말과 문서화

1. Visibility of system status 피드백 시스템은 현재의 작업 상태에 대해 사용자에게 적절한 반응을 적시에 제공해야 한다. 시스템의 현재 상태에 대한 피드백을 제공 사용자가 한 작업에 대한 상태를 확인 가능 사용자가 별도의 노력 없이 어떤 대안을 선택 가능 사용자가 집중하는 시간은 짧기 때문에 피드백을 즉시 제공 0.1초: 간단한 작업으로 특별한 표시가 필요 없음 1초: 자주 사용하는 작업으로 ‘찾기’와 같은 작업 10초: 사용자가 기다리는 최대의 시간 그 이상 걸리면 진행 바를 제공

2. Match between system & real world 실 세계와 시스템이 혼돈되지 않도록 제공해야 한다. 시스템은 사용자의 언어로 말해야 한다. 사용자에게 익숙한 단어, 문구, 개념으로 해야 직관적 이해 가능 용어, 문구 뿐 아니라 아이콘, 메뉴, 명령어, 그룹핑, 시각화된 형태 시스템 중심이 아닌 사용자 중심으로 현실 세계의 관례를 따라야 한다. 실제 상황과 일치하는지 평가 일반적인 상식과 일치하는지 평가 사용자의 과업과 일치하는지 평가 실제적으로 행하는 행위와 일치하는지 평가

3. User control & freedom 사용자 주도권 시스템은 사용자가 실수를 해도 언제든지 취소 또는 재실행할 수 있는 방법을 제공해야 한다. 사용자에게 통제권을 주어 자유롭게 시스템을 통제할 수 있도록 다양한 경로를 제공하여 사용자가 논리적 이해가 쉽도록 제시 언제든지 중단할 수 있도록 취소 기능을 용이하게 제공 자주 사용하지 않는 작업에는 쉽게 사용할 수 있도록 설명 제공 예) 설치 마법사

4. Consistency & Standards 일관성 사용자가 혼란스럽지 않도록 시스템이 사용하는 용어나 정보 표현 방법, 인터페이스 등의 일관성을 유지해야 한다. 이름, 용어에 대한 일관성 비밀번호, 패스워드 같이 같은 뜻을 가진 단어의 혼재 지양 표준에 부합하는 정도 각종 정보, 정보의 구조, 정보의 표현에 대한 일관성 같은 버튼이 각 페이지에 다른 위치에 존재 지양 전체적인 분위기가 같도록 제공

5. Error prevention 실수 방지 사용자가 실수할 수 있는 상황을 제거하여 미연에 방지 사용자가 애초에 실수를 하지 않도록 유도 간단한 메시지를 제공하여 사용자의 혼란이나 잘못된 기입을 방지 모호한 메뉴나 명령 등 오류를 범할 수 있는 것은 피하기 심각한 오류는 범하기 힘들게 하기, 미리 경고 예상되는 입력을 미리 제공하여 실수를 방지

6. Recognition rather than recall 직관적/인지적 기억 사용자가 시스템을 이용하는데 직관적이고 인지하기 쉽게 설계 시스템을 이용하는데 암기하지 않고 그냥 보고 사용하도록 함 필요한 정보를 한 곳에 모아 제공하여 기억하기 쉽게 제공 여러 항목을 그룹으로 묶어 명확하게 구분되도록 제공 시각적 계층 구조 명확한 시각적 구분

7. Flexibility and efficiency of use 유연성 시스템에 대한 초보자나 숙련자 모두 유연하게 사용할 수 있게 제공해야 한다. 전문성에 따라 다양한 접근 방법을 제공 메뉴에서의 선택하는 방법과 단축키 제공 자주 사용하는 작업에 대한 묶음 제공 반복되는 작업을 시스템이 자동으로 수행 (ex.매크로 기능) 사용자가 직접 시스템의 여러 가지 사양을 조정할 수 있게 제공

8. Aesthetic & minimalist design 간결한 디자인 상관없는 정보를 배제하여 가능한 심플하고 미학적으로 좋은 디자인을 제공해야 한다. 중요한 사항은 강조하되 중요하지 않은 사항은 과감하게 삭제 시스템은 필수적인 내용만 간단 명료하게 제시 서로 다른 폰트는 3개 이상, 색상은 4개 이상 초과하지 않음 사용자들이 보기 아름답고 조화로운 화면을 제공

9. Help users recognize, diagnose, & recover from errors 오류의 인지 및 회복 문제에 맞닿았을 때 사용자들이 스스로 상황을 인식하고 대처할 수 있도록 문제를 지적하여 올바르게 해결할 수 있게 제공 눈에 잘 띄게 경고 메시지 제공 문제에 대한 자세한 설명을 통해 해결책을 제공 오류 복구가 가능하도록 설계

10. Help and documentation 충분한 도움말 시스템은 도움말, 매뉴얼을 제공하여 사용자가 쉽게 이용할 수 있도록 해야 한다. 사용자의 작업에 초점을 맞추어 제공한다. 너무 방대하게 설명하지 않는다. 도움말에서 쉽게 전환이 되도록 제공한다.

휴리스틱 평가 단계 – 1) 계획 평가 대상의 작업 선정 방법 계획 수립 실제 평가에서 따라 할 시나리오 설정 : 비전문가도 평가 가능 전반적인 목표만 제공하고 평가자가 시나리오 작성 목표나 시나리오 없이 평가자 스스로 시스템 평가 계획 수립 평가자는 누구를? 몇 명? 개별 평가 vs. 그룹 평가? 발견 된 사용성의 문제는 무엇이고, 해결책은? 계획 평가자 결정 실행 결과 분석

2) 평가자 결정 평가자 수 효용 대비 비용을 고려할 때, 적절한 수의 평가자가 필요 평가자 인원 대비 효과 평가자의 능력 효용/비용 비율은 5명 이후 급격히 감소 3~5명 정도가 적절(Nielsen & Landauer, 1993) 평가자 인원 대비 효과 1명: 35% 문제점 검출 5명: 75% 문제점 검출 평가자의 능력 휴리스틱 검사법을 한 제품에 대해 전체 과정을 해본 사람이 바람직 모든 평가자가 사용성 평가의 경험이 풍부한 사람들일 수는 없음 상황에 따라 사용성 비전문가도 OK problems found benefits / cost

3) 평가 실행 평가자는 문제점 목록 작성 평가 실시 평가 방식 각 문제점을 구체적이고 개별적으로 기록 예) 문제점 1 1단계 브리핑 세션 (briefing session) 2단계 평가실행 : 구체적인 문제에 집중 평가 방식 개별 평가 : 각 개인의 평가자가 각각 사용성을 평가하고 정리 그룹 평가 : 하나의 팀으로 구성 평가자는 문제점 목록 작성 각 문제점을 구체적이고 개별적으로 기록 어느 휴리스틱에 저촉되는지 명기, 가능하다면 해결책도 제시 예) 문제점 1 xxx화면에 나오는 3개의 대화창에 각기 다른 서체 사용 (H4) Consistency & Standard 휴리스틱에 저촉 해결책: 전체 인터페이스에서 대화창에 일관된 포맷 사용

4) 결과 분석 Severity Rating (심각도/중요도 점수) 사용성 개선에 필요한 노력을 예측 빈도(frequency), 영향력(impact), 지속성(persistence) 등을 분석 휴리스틱 평가 종료 후 모든 문제점에 독립적으로 점수부여 점수 배점 예 0 : 문제 아님 (don’t agree to be a usability problem) 1 : 단순 외형적 문제 (cosmetic problem) 2 : 사소한 사용성 문제 (minor usability problem) 3 : 중요한 사용성 문제, 가급적 수정 필요 (major usability problem) 4 : 심각한 사용성 침해, 반드시 수정 필요 (usability catastrophe)

결과 정리 및 보고 디브리핑 세션 (debriefing session) 평가 결과에 대한 분석 단계 진행 단계 주의사항 중복된 평가는 줄이고, 비슷한 주제들을 같은 부류로 묶는다. 문제 혹은 주제에 대한 우선순위를 정한다. 발견된 문제에 대해서 가능한 해결책을 제시한다. 개발팀은 수정(fix) 난이도를 배점한다. 예) [H4 Consistency] [Severity 3] [Fix 1] 또는 [H4 일관성] [중요도 3] [난이도 1] 주의사항 평가자들이 함께 모여서 결과에 대해 의논할 수 있으면 매우 좋음 논의할 때, 논쟁, 설명은 하지 말 것