인터페이스 평가

Contents ThemeGallery is a Design Digital Content & Contents mall developed by Guild Design Inc. 1. Quality of Service 2. 분석적 평가 3. 실증적 평가 www.hansung.ac.kr 인터페이스 평가

Introduction : Quality of Service 1960s: mathematical computation association with computation time World wide web: means graphics, & network congestion effect response time Time is precious Lengthy or unexpected system response time can produce: Frustration Annoyance Eventual anger www.hansung.ac.kr 인터페이스 평가

Introduction Speedy and quickly done work can result in users: learning less reading with lower comprehension making more ill-considered decisions committing more data-entry errors www.hansung.ac.kr 인터페이스 평가

Models of response-time impacts The number of seconds it takes from the moment users initiate an activity until the computer presents results on the display User think time The number of seconds the user thinks before entering the next action www.hansung.ac.kr 인터페이스 평가

www.hansung.ac.kr 인터페이스 평가

Models of response-time impacts Designers of response times and display rates in HCI must consider: complex interaction of technical feasibility cost task complexity user expectations speed of task performance error rates error handling procedures www.hansung.ac.kr 인터페이스 평가

Models of response-time impacts Overall majority of users prefer rapid interactions Lengthy response times (15 seconds) are detrimental to productivity Rapid response times (1 second or less) are preferable, but can increase errors for complex tasks www.hansung.ac.kr 인터페이스 평가

Models of response-time impacts Display Rate Alphanumeric displays The speed in characters per second at which characters appear for the user to read World Wide Web Applications Display rate may be limited by network transmission speed or server performance Reading textual information from a screen a challenging cognitive and perceptual task Users relax when the screen fills instantly beyond a speed where someone may feel compelled to keep up www.hansung.ac.kr 인터페이스 평가

Models of response-time impacts Cognitive human performance would be useful for: making predictions designing systems formulating management policies www.hansung.ac.kr 인터페이스 평가

Models of response-time impacts Limitations of short-term and working memory Any cognitive model must emerge from an understanding of human problem-solving abilities Magic number seven - plus or minus two The average person can rapidly recognize seven chunks of information at a time This information can be held for 15 to 30 seconds in short-term memory Size of the chunks depends on the person' s familiarity with the material www.hansung.ac.kr 인터페이스 평가

Models of response-time impacts Short-term memory and working memory conjunction for processing information & problem solving Short-term memory processes perceptual input Working memory generates and implements solutions People learn to cope with complex problems by developing higher-level concepts using several lower-level concepts brought together into a single chunk Short term and working memory are highly volatile Disruptions cause loss of memory Delays require that memory be refreshed www.hansung.ac.kr 인터페이스 평가

Models of response-time impacts Source of errors Solutions to problems must be recorded to memory or implemented Chance of error increases when solutions are recorded When using an interactive computer system users may formulate plans and have to wait for execution time of each step Unskilled and skilled typists worked more slowly made more errors with longer response times For a given user and task, there is a preferred response time www.hansung.ac.kr 인터페이스 평가

Models of response-time impacts Conditions for optimum problem solving Longer response time causes uneasiness in the user because the penalty for error increases Shorter response time may cause the user to fail to comprehend the presented materials Progress indicators shorten perceived elapsed time and heighten satisfaction: graphical indicators blinking messages numeric seconds left for completion www.hansung.ac.kr 인터페이스 평가

www.hansung.ac.kr 인터페이스 평가

Models of response-time impacts Rapid task performance, low error rates, and high satisfaction can come from: Users have adequate knowledge of the objects and actions necessary for the problem-solving task The solution plan can be carries out without delays Distractions are eliminated User anxiety is low There is feedback about progress toward solution Errors can be avoided or handled easily www.hansung.ac.kr 인터페이스 평가

Models of response-time impacts Other conjectures in choosing the optimum interaction speed Novices may exhibit better performance with slower response time Novices prefer to work at slower speeds With little penalty for an error, users prefer to work more quickly When the task is familiar and easily comprehended, users prefer more rapid action If users have experienced rapid performance previously, they will expect in future situations www.hansung.ac.kr 인터페이스 평가

Expectations and attitudes Related design issues may clarify the question of acceptable response time E.g. how long before hearing a dial-tone Two-second limit (Miller, 1968) appropriate for many tasks But users have adapted a working style and expectation based on responses within a fraction of a second People can detect 8% changes in a 2-4 second response time www.hansung.ac.kr 인터페이스 평가

Expectations and attitudes Response-time choke A system is slowed down when the load is light and potential performance high Makes the response time more uniform over time and across users, avoiding expectations that can’t always be met Response time across web sites varies It effects user interest and quality assessment www.hansung.ac.kr 인터페이스 평가

Expectations and attitudes Three things influence response-time: Previous experiences The individual's tolerance for delays Task complexity www.hansung.ac.kr 인터페이스 평가

www.hansung.ac.kr 인터페이스 평가

User productivity Repetitive tasks Problem solving tasks Nature of the task has a strong influence on whether changes in response time alter user productivity Shorter response time means users responds more quickly, but decisions may not be optimal To reduce response time lead to more productivity Slower response time lead to more accuracy Problem solving tasks Users will adapt their work style to the response time www.hansung.ac.kr 인터페이스 평가

User productivity Summary Users will change their work habits as the response time changes solution was invariant with respect to response time Summary Users pick up the pace of the system to work more quickly with shorter response time Higher throughput of work demands more attention must be paid to minimizing the cost of delay of error recovery www.hansung.ac.kr 인터페이스 평가

Variability To pay substantial amounts of money to reduce the variability in their life Goodman and Spence (1981) Subjects took more advantage of fast response time by making their subsequent commands immediately and balancing the time lost in waiting for slower responses Modest variations in response time 50% of the mean appear to be tolerable Useful to slow down unexpected fast responses www.hansung.ac.kr 인터페이스 평가

www.hansung.ac.kr 인터페이스 평가

Frustrating experiences (Ceaparu et al., 2004) 46% to 53% of users’ time was seen as being wasted Recommendations include improving the quality of service and changes by the user Poor quality of service is more difficult in emerging markets and developing nations User training can help Email a common application, but also a common source of frustration Viruses also a problem www.hansung.ac.kr 인터페이스 평가

Ch. 15 분석적 평가

분석적 평가 방법 실제 사용자를 참여시키지 않고 전문가들이 이미 만들어진 또는 만들어질 시스템 평가하는 방법 예측적 방법 사용자가 이용한다면 어떠한 문제점이 있는가를 평가 평가방법 종류 검사법 리스트 검사법 휴리스틱,, 정규 사용성, 지침평가, 제원, 일관성, 표준 검사법 리허설 검사법 모형법 모형분석법 시뮬레이션 www.hansung.ac.kr 인터페이스 평가

검사법 리스트 검사법 리허설 검사법 정해진 체크리스트에 따라 전문가가 시스템을 평가 평가자가 실제 사용자라고 가정하고 사용자들이 시스템을 사용하는 과정을 마치 리허설처럼 따라하여 문제점을 파악 학습용이성 평가하는 데 유효 www.hansung.ac.kr 인터페이스 평가

휴리스틱 검사법 Heuristic의 정의 휴리스틱 검사법 장점 문제점 정확한 이론적 배경이나 실증적인 근거가 있어서 항상 옳다고 할 수 있는 것은 아니지만, 오래 전부터 사용되어 이미 널리 알려진 일반적인 법칙을 의미 휴리스틱 검사법 시스템 요소들이 이러한 휴리스틱을 얼마나 잘 준수하고 있는가를 사용성 전문가들이 판단하는 방법 장점 상대적으로 저렴한 비용 짧은 시간내에 시스템의 중요한 문제점 파악가능 매우 이른 시점에 사용가능 문제점 구체적이고 계량적 평가 자료 구축의 어려움 전문가와 사용자의 시스템관한 시각의 차이점 평가결과의 유동성 www.hansung.ac.kr 인터페이스 평가

휴리스틱 평가 척도(1) 시스템의 현재 상태를 시각화하여 보여준다. 피드백의 존재 유무 피드백의 명확성 피드백의 즉시성 시스템의 현재 상태를 시각화하여 보여준다. 피드백의 존재 유무 피드백의 명확성 피드백의 즉시성 www.hansung.ac.kr 인터페이스 평가

휴리스틱 평가 척도(2) 현실세계와 부합되도록 시스템을 설계한다. 실세상과의 부합정도 상식적인 논리와 부합정도 사용자의 과업과의 부합정도 예상되는 행위와의 부합정도 www.hansung.ac.kr 인터페이스 평가

휴리스틱 평가 척도(3) 사용자에게 적절한 통제권을 부여한다. 일반적인 주도권 취소가능성 사용자의 자유도 www.hansung.ac.kr 인터페이스 평가

휴리스틱 평가 척도(4) 일관성과 표준성을 높인다. 일관성 있는 이름 일관성 있는 정보 일관성 있는 구조 일관성 있는 표현방법 표준에 부합하는 정도 www.hansung.ac.kr 인터페이스 평가

휴리스틱 평가 척도(5) 사용자의 실수를 미연에 방지할 수 있도록 설계한다. 오류를 범할 확률 낮추기 오류를 범하기 쉬운 것은 보여주기 않기 심각한 오류를 범하기 힘들게 하기 예상되는 입력 보여주기 www.hansung.ac.kr 인터페이스 평가

휴리스틱 평가 척도(6) 사용자가 적은 인지적 노력으로 시스템을 사용할 수 있게 한다. 기억하기 쉽게 하기 명확한 명칭 사용하기 적당한 그룹 표시하기 시각적 계층 구조 명확한 시각적 구분 www.hansung.ac.kr 인터페이스 평가

휴리스틱 평가 척도(7) 사용자가 시스템을 유연하게 사용할 수 있도록 한다. 전문성에 따른 유연한 사용 옵션제공 개인화 신속한 수행방법 제공 자동적인 수행의 제공 www.hansung.ac.kr 인터페이스 평가

휴리스틱 평가 척도(8) 심미적이고 간결한 시스템을 제공한다. 심미성 제공 최소한의 표현 최소한의 입력요구 www.hansung.ac.kr 인터페이스 평가

휴리스틱 평가 척도(9) 에러 발생시 사용자 스스로 문제를 파악하고 수정할 수 있도록 설계한다. 에러발생을 감지하는 단계 에러의 원인을 진단하는 단계 에러를 복구하는 단계 www.hansung.ac.kr 인터페이스 평가

휴리스틱 평가 척도(10) 사용자에게 충분한 도움말을 제공한다. 도움말의 내용 도움말의 표현방법 도움말과 본 시스템간의 전환의 용이성 www.hansung.ac.kr 인터페이스 평가

휴리스틱 검사법의 절차 계획수립 평가자 선정 평가 실시 평가결과 분석 평가결과 보고 개별평가 절차 집단평가 절차 www.hansung.ac.kr 인터페이스 평가

Ch. 16 실증적 평가

실증적 평가의 정의 실제 사용자들이 시스템의 평가를 주도하는 방법 직접적이고 신뢰도가 높은 방법 www.hansung.ac.kr 인터페이스 평가

실증적 평가의 종류 실험실 평가 여러 가지 요인을 적절하게 통제하여 특정 부분을 정밀하게 평가하는 방법 표준, 규제 등과 같은 특정 부분을 평가 과정 평가 사용자들이 시스템을 사용하는 과정에서 어떠한 생각, 어떠한 어려움을 겪었는지를 알아보는 평가방법 발전적 평가: 시스템 수정보완에 목적 온라인게임의 전반적 실행과정을 평가 성과 평가 최종적으로 시스템의 성능을 평가 종합평가 : 성능을 평가하여 그 적절성을 판단하는 인터넷 결재 시스템에서의 과업달성 테스트 www.hansung.ac.kr 인터페이스 평가

실증적 평가의 종류 현장 평가 요인 통제보다는 좀 더 현실성이 높은 평가를 진행하는 방법 다양한 맥락이 사용자에게 어떠한 영향을 미치는가를 평가 Focus-Group Interview 요구사항, 세부적 현상 Contextual Inquiry 실제 사용행태 파악, 문제점 및 요구사항에 대한 통찰 Field Observation 일반화되지 않은 대상을 개발하고자 할 때 www.hansung.ac.kr 인터페이스 평가

사용성 평가법 계획단계 목표설정 비용산출 시간산출 평가팀 구축 사용자 분류 과업분석 시스템 속성 결정 성과수준 결정 효율성, 정확성, 의미성, 유연성,일관성 통제성, 존재가능성, 오류회복성, 대체성, 이해가능성, 반응성, 친숙성 성과수준 결정 현재수준, 최소수준, 적정수준, 최적수준 www.hansung.ac.kr 인터페이스 평가

사용성 평가법 참가자 선발 실험과제 정하기 수집방법 정하기 사용자 특성 파악 평가대상자의 기준 설정 숫자 정하기 참가자 모집하기/관리하기 실험과제 정하기 과제 선정 과제단위 규정 실험 시나리오 작성 수집방법 정하기 설문자료 조서자료 로그자료 추적자료 www.hansung.ac.kr 인터페이스 평가

사용성 평가법 실험자료 준비하기 사전실험 사용성 평가 실행 사용성 평가결과 분석 Script 준비 설문지/시나리오 준비 동의서 준비 실험환경 준비 체크리스트 사전실험 사용성 평가 실행 사용성 평가결과 분석 단축보고서 정식보고서 차트 문제해결책 표 www.hansung.ac.kr 인터페이스 평가

Thank You !