Percom 2009 Slides by: BongWhan Choe at April 29,2010 (Yeonsei Univ.) uWave: accelerometer-based personalized gesture recognition and its applications Percom 2009 Slides by: BongWhan Choe at April 29,2010 (Yeonsei Univ.)

Background and Motivation Gesture 정의 빈 공간에서 손의 이동하는 것 물리적으로 상호작용 장치를 다루는 것 모든 형태의 물리적 작용을 포함 cf) shaking, tapping 제스쳐 인식의 문제들 표준적이고, 광범위한 “vocabulary”의 정의가 힘들다 사용자 생성 또는 개인화 제스처가 필요함 넓은 범위의 데이터 샘플을 구하기 힒듬 시스템의 자원(전원,성능,하드웨어)의 제한이 높음 Goal : 제한된 자원을 가진 많은 장치에서 제스처 인식을 사용하는 것 DTW의 사용:1개의 샘플만 있으면 인식을 시작할 수 있음 3축가속도 센서:많은 소비자 장치에 이미 보급되어 있음 자원 제한 적인 플랫폼에서 구축함

Related Works Gesture recognition User authentication 주요 연구 분야 : 손의 이동을 탐지 Wii에 내장된 IR camera를 사용해 “필기”형태의 제스처를 인식  비전 기반 방법은 하드웨어 특성상 많은 부하를 발생함 Smart glove를 사용해 손가락의 움직임과 형태를 인식  별도의 장갑을 장착 해야 함 다른 가속도 인식 연구 사용자 독립적인 인식기 LiveMove Pro : 5~10개의 학습 데이터를 사용해 사용자 독립적인 인식을 목표로 함 성능에 대해 발표된 정보가 없음 HMM기반 연구들  많은 학습 데이터를 요구함 템플릿 비교 기반 연구들 Xwand  HMM과 DTW비교 $1 recognizer  2D제스처, 사용자 입력을 학습 데이터로 사용 User authentication 지문, 얼굴, 음성 인식 등 중요한 인증인 경우 3%이내의 오차율을 요구함

“uWave” (1/3) System structure Quantization 입력을 구간에 따라서 정수로 출력 -15~15는 각 구간별로 선형(Linear) 구간으로 분류 -16 16 -15~-11 11 ~ 15 1 ~ 10 -10~ 1 출력 입력 -2g -g g 2g

“uWave” (2/3) Dynamic time warping (DTW) 동적프로그래밍(DP) 기반 거리측정 :

“uWave” (3/3) Template adaptation 최대 2셋의 템플릿을 보관 각 템플릿은 생성날짜를 기억함 갱신 방법(Update scheme) Positive Update 두 템플릿이 모두 잘 맞추고, 1일 이상 지났다면, 오래된 쪽은 입력으로 교체 잘못된 인식이 발생한 경우 사용자의 통지만 필요 Negative Update 오래된 쪽인 잘못 맞출 경우 오래된 쪽을 교체 사용자가 어떤 것이 맞는지 사용자가 입력해줄 필요가 있음

Prototype prototype: Wii remote controller 내장 three-axis accelerometer Analog Device, ADXL330. -3g~3g, noise < 3.5mg, 100 Hz. Bluetooth를 통해 실시간으로 버튼, 가속도 전송 300줄 정도의 C#코드로 윈도우에서 구현 ‘A’버튼을 누를 경우 제스처 시작, 띌 경우 제스처 끝 Speed experiments ( written in C ) 8 gestures 결과 T60 notebook ( Core 2 duo 1.6 GHz) : < 2ms T-Mobile MDA Pocket PC (ARM 195MHz TI OMAP) : < 4ms 16-bit microcontroller in the Rice Orbit sensors: ≓ 300ms

Gesture Vocabulary and Dataset VTT 제스처 셋의 일부 Collecting Wii용 Prototype사용 과정 3주 이내의 7일간 수집 매 수집시 8가지 제스처를 10회씩 반복 총: 4480 샘플, 종류당 560개 샘플

Experiment Test procedure Average confusion matrixes Bootstrapping:통계적인 우위를 보이기 위해 사용. 수집될때 어떤 제스처인지 레이블 되어 있음. i번째 데이터를 템플릿으로 하면, 나머지 데이터를 테스트용으로 사용. i 는 1에서 70 사이의 값 Average confusion matrixes 왼쪽 크고 느린 동작에서 높은 성능 1,2,6,7이 혼동 : 유사동작포함 오른쪽 같은 날 수집한 다른 데이터 사용 다른날 데이터를 사용하는 경우 97%가 88%까지추락 Tradeoff between recognition accuracy and rejection rate Rejection : “unkown”결과를 출력 미리 계산된 임계값(threshold) 사용

Applications 3D Mobile User Interface User Authentication 제스처 기반 탐색 25명의 참가자 5그룹으로 분산 사용성 평가 기억 난이도 재현 난이도

Discussions Gestures and time series of forces Challenge of tilt 제스처 동작에 대한 정의가 사람마다 다름  개인화/적응성 필요. 필기체처럼 사용자 인증용으로 사용 가능함 Challenge of tilt 기울임으로 인해 값이 바뀜  기울임을 알아야 동일한 입력 생성 가능 동작중에는 기울임 구하기 어려움 User-dependent vs. User independent recognition 사용자 비 의존적인 경우 98.4%에서 75.4%로 성능 저하. 공통이 되는 특징을 필요로 함 사용자의 공통 정의가 없으므로 개인 인식기로 충분함 Gesture vocabulary selection 사용자 인증의 경우 제스처 선택의 판단 기준이 달라짐 어떤 제스처가 UI로 유리한지 판단할 수 있어야 함 Improving critical authentication 정확한 보안을 요구하는 경우에는 아직 적합하지 않음

Summary uWave : interaction based on personalized gestures 개인화에 초점 가전 장치에서 단일 3축 가속도 센서를 사용함  사용화 용이 DTW를 중심으로 Quantization을 통해 부하를 줄이고, 노이즈를 감소함 시간에 따른 템플릿 적응으로 외부 변화에 적응함 16비트 마이크로 컨트롤러를 포함한 다양한 장비에 사용가능 Collecting about 4000 data and experiments 최대 98.6%의 정확도를 보임 사용자 의존적 제스처 인식 사용자 독립적 인식 시도 3차원 탐색 인터페이스와 사용자 인증의 응용을 보임