EPS Based Motion Recognition algorithm Comparison

Objective Motion Recognition System for Smart Phone-Based Smart TV Control

Project Issue & Self Evaluation Preprocessing Adaptive Kalmann filter is effective for noise removal, but not much affects on gesture signals. FFT Implementation and Analysis is high in complexity Self-Evaluation Issue 2 Motion detection When implementation of application, real-time motion detection may be more important than recognition. Issue 3 Motion recognition HMM, k-NN shows high performance. Analysis is needed why DTW’s performance is relatively low. 3. Research for new feature extraction is necessary

Preprocessing Adaptive Kalmann Filter Kalmann Filter칼만필터 RMS(Root Mean Square) SMA(Standard Moving Average) Effective noise removal Motion signals sustained EPIC Data IIR Low Pass Filter Preprocessing 60Hz Max. val. Extraction. Motion Detection Adaptive Kalmann Filter Electric Potential extraction Normalization Classifier Training data Results

Performance of Adaptive Kalmann Filter(1/2) Conventional Kalmann Filter Use of overall error-deviation Modified Kalmann Filter Use of current error-deviation Use of RMS + SMA

Performance of Adaptive Kalmann Filter(2/2) Order of RMS + SMA Performance difference according to order Variation rate measurement using standard deviation according to existence of movement Performance is highest when order is 5 Filter의 차수 표준편차 동작 시 표준편차 변위율(%) 1 0.017331 0.119566 589.9 2 0.01888 0.119532 533.1 3 0.013661 0.120251 780.3 4 0.013304 0.119942 801.5 5 0.012969 0.119568 821.9 6 0.024191 0.119974 396.0 7 0.024315 0.1196 391.9 8 0.019216 0.119573 522.2 9 0.014477 0.119517 725.6 10 0.01365 0.119477 775.3

Motion Detection Conventional gesture detection Slope calcuration Detection if signal is over the threshold 시작 지점보다 뒤에서 검출됨. 손동작의 속도에 따라 시작지점이 다름 EPIC Data preprocessing Gesture detection 실제 동작 기울기를 이용한 동작검출 Normaiization Classifier Trained data Results

Motion Detection(2/2) 실 시간 데이터 셋 구성 (무 의미한 동작신호 + 동작 없을 때 신호 + 인식해야 할 동작 신호) 동작신호 vs 무 의미한 동작, 동작 없을 때 신호 훈련 슬라이딩 윈도우 이용해서 윈도우에 포함된 신호를 SVM 을 이용해서 동작 인식

Training PCA Reduce dimension of the detected data to normalized feature by PCA algorithm PCA algorithm is to remove non-critical features in classification EPIC Data 전처리 과정 동작 검출 Nornalization 인식기 학습 데이터 인식 결과

Training 기존 학습 방식 변경된 학습 방식 동작 검출 알고리즘을 이용 버튼입력을 이용 잘못된 동작 삽입 가능성 동작마다 시작지점이 다름 학습 데이터의 신뢰성이 낮음 변경된 학습 방식 버튼입력을 이용 버튼 입력 시, 데이터 입력 동작마다 시작지점이 같음 잘못된 동작이 삽입되지 않음 학습 데이터의 신뢰성을 향상

Motion Scenario(1/2) 동작 종류(스마트 TV) 삼성 LG 소니 활성화 (Calibration) 좌우 반복 이동 모션인식 포인터 트래킹 없음. 선택 주먹쥠 버튼 입력 포인터 (Tracking) 손 Mems sensor 뒤로가기 원이동 왼쪽 이동 줌인/아웃 즐겨찾기 아이콘 선택 V 이동 채널/소리 메뉴

Motion Scenario(2/2) 동작 종류(구글 웹 브라우져) EPIC 센서 동작 종류 동작 종류 구글 활성화 (Calibration) 버튼 입력 왼쪽 이동 뒤로 가기 오른쪽 이동 앞으로 가기 위쪽 이동 페이지 위로 가기 아래쪽 이동 페이지 아래 가기 ㄱ 이동 화면 줌인 역 ㄱ 이동 화면 줌아웃 V 이동 페이지 맨 앞으로 이동 역 V 이동 페이지 맨 뒤으로 이동 C 이동 새로고침 EPIC 센서 동작 종류 왼쪽 이동 오른쪽 이동 위쪽 이동 아래쪽 이동 ㄱ 이동 역 ㄱ 이동 V 이동 역 V 이동 원 이동 역 원 이동

Multiple Recognizer Multiple Classifiers HMM DTW Bayesian K-NN K-NN + DTW K-Means EPIC Data 인식기 Preprocessing First Classifier Motion Detection Second Classifier Nth order Classifier Training Recognizer Results

Performance Enhancement in DTW 동작 1 : 96% 동작 2 : 100% 동작 3 : 100% 동작 4 : 86% 동작 5 : 82% 평균 : 92. 8% DTW의 5가지 제한 방식에 따른 결과 동작 4 : 94% 동작 5 : 92% 평균 : 96.4% r=5 r=10 r=20 기울기 제한 조건에 따른 DTW 매핑의 변화

Performance Enhancement in HMM 3 4 2 Number of State 𝐴 11 𝐴 22 𝐴 33 𝐴 𝑁𝑁 5 1 𝐴 12 𝐴 23 Left to Right Model 𝑺 𝟏 𝑺 𝟐 𝑺 𝟑 … 𝑺 𝑵 6 8 7 Total Travel Distance 𝑫 𝟏 𝑫 𝟐 𝑫 𝟑 … 𝑫 𝒌 상태 1 2 3 … 8 범위 값 r < Thresh Hold -22.5 ~ 22.5 22.5 ~ 67.5 67.5 ~ 112.5 292.5 ~ 337.5 𝐷 𝑘 = 𝑛=10∗ 𝑘−1 +1 10∗ 𝑘−1 +10 𝑥 𝑛 2 + 𝑦 𝑛 2 (Euclidean Distance)

Performance Enhancement in HMM 실험 상태 수 : 10 기호 수 : 10 제스처 수 : 10 관측벡터 : 120 총 훈련 횟수 : 동작당 100회 트레이닝/테스트 : 20 : 80 방향벡터를 이용한 HMM 인식결과 : 61.8% 이동거리를 이용한 HMM 인식결과 : 72.6 상태 및 기호 개수에 따른 성능

Performance Enhancement in HMM 상태 : 150, 기호 : 150개 인식율 : 97.3% 상태 : 200, 기호 : 200개 인식율 : 99.8% 속도 측면을 고려하여 더 많은 연구 필요

DTW Distance Based K-NN Classifier DTW Based k-NN Classifier 1 . K-NN 알고리즘은 기본적으로 벡터간 거리를 계산하기 위해 Euclidian distance 를 사용한다. 2 . EPIC 동작신호는 시계열 신호이기 때문에 Euclidian distance 는 적 합하지 않으므로 DTW 거리 측정방법으로 알고리즘을 수정 하였다 3 . DTW 거리 측정 방법은 Euclidian distance 측정 방법에 비해 계산 속도가 매우 느리고 실제로 실험에서 500개의 훈련 데이터를 사용하 였을 때 1~2 초 의 계산시간이 걸렸다. 4 . 제안한 방법은 각각의 동작 훈련데이터를 K-means 알고리즘을 사 용하여 대표 신호 5개씩 25개의 신호를 훈련 데이터로 사용함으로써 계산 시간을 대폭 줄이고 성능 또한 유지 시켰다. (K-NN algorithm)

Results and Future Goal 적응적 칼만필터 개발 SVM을 이용한 동작 검출기 구현 다중 인식기 구현 DTW 구현 HMM 구현 Bayesian 구현 K-NN 구현 DTW + k-NN 구현 SVM 구현 K-Means 구현 Future Goal FFT의 구현 IIR 필터의 성능 향상 칼만필터의 성능 분서 동작 검출의 구현 특 징 인식기 성능 (5 동작) (10 동작) 원 본 베이지안 분류기 88% 67% PCA（-10%） 94% 71% K-NN(K=3) 100% 91% DTW 84% 86% DTW+KNN(K=3) 89% 92% 원본 HMM 93%

Thank you

연구목표(2/2) … 전처리 과정 EPIC Data 동작 검출 IIR 저역통과필터 정규화 전처리 과정 60Hz 최대값 추출 PCA 동작 검출 칼만필터 전위차 추출 정규화 인식기 1차 인식기 n차 인식기 학습 데이터 … 인식 결과