랜덤 포레스트 확률 분포 기반의 바디 파트 인식 및 관절 추정을 통한 향상된 3D 인체 관절 포즈 구현 남상범, 박성언, 한희석, 전현재, 김소망, 김태성* 경희대학교 생체의공학과 Sbnam, supark,hshan,hjjeon1106, smkim0125, tskim@khu.ac.kr 연 구 배 경 그림 2. 랜덤 포레스트의 레이블을 이용한 투표(파란색)와 확률 분포를 이용한 투표(빨간색)의 인식 에러율 비교 영상 정보를 통한 사람의 자세 인식 시스템(Human Pose Recognition System)은 스마트 홈, 스마트 자동차 등의 제스쳐 인터페이스 응용에 대한 연구가 활발히 진행되고 있다 [1]. 기존 연구는 바디 파트 인식 투표(voting) 과정에 랜덤 포레스트(Random Forests) 각 결정 트리의 레이블 결과로 투표하여 최종 바디 파트를 인식하였고, 인식된 바디 파트의 2진 영상을 이용하여 평균이동 알고리즘(Meanshift) 을 통해 3차원 관절을 추정 하였다 [2]. 본 논문에서는 랜덤 포레스트 인식기의 확률 정보를 이용한 최대 우도(Maximum Likelihood) 분류를 통해 최종 바디 파트를 인식하고, 확률 분포에 따른 가중치 영상에 평균 이동 알고리즘을 적용하여 향상된 3차원 관절 휴먼 바디 포즈를 추정할 수 있는 방법을 제안한다. 그림 3. (a) 뎁스 실루엣 영상. (b) 바디 파트 인식 결과. (c),(d) 확률 분포를 사용하지 않은 3차원 관절 모델의 전면과 측면. (e),(f) 확률 분포를 사용한 3차원 관절 모델의 전면과 측면 (e) (c) (a) (f) (d) (b) 연 구 방 법 훈련된 랜덤 포레스트를 통하여 인체 실루엣의 각 바디파트에 대한 확률 분포를 획득할 수 있다. 5개의 결정 트리로 부터 획득한 확률 분포에 최대 우도 분류를 적용하여 최종 바디 파트 인식결과를 투표한다. 투표로 결정된 각 바디 파트에 대한 31개의 확률 분포 영상에 평균 이동 알고리즘을 적용하여 Joint Proposal을 추정 하였다. 그림 1은 본 논문에서 제안하는 방법의 흐름도를 나타낸다. 추정된 Joint Proposal의 결과를 수식 1을 통해 신뢰도를 검증하였다. Nwindow는 평균이동 알고리즘의 탐색 영역 내 실루엣 픽셀 개수를, Pi는 영역 내 픽셀들의 확률을 나타낸다. 신뢰도가 25% 이상인 바디 파트 결과를 선택적으로 사용하여 향상된 최종 3차원 관절 휴먼 바디 포트를 구현하였다.   그림 1. 제안하는 방법의 흐름도 그림 3 (e, f)는 각 바디 파트의 확률로 가중치를 둔 확률 분포 영상 기반의 평균이동 알고리즘 결과를 이용해 추정된 3차원 관절 모델의 전면과 측면을 나타낸다. 사전연구[2]의 검증 단계에서는 두 인접한 관절 간의 레이블 존재 여부만을 통해 포즈의 오류를 검출 하였다. 그림 3 (c)에서 보이는 왼손의 오류는 사전연구[2]의 검증 단계에서 검출 될 수 없으나 확률 분포를 이용한 수식(1)의 신뢰도 재 검증 과정을 통해 검출이 가능 하며, 정확한 자세 추정을 할 수 있다. 결 론 및 토 의 연 구 결 과 랜덤 포레스트로부터 획득한 확률 분포를 통해 바디 파트 인식 결과가 개선됨. 기존의 2진영상을 사용한 3차원 관절 모델 추정결과에서 검출되지 못한 포즈의 오류를 확률 분포로 가중치를 둔 영상을 사용하여 향상된 최종 3차원 휴먼 바디 포즈를 구현 하였다. 인체 실루엣의 바디 파트의 투표과정에서 랜덤 포레스트로부터 획득된 레이블을 이용한 경우와 확률을 이용한 경우에 대해 인식 결과의 에러율을 비교하였다. 그림 2는 무작위로 선택된 50개의 영상에 대해 두 가지 방법을 이용한 바디 파트 인식의 에러율을 나타낸다. 레이블을 이용한 투표 방법의 에러율은 평균 16.8%를 보였다. 확률 분포를 이용한 투표 방법은 평균 13.9%의 에러율을 보였다. 확률 분포를 이용했을 때 평균 2.9%의 에러율이 감소됨을 확인하였다. 그림 3은 향상된 3차원 관절 휴먼 바디 포즈의 예시를 나타낸다. 그림 3(a)는 뎁스 실루엣 영상을, (b)는 투표 결과를 통해 인식된 바디 파트 영상을 보여준다. 두 가지 방법을 이용하여 추정된 3차원 관절 휴먼 바디포즈의 결과 비교를 그림 3 (c-f)에 나타내었다. 그림 3 (c, d)는 각 바디 파트의 레이블로 가중치를 둔 2진 영상 기반의 평균이동 알고리즘의 결과를 보여준다. 참고 문헌 [1] J. Shotton, T. Sharp, A. Kipman, A. Fitzgibbon, M. Finocchio, A. Blake, M. Cook, R. Moore, “Real-Time Human Pose Recognition in Parts from Single Depth Images.” In Communications of the ACM vol 56, 2013, pp. 116-124 [2] 남상범, 전현재, 한희석, 임명준, 김태성,“평균이동 알고리즘을 이용한 뎁스 바디 파트 인식 영상으로부터의 3D 인체 관절 포즈 추정.” 제47회 대한의용생체공학회 춘계학술대회, pp. 385-386. Contact Information SANGBEOM NAM: E-mail: sbnam@khu.ac.kr