KINECT DEVLOPMENT USING BIOMETRICS

index 1 2 3 4 5 6 What is Kinect? Why Kinect? How Does it work? 키넥트란? 왜 키넥트를 선택했는가 키넥트의 메커니즘 4 5 6 Applications Biometrics in Kinect Our Suggestions 응용분야 키넥트 속의 바이오 메트릭스 개발 제안

1 What is Kinect? 키넥트가 뭐길래?

KINECT 키넥트는 2010년 11년 발매된 마이크로소프트사의 엑스박스360용 음성,동작인식 하드웨어다 PowerPoint 2013 visual and graphical PowerPoint 2013 is a visual and graphical application, primarily With PowerPoint, you can create, view, and present slide shows

KINECT 2009년 '프로젝트 나탈' 이라는 프로젝트로 처음 대중에게 소개됐으며 이후 2010년 정식 발매하게 된다

KINECT 키넥트는 2개의 IR센서로 사람을 인식, 동작을 감지하여 사용자의 동작으로 게임을 즐길 수 있도록 제작 되었다

KINECT 2013년 E3에서 엑스박스 원과 함께 신형 업그레이드 버젼인 키넥트 V2가 공개 되었다.

KINECT 키넥트V2는 개선된 화질, 심도취득 범위와 인물 검출 범위등 향상된 감지능력을 제공한다.

2 Why Kinect? 그럼 키넥트를 써야하는 이유는?

KINECT Skeletal Tracking Reliability Depth detection Development Reasons Using Kinect Skeletal Tracking Reliability 스켈레톤 트래킹으로 인간 뼈대를 추적 가능 배포,구입이 용이하고 안정성이 높은 플랫폼 Depth detection Development IR 센서를 이용한 심도 측정이 가능함. MS사에서 제공하는 SDK로 개발에 용이함

3 How does it work? 키넥트의 메커니즘

KINECT 키넥트는 IR 프로젝터와 IR 심도센서, RGB 카메라와 4개의 마이크로 구성돼있다.

KINECT IR 프로젝터는 IR레이져를 사방으로 쏘고 IR 센서로 심도값을 받아 특성을 분석하고 스켈레톤 트랙킹을 제공한다. https://www.youtube.com/watch?v=dTKlNGSH9Po

KINECT IR 카메라의 좌표값들을 받아 시각화 시키고 좌표값들을 가공한다. 적외선의 난반사가 적게 일어나 수광센서로 레이저가 돌아오지 못하는 경우에 적외선 패턴을 감지할 수 없기 때문에 검출되지 않은 위치에 대한 값은 깊이 영상에서 홀(hole)의 형태로 나타난다. 또한 깊이 정보의 불연속점과 적외선 송출부가 수직일 경우에는 객체 경계 주변에 홀이 발생한다. 따라서 각각의 깊이 영상을 동영상으로 연속 재생 할 경우 경계 주변의 흔들림 현상을 확인할 수 있으며 가상 시점 영상을 생성하기 위해서 안티 앨리어싱 기법을 사용한다.

KINECT 키넥트를 심도를 기반으로 주변 환경 픽셀들을 제거하고 스켈레톤 트랙킹 제공

4 Applications 응용분야

APPLICATIONS 엔터테인먼트 의료 교육 키넥트 카메라/기술 적용 사례 엔터테인먼트용 기기인 만큼, 키넥트는 여러가지 엔터테인먼트 기능들을 제공한다. 환자의 동작을 인식해 재활치료 용도로 사용이 가능하다 동작 인식을 이용, VR과 함께 간접경험 시뮬레이션으로 이용 엔터테인먼트 의료 교육

ENTERTAINMENT 콘솔 게임 기기인 XBOX 전용으로 출시한 기계답게 보편적으로 키넥트는 게임이나 엔터테인먼트를 위한 기계로 사용되고 있다.

응용되고 있으며 그 종류는 FPS, 댄스, 스포츠등 ENTERTAINMENT 키넥트는 여러가지 게임에 응용되고 있으며 그 종류는 FPS, 댄스, 스포츠등 다양한 장르의 게임이 플레이 가능하다.

키넥트를 이용해 손을 대거나 버튼을 조작하지 않고도 MEDICAL 세인트 토마스 병원에서는 키넥트를 이용해 손을 대거나 버튼을 조작하지 않고도 수술 도중 환자의 환자를 볼 수 있도록 도와준다 https://www.youtube.com/watch?v=f5Ep3oqicVU

MEDICAL BenGlocker 라는 개발자는 키넥트를 통해 MRI 나 CAT 과 연동하여 환자의 뇌종양과 중요 혈관들의 위치를 알려주는 프로그램을 개발했다. https://www.youtube.com/watch?v=MvP4cHfUD5g

MEDICAL 2016년 분당 서울대 병원은 키넥트 센서를 사용한 뇌졸증 환자 재활 평가 시스템을 개발했다. 연구팀은 뇌졸중 환자의 동작 정보(kinematic data)를 데이터화한 후 상지기능평가도구인 퓨글 마이어 평가점수(FMA score, 뇌졸중 환자의 기능 회복정도를 양적으로 평가)에 얼마나 정확한 값을 도출하는지 임상적 유용성을 확인했다. 연구 결과 키넥트를 이용한 동작분석 데이터와 기능평가에 대한 결과는 FMA score의 각 항목에 대해 70~90%의 높은 정확도를 보였다. 특히 키넥트를 통한 동작기능평가 점수와 운동치료사가 환자의 동작기능을 직접 평가한 FMA score 총점간의 상관계수가 0.873으로 높은 상관도를 확인할 수 있었다. https://www.youtube.com/watch?v=Huk7DC7-8mk

EDUCATION 나사는 오큘러스 리프트와 키넥트를 활용하여 로봇을 제어하는 방법을 훈련시키는 교육방법을 택했다 https://www.youtube.com/watch?v=pqNC72fgetc

5 Biometrics in Kinect 키넥트 시스템의 바이오메트릭스

BIOMETRICS 3D 심도를 측정하여 사용자의 얼굴을 인식할 수 있음

BIOMETRICS 아래와 같이 사용자의 얼굴을 점으로 인식하여 IR점의 xyz 값을 계산하여 사용자의 얼굴을 인식한다.

BIOMETRICS 스켈레톤 트랙킹을 응용, 뼈대의 길이 값을 인식하여 사용자 구분 가능

6 Our suggestions 개발 제안

키넥트 고유의 특성을 이용 + 얼굴인식 뼈대 인식 얼굴 인식과 뼈대 인식에 기반한 보안 프로그램

MS 개발자 API 이용 + 얼굴인식 API openCV 얼굴인식 프로그램 제작

+ openCV 얼굴인식 API MS 개발자 Toolkit 이용 자체 구별 프로그램 스켈레톤 인식 Toolkit 뼈대 구별 프로그램 제작

THANKS