RaspberryPi3 및 Pi camera 3D Printing 출력물과 *[rPi + Pi cam] 병합모듈 제작 1인 가구의 의식불명 상태에 대한 신속한 대처 시스템 신승우 김종현 박흠우 A quick response system to deal with the unconscious of single-person household 연구의 목적 및 필요성 결과 본 연구는 1인 가구 및 독거노인의 응급상황(기절, 졸도, 심정지, 뇌진탕, 뇌졸중 등 신체의 움직임이 제한되는 상황) 발생 시 이를 신속하게 대처하기 위함을 목적으로 합니다. 실시간 영상처리를 통하여 판단한 정보를 기반으로 최종적으로 관계 당국 및 응급센터에 연락 조치를 취합니다. 지난 15년간의 추이를 보면 대한민국 내의 1인 가구는 전 연령층에서 지속적으로 증가하고 있습니다. 혼자 살게 되는 이유는 학업, 직장, 기호 등 다양하지만, 자유로운 생활의 이면엔 ‘응급상황에서의 구급활동’이 남녀를 불문하고 가장 큰 안전상의 어려움으로 조사되었습니다. 하지만 응급상황을 판별하는 대부분의 현 기술은 웨어러블 기기나 센서를 사용하기 때문에 사용자가 일상생활에 불편을 느끼는 경우가 다분하고, 고감도의 생체 신호를 감지하는 기성품은 단가가 매우 높아 1인 가구가 사용하기에는 부담이 있습니다. 이에 따라 본 연구는 저전력, 저단가의 하드웨어 모듈로 사생활 침해를 최소화하여 모든 1인 가구에서 사용할 수 있는 효율적인 응급상황 대처 시스템을 목표로 합니다. 영상처리 모든 모듈에서 영상처리를 통하여 동작을 감지하여 사용자를 추적하는지 확인하였습니다. 사람을 추적하는 방식은 차영상 방식을 사용하였습니다. 사생활 침해를 최소화하기 위하여 100-by-100의 초저해상도 흑백 영상을 사용하기 때문에 머신러닝을 통한 영상처리보다는 차영상 방식이 훨씬 효율적이라고 판단하였습니다. 뿐만 아니라 빛의 변화를 고려한 차영상 방식을 사용함과 동시에 Threshold값의 조절을 통하여 노이즈를 최소화하였습니다. 통신 하나의 모듈을 Main Camera로, 남은 모듈들은 Slave Camera로 지정하였습니다. Slave Cam들은 Socket 통신(TCP/IP)을 이용하여 Main Cam으로 정상작동 여부를 송신하는지 확인하였습니다. 실제로 Main Cam에서 모든 Slave Cam으로 임의의 값을 보내고, 각각의 Slave Cam에서 그 값을 받았으면 Main Cam으로 동작이 정상적으로 되고 있는지를 0과 1의 Binary Data로 보내어 一대多 통신을 확인하였습니다. 판단 알고리즘 실험을 통해서 Main Cam과 Slave Cam에서 받은 동작의 결과값을 기반으로 사람의 위치와 상태, 각 방에서 정지해 있던 시간의 평균화를 제대로 계산하고 판단하는지 확인하였습니다. 이에 더하여 각각의 방마다 사용자의 생활패턴을 총 다섯 단계로 상태로 나뉘어 세밀한 상태 결정을 가능하게 하였습니다. 신고 시스템 실시간으로 사용자의 상태를 파악한 뒤 위험한 상황이라고 인식되면 Selenium(가상 웹 시뮬레이션 라이브러리)을 통하여 119 안전신고센터 페이지에 접속하고 Data Base에 있는 사용자의 정보를 기반으로 실시간으로 신고를 접수합니다. 서버 & 데이터베이스 작성하기 편한 python 서버와 Mongo DataBase를 사용하여 데이터를 저장하고 능동적으로 웹페이지를 갱신하기 위하여 Ajax콜을 이용하여 보여지는 데이터를 갱신합니다. 이를 통하여 웹페이지에서 실시간으로 사용자의 상태를 모니터링 할 수 있습니다. 연구과정 SW HW OpenCV – Python 공부 RaspberryPi3 및 Pi camera 사용법 습득 ▼ ▼ 영상처리 알고리즘 개발 및 보안 ▼ 전체 모듈 제작을 위한 3D Printing 모델링 一대多 소켓(Socket)통신을 이용한 모듈간 데이터 송/수신 확인 Module = RaspberryPi + Pi camera + Battery ▼ ▼ 3D Printing 출력물과 *[rPi + Pi cam] 병합모듈 제작 서버 구축 및 데이터베이스와의 데이터 플로우 확인 ▼ ▼ 웹페이지 구축 및 모듈과의 실시간 연동 구현 실내 모형 제작 및 최종 실험 *rPi = RaspberryPi, Pi cam = Pi camera Data Path Master_Camera Slave_Camera1 난관 및 해결방안 영상처리 (OpenCV) Slave Data 수신 Data Set 판단 알고리즘 & 시간 측정 상태 결정 영상처리 (OpenCV) 모션 판단 알고리즘 동작 결정 Master 송신 Human Detection 카메라를 통해 사람을 추적하는 방식은 크게 두 가지로 Camshift 방식과 차영상 방식이 있습니다. 하지만, 저희 팀에서는 100-by-100 해상도의 영상을 사용하기 때문에 컬러방식의 Camshift를 이용하여 자동으로 분석하기에는 픽셀 수가 부족했습니다. 하지만 사생활침해를 최소화하는 목적에 비중을 두었고 저해상도를 유지하였습니다. 따라서 본 연구는 사람을 보다 쉽게 추적할 수 있도록 차영상 방식 채택한 영상처리를 사용하고 있습니다. 2. 밝기에 따른 영상변화 차영상 방식은 하나의 프레임(Frame)를 기준으로 다른 프레임과 비교하여 두 프레임에서 차이가 나는 부분을 인식하여 사람을 추적하는 방식입니다. 하지만, 차영상 방식에는 빛에 따른 변화를 인식하지 못하는 취약한 단점이 있습니다. 카메라가 밝은 상태에서 어두운 상태를 찍을 때 화면 전체가 기준 프레임과 다르기 때문에 화면 전체를 사람으로 인식하여 사람 추적하게 됩니다. 따라서 본 연구는 현재 프레임 계속 갱신하여 기준값으로 설정하기 때문에 밝기가 달라져도 사람을 추적할 수 있도록 하였습니다. Slave_Camera2 영상처리 (OpenCV) 모션 판단 알고리즘 동작 결정 Master 송신 참고문헌 [1] Prateek Joshi (2017). Python 예제로 배우는 OpenCV. 정성환. 홍릉과학. p155~p174 [2] 주종면 (2013). MongoDB Master가 해설하는 NoSQL&mongoDB. 데이터북 [3] 윤성우 (2010). 윤성우의 열혈 TCP/IP 소켓 프로그래밍. 오렌지미디어 [4] 윤인성 (2016). Node.js 프로그래밍. 한빛미디어 [5] KB 금융그룹 (2017). 한국 1인 가구 보고서. https://www.kbfg.com/kbresearch/mobile/processFileDownloadManager.do?file_name=20170417094527_1.pdf 데이터 업로드 및 웹페이지 출력 데이터 수신 Mongo Database 신고 시스템 동작 지도교수 Server 김석기 교수님 - 고려대학교 공과대학 전기전자공학부