메타몽 (METAMON) - METAmorphosis to MONtage - 트레이너(trainer) : 김민정, 박영준, 임형석, 주예슬

" " 프로젝트 소개 메타몽(METAMON) METAmorphosis to MONtage 메타몽은 그 사람의 얼굴을 그린 테두리 스케치 이미지와 얼굴의 특징을 나타낸 텍스트 정보를 입력하면, 그것을 실제 사진처럼 만들어주는 프로그램이다. ‘ 그 놈 얼굴＇을 찾는 것이 우리 프로젝트의 슬로건!

과연 어떤 방법으로 범죄 검거율을 높일 수 있을까? 프로젝트 배경 범죄 검거율을 높이는 일이 선량한 시민의 삶의 질을 크게 향상시키는 것은 당연한 일이다. 그러나 안타깝게도 최근 20년간 대한민국의 범죄 검거율은 점점 감소하고 있다. 과연 어떤 방법으로 범죄 검거율을 높일 수 있을까? 우리는 이번 프로젝트를 통해서 그림 스케치 이미지를 원하는 특징을 적용하여 실제 사진처럼 만들어 몽타주의 정확도를 높여 범죄 검거율을 높이고자 한다.

프로젝트 추진일정 및 계획 2017.09.01. ~ 2017.09.14. : 팀 결성 2017.09.15. ~ 2017.09.28. : 팀, 프로젝트 이름 및 슬로건 설정 2017.09.26. ~ 2017.09.28. : 프로젝트의 형상 설정, 착수 보고서 작성 2017.09.29. ~ 2017.10.20. : Pix2pix 모델 구현 2017.10.21. ~ 2017.10.26. : 텍스트 처리기 구현 2017.10.27. ~ 2017.10.30. : Pix2pix 모델과 텍스트 처리기 병합 2017.10.31. ~ 2017.11.02. : 한국 정보 과학회 논문 작성 2017.11.03. ~ 2017.11.20. : Pix2pix 모델 파라미터 조정 2017.11.24. ~ 2017.12.06. : Stargan 모델 구현 2017.12.07. ~ 2017.12.10. : Web 구현 2017.12.10. ~ 2017.12.14. : 최종발표 준비

프로젝트 전략 수립 – SWOT 분석

프로젝트 전략 선정 이유 – Gartner Hype Cylce

구성원별 역할 김민정 (PM, coder) 팀장, 이미지 변환 관련 자료조사 및 프로젝트 알고리즘 개발, 발표자료 준비, 문서화 임형석 (coder) 팀원, 데이터 수집 및 preprocession 담당, 이미지 변환 관련 자료조사 및 개발, 위키 정리 박영준 (coder) 팀원, 텍스트 매핑 관련 자료조사 및 텍스트 처리기 개발, 결과 보고서 작성 및 프로젝트 발표 주예슬 (coder) 팀원, 웹페이지 구성을 위한 자료조사 및 개발, 웹페이지와 서버 연동, 발표자료 준비

WBS(Work Breakdown Structure)

성과물 형태 및 사용 툴 METAMON 웹사이트 drag&drop 형식으로 이미지를 업로드 하거나 직접 그림을 그릴 수 있음 save 버튼으로 자신의 컴퓨터에 결과 이미지를 저장할 수 있다.

프로젝트 상세 데이터 Preprocessing 데이터 수집 메타몽 Edge to Image 텍스트 처리 (Metamon) translation 텍스트 처리 Attribute 적용 웹페이지 개발 및 서버 연동

프로젝트 상세 - 데이터 수집 CelebFaces Attributes Dataset(CelebA) 10,177 number of identities 202,599 number of face images 5 landmark location 40 binary atttribute

프로젝트 상세 - 데이터 수집 CelebFaces Attributes Dataset(CelebA) - attribute - 5_o_Clock_Shadow - Arched_Eyebrows - Attractive - Bags_Under_Eyes - Bald - Bangs - Big_Lips - Big_Nose - Black_Hair - Blond_Hair - Blurry - Brown_Hair - Bushy_Eyebrows - Chubby - Double_Chin - Eyeglasses - Goatee - Gray_Hair - Heavy_Makeup - High_Cheekbones - Male - Mouth_Slightly_Open - Mustache - Narrow_Eyes - No_Beard - Oval_Face - Pale_Skin - Pointy_Nose - Receding_Hairline - Rosy_Cheeks - Sideburns - Smiling - Straight_Hair - Wavy_Hair - Wearing_Earrings - Wearing_Hat - Wearing_Lipstick - Wearing_Necklace - Wearing_Necktie - Young

프로젝트 상세 – 데이터 Preprocessing Edge to Image translation을 training하기 위해서는 training data에 대해서 preprocessing을 거쳐야 한다. Edge to Image translation model에서는 들어온 이미지를 반으로 나눠서 한쪽은 Target, 한쪽은 Input으로 사용한다. 그래서 CelebA dataset에 대한 스케치 이미지를 뽑아서 다음과 같이 concatenate한 형태로 바꿔줘야 한다. Target image Input image

프로젝트 상세 – 데이터 Preprocessing Sketch 이미지를 뽑아주는 모델은 UC San Diego에서 제작한 HED(Holistically-Nested Edge Detection)를 이용하였다. 기본적인 Sketch만 남는 ground truth에서 레이어를 여러 개 거쳐 세세한 부분까지 Sketch가 남는 사진까지 다양한 스케치를 뽑을 수 있다.

Glasses , Mustaches Text Mapper 프로젝트 상세 - 텍스트 처리 Eyeglasses 1 Pale Skin -1 . Mustaches 1

Edge to Image translation에는 Pix2Pix 알고리즘을 사용하였다. ㅇㄹㅇㄹ 프로젝트 상세 - Edge to Image Translation Edge to Image translation에는 Pix2Pix 알고리즘을 사용하였다. 이 알고리즘은 generator와 discriminator 두 부분으로 나누어져 있는데, generator는 input image를 target image처럼 만들도록 학습하고, discriminator는 generator가 실제 이미지와 가깝게 만들도록 감시하는 역할을 한다. 참고 문헌 : Isola, P., Zhu, J. Y., Zhou, T., & Efros, A. A. (2016). Image-to-image translation with conditional adversarial networks. arXiv preprint arXiv:1611.07004.

프로젝트 상세 - Edge to Image Translation Generator에서는 다음과 같이 Training을 진행한다. 먼저 input X를 target Y로 만들도록 학습하고, 만들어진 이미지를 다시 input X로 만들도록 학습을 진행한다. 참고 문헌 : Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. arXiv preprint arXiv:1703.10593.

생성된 이미지에 User가 입력한 텍스트 정보를 적용하기 위해서 StarGAN을 이용하였다. 프로젝트 상세 - Attribute 적용 생성된 이미지에 User가 입력한 텍스트 정보를 적용하기 위해서 StarGAN을 이용하였다. StarGAN 에서는 CelebA Dataset에서 주어진 attribute 값을 이용하여 각각의 attribute에 대해서 학습을 진행한다. 사용한 attribute Black / Blond / Brown Hair Gender(Male / Female) Aged(Young/Old) Pale skin Eyeglasses Mustache Bald 참고 문헌 : CHOI, Yunjey, et al. StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation. arXiv preprint arXiv:1711.09020, 2017.

프로젝트 상세 - 웹페이지 개발 및 서버 연동 P5.js 를 사용하여 웹사이트를 디자인 remote-ftp, remote-sync, server-script package를 이용하여 서버 구현 Sftp protocol (보안파일전송 프로토콜-서버가 이미 클러이언트와 인증된 상태에서 파일전송이 진행됨)을 사용

프로젝트 Use case modeling

프로그램 흐름도

프로젝트 결과 DEMO

프로젝트 소감 좋았던 점 : Computer Vision 분야에서 각광받고 있는 연구 분야에 대해서 알아보고 직접 구현해볼 수 있는 소중한 경험이 되었다. 사회에서 활동하고 계시는 선배님에게 직접 연락 드려 조언을 구함으로써, 실전에서는 어떤 모델을 주로 사용하고 어떻게 적용하는 지 알게 되었다. 다양한 관심 분야를 가진 팀원들과 협업을 통해 NLP + Vision + 웹디자인 + DB관리 등 다양한 경험을 해볼 수 있었다. 아쉬웠던 점 : 모델이 무거워서 충분히 모델을 Training을 시키는데 오랜 시간이 걸렸다. StarGAN 모델은 10개 이상의 attribute에 대해서 학습을 시키기 위해서 엄청난 메모리와 GPU를 사용해야 했는데 그러지 못해서 한계점이 있었던 점이 아쉬웠다. Overfitting 되는 것에 대해서 좀 더 연구할 필요가 있다.

프로젝트 정리 및 향후 계획 Now KSC 2017 논문 연구 및 학술 발표 준비 논문 : 텍스트 매핑을 이용한 스케치 기반의 얼굴 이미지 생성

Q & A

Thank You