근거리에서 얼굴 인식 시스템 연구 연세대학교 컴퓨터과학과 변 혜 란

얼굴인식을 위한 전처리 기법및 얼굴 유형정보 조명보정 전처리 기법 - ICR- SHAPE 정보 활용 - 얼굴유형정보 표현- Yonsei Univ.

Face recognition is very difficult problem 얼굴 인식의 어려움 얼굴내적 요인 - 나이, 표정, 머리스타일 등. 얼굴외적 요인 - 조명, 포즈, 배경, 액세서리 등. Face recognition is very difficult problem Yonsei Univ.

얼굴 인식의 해결을 위한 접근법 얼굴정보 최대한 전처리 기법 개발 활용 방안모색 Yonsei Univ. 얼굴 영역 안의Texture 정보 뿐 아니라, Shape 정보 사용 방안 모색 기존의 대부분 방법은 얼굴의 영상패턴 정보만을 활용하고 있다 조명에 따른 영향을 최소화 할 수 있는 전처리 방안 연구 얼굴특징 정보를 잃지 않으면서 효과적으로 그림자 효과를 제거할 수 있는 기법 개발 Yonsei Univ.

조명보정 전처리 기법 Yonsei Univ.

기존연구 Pose 및 Illumination Invariant 한 Feature 추출 : 현실적으로 용이하지 않음 다양한 view를 통한 view-based 학습방법 기반 : 다양한 포즈 및 조명 조건 하에서 촬영한 영상을 학습 샘플로 사용 조명별 영상을 이용한 조명모델 구성 상위 # 개의 고유값을 제거한 특징 사용 조명 영향이 적은 그레디언트 연산 이용 Yonsei Univ.

Multiple Regression Model 에러를 최소화 하는 직선을 찾는 것이 simple regression X Y Error e Yonsei Univ.

ICR (Illumination Compensation based on the MRM) - 조명근사를 위한 선형모델 - 조명 위치에 따른 얼굴영역 안의 밝기 보정 - 인식을 위한 전처리 단계로 사용 Example face clip processed with ICR Yonsei Univ.

ICR center value ADD Yonsei Univ.

ICR v.s Histogram Equalization - segmentation - Original input image Image with ICR Threshold 기법을 이용한 세그멘테이션이 용이해짐 Image with Gamma Correction Image with H.E Threshold 기법을 이용한 세그멘테이션이 더욱 어려워짐 Yonsei Univ.

ICR v.s Histogram Equalization - face clip image - Original input image 왼쪽 조명으로 인해 오른쪽 면이 상대적으로 어두운 영상 Image with ICR 얼굴양쪽이 비교적 고른 명암도를 가짐 Image with H.E 왼쪽과 오른쪽의 명암도 차이가 더욱 심해짐 얼굴양쪽이 비교적 고른 명암도를 가짐 Image with H.E & ICR Yonsei Univ.

얼굴인식 전처리(preprocessing) 과정 x Normalization Eye Marking manually ICR Rotation Scaling Zero-One Normalization Feature Extraction Clipping face region Histogram Equalization Masking Zero-Mean Unit Variance common procedure Yonsei Univ.

Nearest Neighbor Classifier Using PCA The most popular technique in face recognition Ranking the face feature from PCA with L1 or L2 metric Subspace Method (face feature space) Input face Preprocessing & Normalization Face DB EigenFaces Operator NNC Feature Vector of Principal Components Face Recognition Yonsei Univ.

전처리 기법에 따른 인식률 비교 ORL face images 총 40명에 대하여 개인별 10장씩 촬영 흑백영상 - ORL Database - ORL face images 총 40명에 대하여 개인별 10장씩 촬영 흑백영상 표정변화, 포즈변화 포함, 얼굴변화가 매우 큰 데이터베이스 얼굴인식 실험에 널리 쓰임 Yonsei Univ.

전처리 기법에 따른 인식률 비교 Yonsei Univ. Orl : 정규화 수행 하지 않음 HE : 히스토그램 이퀄라이즈 수행 - ORL Database - RANK 1 인식률 비교 ICR 적용 여부에 따라 ICR을 적용하지 않은 경우, 상위 1개의 주성분을 제거하였을 때 인식률 최상 조명에 의한 영향을 줄이 기 위해 상위 n 개의 주성분을 제거하는 기존의 방법론 결과와 일치하는 결과 ICR을 적용한 경우는 최상위 주성분을 포함할 때 인식률 최상 ICR 적용 시 높은 인식률 달성 Orl : 정규화 수행 하지 않음 HE : 히스토그램 이퀄라이즈 수행 ICR : ICR 수행 HE & ICR : 히스트그램 이퀄라이즈 및 ICR 수행 W/O # : 상위 #개의 주성분 값 제거 의미 Yonsei Univ.

전처리 기법에 따른 인식률 비교 Yonsei Univ. - ORL Database - RANK 별 인식률 ICR을 적용하지 않은 경우가 Rank에 무관하게 가장 높은 인식률을 보임 Yonsei Univ.

전처리 기법에 따른 인식률 비교 Yonsei Univ. Database 실험방법 총 200명에 대하여 개인별 1장씩 보유 - Our Database - Database 총 200명에 대하여 개인별 1장씩 보유 졸업앨범 사진 스캔 실험방법 200장을 학습하고, 영상을 좌우로 뒤집어 다시 200장을 테스트함 RANK 별 인식률 ICR을 적용하지 않은 경우가 Rank에 무관하게 가장 높은 인식률을 보임 ORL 데이터와 동일한 결과 Yonsei Univ.

전처리 기법에 따른 인식률 비교 Yale face images 총 15 명에 대하여 개인별 11장씩 촬영 흑백영상 - Yale Database - Yale face images 총 15 명에 대하여 개인별 11장씩 촬영 흑백영상 11가지 다른 촬영 조건의 정면 얼굴 - 중앙조명, 행복, 왼쪽조명, 안경, 무표정, 오른쪽조명, 슬픔, 졸 림, 놀람, 윙크 이중 조명에 대한 45장의 영상을 실험에 사용 - 가운데 조명 학습, 좌우 조명에 대해 테스트 Yonsei Univ.

전처리 기법에 따른 인식률 비교 Yonsei Univ. - Yale Database - RANK 1 인식률 ICR 적용 상위 3개 제거시 가장 높은 인식률 보임 ICR 적용 하지 않음 ICR을 적용한 경우가 그렇지 않은 경우에 비해 월등히 높음 상위 고유벡터 제거 수 Yonsei Univ.

SHAPE 정보 활용 Yonsei Univ.

얼굴모양정보 = 유형정보 = 턱모양 ? Yonsei Univ.

얼굴유형을 위한 턱의 특징점 지정 사람마다 다른 턱 모양을 가지므로 이를 feature로 사용 수작업을 통해 13 개의 특징점 마킹 정규화를 위한 두 눈 point : 2 턱 선 위의 point : 11개 입력된 포인트의 x,y 좌표 값을 이용 Yonsei Univ.

얼굴유형 정보 표현 Yonsei Univ. 1. Distance & Angle 눈 과 턱선 점과의 관계 턱선 점들간의 관계 2. Cubic Spline Approximation Yonsei Univ.

영상 정규화 수작업을 통해 얻어진 눈의 좌표를 이용해 영상을 scaling & rotation 시 정규화 된 좌표 값을 얻는다. Rotation 두 눈의 좌표를 이용하여, 얻은 모든 턱 선 좌표들을 두 눈이 수평일 때의 것으로 변환 Scaling Distance : 두 눈 사이의 거리를 1로 봤을 때를 고려하므로 별도의 scaling 과정 필요 없음 Cubic Spline approximation : Approximation 한 좌표들을 두 눈 사이의 거리를 기준으로 하여 변환 Yonsei Univ.

영상 정규화 예 Rotation only Rotation & Scaling Yonsei Univ.

Distance & angle with eyes 얼굴 유형 표현 방법 1 - with eye - distances angles Distance & angle with eyes Distance 두 눈 사이를 1로 봤을 때의 distance 왼쪽 눈을 기준으로 Left eye – 턱 포인트 사이의 거리 Left eye – 턱 포인트1 와 Left eye – 턱 포인트2 사이의 angle Features : 21개 오른쪽 눈을 기준으로 right eye – 턱 포인트 사이의 거리 right eye – 턱 포인트1 와 right eye – 턱 포인트2 사이의 angle 1 사람 당 42개의 features Feature dimension : 42 Yonsei Univ.

Distance & Angle without eyes 얼굴 유형 표현 방법 1 - without eyes - Distance & Angle without eyes Distance 두 눈 사이를 1로 봤을 때의 distance 턱 선 포인트 i와 턱 선 포인트 i+1 사이의 거리 Features : 10개 Angle 턱선 포인트i와 턱선 포인트 i+1 사이의 각도 1 사람 당 20개의 features Feature dimension : 20 distance angle Yonsei Univ.

Cubic Spline Approximation 얼굴 유형 표현 방법 2 Cubic Spline Approximation 턱 선 좌표(points) 들을 이용하여, 턱 선(line)을 approximation Parameter Uncertainty : 주어진 점에 대해 얼마나 fix 시킬 것인지 Upper bound : discrete weighted mean square distance of the approximation from the data 앞선 approach 와는 달리, rotation & scaling (눈 사이의 거리 50) 정규화 작업 선행 Line으로부터 feature 추출 64 개의 해당 x 좌표에 대한 y좌표 값 0 – 1 사이의 값으로 정규화 Features : 64 dimension Yonsei Univ.

얼굴 유형 표현 방법 2 Uncertainty : 10.0 Upper bound : 1.0 Yonsei Univ.

얼굴 유형 표현 검증 Yonsei Univ. 데이터 디자이너에 의해 그려진 캐리커쳐 영상 - KMEANS CLUSTERING - 데이터 디자이너에 의해 그려진 캐리커쳐 영상 사진영상 보다 턱 선을 정확하게 표현해 줌 8개의 카테고리 남자 유치원생, 초등학생, 중학생, 일반(고등학생 포함) 여자 카테고리 별 클러스터링 K-means clustering 카테고리 별 영상 수를 고려하여, 클러스터 수 조절 Yonsei Univ.

얼굴 유형 표현 검증 Yonsei Univ. Approach2 – cubic spline approximation 남자 중학생 70명, cluster 수 : 7 Cluster 1 Cluster 2 Yonsei Univ.

얼굴 유형 표현 검증 Cluster 3 Cluster 4 Yonsei Univ.

문제점 Yonsei Univ. 얼굴유형을 턱선 위주로 표현하였을 때, 이는 얼굴의 포즈에 매우 민감하므로 정면얼굴에만 유용. 보다 높은 인식 성능을 요구하는 응용에서, 사용자의 호의적인 태도가 보장될 때 사용할 수 있는 정보 Yonsei Univ.