8장. 특징 추출 오일석, 패턴인식, 교보문고, 2008. © 오일석, 전북대학교 컴퓨터공학.

Presentation on theme: "8장. 특징 추출 오일석, 패턴인식, 교보문고, 2008. © 오일석, 전북대학교 컴퓨터공학."— Presentation transcript:

1 8장. 특징 추출 오일석, 패턴인식, 교보문고, 2008. © 오일석, 전북대학교 컴퓨터공학

2 들어가는 말 특징 추출의 예 특징 추출 특징의 우수성 기준 방법 1: 화소 각각을 특징으로 삼음 필기 숫자 인식
분별력 차원 방법 1: 화소 각각을 특징으로 삼음 64 차원 특징 벡터 x=(0,0,0,0,1,1,0,0,0,0,0,1,…,1,1,0)T 크기 정규화 이진화 특징 추출 방법 2: 가로 이등분과 세로 이등분하여 검은 화소의 개수 비율을 특징으로 삼음 또 다른 방법으로는?

3 8.1.1 실제 세계의 다양성 특징 생성 특징 생성 과정은 매우 다양 외부의 물리적 패턴을 특징 벡터라는 수학적 표현으로 변환
특징 추출은 외부 환경에 맞게 설계해야 하기 때문 숫자와 한글은 다른 특징 필요할 수 있음 한글도 통째로 인식하는 방법과 자소로 분할한 후 인식하는 방법이 다른 특징 필요할 수 있음 정면 얼굴로 국한하는 하는 경우와 제약이 없는 얼굴 인식의 특징은 다를 수 있음

4 8.1.2 특징 추출과 특징 선택 센싱으로 얻은 신호의 다양성 특징 추출과 특징 선택 다양한 상황 영상 시간성 신호 측정 벡터

5 8.2 영역에서 특징 추출 영역의 표현

6 8.2.1 모양에 관련한 특징 모멘트와 중심 모멘트 여러 가지 특징들 불변 특성 이동 불변, 크기 불변, 회전 불변

7 8.2.1 모양에 관련한 특징 예제 8.1 모양 특징의 추출

8 8.2.2 투영과 프로파일 특징 투영 특징 N+M 차원의 특징 벡터를 얻게 됨 분별력은? 예제 8.2

9 8.2.2 투영과 프로파일 특징 프로파일 특징 2(N+M) 차원의 특징 벡터를 얻게 됨 예제 8.3

10 8.3 변환을 이용한 특징 파형 신호에서 특징 추출 예) 지진파, 기계 진동파, 수중파, 음파, 재정 자립도 추이 곡선, 주식 곡선 등 파형에서 어떻게 특징을 추출할 것인가? 파형은 기저 함수의 선형 결합으로 표현 가능 선형 결합의 계수를 특징으로 취함. 계수를 어떻게 구할 것인가? 신호 s1의 특징 벡터=(0.5,1.5)T 신호 s2의 특징 벡터=(1.5,0.5)T

11 8.3.1 퓨리에 변환 이산 퓨리에 변환 예제 8.4 이산 퓨리에 변환
신호를s=(s(0),s(1),…,s(n-1))T로 표현할 때, 퓨리에 변환 f(u)는 시간 공간을 주파수 공간으로 바꾸어 준다. 예제 8.4 이산 퓨리에 변환 s=(1.7,0.6,1.5,1.2)T

12 8.3.1 퓨리에 변환 퓨리에 특징 파워 스펙트럼의 값을 특징으로 취함 예제 8.5 퓨리에 특징

13 8.3.1 퓨리에 변환 퓨리에 특징 추출 알고리즘 2 차원 퓨리에 변환
d 개의 특징을 추출하고자 하면 p(0), p(1), …, p(d-1)을 취한다. 왜냐하면 u가 커질수록 p(u)는 급속도로 작아지므로 2 차원 퓨리에 변환

14 8.3.2 퓨리에 기술자 퓨리에 기술자 n*n 영상에 퓨리에 변환 적용하여 특징 추출
영역 경계 상의 점을 복소수로 표현한 뒤에 2 차원 퓨리에 변환 적용

15

16 8.5 주성분 분석 주성분 분석principal component analysis
훈련 집합을 이용하여 매개 변수를 추정하고 그것을 이용하여 특징 추출함 정보 손실을 최소화하는 조건에서 차원 축소 Karhunen-Loeve (KL) 변환 또는 Hotelling 변환이라고도 부름

17 8.5.1 동기 주성분 분석의 동기 U는 ‘정보 손실을 최소화하며’ 신호 s를 보다 낮은 차원의 특징 벡터 x로 변환 (d<D) 변환 행렬 U는 d*D 행렬 (신호 s는 D 차원, 특징 벡터 x는 d 차원) 두가지 문제 차원 축소를 어떻게 표현할 것인가? 정보 손실을 어떻게 수량화할 것인가?

18 8.5.1 동기 차원 축소의 표현 D 차원 단위 벡터 u 축으로의 투영

19 8.5.1 동기 정보 손실의 공식화 이러한 아이디어에 따라 문제를 공식화 하면, 원래 훈련 집합이 가진 정보란 무엇일까?
샘플들 간의 거리, 그들 간의 상대적인 위치 등 그림 8.13의 세 가지 축 중에 어느 것이 정보 손실이 가장 적은가? PCA는 샘플들이 원래 공간에 ‘퍼져있는 정도를’ 변환된 공간에서 얼마나 잘 유지하느냐를 척도로 삼음 이 척도는 변환된 공간에서 샘플들의 분산으로 측정함 이러한 아이디어에 따라 문제를 공식화 하면,

20 8.5.1 동기 예제 8.6 변환 공간에서의 분산 분산 1.0 분산 더 좋은 축이 있나?

21 8.5.2 알고리즘과 응용 최적의 축을 찾아 보자. 문제를 다시 쓰면, 투영된 점의 평균과 분산
uTu=1이라는 조건을 만족하는 조건부 최적화 문제로 다시 쓰면, L은 라그랑제 함수, λ는 라그랑제 승수

22 8.5.2 알고리즘과 응용 미분하고 수식 정리하면, 0으로 놓고 풀면, (8.33)을 해석하면,
훈련 집합의 공분산 행렬 Σ를 구하고, 그것의 고유 벡터를 구하면 그것이 바로 최대 분산을 갖는 u가 됨

23 8.5.2 알고리즘과 응용 예제 8.7 최대 분산을 갖는 축 훈련 집합 공분산 행렬 고유 벡터 이들의 분산은 1.7688
그림 8.13과 비교해 보자.

24 8.5.2 알고리즘과 응용 변환 행렬 실제 변환은, (8.33)을 풀면 D 개의 고유 벡터. 고유값이 큰 것일수록 중요도가 큼
따라서 D 차원을 d 차원으로 줄인다면 고유값이 큰 순으로 d 개의 고유 벡터를 취함. 이들을 주성분이라 부르고 u1, u2, …, ud로 표기함 변환 행렬 U는, 실제 변환은,

25 8.5.2 알고리즘과 응용 알고리즘 응용 특징 추출 (예, 얼굴 인식) 차원 축소 데이터 압축 데이터 시각화

26 8.5.3 사례 연구: 고유 얼굴 고유 얼굴 분류기 학습과 인식 단계 1990년대 초 Turk와 Pentland가 제안
얼굴 인식에서 가장 널리 쓰이는 방법 중의 하나 분류기 학습과 인식 단계 변환 행렬 U를 구성하는 고유 벡터 ui를 고유 얼굴이라 부름

27 8.6 Fisher의 선형 분별 Fisher의 선형 분별 원리 특징 추출이 아니라 분류기 설계에 해당
하지만 PCA와 원리가 비슷하여 8장에 배치함 PCA와 Fisher LD는 목표가 다름 PCA는 정보 손실 최소화 (샘플의 부류 정보 사용 안함) Fisher LD는 분별력을 최대화 (샘플의 부류 정보 사용함) 원리 축으로의 투영 세 개의 축 중에 어느 것이 분별력 관점에서 가장 유리한가?

28 8.6 Fisher의 선형 분별 문제 공식화 기본 아이디어 유리한 정도를 어떻게 수식화할까?
가장 유리한 축 (즉 최적의 축)을 어떻게 찾을 것인가? 기본 아이디어 “같은 부류의 샘플은 모여있고 다른 부류의 샘플은 멀리 떨어져 있을수록 유리하다.” 부류간 퍼짐between-class scatter 부류내 퍼짐within-class scatter

29 8.6 Fisher의 선형 분별 목적 함수 J(w) 분자와 분모를 다시 쓰면, J(w)를 최대화하는 w를 찾아라. 분모 분자

30 8.6 Fisher의 선형 분별 목적 함수를 다시 쓰면, 으로 두고 풀면, (8.49)를 정리하면,
결국 답은 (즉 구하고자 한 최적의 축은),

31 8.6 Fisher의 선형 분별 예제 8.8 Fisher의 선형 분별 이것이 최적의 축이다. 그림 8.15와 비교해 보자.

32

33 8.7 실용적 관점 특징 추출은 패턴인식 과정에서 휴리스틱한 경험과 실험에 따른 시행 착오가 가장 많이 필요한 단계
외부 환경에 영향을 가장 많이 받기 때문 여기서 소개하는 몇가지 실용적 방법이 도움이 됨 특징이 만족스러운 성능을 보이지 못하면? 특징이 거리 개념을 가지지 않으면? 특징마다 동적 범위가 크게 다르면? 손실 특징은?

34 8.7.1 특징 결합 특징의 분별력 한계 특징이 만족스럽지 않다면, 특징이 가지는 정보 그림 8.17은 필기 숫자 예
그래도 만족스럽다면 그것으로 특징 설계 완료 특징이 만족스럽지 않다면, 버리고 다른 특징을 채택 또는 기존 특징에 새로운 특징을 추가하는 특징 결합 특징이 가지는 정보 전역 정보 예) 검은 화소 비율 지역 정보 예) 프로파일

35 8.7.2 특징 전처리 거리 개념이 없는 특징의 변환 특징 값의 정규화
예) 혈액형을 나타내는 특징 x∈{A, B, O, AB} 거리 개념이 없는 특징 xi가 n 개의 값을 갖는다면 xi 를 xi1, xi2,…, xin으로 확장 xi1, xi2,…, xin 중 하나만 1을 가지고 나머지는 0 특징 값의 정규화 선형 변환 통계에 의한 변환 (평균은 0, 표준 편차는 1을 가지도록 정규화)

36 8.7.2 특징 전처리 예제 8.9 특징 정규화 사람을 키 (m 단위)와 몸무게 (kg 단위)의 두 개 특징으로 표현
거리 계산에 따르면 a는 b보다 c에 가깝다. 몸무게의 동적 범위가 커서 거리 계산을 주도하기 때문 (8.51)의 정규화 식을 유도하면, 정규화하고 거리를 계산해 보면,

37 8.7.2 특징 전처리 손실 특징의 보충 실제 의료나 고객 관리 등의 응용에서 발생하는 데이터가 손실 특징을 많이 가짐
예) 어떤 학생이 월 수입 미기재 방법 훈련 집합이 충분히 큰 경우 손실 특징을 가진 샘플 제거 또는 다른 샘플로 평균을 구하여 손실 샘플에 채움 또다른 여러 방법들