WSOM: Building Adaptive Wavelets with Self-Organizing Maps

Presentation on theme: "WSOM: Building Adaptive Wavelets with Self-Organizing Maps"— Presentation transcript:

1 WSOM: Building Adaptive Wavelets with Self-Organizing Maps
Marcos M. Campos, Gail A. Carpenter, 1998 IEEE 박용민

2 2. WSOM: Wavelet Self-Organizing Map 3. Simulations 4. Conclusion
Contents 1. Introduction 2. WSOM: Wavelet Self-Organizing Map 3. Simulations 4. Conclusion

3 DWT (Discrete Wavelet Transform)
1. Introduction Wavelets 신호나 이미지, 함수 등의 표현을 위한 경제적인 framework 제공. DWT (Discrete Wavelet Transform) General-purpose bases를 사용, 많은 다른 형태의 function의 표현이 가능함.

4 Hybrid Methods 1. Introduction
특정 문제에 적합한 bases를 선택하기 위해 신경회로망과 wavelet을 합성. 장점 Hybrid approach는 특정한 문제에 적합한 adaptive wavelets을 생성. 단점 Orthogonal bases같은 중요한 DWT의 feature들이 결여됨. 3개 이상의 input components를 가진 문제에 대한 wavelet base를 구성하는 쉬운 방식을 제공하지 않음.

5 WSOM (Wavelet Self-Organizing Map)
1. Introduction WSOM (Wavelet Self-Organizing Map) 규칙적이지 않는 data를 estimate하는 함수를 찾는 application에서 만약 data의 분류로부터 information을 추출한다면 경우에 따라 더 좋은 성능을 얻을 수도 있음. Information – To help specify the wavelet basis. 입력 데이터의 분류에 적합한 wavelet bases 생성을 위한 신경회로망. 규칙적이지 않게 분포된 input data에 적합함. 1D function approximation problem A speaker independent vowel recognition

6 2. WSOM: Wavelet Self-Organizing Map
SOM (Self-Organizing Map) Input layer와 Competitive layer로 이루어짐. Competitive layer는 M * M의 grid. Input layer와 Competitive layer는 fully connected.

7 2. WSOM: Wavelet Self-Organizing Map
SOM (Self-Organizing Map) 주어진 입력 패턴에 대한 정확한 해답을 가르쳐 주지 않고 자기 스스로 학습. 입력을 받아 단 하나의 승자 unit을 찾기 위해 경쟁. 결국 특징들이 비슷한들 끼리 뭉침 – Clustering 연결강도 벡터와 입력벡터는 0 ~ 1의 정규화된 값. 승자는 거리가 최소인 출력 뉴런이 됨. 네트워크의 크기가 충분히 커야 통계적인 모델의 정확도를 높여 완전한 결과를 기대할 수 있음.

8 2. WSOM: Wavelet Self-Organizing Map
SOM (Self-Organizing Map) 1 3 2 0.7 0.3 0.9 0.1 0.5

9 2. WSOM: Wavelet Self-Organizing Map
A four-layer feed-forward network.

10 2. WSOM: Wavelet Self-Organizing Map
A four-layer feed-forward network. Input A가 SOM의 competitive learning algorithm에 따라 N-node grid에 mapping 됨. N * N weight matrix D = (djs)가 SOM layer에서 Wavelet layer로 mapping 됨. 비 적응적인 D의 element들을 Wavelet layer의 각 node와 Discrete wavelet function과 연계해 encoding함. SOM nodes가 충분히 활성화 되었다면, 각 wavelet unit의 activation 를 주어진 scale의 input space의 piecewise-constant function으로 나타냄. Input space가 1D라면 wavelet unit의 수는 = N, 그리고 는 scales의 개수 WSOM으로 생성된 Basis function은 Orthogonality를 포함한 전통적인 DWT의 많은 특성들을 포함.

11 2. WSOM: Wavelet Self-Organizing Map
는 wavelet 계수로 encoding 됨. (이 weight들은 inverse DWT를 통해 구할 수 있음).

12 2. WSOM: Wavelet Self-Organizing Map
<variables and parameters>

13 2. WSOM: Wavelet Self-Organizing Map

14 3. Simulations Vowel Recognition WSOM의 성능을 7가지의 다른 모델들과 비교. 실험조건
15 speakers, 7 female, 8male Steady-state English, Spoken once. The speech signals were low-pass filter at 4.7kHz, 12bits with a 10 kHz sampling rate. Giving a 10-dimensional input space. WSOM was trained 70 epochs The simulations used

15 3. Simulations Vowel Recognition
This example은 WSOM이 1D wavelet으로 high-dimensional wavelet basis를 구성하는 것이 가능함을 보여줌.

16 WSOM (Wavelet Self-Organizing Map)
4. Conclusion WSOM (Wavelet Self-Organizing Map) 규칙적이지 않게 분포된 데이터의 적응 가능적인 Wavelet을 구축하기 위한 신경회로망 모델. 낮은 차원의 component로부터 높은 차원의 wavelet base를 구축. Contribution On-line 구현과 data를 visualization하는 능력이 탁월함. SOM을 이용해 input space로부터 regular grid로의 coordinate 변환의 구현이 가능해짐. Wavelet basis function이 coordinate system으로 새로운 정의가 가능해짐.