인공 신경망의 종류 Hopfield Self-Organizing Map Perceptron

Presentation on theme: "인공 신경망의 종류 Hopfield Self-Organizing Map Perceptron"— Presentation transcript:

1 인공 신경망의 종류 Hopfield Self-Organizing Map Perceptron
Multilayer Perceptron Boltman machine 등

2 퍼셉트론(Perceptron): 가장 간단한 신경망
1957년 Rosenblatt가 제안한 모델로써, 생물의 신경 전달 조직인 시냅스를 수학적으로 모델링한 신경망의 초기 형태 현재의 패턴 인식, 신경 전달 과정의 구조적 이론 등에 많은 영향을 주었다.

3 퍼셉트론(Perceptron): 가장 간단한 신경망
뉴런neuron 가중치weight 활성화 함수activation function

4 임계치를 반영한 활성화 함수

5 퍼셉트론의 동작 방식 예시 입력 벡터 x = [1 2], 웨이트 w = [1 1], 임계치(T)가 2

6 퍼셉트론의 간단한 응용 논리 회로logic circuits에서 사용하는 AND 게이트

7 퍼셉트론의 원리 및 의미: 선형 분리 linearly separable 함수
x1w1 + x2w2-T > 0 x1=x, x2=y, w1=a, w2=b, -T=c라고 바꾸면 ax + by + c > 0

8 XOR 문제

9 퍼셉트론 학습 방법 인공 신경망의 학습은 웨이트의 학습 퍼셉트론의 웨이트를 어떻게 설정할 수 있을까?
어떻게 웨이트 벡터를 설정할 수 있을까? 1957년 Rosenblatt가 제안한 방법 초 기 웨이트는 임의의 값 목표치와 퍼셉트론의 실제 출력의 차이 즉, 오차를 반복적인 웨이트 수정에 반영 퍼셉트론의 웨이트 학습은 각 입력에 대한 신경망의 출력값의 오류를 최소화하는 것을 목표

10 퍼셉트론 학습 방법 신경망의 출력값: y = w ∙ x 목표 출력값: d 오차: r = d - y
학습률(learning rate): α 학습 반복 횟수: t 샘플의 개수: s

11 활성화 함수 시그모이드sigmoid 함수

12 다층 퍼셉트론(Multi-Layer Perceptron: MLP)
1969년에 Minsky와 Papert의 퍼셉트론의 선형 분기성에 대한 단점 제기 신경 망의 연구는 암흑기를 맞게 된다. 퍼셉트론은 기본적으로 문제 공간의 선형 분리만 가능하기 때문에, XOR 문제와 같은 비선형non-linear 분리를 위해서는 지금부터 소 개될 다층 퍼셉트론Multi-Layer Perceptron을 사용한다.

13 다층 퍼셉트론 예

14 다층 퍼셉트론의 개념

15 MLP 학습 방법: 역전파(Back-Propagation: BP) 알고리즘

16 숫자 인식 신경망 예제