인공 신경망의 종류 Hopfield Self-Organizing Map Perceptron Multilayer Perceptron Boltman machine 등
퍼셉트론(Perceptron): 가장 간단한 신경망 1957년 Rosenblatt가 제안한 모델로써, 생물의 신경 전달 조직인 시냅스를 수학적으로 모델링한 신경망의 초기 형태 현재의 패턴 인식, 신경 전달 과정의 구조적 이론 등에 많은 영향을 주었다.
퍼셉트론(Perceptron): 가장 간단한 신경망 뉴런neuron 가중치weight 활성화 함수activation function
임계치를 반영한 활성화 함수
퍼셉트론의 동작 방식 예시 입력 벡터 x = [1 2], 웨이트 w = [1 1], 임계치(T)가 2
퍼셉트론의 간단한 응용 논리 회로logic circuits에서 사용하는 AND 게이트
퍼셉트론의 원리 및 의미: 선형 분리 linearly separable 함수 x1w1 + x2w2-T > 0 x1=x, x2=y, w1=a, w2=b, -T=c라고 바꾸면 ax + by + c > 0
XOR 문제
퍼셉트론 학습 방법 인공 신경망의 학습은 웨이트의 학습 퍼셉트론의 웨이트를 어떻게 설정할 수 있을까? 어떻게 웨이트 벡터를 설정할 수 있을까? 1957년 Rosenblatt가 제안한 방법 초 기 웨이트는 임의의 값 목표치와 퍼셉트론의 실제 출력의 차이 즉, 오차를 반복적인 웨이트 수정에 반영 퍼셉트론의 웨이트 학습은 각 입력에 대한 신경망의 출력값의 오류를 최소화하는 것을 목표
퍼셉트론 학습 방법 신경망의 출력값: y = w ∙ x 목표 출력값: d 오차: r = d - y 학습률(learning rate): α 학습 반복 횟수: t 샘플의 개수: s
활성화 함수 시그모이드sigmoid 함수
다층 퍼셉트론(Multi-Layer Perceptron: MLP) 1969년에 Minsky와 Papert의 퍼셉트론의 선형 분기성에 대한 단점 제기 신경 망의 연구는 암흑기를 맞게 된다. 퍼셉트론은 기본적으로 문제 공간의 선형 분리만 가능하기 때문에, XOR 문제와 같은 비선형non-linear 분리를 위해서는 지금부터 소 개될 다층 퍼셉트론Multi-Layer Perceptron을 사용한다.
다층 퍼셉트론 예
다층 퍼셉트론의 개념
MLP 학습 방법: 역전파(Back-Propagation: BP) 알고리즘
숫자 인식 신경망 예제