Lec 4 Backpropagation & Neural Network
Table of contents Review Backpropagation Neural Network
Review Score function SVM loss Data loss + regularization Optimization Computational graph
Neural Network Example
Neural Network Example Input에 대해서 activation 여부를 결정한 후 다음 layer로 넘어가게 된다. 만약 Classification 문제라면 마지막 layer에서 activation된 값을 선택할 것.
Find Weight Function 일반적으로, 다중 layer 및 non-linear한 activation function들이 있는 경우에는 weight function의 optimization이 non convex 하게 된다. Global optimal을 찾는 것이 불가능하므로 gradient descent algorithm을 사용하여 local optimal을 찾는다.
Gradient Descent Algorithm Gradient를 구해서 optimal에 해당하는 쪽으로 움직인다. Convex(resp. strictly convex) optimization 이라면 optimal value(resp. optimal point) 를 찾을 수 있을 것 (cf. saddle point in non-convex)
Backpropagation
Backpropagation Hidden layer가 있는 신경망에서 weight function을 학습할 때 사용한다. Global optimal을 찾지 못할 수도 있으므로 initial value가 중요한데, pre training시키는 방법도 있다.
Backpropagation : scalar
Backpropagation : scalar
Backpropagation : scalar
Backpropagation : scalar
Backpropagation : scalar
Backpropagation : vector
Backpropagation : vector
Neural Network Linear score function 2-layer Neural Network
Neural Network
Neural Network Sigmoid activation function
CNN & NTM 기존의 score function Convloution layer Pooling layer
Neural Network Hidden layers ↑ Accuracy ↓ Used in CNN!