Lec 4 Backpropagation & Neural Network

Presentation on theme: "Lec 4 Backpropagation & Neural Network"— Presentation transcript:

1 Lec 4 Backpropagation & Neural Network

2 Table of contents Review Backpropagation Neural Network

3 Review Score function SVM loss Data loss + regularization Optimization
Computational graph

4 Neural Network Example

5 Neural Network Example
Input에 대해서 activation 여부를 결정한 후 다음 layer로 넘어가게 된다. 만약 Classification 문제라면 마지막 layer에서 activation된 값을 선택할 것.

6 Find Weight Function 일반적으로, 다중 layer 및 non-linear한 activation function들이 있는 경우에는 weight function의 optimization이 non convex 하게 된다. Global optimal을 찾는 것이 불가능하므로 gradient descent algorithm을 사용하여 local optimal을 찾는다.

7 Gradient Descent Algorithm
Gradient를 구해서 optimal에 해당하는 쪽으로 움직인다. Convex(resp. strictly convex) optimization 이라면 optimal value(resp. optimal point) 를 찾을 수 있을 것 (cf. saddle point in non-convex)

8 Backpropagation

9 Backpropagation Hidden layer가 있는 신경망에서 weight function을 학습할 때 사용한다.
Global optimal을 찾지 못할 수도 있으므로 initial value가 중요한데, pre training시키는 방법도 있다.

10 Backpropagation : scalar

11 Backpropagation : scalar

12 Backpropagation : scalar

13 Backpropagation : scalar

14 Backpropagation : scalar

15 Backpropagation : vector

16 Backpropagation : vector

17 Neural Network Linear score function 2-layer Neural Network

18 Neural Network

19 Neural Network Sigmoid activation function

20 CNN & NTM 기존의 score function Convloution layer Pooling layer

21 Neural Network Hidden layers ↑ Accuracy ↓ Used in CNN!