Neural Networks & Deep Learning

Presentation on theme: "Neural Networks & Deep Learning"— Presentation transcript:

1 Neural Networks & Deep Learning

2

3

4 입력 입력 출력 입력

5 입력 신호가 역치를 넘지 못하면 출력 신호를 내보내지 않는다 입력 입력 출력 입력

6 입력 신호가 역치를 넘어서면 출력 신호를 내보낸다 입력 입력 출력 입력

7 수식으로 표현 입력의 합계 > 역치  1 입력의 합계 < 역치  0

8 계단 함수(step function)

9 로지스틱 함수

10 Logistic function 𝑒 𝑦 1+ 𝑒 𝑦 = 1 1+ 𝑒 −𝑦 𝑦= 𝑤 0 + 𝑤 1 𝑥 1 + 𝑤 2 𝑥 2

11 입력 입력 출력 입력

12 x1 1 1+ 𝑒 −𝑦 x2 y x3

13 쌍곡탄젠트(hyperbolic tangent)

14 경사 하강법(gradient descent)
현재 모형의 오차를 구한다 오차를 가장 많이 줄일 수 있는 방향을 찾는다 그 방향으로 일정 폭만큼 계수를 수정한다 더 이상 오차가 줄어들지 않을 때까지 반복한다

15 단층 신경망 x1 y1 x2 x3

16 다층 신경망 x1 y1 x2 y2 x3

17 다층 신경망 x1 y1 x2 z y2 x3

18 다층 신경망 x1 y1 x2 z y2 x3

19 다층 신경망

20 다층 신경망 입력층

21 다층 신경망 은닉층

22 다층 신경망 츨력층

23 앞먹임 네트워크(feedforward network)
신호 입력층 은닉층 츨력층

24 역전파 (backpropagation)
오차 입력층 은닉층 츨력층

25 얕은 학습(shallow learning)
츨력층 은닉층 츨력층

26 깊은 학습(deep learning) 츨력층 은닉층 은닉층 은닉층 은닉층 은닉층 은닉층 은닉층 은닉층 은닉층 츨력층

27

28 딥러닝의 어려움 느린 학습 속도 사라지는 경사 문제(vanishing gradient) 과적합

29 해결책 컴퓨터 성능 향상 + GPGPU 빅데이터 정규화(L1, L2, Dropout …)

30 GPU GPU: 그래픽 카드에 들어가는 칩 그래픽 관련 계산에 특화 많은 코어 수(GTX 1080의 경우 2,560코어)
그래픽 외의 대량의 특수 계산을 하는데 써보자(GPGPU) 엔비디아 그래픽 카드가 사실상 표준(CUDA) 딥러닝의 돌파구 마련

31 GPU GPU 프로그래밍은 매우 어려움 GPU를 쉽게(?) 쓸 수 있는 딥러닝 라이브러리
Torch, Caffe, Theano, TensorFlow, MXNet, CNTK … TensorFlow: 구글에서 개발 최근 각광 Scikit-learn처럼 잘 몰라도 돌릴 수 있는 건 아님

32 아주 간단한 형태(AND, OR) AND OR X1 X2 Y 1 X1 X2 Y 1