Lab Assignment 3 Deep Learning 1 1.

Presentation on theme: "Lab Assignment 3 Deep Learning 1 1."— Presentation transcript:

1 Lab Assignment 3 Deep Learning 1 1

2 Intro 2

3 TensorFlow 기계학습과 딥러닝을 위해 구글에서 만든 오픈소스 라이브러리 데이터 플로우 그래프를 통한 풍부한 표현력
코드 수정 없이 CPU/GPU 모드로 동작 아이디어 테스트에서 서비스 단계까지 이용 가능 계산 구조와 목표 함수만 정의하면 자동으로 미분 계산을 처리 Python/C++를 지원하며, SWIG(C/C++ 의 코드를 다른 언어에서 사용 가능하도록 만들어주는 프로그램)를 통해 다양한 언어 지원 가능 3

4 Jupyter Python의 통합 개발환경 대화형 컴퓨팅으로 분석 프로그래밍에 적합함
운영체제의 쉘 프로그램과 통합됨(ex, terminal) 웹 기반의 대화형 노트북 지원으로 수식, 표, 그림 등 표현 가능 가볍고 빠른 병렬컴퓨팅 엔진 이용 코딩의 문서화, 테스트까지 한 화면에 가능 4

5 Docker 2013년에 등장한 새로운 컨테이너 기반 가상화 도구로써, 계층화된 파일시스템(AUFS, BTRFS 등)을 사용해 가상화된 컨테이너의 변경사항을 모두 추적하고 관리한다. 이를 통해 컨테이너의 특정 상태를 항상 보존해두고, 필요할 때 언제 어디서나 실행할 수 있다. 즉, 앞서 설명한 Linux 기반에 설치된 TensorFlow나 Jupyter를 사용자가 일일이 설치할 필요 없이 Linux 기반에 TensorFlow와 Jupyter가 설치된 컨테이너를 불러옴으로써 간단하게 이용 가능 5

6 Docker 컨테이너 Windows(또는 Max os, Ubuntu etc..) 환경에서Docker를 통해 컨테이너에 포함된 Ubuntu, Jupyter, TensorFlow가 설치된 환경을 이용할 수 있다. 6

7 Example1 Deep Learning with “Tensorflow” 7

8 Example1-1 : Tensorflow install with Docker
Docker ( for Window 8/8.1 or newest 2013년에 등장한 새로운 컨테이너 기반 가상화 도구로써, 계층화된 파일시스템(AUFS, BTRFS 등)을 사용해 가상화된 컨테이너의 변경사항을 모두 추적하고 관리한다. 이를 통해 컨테이너의 특정 상태를 항상 보존해두고, 필요할 때 언제 어디서나 실행할 수 있다. 다운로드 링크 : 를 참고하여 Docker를 설치한다. 8

9 Example1-1 : Tensorflow install with Docker
윈도우 8 이상에서 Docker를 설치 후 Docker Quickstart Terminal를 실행하면 아래와 같은 창이 뜨고, IP가 제대로 할당되어 네트워크가 연결됨을 확인한다. 9

10 Example1-1 : Tensorflow install with Docker
다음 명령어를 실행한다. Docker run –p 8888:8888 –p 6006:6006 b.gcr.io/tensorflow/tensorflow Docker 재 시작시 아래 명령어 수행. Docker stop $(docker ps –a –q) 브라우저를 통해 앞의 ip:8888로 접속 Ex) 10

11 Example1-1 : Tensorflow install with Docker
접속 화면 11

12 Example1-2 : Tensorflow - Pipeline
구조 Tensorflow 요약 𝑤𝑥+𝑏 𝑤 𝑏 데이터 입력 Feeding Tensorflow 함수 변수 결과 실행 입력 Model 생성 12

13 Example1-2 : Tensorflow - Constant
구조 설정 Tensorflow 구조 실행 13

14 Example1-2 : Tensorflow – Data Feed
구조 설정 Tensorflow 구조 실행 데이터 입력 Feeding 14

15 Example1-2 : Tensorflow Example
각 셀을 선택하고 상단의 실행버튼 또는 Ctrl+Enter를 통해 단계별로 수행해본다. 1_hello_tensorflow.ipynb 2_getting_started.ipynb 3_mnist_from_scratch.ipynb (2, 3은 로딩속도 조금 있음) 15

16 Example2 NN & DNN with iris dataset 16

17 Example2 : Intro Iris dataset
위 그림과 같이 Iris의 세 종인 Iris-setosa, Iris-versicolor, Iris-virginica에 대해 각각의 의 꽃받침의 길이, 너비, 꽃잎의 길이, 너비 네 개의 정보가 저장되어 있다. 위 네 개의 정보를 바탕으로 Iris의 종을 구분해 본다. 17

18 Example2 : Intro Example code 업로드 18

19 Example2 : NN with iris 데이터 받기 (example2-*.ipynb 실행 후 첫 번째 셀 실행)
데이터 전처리 Data shuffling Split training data N tr and test data N te Iris feature N×4 matrix Iris label N×3 matrix (ex. setosa = [1, 0, 0], versicolor= [0, 1, 0], Iris-virginica = [0, 0, 1] 또는 19

20 Example2 : NN with iris 데이터 전처리 Data shuffling
Split training data N tr and test data N te Iris feature N×4 matrix Iris label N×3 matrix (ex. setosa = [1, 0, 0], versicolor= [0, 1, 0], Iris-virginica = [0, 0, 1] 20

21 Example2 : NN with iris 모델 구조 Backpropagation Iris feature = 4
Iris label = 3 현재 상태에서 오차 계산 입력 개수를 모르므로 None 모델 구조 구축 모델 테스트 모델 값 저장 21 Backpropagation

22 Exercise2 : DNN with iris
Example2의 NN는 한 개의 층으로 구성되어 있다. 이를 수정하여 두 개의 층을 가지는 Multilayer NN을 구현하고 Iris 데이터로 테스트해 본다. (함수 명, 변수 이름, 구조 등은 자유롭게 변형 가능.) (아래 그림은 예시일 뿐 iris 데이터는 4개의 input 3개의 output을 가진다.) 22

23 Exercise2 : DNN with iris
힌트 네트워크의 변수 조정 Layer 추가 추가된 layer의 모델 값 저장할 변수 추가 23

24 Example3 Deep Learning Algorithms with MNIST 24

25 Example3 : Deep Learning Example
터미널 실행 25

26 Example3 : Deep Learning Example
아래 명령어 실행 apt-get update apt-get upgrade apt-get install git TensorFlow-Example 설치 git clone 26

27 Example3 : Deep Learning Example
폴더가 생성됨을 확인 27

28 Example3 : Intro MNIST dataset http://yann.lecun.com/exdb/mnist/
0부터 9까지의 숫자를 손으로 쓴 이미지 10000개의 테스트 셋과 60000개의 학습 데이터 셋으로 분류되어 있다. MNIST dataset 가져오기 28

29 Example3 : Intro /TensorFlow-Examples/ Notebooks/ 3_NeuralNetworks 폴더의
autoencoder.ipynb convolutional_network.ipynb recurrent_networks.ipynb 세 개의 파일을 실행해보고 모델의 의미를 파악한다. 29

30 Example3-1 : Autoencoder
모델 구조 AE의 특성에 맞게 네트워크 구성 AE의 모델 구성 AE의 예측값은 자기 자신 30

31 Example3-2 : Convolutional NN
모델 구조 Conv Filter Size Convolution Filter 28 X 28 1st pooling(size 2) = 14 X 14 2nd pooling(size 2) = 7 X 7 Pooling Filter Pooling Size 31

32 Example3-3 : Recurrent NN
28개씩 28회에 대한 연속적인 데이터로 변환 모델 구조 28 X 28 이미지를 28개씩 28회에 대한 연속적인 데이터로 가정 TensorFlow에 존재하는 RNN 구조를 바탕으로 모델 구성 32

33 Summary Exercise 요약 (해야 할 일) 22p, 23p의 Exercise 수행
Iris Data를 사용하여 한 개의 Layer가 아닌 두 개의 Layer를 가지는 네트워크를 구현하여 실험해 본다. 위의 수행 내역과 실습해본 딥 러닝의 알고리즘(CNN, RNN, Autoencodr)의 개념을 간단하게 5~6줄(분량 제한 없음) 요약 설명해 본다. Data Mining 2016 Fall 33

34 Submission 제출물: 각 Exercise 에 대한 보고서 제출 기한: 2016년 12 월 7 일 수업시간 전까지
제출 방법 Softcopy(보고서 파일): 조교에게 로 제출 ( ) dm2016_hw3_학번_이름.zip 보고서 제목 : dm2016_hw3_학번_이름 Hardcopy(보고서 출력물): 수업시간 전 교탁 위에 제출 기타 질문 사항은 위 조교 로 문의 바랍니다. Data Mining 2016 Fall 34