IPython Notebook + Spark + TensorFlow on Linux

Presentation on theme: "IPython Notebook + Spark + TensorFlow on Linux"— Presentation transcript:

1 IPython Notebook + Spark + TensorFlow on Linux
박 영 택 컴퓨터학부

2 IPython Notebook(Jupyter)
다운로드 및 설치

3 1. Python, Anaconda설치 다음의 명령어를 통해 python 설치(python 2.7 기준)
Sudo apt-get install python 1. Python, Anaconda설치 다음의 명령어를 통해 python 설치(python 2.7 기준) 다음의 링크를 접속. Anaconda 설치 터미널에서 다운로드 되어있는 폴더로 이동 후 아래의 명령어 실행 파일이 열리면 enter, q 를 통해 파일 종료 종료 되면 자동 설치 다음의 명령어 실행 설치 완료. bash Anaconda Linux-x86_64.sh Download it conda install jupyter

4 3. Notebook 실행 [1] terminal에서 다음의 명령어를 실행. 다음과 같이 브라우저가 열리며 실행.
Jupyter notebook

5 3. Notebook 실행 [2] 다음과 같이 실행 1. New 클릭 2. Python 클릭

6 3. Notebook 실행 [3] 다음과 같이 실행 다음과 같이 테스트 2. 버튼 클릭하여 코드 실행
1. Python 코드 입력

7 Spark 다운로드 및 설치

8 1. java, scala, git, py4j설치 다음의 명령어를 터미널에 실행
$ sudo apt-add-repository ppa:webupd8team/java $ sudo apt-get update $ sudo apt-get install oracle-java8-installer $ cd ~/Downloads $ wget $ sudo dpkg -i scala deb $ sudo apt-get -y install git $ sudo pip install py4j

9 2. Apache Spark 설치 터미널에서 다음의 명령어 실행. 다음의 명령어를 실행하여, 열린파일에 아래의 내용 추가
export SPARK_HOME=/opt/spark export PYTHONPATH=$SPARK_HOME/python $ cd ~/Downloads $ wget $ tar xvf spark tgz $ cd ~/Downloads/spark-1.6.0 $ sudo mv ~/Downloads/spark /opt/ $ sudo ln -s /opt/spark /opt/spark $ nano ~/.bashrc

10 2. Apache Spark 설치[2] 다음의 명령어를 실행하여, 열린파일에 아래의 내용 추가 import os
import sys if 'SPARK_HOME' not in os.environ: os.environ['SPARK_HOME'] = '/opt/spark' if '/opt/spark/python' not in sys.path: sys.path.insert(0, '/opt/spark/python') $ nano ~/.ipython/profile_default/startup/load_spark_environment_variables.py

11 3. Jupyter에서 pyspark 실행 확인
터미널에서 다음의 명령어를 실행하여 notebook 실행 Notebook 에서 옆의 사진과같이 pyspark 실행 확인 $ jupyter notebook

12 TensorFlow 다운로드 및 설치

13 1. TensorFlow 설치 terminal에서 다음의 명령어를 실행하여 설치. Jupyter 에서의 테스트
아래의 명령어는 python2.7기준. Jupyter 에서의 테스트 Tab을 눌러서 옆과 같이 라이브러리가 호출되는지 확인. pip install –upgrade pip $ pip install --upgrade

14 설치 관련 참조 http://jupyter.readthedocs.org/en/latest/install.html