IPython Notebook + Spark + TensorFlow on Linux 박 영 택 컴퓨터학부

IPython Notebook(Jupyter) 다운로드 및 설치

1. Python, Anaconda설치 다음의 명령어를 통해 python 설치(python 2.7 기준) Sudo apt-get install python 1. Python, Anaconda설치 다음의 명령어를 통해 python 설치(python 2.7 기준) 다음의 링크를 접속. Anaconda 설치 https://www.continuum.io/download 터미널에서 다운로드 되어있는 폴더로 이동 후 아래의 명령어 실행 파일이 열리면 enter, q 를 통해 파일 종료 종료 되면 자동 설치 다음의 명령어 실행 설치 완료. bash Anaconda2-2.5.0-Linux-x86_64.sh Download it conda install jupyter

3. Notebook 실행 [1] terminal에서 다음의 명령어를 실행. 다음과 같이 브라우저가 열리며 실행. Jupyter notebook

3. Notebook 실행 [2] 다음과 같이 실행 1. New 클릭 2. Python 클릭

3. Notebook 실행 [3] 다음과 같이 실행 다음과 같이 테스트 2. 버튼 클릭하여 코드 실행 1. Python 코드 입력

Spark 다운로드 및 설치

1. java, scala, git, py4j설치 다음의 명령어를 터미널에 실행 $ sudo apt-add-repository ppa:webupd8team/java $ sudo apt-get update $ sudo apt-get install oracle-java8-installer $ cd ~/Downloads $ wget http://www.scala-lang.org/files/archive/scala-2.11.7.deb $ sudo dpkg -i scala-2.11.7.deb $ sudo apt-get -y install git $ sudo pip install py4j

2. Apache Spark 설치 터미널에서 다음의 명령어 실행. 다음의 명령어를 실행하여, 열린파일에 아래의 내용 추가 export SPARK_HOME=/opt/spark export PYTHONPATH=$SPARK_HOME/python $ cd ~/Downloads $ wget http://d3kbcqa49mib13.cloudfront.net/spark-1.6.1.tgz $ tar xvf spark-1.6.0.tgz $ cd ~/Downloads/spark-1.6.0 $ sudo mv ~/Downloads/spark-1.6.0 /opt/ $ sudo ln -s /opt/spark-1.6.0 /opt/spark $ nano ~/.bashrc

2. Apache Spark 설치[2] 다음의 명령어를 실행하여, 열린파일에 아래의 내용 추가 import os import sys if 'SPARK_HOME' not in os.environ: os.environ['SPARK_HOME'] = '/opt/spark' if '/opt/spark/python' not in sys.path: sys.path.insert(0, '/opt/spark/python') $ nano ~/.ipython/profile_default/startup/load_spark_environment_variables.py

3. Jupyter에서 pyspark 실행 확인 터미널에서 다음의 명령어를 실행하여 notebook 실행 Notebook 에서 옆의 사진과같이 pyspark 실행 확인 $ jupyter notebook

TensorFlow 다운로드 및 설치

1. TensorFlow 설치 terminal에서 다음의 명령어를 실행하여 설치. Jupyter 에서의 테스트 아래의 명령어는 python2.7기준. Jupyter 에서의 테스트 Tab을 눌러서 옆과 같이 라이브러리가 호출되는지 확인. pip install –upgrade pip $ pip install --upgrade https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.7.1-cp27-none-linux_x86_64.whl

설치 관련 참조 http://jupyter.readthedocs.org/en/latest/install.html https://github.com/KristianHolsheimer/pyspark-setup-guide https://www.tensorflow.org/versions/r0.7/get_started/index.html