김 연 왕 Hadoop

준 비 사 항 하 둡 은 자 바 언어로 작성되었기 때 문에 컴퓨 터에 자 바 버 전 6 이상 하 둡 은 리 눅 스와 윈 도우에서 동작 Gzip으로 압축 하고 tar로 묶 은 안정 화 된 배포판 을 내 려받 습니다. (hadoop tar.gz) 압축 해제명 령 어 $tar xzf hadoop tar.gz hadoop tar.gz의 압축 을 푼것 으로 설치는 완 료 됩 니다. Hadoop version 하 둡 버 전이 나오 면 정 상 2 / 12 Hadoop 설치

3 / 12 Hadoop 설치 getconf LONG ＿ BIT 로 리 눅 스 비트수 확 인 (jdk-6u45-linux-i586.bin) 압축 을 풀 기전에 권 한을 변경합니다. chmod 755 jdk-6u45-linux-i586.bin 압축 이 풀 린 자 바 의 디렉 토리를 변경합니다. mv jdk-6u45-linux-i586.bin /usr/local 자 바가 제대로 설치 가 되어 있 는지 확 인합니다. Java – version jdk 버 전이 나오 면 정 상

4 / 12 Hadoop 설치 환 경변수 Hadoop과 jdk의 설치 경로를 가 리 키 는 환 경변수를 생성 export JAVA ＿ HOME=/Mr./local/jdk1.6.0 ＿ 45 export HADOOP ＿ INSTALL=/Mr./local/hadoop export PATH=$PATH:$HADOOP ＿ INSTALL /bin export PATH=$PATH:$JAVA ＿ HOME/bin 환 경 설 정 을 적 용합니다. source.bash ＿ profile

5 / 12 Hadoop 설치 하 둡 의 각 컴포넌 트는 xml 파 일을 사용해서 설 정 합니다. 코 어 속 성은 core-site.xml HDFS 속 성은 hdfs-site.xml 맵 리듀스 속 성은 mapred-site.xml 세 파 일 모 두 conf라는 서 브디렉 토리에 있 습니다. 하 둡 구 버 전에는 컴포넌 트를 위 한 hadoopsite.xml라고 하는 단일 설 정 파 일이 존 재 했 지만, 버 전 부 터 이 파 일이 각 컴포넌 트를 위 한 세 개 의 파 일로 나 누 어 졌 습니다. 하 둡 설치경로 docs 디렉 토리 내의 html 파 일을 열 면 설 정 파 일에 따른 모든 속 성의 기본설 정 상 황 을 확 인 할 수 있 습니다.

6 / 12 Hadoop 설치 하 둡 은 세가 지 방 식 중 하나로 동작합니다. 독립 실행 모드 이경우에는 데몬 프 로 세 스 가 동작하지 않 고 모든 것 이 단독의 jvm내에서 동작합니다. 독립실행 모드는 개발 하는 동 안 맵리듀스 프 로그램을 동작시 키 기에 적 합한데, 테 스트 하고 디버 그 하기 가 쉽 기 때 문 입 니다. 의사 분산 모드 하 둡 데몬 프 로 세 스 가 로 컬 컴퓨 터에서 동작하므로 작은 규 모의 클러스터를 시뮬레이 트 할 수 있 습니다. 완 전 분산모드 하 둡 데몬 프 로 세 스는 다수 컴퓨 터로 구성 된 그룹상에서 동작합니다.

7 / 12 Hadoop 설치 Xml문서 작성하기 독립 실행 모드 기본 속 성 값 이 독립운용모드에 맞 춰져 있 어서 데몬 프 로 세 스는 실행되지 않 습니다. 따 라서 독립운용모드로 동작하기 위 해서 추가 로 해 야 할 일은 없습니다. 의사 분산 모드 설 정파 일은 다 음 의 내용을 담고 있 어 야 하고, conf 디렉 토리에 있 어 야 합니다. vi conf/core-site.xml <! – core-site.xml  fs.default.name hdfs://localhost/

8 / 12 Hadoop 설치 vi conf/hdfs-site.xml <! – hdfs-site.xml  dfs.replication 1 vi conf/hdfs-site.xml <! – -mapred-site.xml  mapred.job.tracker localhost:8021

9 / 12 Hadoop 설치 Ssh설 정 Ssh를 설 정 하는이유는 의사분산모드에서는 데몬 프 로 세 스를 실행해 야 되는데, 그러기 위 해서는 ssh 가 설치되어 있 어 야 합니다. ssh-keygen – t dsa – P ‘’ – f ~/.ssh/id ＿ dsa cat ~/.ssh/id ＿ dsa.pub >> ~/.ssh/authorized ＿ keys 테 스트 Ssh localhost 테 스트결과 ssh: connect to host localhost port 22: connection refused

10 / 12 Hadoop 설치 Hdfs 파 일 시스 템 포 맷 팅 완 전 히 새로운 hdfs 설치를 위 해 포 맷 팅 이 필 요합니다. 포 맷 팅 과 정 은 저 장 소 디렉 토리와 네임노 드의 영속적 인 데이터 구조 체 의 초 기 버 전을 생성 함 으로 써 빈파 일 시스 템 을 만들어 냅니다. Hadoop namenode – format 으로 포 맷 하 둡 을 실행하는 명 령 어 Start – all.sh //hdfs와 맵리듀스 모 두 실행 Start-mapred.sh //맵리듀스만 실행 Start-dfs.sh // hdfs만 실행 Stop-all.sh //hdfs와 맵리듀스 모 두 중 단 Stop-mapred.sh //맵리듀스만 중 단 Stop-dfs.sh // hdfs만 중 단 데몬 프 로 세 스 가 성 공적 으로 실행 되었는지 확 인하기 위 해서는, 하 둡 설치 경로의 Logs 디렉 토리 내에 있 는 로그 파 일을 열어 보 면 된 다. 또 는 웹 UI를 통 해서도 확 인 할 수 있 는데, 잡트 래커 에 대해서는 네임노 드에 대해서는 확 인 가 능하다.

11 / 12 Hadoop 설치 Start-all.sh 데몬 실행시 안될 경우 하 둡 압축 이 풀 린 경로에 hadoop-version/conf/hadoop-env.sh 파 일에 JAVA 경로를 현 재 JAVA 설치 경로로 다시 고 쳐 주고 행 맨 앞 에 #으로 주 석처 리되 있 는 것 을 지워 준 다.

감사합니다.