HDFS Tutorial.

Presentation on theme: "HDFS Tutorial."— Presentation transcript:

1 HDFS Tutorial

2 HADOOP 실행 커맨드 $ hadoop

3 HADOOP 실행 커맨드 $ hadoop fs

4 ls 명령어 $ hadoop fs –ls /

5 Sample Data 압축 해제 $ cd ~/training_materials/developer/data
$ tar zxvf shakespeare.tar.gz

6 Local에서 HDFS로 data 복사 $ hadoop fs -put shakespeare /user/training/shakespeare

7 HDFS Architecture

8 HDFS에 디렉토리 생성 $ hadoop fs –mkdir weblog

9 파이프를 통해 stdout의 출력을 HDFS에 저장(stdin)
$ gunzip -c access_log.gz | hadoop fs -put - weblog/access_log

10 파이프를 통해 stdout의 출력을 HDFS에 저장(stdin)
$ hadoop fs –mkdir testlog $ gunzip -c access_log.gz | head -n 5000 | hadoop fs –put - testlog/test_access_log

11 HDFS의 파일 삭제 $ hadoop fs -ls shakespeare
$ hadoop fs –rm shakespeare/glossary

12 HDFS의 파일 내용 확인 $ hadoop fs -cat shakespeare/histories | tail -n 50

13 HDFS에서 Local로 파일 복사 $ hadoop fs -get shakespeare/poems ~/shakepoems.txt

14 Eclipse를 이용한 jar파일 생성(1)

15 Eclipse를 이용한 jar파일 생성(2)

16 Eclipse를 이용한 jar파일 생성(3)

17 Wordcount 예제 실행 $hadoop jar wc.jar WordCount shakespeare wordcounts

18 MapReduce의 Job Flow

19 HDFS상의 실행 결과 확인 $hadoop fs –ls wordcounts
$hadoop fs –cat wordcounts/part-r-0000 | tail –n 20

20 NameNode의 웹 인터페이스 http://localhost:50070

21 Filesystem Browsing을 통해 output 확인(1)

22 Filesystem Browsing을 통해 output 확인(2)

23 Jobtracker의 웹 인터페이스(1) http://localhost:50030

24 Jobtracker의 웹 인터페이스(2) http://localhost:50030

25 Jobtracker의 웹 인터페이스에서 jobid를 통해 job status 확인(1)

26 Jobtracker의 웹 인터페이스에서 jobid를 통해 job status 확인(2)