HDFS Tutorial.

Slides:



Advertisements
Similar presentations
Apr. 25, 2013 Laboratory of Systems Medicine BASIC LINUX COMMANDS.
Advertisements

WCL 이민학 Big Data & Hadoop.
김 연 왕 Hadoop. 준 비 사 항 하 둡 은 자 바 언어로 작성되었기 때 문에 컴퓨 터에 자 바 버 전 6 이상 하 둡 은 리 눅 스와 윈 도우에서 동작
성결 어린이 영등포교회 유년부 정답은 뒷면에 제 11-31호 2011월 8월 14일 어디로 가세요?
밥상의 희로애락 제 5 강 욕망의 밥상 - 탐식 GOOD JOB 식사하셨나요?.
Ⅵ. 빛(단원학습목표).
컴퓨터공학과 김소원.
Distributed and Cloud Computing Lab. Embedded System Software 개발 환경 설정 Dept. of Computer Science and Engineering Sogang University, Seoul, KOREA 1.
개발 환경 설치 Embedded System Software
시작부터 끝까지 진지한 궁서체로 진행하는 완벽한 주입식의 하드코어한 리눅스/장난감 세미나
* 그룹 상시 연락망 : 각사 조직도 기준 연락망으로 대체함
㈜시스원이 제공하는 시스템 관리 통합 솔루션 SysmanagerOne Agent설치 안내서
빅데이터 분산 처리 시스템 충북대학교 정보통신공학부 복경수
통로이미지㈜ 마케팅실 신입/경력 모집 ◎ 모집부분 및 자격요건 ◎ 채용인원 ◎ 전형절차 ◎ 제출서류 ◎ 연봉 ◎ 사전인터뷰
클릭 시 하이퍼링크 활성화됨.
FTP 09 SPARCS 박철웅 [dothack].
Linux University of Seoul Computer Science Park Jong wook
하둡 설치 신현호 이영건.
BIG Data 컴퓨터응용과학부 박진완.
Distributed Computing (Apache Hadoop & Hive Review)
Hadoop 2.완전 분산 처리.
DataScience Lab. 박사과정 김희찬 (목)
Apache Hive 빅데이터 분산 컴퓨팅 박영택.
Hands-On Exercise :Using HDFS
[beginning] Linux & vi editor
목차 커널의 개념 및 기능 커널 포팅 램디스크.
Korea University of Technology and Education Hongyeon Kim
1. 하드 디스크는 어떻게 많은 정보를 저장할까? 컴퓨터의 구성 요소 하드 디스크의 구성 요소 하드 디스크에서 자료를 기록하고
아파트관리비 청구서 이용 프로세스 안내 ㈜한국전산기술.
Linux/UNIX Programming
교육팀 도경모 Big.
<< 풍동고등학교 >>
UNIX Unbounded A Beginning Approach
영덕풍력발전단지 준공 기념식 행사(안) 경영기획실.
개선된 ATMSim을 이용한 DDoS 공격 분석
리눅스 명령어 실습 임베디드 시스템 I.
Hadoop 김연왕
Hadoop 김연왕
Hadoop 김연왕
IS lab. 김건영 Awk, Posting list IS lab. 김건영
MapReduce Practice :WordCount
기계공학과 D조-손세민 봉하경 서홍우 서정훈 이태우 이희준 이한솔 이태규
정보검색 환경세팅 및 쉘스크립트 맛보기 IS lab. 김건영.
게임에서 공공까지, 국내 실 사례들로 본 빅데이터 융합 분석
Hadoop 김연왕
하둡 기반 빅데이터 처리 방법.
SOAP 클라이언트 개발 Guide

7장: 빛의 간섭과 회절 빛의 간섭 단일슬릿과 회절 회절격자 – 더 선명해진 간섭무늬.
IS lab. 김건영 Sed, 정규표현식 IS lab. 김건영
4. 나라 사랑의 길 골든벨 퀴즈.
화재발생시 행동요령 1. 발화초기의 안전조치 2. 화재신고 3. 피난유도 및 대피요령
Appendix. WURFL 브라우저 살펴보기
DataScience Lab. 박사과정 김희찬 (목)
Hadoop Chapter 2. 맵리듀스 김영지.
운영체제 RaspberryPi Sejin Oh.
시스템 인터페이스 Lab2 X-window 및 명령어 사용.
Telnet 을 활용한 Linux 메뉴얼 오두환.
Command line tools 한국어 정보의 전산 처리
고전 소설 갈래 정리 이 CD의 ppt 자료를 정상적으로 보기 위해서는 나눔글꼴 설치가 꼭 필요합니다.
허생전 許生傳 소단원 정리 문학에서 삶을 찾다 (3) 문학과 삶의 다양성
“상례와 제례”.
Homework #5 (1/3) 다음을 수행한 후, 결과 파일들을 출력하여 제출한다.
기술가정 2학년 1학기 2.재료의 이용>1) 목재,플라스틱,금속재료의 특성>11/15제품의 구상
Homework #3 (1/3) 다음을 수행한 후, 결과 파일들을 출력하여 제출한다.
1) 성장발달의 정의 1강. 신생아 돌보기 페이지번호 / baby _01 • 성장이란?
Homework #5 (1/3) 다음을 수행한 후, 결과 파일들을 출력하여 제출한다.
▶서류관리 프로그램 1. 로그인….2 2. 서류등록 … 서류도착 서류스티커발행
상사용 역량진단 시스템 사용안내 1. 역량진단 시스템 프로세스 2. 상사진단 - 상사진단 1차 - 상사진단 2차.
Intelligent software Lab. 전재원
Presentation transcript:

HDFS Tutorial

HADOOP 실행 커맨드 $ hadoop

HADOOP 실행 커맨드 $ hadoop fs

ls 명령어 $ hadoop fs –ls /

Sample Data 압축 해제 $ cd ~/training_materials/developer/data $ tar zxvf shakespeare.tar.gz

Local에서 HDFS로 data 복사 $ hadoop fs -put shakespeare /user/training/shakespeare

HDFS Architecture

HDFS에 디렉토리 생성 $ hadoop fs –mkdir weblog

파이프를 통해 stdout의 출력을 HDFS에 저장(stdin) $ gunzip -c access_log.gz | hadoop fs -put - weblog/access_log

파이프를 통해 stdout의 출력을 HDFS에 저장(stdin) $ hadoop fs –mkdir testlog $ gunzip -c access_log.gz | head -n 5000 | hadoop fs –put - testlog/test_access_log

HDFS의 파일 삭제 $ hadoop fs -ls shakespeare $ hadoop fs –rm shakespeare/glossary

HDFS의 파일 내용 확인 $ hadoop fs -cat shakespeare/histories | tail -n 50

HDFS에서 Local로 파일 복사 $ hadoop fs -get shakespeare/poems ~/shakepoems.txt

Eclipse를 이용한 jar파일 생성(1)

Eclipse를 이용한 jar파일 생성(2)

Eclipse를 이용한 jar파일 생성(3)

Wordcount 예제 실행 $hadoop jar wc.jar WordCount shakespeare wordcounts

MapReduce의 Job Flow

HDFS상의 실행 결과 확인 $hadoop fs –ls wordcounts $hadoop fs –cat wordcounts/part-r-0000 | tail –n 20

NameNode의 웹 인터페이스 http://localhost:50070

Filesystem Browsing을 통해 output 확인(1)

Filesystem Browsing을 통해 output 확인(2)

Jobtracker의 웹 인터페이스(1) http://localhost:50030

Jobtracker의 웹 인터페이스(2) http://localhost:50030

Jobtracker의 웹 인터페이스에서 jobid를 통해 job status 확인(1)

Jobtracker의 웹 인터페이스에서 jobid를 통해 job status 확인(2)