Hadoop 김연왕 2007745012.

Slides:



Advertisements
Similar presentations
Apr. 25, 2013 Laboratory of Systems Medicine BASIC LINUX COMMANDS.
Advertisements

프로그램이란 프로그램 생성 과정 프로젝트 생성 프로그램 실행 컴퓨터를 사용하는 이유는 무엇인가 ? – 주어진 문제를 쉽고, 빠르게 해결하기 위해서 사용한다. 컴퓨터를 사용한다는 것은 ? – 컴퓨터에 설치 혹은 저장된 프로그램을 사용하는 것이다. 문제를 해결하기 위한.
Format String Attack! 포맷 스트링 공격 경일대학교 사이버보안학과 학년 남주호.
3장 파일 및 디렉토리 조작 정보보호 연구실 김동민.
네트워크 프로그래밍 및 실습.
기초C언어 제1주 실습 강의 소개, C언어 개요, Cygwin/Eclipse 사용 컴퓨터시뮬레이션학과 2016년 봄학기
2. 파일 시스템 파일 디렉터리와 경로명 파일 시스템의 구조 새로운 파일 생성 소유권과 허가 파일 유형과 일반화.
Consumer PC & AIO PC DMI Refresh 방법 설명 (UEFI DMI Ver)
Cross Compiler를이용한 커널 컴파일 및 포팅
MYSQL 설치.
리눅스 기본 명령어 및 Vi 명령어 정리 2015/1, 컴퓨터의 개념 및 실습.
Hadoop 2.완전 분산 처리.
Hands-On Exercise :Using HDFS
Linux/UNIX Programming
(개정판) 뇌를 자극하는 Red Hat Fedora 리눅스 서버 & 네트워크
ANSYS17.2 Student 제품 무료 다운로드
레이스 컨디션.
임베디드 시스템 개론 크로스 플랫폼 설치 2일차 강의 자료 Embedded System Lab.
Homework #6 (1/3) 다음을 수행한 후, 화면(혹은 파일)을 출력하여 제출한다.
한국골프대학 종합정보시스템 Windows Vista 사용자를 위한 Component 설치안내서
한국골프대학 종합정보시스템 Windows 7 사용자를 위한 Component 설치안내서
Root Filesystem Porting
SqlParameter 클래스 선문 비트 18기 발표자 : 박성한.
Root Filesystem Porting
Linux Master 김희승 임승한 OneScore 임승한.
HW #4 파일과 디렉토리 1. 자신의 HOME 디렉토리 아래에 다음과 같은 구조의 디렉토리 및 파일을 생성하고, 이 구조를 다음 명령을 사용하여 파일로 저장한 후, 이를 프린트하여 제출한다. $ ls –lR linux_unix > hw4-1 $HOME linux_unix.
파일 기술자 파일 기술자 현재 열려있는 파일을 구분하는 정수값 저수준 파일 입출력에서 열린 파일을 참조하는데 사용
Homework #5 (1/3) 다음을 수행한 후, 결과 파일들을 출력하여 제출한다.
Cross Compiler 설치.
Cross Compiler를이용한 커널 컴파일 및 포팅
[INA470] Java Programming Youn-Hee Han
Linux/UNIX Programming
HW #4 UNIX 파일과 디렉토리 1. 자신의 HOME 디렉토리 아래에 다음과 같은 구조의 디렉토리 및 파일을 생성하고, 이 구조를 다음 명령을 사용하여 파일로 저장한 후, 이를 프린트하여 제출한다. $ ls –lR linux_unix > hw4-1 $HOME linux_unix.
Linux/UNIX Programming
UNIX Unbounded A Beginning Approach
UNIX Unbounded A Beginning Approach
툴 설치 가이드 Formality SynopsysMentor.
Linux/UNIX Programming
Day-27(Tue_10.16) 파일 서비스 설정 AD 가 설치된 환경에서 DHCP 설치 할 경우 권한 자격을 주어야함.
학기 C/C++ 프로그래밍 실습 1주차.
Eclipse CDT에서 프로젝트를 Export 하고 Import 하는 방법
WebtoB - Jeus 연동.
PL/SQL 코드 생성 및 수행 1 여러가지 환경 DOS에서 sqlplus Windows에서의 sqlplusw
1. 스크립트 작성 마법사 2. NSIS 스크립트 컴파일
문자열 컴퓨터시뮬레이션학과 2015년 봄학기 담당교수 : 이형원 E304호,
Internet Protocol and Programming
PMIS 서버 설정 환경설정 작성자 : 배경환.
Linux/UNIX Programming
Linux/UNIX Programming
Kernel, Ramdisk, JFFS2 Porting
STS 에서 웹 서버 설치 방법.
OpenCV 설정 2.21 만든이 딩딩.
수동 설치시는 설치 방법 1. 두번에 설치 CD 속에 fscommand 폴더 밑에 Osstem 이라는 폴더를
시스템 인터페이스 Lab#5 쉡 실습.
STS 또는 Eclipse 에서 프로젝트를 Export 하고 Import 하는 방법
Linux 9.X 기초에서 활용까지 Chapter 06 VI 편집기.
 파일 아카이브와 압축 명령 익히기.
Homework #5 (1/3) 다음을 수행한 후, 결과 파일들을 출력하여 제출한다.
Linux 기본 사용법.
Tensorboard in Windows
시스템 인터페이스 Lab1 X-window 및 명령어 사용.
Homework #3 (1/3) 다음을 수행한 후, 결과 파일들을 출력하여 제출한다.
4. 셸을 이용한 명령어 입력. Unix 시스템 쉘 간단한 셸 명령 명령 매개변수(Command arguments)
Internet Protocol and Programming
슬라이드 쇼의 설정 슬라이드 쇼의 실행 파일과 폴더의 관리 글꼴을 포함해서 저장 웹 페이지로 게시 압축 파일
Docker Study 6~7.
Linux/UNIX Programming
시스템 해킹과 보안 permission과 SetUID.
Linux/UNIX Programming
1. 실습 시간에 수행한 avd 생성 및 실행, adb shell 접속 및 명령어 수행 결과를 제출한다.
Presentation transcript:

Hadoop 김연왕 2007745012

Hadoop 예제 (wordcount) 하둡 하기전에 기본 사항 Su 명령어로 루트 권한으로 로그인한다. Start-all.sh 로 HDFS와 맵리듀스 데몬프로세스를 구동 Hadoop fs –ls 하둡 내에 파일확인 Hadoop fs –mkdir input 하둡 내에 input 폴더 생성 Hadoop fs –copyFromLocal README.txt input READEME.txt 로컬시스템에서 input 폴더로 복사 Hadoop fs –ls /input 복사된 README.txt 확인 ERROR security.UserGroupInformation: PriviledgedActionException as:kwonjae Hadoop dfsadmin –safemode leave 세이프모드 off 2 / 12

Hadoop 예제 (wordcount) Hadoop jar hadoop-examples-1.1.2.jar wordcount input/README.txt out 실행하면 아래 결과 출력 3 / 12

Hadoop 예제 (wordcount) Hadoop fs –ls out 끝난뒤 out폴더를 확인 위와 같은 파일들이 생성되어 있다. 웹에서도 확인 가능 http://localhost:50070 4 / 12

Hadoop 예제 (wordcount) Hadoop fs –cat out/part-r-00000 를 보면 아래와 같은 결과가 출력된다 하둡이 정상 작동 되고있다. 5 / 12

Hadoop 예제 (wordcount) Firefox http://localhost:50070 네임노드 상태 웹 접속 안된시 ctrl+d로 로그아웃 후 다시 루트관리자 로그인 6 / 12

Hadoop 예제 (wordcount) Firefox http://localhost:50030 잡트래커 상태 7 / 12

Hadoop 예제 (wordcount) 8 / 12

Hadoop 예제 (명령어) cat hadoop fs -cat FILE [FILE ...] 파일의 내용을 나타낸다. 압축된 파일을 읽기 위해서는 fs 대신에 text 명령어를 사용해야 한다. chgrp hadoop fs -chgrp [-R] GROUP PATH [PATH ...] 파일과 디렉토리에 대한 그룹을 변경한다. -R 옵션은 하위 디렉토리까지 재귀적으로 해당 변경을 적용한다. 사용자는 해당 파일의 소유자이거나 슈퍼유저여야 한다. chmod hadoop fs -chmod [-R] MODE [, MODE ...] PATH [PATH ...] 파일과 디렉토리의 권한을 변경한다. 유닉스와 유사하게 권한 모드는 세 자리 8진수 모드 또는 +/- {rwxX}이다. -R 옵션은 변경을 재귀적으로 적용한다. 사용자는 해당 파일의 소유자이거나 슈퍼유저여야 한다. chown hadoop fs -chown [-R] [OWNER] [ :[GROUP]] PATH [PATH ...] 파일과 디렉토리의 소유자를 변경한다. -R 옵션은 재귀적으로 하위 디렉토리에 설정을 반영한다. 사용자는 슈퍼유저여야 한다. copyFromLocal hadoop fs -copyFromLocal LOCALSRC [ LOCALSRC ...] DST put과 동일하다. 로컬 파일 시스템으로부터 파일들을 복사한다. 9 / 12

Hadoop 예제 (명령어) copyToLocal hadoop fs -copyToLocal [-ignorecrc] [-crc] SRC [SRC ...] LOCALDST get과 동일하다. 파일들을 로컬 파일 시스템으로 복사한다. count hadoop fs -count [-q] PATH [PATH ...] PATH에 있는 모든 파일과 디렉토리에 대한 이름, 사용된 바이트 수, 파일 개수, 하위 디렉토리 개수를 출력한다. -q 옵션은 할당 정보를 나타낸다. cp hadoop fs -cp SRC [SRC ...] DST 소스에 있는 파일들을 목적지로 복사한다. 만약 다수의 소스 파일들이 지정되면, 목적지는 디렉토리여야 한다. du hadoop fs -du PATH [PATH ...] 파일 크기를 나타낸다. 만약 PATH가 디렉토리이면, 그 디렉토리에 있는 각 파일의 크기가 리포트된다. 파일명 앞에 전체 URI 프로토콜이 붙는다. 비록 du는 디스크 사용량을 나타내지만 있는 그대로 받아들여서는 안 된다. 디스크 사용량은 블록 크기와 복제 요소들에 따라 다르기 때문이다. dus hadoop fs -dus PATH [PATH ...] du와 비슷하다. 그런데 디렉토리에 대해서 dus는 개별적으로 나타내기보다는 합계 (파일 크기)를 리포트한다. 10 / 12

Hadoop 예제 (명령어) expunge hadoop fs -expunge 휴지통을 비운다. 만약 휴지통 기능이 활성화 되어 있으면, 파일이 삭제되었을 때 우선 임시 .Trash/ 폴더로 이동하게 된다. 그리고 사용자가 설정한 시간 후에 .Trash/에 있는 파일이 완전히 삭제된다. expunge 명령어는 .Trash/ 폴더에 있는 파일들을 강제적으로 삭제한다. .Trash/ 폴더에 파일이 존재하는 한 그것을 원래 위치로 이동시켜 해당 파일을 복구 할 수 있다. get hadoop fs -get [-ignorecrc] [-crc] SRC [SRC ...] LOCALDST 파일들을 로컬 파일 시스템으로 복사할 때, 만약 다수의 소스 파일들이 지정되면 로컬 목적지는 디렉토리여야 한다. 만약 LOCALDST가 -이면, 그 파일들은 stdout으로 복사된다. HDFS는 파일에 대한 각 블록의 체크섬을 계산한다. 파일에 대한 체크섬은 숨김 파일에 저장되고, 해당 파일이 HDFS에서 읽힐 때 숨김 파일에 있는 체크섬들은 해당 파일의 무결성을 확인하는데 사용된다. get 명령어에서 -crc 옵션을 사용하면, 숨김 파일도 복사하고, -ignorecrc 옵션은 복사할 때 체크섬을 확인하는 과정을 건너뛴다. getmerge hadoop fs -getmerge SRC [SRC ...] LOCALDST [addnl] SRC에서 확인된 모든 파일을 가져와 합치고, 로컬 파일 시스템에 존재하는 하나의 LOCALDST 파일에 기록한다. addnl 옵션은 각 파일의 끝을 나타내는 개행 문자를 LOCALDST 파일에 추가한다. help hadoop fs -help [CMD] 해당 명령어(CMD)에 대한 사용법을 나타낸다. 만약 CMD 없이 해당 명령어를 사용하면 모든 명령어에 대한 사용법을 출력한다. 11 / 12

Hadoop 예제 (명령어) ls hadoop fs -ls PATH [PATH ...] 파일과 디렉토리를 조회한다. 각 엔트리는 명칭, 권한, 소유자, 그룹, 크기, 수정일을 나타낸다. 파일 엔트리는 복제 요소도 포함해서 보여준다. lsr hadoop fs -lsr PATH [PATH ...] ls의 재귀적 버전이다. mkdir hadoop fs -mkdir PATH [PATH ...] 디렉토리를 생성한다. 유닉스의 mdir -p와 같이 상위 디렉토리를 지정하지 않아도 해당 디렉토리까지 포함해서 생성한다. moveFromLocal hadoop fs -moveFromLocal LOCALSRC [LOCALSRC ...] DST LOCALSRC가 성공적으로 HDFS에 복사된 후에 해당 파일이 삭제되는 것만 빼고는 put과 유사하다. moveToLocal hadoop fs -moveToLocal [-crc] SRC [SRC ...] LOCALDST 아직 구현되어 있지 않다. 12 / 12

Hadoop 예제 (명령어) mv hadoop fs -mv SRC [SRC ...] DST SRC에 있는 파일들을 DST로 옮긴다. 만약 다수의 소스 파일들이 지정되면, 목적지는 디렉토리여야 한다. 파일 시스템들 간 이동은 허가되지 않는다. put hadoop fs -put LOCALSRC [LOCALSRC ...] DST 로컬 시스템으로부터 파일과 디렉토리를 목적지 파일 시스템으로 복사한다. 만약 LOCALSRC가 -로 설정되어 있으면 입력은 stdin으로 지정되고, DST는 파일이어야 한다. rm hadoop fs -rm PATH [PATH ...] 파일과 빈 디렉토리를 삭제한다. rmr hadoop fs -rmr PATH [PATH ...] rm의 재귀적 버전이다. setrep hadoop fs -setrep [-R] [-w] REP PATH [PATH ...] 주어진 파일들에 대한 대상 복제 계수를 REP로 설정한다. -R 옵션은 PATH에 의해 확인된 디렉토리들에 대한 파일들의 대상 복제 계수를 재귀적으로 적용한다. 13 / 12

Hadoop 예제 (명령어) stat hadoop fs -stat [FORMAT] PATH [PATH ...] 파일의 통계 정보를 나타낸다. 아래 포맷 지정자에 따른 FORMAT 문자열에 맞게 형식화되어 해당 정보가 출력된다. %b 파일 크기 (블록 단위) %F 파일 형식에 따른 "디렉토리" 또는 "일반 파일" %n 파일명 %o 블록 크기 %r 복제 %y UTC 날짜 yyyy-MM-dd HH:mm:ss 형식 %Y 1970년 1월 1일 (UTC) 이후 경과한 밀리세컨드 tail hadoop fs -tail [-f] FILE 파일의 마지막 1KB의 내용을 출력한다. test hadoop fs -test -[ezd] PATH PATH에서 다음의 형식 점검을 수행한다. -e PATH 존재 유무, PATH가 존재하면 0을 반환한다.  -z 빈 파일 여부, 파일 길이가 0이면 0을 반환한다.  -d PATH가 디렉토리이면 0을 반환한다.  14 / 12

감사합니다.