Advanced Data Analytics 데이터분석 전문가

Presentation on theme: "Advanced Data Analytics 데이터분석 전문가"— Presentation transcript:

1 Advanced Data Analytics 데이터분석 전문가
2과목 4~5절 전성대

2 INDEX 용어설명 데이터 연계 및 통합 기법 요약 대용량 비정형 데이터 처리 Hadoop 관련기술 Hadoop 아키텍처
데이터 연계 및 통합 유형 데이터 연계 및 통합 아키텍처 데이터 처리기법 비교 대용량 비정형 데이터 처리 대용량 로그 데이터 수집 대규모 분산 병렬처리 데이터 연동 대용량 질의 기술

3 용어설명 > Hadoop 관련기술 Hadoop 관련 기술
용어 설명 Hadoop 관련기술 Hadoop 아키텍처 데이터 연계 및 통합 데이터 연계 및 통합 유형 데이터 연계 및 통합 아키텍처 데이터 처리기법 비교 대용량 데이터 처리 대용량 로그 데이터 수집 대규모 분산 병렬처리 데이터 연동 대용량 질의 기술 Hadoop 관련 기술 Clustered(p136) : 공유(Oracle RAC), 무공유(DB2 ICE, MSSQL, MySQL, NoSQL) NoSQL(p143) : BigTable, SimpleDB, SSDS, HBase 저장기술(p135) : 수정불가(GFS, HDFS), 수정가능(Luster) 분산컴퓨팅기술(p150) : MapReduce(Google, Apache) SQL on Hadoop(p122) : Impala(p161), Drill, Stringer, Shark, Tajo, HAWQ, Presto 병렬처리기술(p156) : Hive(p160), Pig(Apache), Sawzal(Google) 데이터수집기술 : Flume-NG(p118) 데이터연동기술 : Sqoop(p121) 데이터시각화 : R, Matabla

4 용어설명 > Hadoop 아키텍처 Core
용어 설명 Hadoop 관련기술 Hadoop 아키텍처 데이터 연계 및 통합 데이터 연계 및 통합 유형 데이터 연계 및 통합 아키텍처 데이터 처리기법 비교 대용량 데이터 처리 대용량 로그 데이터 수집 대규모 분산 병렬처리 데이터 연동 대용량 질의 기술

5 용어설명 > Hadoop 아키텍처 Extend
용어 설명 Hadoop 관련기술 Hadoop 아키텍처 데이터 연계 및 통합 데이터 연계 및 통합 유형 데이터 연계 및 통합 아키텍처 데이터 처리기법 비교 대용량 데이터 처리 대용량 로그 데이터 수집 대규모 분산 병렬처리 데이터 연동 대용량 질의 기술 분산코디네이터 (리소스관리 및 모니터링)

6 용어설명 > 데이터 연계 및 통합 유형 용어 설명 Hadoop 관련기술 Hadoop 아키텍처 데이터 연계 및 통합
데이터 연계 및 통합 아키텍처 데이터 처리기법 비교 대용량 데이터 처리 대용량 로그 데이터 수집 대규모 분산 병렬처리 데이터 연동 대용량 질의 기술

7 용어설명 > 데이터 연계 및 통합 아키텍처
용어 설명 Hadoop 관련기술 Hadoop 아키텍처 데이터 연계 및 통합 데이터 연계 및 통합 유형 데이터 연계 및 통합 아키텍처 데이터 처리기법 비교 대용량 데이터 처리 대용량 로그 데이터 수집 대규모 분산 병렬처리 데이터 연동 대용량 질의 기술

8 용어설명 > 데이터 처리기법 비교 용어 설명 Hadoop 관련기술 Hadoop 아키텍처 데이터 연계 및 통합
데이터 연계 및 통합 유형 데이터 연계 및 통합 아키텍처 데이터 처리기법 비교 대용량 데이터 처리 대용량 로그 데이터 수집 대규모 분산 병렬처리 데이터 연동 대용량 질의 기술

9 용어설명 > 대용량 로그데이터 수집 용어 설명 Hadoop 관련기술 Hadoop 아키텍처 데이터 연계 및 통합
데이터 연계 및 통합 유형 데이터 연계 및 통합 아키텍처 데이터 처리기법 비교 대용량 데이터 처리 대용량 로그 데이터 수집 대규모 분산 병렬처리 데이터 연동 대용량 질의 기술

10 용어설명 > 대규모 분산 병렬처리 용어 설명 Hadoop 관련기술 Hadoop 아키텍처 데이터 연계 및 통합
데이터 연계 및 통합 유형 데이터 연계 및 통합 아키텍처 데이터 처리기법 비교 대용량 데이터 처리 대용량 로그 데이터 수집 대규모 분산 병렬처리 데이터 연동 대용량 질의 기술

11 용어설명 > 데이터 연동 용어 설명 Hadoop 관련기술 Hadoop 아키텍처 데이터 연계 및 통합
데이터 연계 및 통합 유형 데이터 연계 및 통합 아키텍처 데이터 처리기법 비교 대용량 데이터 처리 대용량 로그 데이터 수집 대규모 분산 병렬처리 데이터 연동 대용량 질의 기술

12 용어설명 > 대용량 질의 기술 용어 설명 Hadoop 관련기술 Hadoop 아키텍처 데이터 연계 및 통합
데이터 연계 및 통합 유형 데이터 연계 및 통합 아키텍처 데이터 처리기법 비교 대용량 데이터 처리 대용량 로그 데이터 수집 대규모 분산 병렬처리 데이터 연동 대용량 질의 기술

13 감사합니다. 전성대