컴퓨터공학과 20111607 김소원
목차 하둡의 역사 하둡의 배경 하둡의 정의 하둡의 구조 하둡의 사례 하둡의 현황
GFS(Google File System)? 하둡의 역사 2005년 더그 커팅과 마이크 캐퍼렐라(Mike Cafarella)가 개발 당시 커팅은 야후에서 일하고 있었으며, 이후 하둡은 아파치(Apache) 재단으로 넘어가 공개 소프트웨어로 개발 하둡은 구글의 분산 파일 시스템(GFS) 논문이 공개된 후, 그 구조에 대응하는 체계로 개발 GFS(Google File System)? 대량의 정보를 효과적으로 저장하기 위함
하둡의 역사 하둡의 로고 노랑색 아기 코끼리 하둡의 개발자인 더그 커팅이 자신의 아이가 가지고 놀던 장난감 코끼리의 이름을 따서 하둡 코끼리는 빅데이터(Big Data)를 상징하는 동물 2011년 오픈 소스 아파치 하둡(Apache Hadoop) 사업을 위해 야후에서 분사한 기업의 이름을 지을 때도, 코끼리가 주인공인 동화에 나오는 코끼리 이름인 호튼(Horton)을 따와서 호튼웍스(Hortonworks)라고 회사명을 지었다.
기존 데이터를 비용 대비 효율적 처리할 수 있는 방법론 꾸준히 요구 하둡의 배경 한계점 : 스토리지나 컴퓨팅 자원 부족 비용이 많이 듦 관련기술이나 엔지니어 부족 성능 좋고 값비싼 시스템 슈퍼컴퓨터를 이용한 큰 데이터 처리 기존 데이터를 비용 대비 효율적 처리할 수 있는 방법론 꾸준히 요구 하둡(hadoop)
하둡의 정의 여러 개의 저렴한 컴퓨터를 마치 하나인 것처럼 묶어 대용량 데이터를 처리하는 기술 장점 오픈소스로 라이선스에 대한 비용 부담 적음 시스템을 중단하지 않더라도 장비의 추가 및 삭제가 용이 일부 장비에 장애가 발생하더라도 전체 시스템 사용성에 영향이 적음 저렴한 구축 비용과 비용 대비 빠른 데이터 처리 데이터의 복제 본을 저장하기 때문에 서버의 장애가 발생했을 때도 데이터의 복구 가능. 단점 HDFS에 저장된 데이터는 변경 불가 대용량 데이터의 배치 처리에는 적합하나, 스트리밍과 같은 실시간성 데이터 분석이나, 신속성이 보장되어야 하는 작업에는 부적합. Hadoop 엔지니어의 부족.
하둡의 구조 하둡 분산파일 시스템(HDFS): 파일을 여러 대의 서버에 분산 저장하기 위한 파일시스템 맵리듀스(MapReduce): 각 서버에서 데이터를 분산 처리하는 분산병렬처리를 위한 프레임워크
하둡의 구조
하둡의 사례 데이터 중 일부를 하둡에 저장 그 양은 약 30PB(미국 국회도서관에 저장돼 있는 정보량의 3배) 페이스북은 하둡을 이용해 대용량 사진 데이터를 작은 데이터로 쪼개 처리(약 2천여개의 서버가 매 순간 데이터를 처리) 사용자가 사진을 쉽게 올리고 내려 받으며, 다른 사람의 페이스북 사진을 클릭과 동시에 볼 수 있는 이유
하둡의 사례 2008년부터 빅데이터 처리를 위해 하둡을 도입 모바일 데이터를 분석하고, 서비스(네이트 뉴스, 네이트 컬러링)를 사용자에게 맞춤형으로 제공 하둡을 도입해 실시간으로 고객 데이터를 수집하고 처리해 맞춤형 서비스 개발에 나섬
IDC(Internet Data Center)? 하둡의 현황 IDC(Internet Data Center)? 기업의 전산시설을 위탁 관리하는 곳. IDC는 ‘하둡과 맵리듀스 생태계 소프트웨어 풍경 2012’ 보고서를 통해 2011년 7700만달러 수준인 하둡과 맵리듀스 관련 시장이 2016년이 되면 8억1280만달러에 이를 것으로 내다봤다. 보고서는 하둡 관련 시장이 해마다 60% 이상 성장할 것이라고 전망했다.
하둡의 현황 하둡의 부족한 기능을 서로 보완하는 ‘하둡 에코시스템’
하둡의 현황
참고자료 http://ko.wikipedia.org/wiki/%ED%95%98%EB%91%A1 하둡의 역사 http://linuxism.tistory.com/888 하둡의 로고 http://navercast.naver.com/contents.nhn?rid=122&contents_id=44732 하둡의 배경, 사례, 현황 http://118k.tistory.com/71 하둡의 구조 http://1004jonghee.tistory.com/24#recentTrackback 하둡의 장단점