개발 환경 소개

빅데이터 분석을 위한 환경 빅데이터의 특징  Volume : 데이터의 양 (TB 부터 PB 정도의 데이터 )  Variety : 정형 / 비정형 / 반정형 데이터  Velocity : Streaming 성 데이터의 실시간 분석 빅데이터 분석을 위한 환경  강력한 인프라 : 많은 양의 데이터 빠른 처리 및 가시화를 위한 인프라  빅데이터 플랫폼  수집 : 3V 특징의 데이터를 수집 할 수 있어야 함  저장 : 대용량의 데이터를 효율적으로 저장 운용 할 수 있어야 함  처리 : 분석을 위한 전 / 후 처리가 빠르게 이루어져야 함  분석 : 기본적인 통계 분석 부터 인사이트 추출을 위한 고도화된 분석 기능도 제공  가시화 : 효과적인 가시화 기능을 통한 인사이트 추출  스케줄링 : 수많은 수집 / 저장 / 처리 / 분석 작업들을 효율적으로 관리  운영 : 인프라 부터 데이터 워크플로들에 대한 효율적인 운영 기능  보안 : 민감한 개인정보보호법 준수를 위한 다양한 보안 기능

빅데이터 분석 환경을 위한 인프라 빅데이터를 담기 위한 인프라 구축 시 고려사항  빅데이터를 담고 분석을 할 수 있는 인프라의 비용 최소화  많은 인프라가 안정적으로 돌아가기 위한 안정성 ( 모니터링 기능 필요 )  데이터양에 대한 불확실성을 커버 할 수 있는 유연성  장애에 대한 빠른 대처를 위한 민첩성 클라우드 컴퓨팅 등장 배경  전통적인 인프라 환경에서 새로운 서비스를 구축 할 때 HW 투자가 필연적이었음.  HW 투자 줄이기 위해 기존 서버 유휴자원을 사용하기 위한 가상화 기술을 개발하게 되었고 이를 활용한 선 투자비용을 줄일 수 있게 되었음.  가상화 기술을 통해 인프라 자원을 서비스화 했을 뿐 아니라 플랫폼과 소프트웨어까지 서비 스화 시켜 다양한 서비스 모델을 통해 가치 창출을 실현

클라우드 서비스 모델 Packaged Software : On-Premise 모델, 직접 인프라와 플랫폼, 어플리케이션을 관리 Infrastructure as a Service (IaaS) : 인프라 부터 OS 까지 서비스로 제공 Platform as a Service (PaaS) : 어플리케이션을 개발, 서비스 하기위해 사용가능한 서비스와 기능들이 제공되 는 클라우드 서비스를 의미 Software as a Service (SaaS) : 어플리케이션을 사용하는 관점에서 제공되는 IT 의 서비스 방식을 의미

PaaS 의 예

Aamazon Web Services 2006 년 부터 Public Cloud Service 를 시작 현재까지 Cloud Service 분야에서 독 보적인 존재 미국, 남미, 유럽, 호주, 일본, 싱가포 르, 한국 등 전세계 10 개 이상의 데이 터 센터 보유 약 250 여 개의 Cloud Service 제공 중

사용하게 될 서비스 Amazon CloudWatch 조별 서버 (C3.2xlarge) : 4EA 공용 개발서버 (C3.2xlarge) : 1EA 공용 서버 (t2.db.medium) : 1EA

빅데이터 플랫폼 Hadoop Ecosystem

모든 Open Source 의 특징 및 동작 원리에 대한 이해가 필요 Hadoop 의 경우, 아파치 재단의 버전과 사용 버전으로 나뉘어 지며 같은 이름이지만 Release 버전 및 배포판 성격에 따라 호환성도 모두 다르다. 수집기의 경우, 데이터 원천 시스템의 성격에 따라 네트워크 환경에 따라 사용되어야 하는 Open Source, 프로토콜이 전부 다르다. 프로젝트의 성격과 데이터의 특성에 따라 다르게 구성 프로젝트 성격상 실시간 분석이 들어가야 하는지 배치 분석으로 충족 되는지에 따라 들어가야 할 Open Source 및 플랫폼 구성이 달라진다. 폭넓은 시스템 관련 지식 필요 빅데이터 플랫폼의 성격에 부합하도록 시스템 구성 작업은 그 자체 만으로도 많은 지식이 필요하다. 프로그래밍 기술이 필요 Hadoop 을 사용할 때 반드시 필요한 Map-Reduce 형식의 프로그래밍은 일반적인 프로그래머들도 굉장히 힘들어한다. Hadoop Ecosystem 을 활용하려면..

빅데이터 플랫폼 구축 그 자체에 의미를 두기 보다, 이를 활용한 비즈니스 가치를 이끌어내는 것이 본질

Splunk Solution 소개 데이터 수집부터 저장, 검색 및 시각화 까지 전 과정을 지원 기 개발된 Contents(App) 제공 사용자 및 개발자를 위한 다양한 인터페이스 제공

Splunk 주요 기능 기능특징 수집 모든 데이터 형식 수집 지원 다양한 수집 방식 지원 ( 파일, Script, TCP/UDP, DB) 필요 시 별도의 Agent 개발 가능 수집 데이터 필터링 기능 지원 저장 정형 / 비정형 / 반정형 데이터 까지 처리 별도의 Parser 및 Schema 가 필요 없음 분산환경의 대용량 처리 가능 분석 다양한 처리 명령어 지원 대용량 Lookup 지원 Common Information Model 시각화 실시간 분석 및 시각화 지원 사용자 정의 대시보드 다양한 보고서 생성 Open source 와 연계 가능

분석 고도화를 위한 도구 Source :