순천향대학교 정보보호연구실 김수현 kimsh@sch.ac.kr 2012. 9. 10 빅데이터 동향 및 이슈 순천향대학교 정보보호연구실 김수현 kimsh@sch.ac.kr 2012. 9. 10.

Presentation on theme: "순천향대학교 정보보호연구실 김수현 kimsh@sch.ac.kr 2012. 9. 10 빅데이터 동향 및 이슈 순천향대학교 정보보호연구실 김수현 kimsh@sch.ac.kr 2012. 9. 10."— Presentation transcript:

1 순천향대학교 정보보호연구실 김수현 kimsh@sch.ac.kr 2012. 9. 10
빅데이터 동향 및 이슈 순천향대학교 정보보호연구실 김수현

2 Contents 1. 서론 2. 빅데이터 처리 기술 3. 빅데이터 동향 및 이슈 4. 빅데이터 산업별 활용사례 5. 결론
월요 세미나

3 1. 서론 데이터의 가치와 중요성 빅데이터 산업시대의 석탄, 금과 같은 역할 21세기의 오일(자원+기술+사람의 결합)
기술의 발전으로 빅데이터 활용 기회 증가 월요 세미나

4 1. 서론 빅데이터(Big Data)란? DB의 규모에 초점을 맞춘 정의(Mckinsy, 2011)
일반적인 DB SW가 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터 업무수행에 초점을 맞춘 정의(IDC, 2011) 빅데이터는 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고, 데이터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍처 빅데이터 정의를 단순한 정량적인 차원에서 접근하면 안됨. 빅데이터는 지속적으로 변하면서 산업별, 시장별 구분에 따라 다르게 적용되기 때문에. 월요 세미나

5 1. 서론 빅데이터 요소 기술 3V + Veracity Veracity 정확도. Doubt 확실한 월요 세미나

6 1. 서론 빅데이터 시대의 경영 월요 세미나

7 1. 서론 빅데이터& 새로운 경영환경 월요 세미나

8 1. 서론 빅데이터& 새로운 경영환경 월요 세미나

9 1. 서론 빅데이터& 새로운 경영환경 월요 세미나

10 2. 빅데이터 처리 기술 통합적인 접근 가이드 월요 세미나

11 2. 빅데이터 처리 기술 분석 방법 월별 판매보고서, 수익률 분석, 소비자 조사 브랜드 정서, 판매 전략, 최대 자산 활용
월요 세미나

12 2. 빅데이터 처리 기술 빅데이터의 데이터 종류 정의 설명 정형 (Structured) -고정된 필드에 저장된 데이터
-관계형 데이터베이스 및 스프레드시트 등 반정형 (Semi-Structure) -고정된 필드에 저장되어 있지는 않지만, 메타데이터나 스키마 등을 포함하는 데이터 -XML이나 HTML 등 비정형 (Unstructure) -고정된 필드에 저장되어 있지 않은 데이터 -텍스트 분석이 가능한 텍스트 문서 및 이미지/동영상/음성 데이터 등 월요 세미나

13 2. 빅데이터 처리 기술 비정형 데이터와 반정형 데이터의 예 월요 세미나

14 2. 빅데이터 처리 기술 VALUE Low Cost Platform 빅데이터 속성 – 3Vs under Low Cost
월요 세미나

15 2. 빅데이터 처리 기술 빅데이터 속성별 기술요소 구분 특성 기술요소 예시 Volume 기존 시스템으로 저장하기 어려움
분산파일시스템 HDFS Variety 텍스트, 이미지, 동영상 등 다양함 비관계형 DB NoSQL Velocity 슈퍼컴퓨터 이상의 처리 성능 필요 병렬처리 MapReduce Value 분석/예측 및 결과물을 형상화 통계/시각화 R 언어 Low Cost 저렴한 비용으로 플랫폼 구축 오픈소스 하둡생태계 월요 세미나

16 2. 빅데이터 처리 기술 빅데이터 처리의 특징 빠른 의사결정이 상대적으로 덜 요구됨 처리(Processing) 복잡도가 높음
대용량 데이터에 기반한 분석 위주로, 장기적/전략적 접근이 필요 따라서 기존의 데이터 처리에 요구되는 즉각적인 처리속도와는 달리, 즉각적인 의사결정이 상대적으로 덜 요구됨 처리(Processing) 복잡도가 높음 다양한 데이터 소스, 복잡한 로직 처리, 대용량 데이터 처리 등으로 인해 처리 복잡도가 매우 높으며, 이를 해결하기 위해 통상적으로 분산 처리 기술이 필요 처리할 데이터 양이 방대함 빠른 의사결정이 상대적으로 덜 요구된다 : 대용량 데이터에 기반한 분석 위주로, 장기적/전략적 접근이 필요하다. 따라서 기존의 데이터 처리에 요구되는 즉각적인 처리속도와는 달리, 즉각적인 의사결정이 상대적으로 덜 요구된다.  처리Processing복잡도가 높다 : 다양한 데이터 소스, 복잡한 로직 처리, 대용량 데이터 처리 등으로 인해 처리 복잡도가 매우 높으며, 이를 해결하기 위해 통상적으로 분산 처리 기술이 필요하다. 처리할 데이터양이 방대하다 : 클릭스트림Clickstream데이터를 예로 들면, 고객 정보수집 및 분석을 장기간에 걸쳐 수행해야 하므로 기존 방법과 비교해 처리해야 할 데이터양은 방대하다.  비정형 데이터의 비중이 높다 : 소셜 미디어 데이터, 로그 파일, 클릭스트림 데이터, 콜 센터 로그, 통신 CDR 로그 등 비정형 데이터 파일의 비중이 매우 높다. 처리의 복잡성을 증대시키는 요인이기도 하다.  처리/분석 유연성이 높다 : 잘 정의된 데이터 모델/상관관계/절차 등이 없어, 기존 데이터 처리방법에 비해 처리/분석의 유연성이 높은 편이다. 또한, 새롭고 다양한 처리방법의 수용을 위해, 유연성이 기본적으로 보장돼야 한다. 동시처리량Throughput이 낮다 : 대용량 및 복잡한 처리를 특징으로 하고 있어, 동시에 처리가 필요한 데이터양은 낮다. 따라서 (준)실시간 처리가 보장되어야 하는 데이터 분석에는 적합하지 않다. 월요 세미나

17 2. 빅데이터 처리 기술 빅데이터 처리의 특징 비정형 데이터의 비중이 높음 처리/분석 유연성이 높음
소셜 미디어 데이터, 로그 파일, 클릭스트림 데이터, 콜 센터 로그, 통신 CDR 로그 등 비정형 데이터 파일의 비중이 매우 높음 처리의 복잡성을 증대시키는 요인 처리/분석 유연성이 높음 잘 정의된 데이터 모델/상관관계/절차 등이 없어, 기존 데이터 처리방법에 비해 처리/분석의 유연성이 높은 편 또한, 새롭고 다양한 처리방법의 수용을 위해, 유연성이 기본적으로 보장되어야 함 동시처리량(Throughput)이 낮음 대용량 및 복잡한 처리를 특징으로 하고 있어, 동시에 처리가 필요한 데이터양은 낮음 따라서 (준)실시간 처리가 보장되어야 하는 데이터 분석에는 적합하지 않음 빠른 의사결정이 상대적으로 덜 요구된다 : 대용량 데이터에 기반한 분석 위주로, 장기적/전략적 접근이 필요하다. 따라서 기존의 데이터 처리에 요구되는 즉각적인 처리속도와는 달리, 즉각적인 의사결정이 상대적으로 덜 요구된다.  처리Processing복잡도가 높다 : 다양한 데이터 소스, 복잡한 로직 처리, 대용량 데이터 처리 등으로 인해 처리 복잡도가 매우 높으며, 이를 해결하기 위해 통상적으로 분산 처리 기술이 필요하다. 처리할 데이터양이 방대하다 : 클릭스트림Clickstream데이터를 예로 들면, 고객 정보수집 및 분석을 장기간에 걸쳐 수행해야 하므로 기존 방법과 비교해 처리해야 할 데이터양은 방대하다.  비정형 데이터의 비중이 높다 : 소셜 미디어 데이터, 로그 파일, 클릭스트림 데이터, 콜 센터 로그, 통신 CDR 로그 등 비정형 데이터 파일의 비중이 매우 높다. 처리의 복잡성을 증대시키는 요인이기도 하다.  처리/분석 유연성이 높다 : 잘 정의된 데이터 모델/상관관계/절차 등이 없어, 기존 데이터 처리방법에 비해 처리/분석의 유연성이 높은 편이다. 또한, 새롭고 다양한 처리방법의 수용을 위해, 유연성이 기본적으로 보장돼야 한다. 동시처리량Throughput이 낮다 : 대용량 및 복잡한 처리를 특징으로 하고 있어, 동시에 처리가 필요한 데이터양은 낮다. 따라서 (준)실시간 처리가 보장되어야 하는 데이터 분석에는 적합하지 않다. 월요 세미나

18 2. 빅데이터 처리 기술 빅데이터를 위한 분석기법 Text Mining Opinion Mining
텍스트 마이닝은 비/반정형 텍스트 데이터에서 자연어처리(Natural Language Processing)기술에 기반하여 유용한 정보를 추출, 가공하는 것을 목적으로 하는 기술 Opinion Mining 텍스트 마이닝의 관련 분야로 오피니언 마이닝, 혹은 평판 분석(Sentiment Analysis)라고 불리는 기술 소셜미디어 등의 정형/비정형 텍스트의 긍정(Positive), 부정(Negative), 중립(Neutral)의 선호도를 판별하는 기술 대부분의 분석기법들은 통계학과 전산학, 특히 기계학습/데이터 마이닝 분야에서 이미 사용되던 기법들이며, 이 분석기법들의 알고리즘을 대규모 데이터 처리에 맞도록 개선하여 빅 데이터 처리에 적용시키고 있다. 최근 소셜미디어 등 비정형 데이터의 증가로 인해, 분석기법들 중에서 텍스트/오피니언 마이닝, 소셜 네트워크 분석, 군집분석 등이 주목을 받고 있다. 월요 세미나

19 2. 빅데이터 처리 기술 Social Network Analytics Cluster Analysis
수학의 그래프 이론(Graph Theory)에 근간을 둠 소셜 네트워크 연결구조 및 연결강도 등을 바탕으로 사용자의 명성 및 영향력을 측정하여, 소셜 네트워크 상에서 입소문의 중심이나 허브역할을 하는 사용자를 찾는데 주로 활용 Cluster Analysis 군집분석은 비슷한 특성을 가진 개체를 합쳐가면서 최종적으로 유사 특성의 군(Group)을 발굴하는데 사용 관심사나 취미에 따른 사용자군을 군집분석을 통해 분류 월요 세미나

20 2. 빅데이터 처리 기술 빅데이터 분석 인프라 기술 Hadoop
Big Data를 처리하기 위해 검증된 Open Source 기반하의 솔루션 대량의 데이터에 대하여 병렬 처리 기능 제공 HDFS (Hadoop Distributed File System) Map/Reduce ƒ 비 정형 상태의 정보를 받아들여 필요에 따라 구조화시킴 소스 정보에 대한 전 처리 과정이 필요 없음 ƒ 저가의 상용 하드웨어 환경에서 확장성이 뛰어남 월요 세미나

21 2. 빅데이터 처리 기술 하둡의 구조와 그에 대응하는 구글의 분산처리기술 월요 세미나

22 3. 빅데이터 동향 및 이슈 현재 빅데이터가 전세계적인 IT 관심사로 급부상한 가운데, ‘10~’11년의 빅데이터 화두가 인프라/분석 기술에 초점이 있었다면, 최근의 빅데이터 글로벌 동향은 빅데이터를 통해 어떠한 가치를 창출할 것인가로 이동 중 Big Data 관심의 이동(3Layer of Big Data) 출처 : LG CNS Big Data/Advanced Analytics strategy 월요 세미나

23 3. 빅데이터 동향 및 이슈 고객 관리, 경영 의사결정 효율화 등의 기업의 일반적 비즈니스 영역 외에도, 각종 공공서비스 개선과, 교통, 질병, 에너지 등 현대사회가 직면한 각 종 사회이슈 해결에 있어서의 빅데이터의 역할에 주목하고 있음 전세계 빅데이터 비즈니스를 Leading 하는 구글의 최근 사업 방향은 단순히 빅데이터 기술 및 인프라 공급 차원을 넘어서 ‘Human Society Problem Solving’ 방향으로 진화 중 Google의 Big Data Strategy 변화 방향 월요 세미나

24 3. 빅데이터 동향 및 이슈 미국, 영국, 일본 등 주요 선진국들의 정부와 지자체들은 빅데이터 분석을 향후 국가경쟁력 강화 및 시민복지 향상 위한 중요 수단으로 인식 공공 데이터의 활용이 정부의 대민 서비스와 직결되어 있음을 인지, 공공데이터 활용을 정부 정책으로 적극 추진 물가관리, 재난방재, 질병방지, 범죄 예방 및 치안, 테러 방지 등 공공서비스 영역에서 예상외의 불규칙한 사건의 예측 위해 빅데이터 활용 미국은 공공의료 빅데이터 활용 통해 연 3,300억 달러 효과 기대 EU는, 1,500~3,000억 유로 효과 기대 국내의 경우도 빅데이터 공공부문 활용시 경제효과 10.7조원 추산 월요 세미나

25 4. 빅데이터 산업별 활용 사례 빅데이터 산업별 활용 사례 월요 세미나

26 4. 빅데이터 산업별 활용 사례 IBM - Infosphere Streams 다양한 형태의 데이터를 실시간 처리 월요 세미나

27 4. 빅데이터 산업별 활용 사례 Texas Seton Healthcare 월요 세미나

28 4. 빅데이터 산업별 활용 사례 캐나다TD Bank Financial Group 월요 세미나

29 4. 빅데이터 산업별 활용 사례 덴마크Vestas풍력 설비 관리 월요 세미나

30 4. 빅데이터 산업별 활용 사례 빅데이터 관련 글로벌 기업 글로벌 기업 투자유치 및 IPO 현황 – 2012/5
오픈소스 하둡이나 NoSQL 기술을 기반으로 한 제품을 공급하는 업체 클라우데라, 맵R, 카우치베이스, 10Gen 등 BI 구축과 데이터 분석, 데이터 시각화에 중점을 둔 업체 도모, 펜타호, 재스퍼소프트, 카마스피어 등, 테라데이터, 오라클, IBM, SAP 등 글로벌 기업 투자유치 및 IPO 현황 – 2012/5 구분 투자유치 및 IPO 성과 업체 정보 버스트(Birst) 총 4,600만 달러 유치 (최근 2,600만 달러, 시쿼이아 캐피털) 클라우드 기반의 BI 툴 개발을 목표 클라우데라 총 7,500만 달러 유치 (최근 4,000만 달러 이그니션파트너스, 그레이록파트너스, 액셀파트너스) 하둡 기술의 상용 버전을 판매하고 지원 맵R 총 2,500만 달러 유치 클라우데라의 경쟁업체 10Gen 총 3,200만 달러 유치 빅 데이터 데이터베이스인 몽고DB 개발업체 데이터스택스 (DataStax) 총 1,100만 달러 유치 아파치 카산드라 데이터베이스 기술 기반의 제품을 공급 도모(Domo) 총 6,000만 달러 유치 빅 데이터용 클라우드 기반 BI 서비스 업체 카마스피어 (Karmasphere) 총 1,200만 달러 유치 데이터 분석 기술 업체 스플렁크(Splunk) 2억 3,000만 달러 IPO 성공 빅 데이터 소프트웨어 업체 월요 세미나

31 4. 빅데이터 산업별 활용 사례 해외사례 미국 국세청, 탈세 방지 시스템 통한 국가 재정 강화
일본, 센서데이터를 활용한 지능형 교통안내 시스템 밀라노, 지능형 교통정보 시스템으로 신속 정확하고 손쉬운 길안내서비스 뉴욕주 시라큐스시, 데이터 분석을 기반으로 스마터 시티 추진 덴마크 베스타스 윈드 시스템, 풍력 에너지 관리로 에너지 생산 효과 극대화 월마트, 데이터 분석을 통한 투자수익 증대 자라, 점포, 상품별 등 실시간 데이터 분석을 통한 판매량 증대 마이크론 테크놀로지, 제품생산시간 분석을 통한 비용절감 미국 국립보건원, 유전자 데이터 공유를 통한 질병 치료체계 마련 미국 국립보건원, Pillbox 프로젝트를 통한 의료개혁 미국 퇴역군인의 전자의료기록 분석을 통한 맞춤형 의료 서비스 지원 싱가포르, 주민위원회 센터 네트워크를 기반으로 맞춤형 복지사회 구현 캐나다 온타리오 공과대병원, 미숙아 모니터링을 통한 감염 예방 및 예측 네덜란드 스파크드, 빅데이터를 활용하여 건강한 소 사육 환경 구축 월요 세미나

32 4. 빅데이터 산업별 활용 사례 국내사례 한국석유공사, 국내 유가 예보 서비스를 통한 비즈니스 최적화
국민권익위원회, 민원정보분석 시스템을 통한 국민과 정부의 소통 활성화 한국도로공사, 고객 목소리 분석 시스템을 통한 서비스 혁신 통계청, 임금근로일자리 통계로 일자리 현황 파악 지원 한국수자원공사, 스마트 워트 그리드를 기반으로 물 부족 현상 해결 포스코, 원료가격의 효율적 구매를 통한 가격 경쟁력 제고 GS EPS, 전력시잔 분석 시스템을 통한 전력시장 전망 및 분석 SK텔레콤, 소셜네트워크에서의 여론분석을 위한 스마트 인사이트 시스템 현대, 기아자동차, 문서 중앙화 시스템으로 통합적 기업 정보 관리 보건복지부, 행복e음을 통한 수요자중심의 복지서비스 구현 근로복지공단, ‘찾아가는 서비스’를 통한 맞춤형 고객관계 관리 한국인체자원은행네트워크, 정보공유로 생명공학분야 경쟁력 제고 분당 서울대병원, 임상의사결정지원 시스템 등 의료 IT시장 선도 DNA Link, 유전자 분석 시스템으로 맞춤형 건강 검진 서비스 제공 연세대학교 의료원, 후 헬스케어 시스템으로 양질의 의료 서비스 제공 월요 세미나

33 5. 결론 기업 : 사회와 인류의 유용한 정보를 효과적으로 분석하여 전략 마케팅을 펼침
정부 : 사회구성원들의 막대한 정보를 분석을 통해 교통, 세금, 범죄, 재난 대처 등 정확한 정보를 토대로 예산 집행의 효율성과 공공 서비스의 질을 높여야 함 정부/기업 양측의 빅데이터 활용의 중요성을 공감하고, 빅데이터 활용 방안 및 전문 인력 양성을 통해 미래사회 효과적 대비를 위한 역할 분배 논의가 요구됨 지능화, 고도화 되고 있는 보안 위협에 대응하는 지능형 보안 시스템 구축을 위해서 빅데이터 분석이 필요 PC를 사용하고 있는 사용자의 로그와 모든 정보들을 클라우드 환경으로 수집할 경우 기업의 입장에서 빅데이터로 인식할 수 있으며, 이를 적극적으로 활용한다면 보다 효과적인 보안 대책 수립이 가능 월요 세미나

34 Click to edit company slogan .
Thank You ! Click to edit company slogan . 월요 세미나

35 참고문헌 이상호, “빅데이터 발전 방향과 비즈니스 전략”, IT21 Global Conference, 2012
김승윤, “Big Data 최근 글로벌 동향과 이슈”, KT경제경영연구소, 2012 조성우, “Big Data 시대의 기술”, 중앙연구소 Intelligent Knowledge Service 월요 세미나