-2013 Electronics and Telecommunications Trends 오지영
Contents 1. 개요 2. 빅데이터와 집단지성 3. 표준화 기구별 동향 4. 결론
1. 개요 1.1 빅데이터 정의 1.2 빅데이터 범위 1.3 빅데이터 특징 (3V)
1.1. 빅데이터 정의 빅데이터란 1. 대량의 데이터 집합으로부터 유용한 정보를 추출하는 것으로 정의된 다.(Hand et al. 2001) 2. 데이터마이닝이란 의미있는 패턴과 규칙을 발견하기 위해서 자동화되거나 반 자동화된 도구를 이용하여 대량의 데이터를 탐색하고 분석하는 과정이 다. (Berry and Linoff. 1997, 2000) 3. 데이터마이닝은 통계 및 수학적 기술뿐만 아니라 패턴인식 기술들을 이용 하여 데이터 저장소에 저장된 대용량의 데이터를 조사함으로써 의미있는 새로운 상관관계, 패턴, 추세 등을 발견하는 과정이다. ( 가트너그룹 ) 4. 일반적인 데이터베이스 SW 가 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터 (Mackinsey, 2011) 5. 다양한 종류의 대규모 데이터로부터 저럼한 비용으로 가치를 추출하고 ( 데 이터의 ) 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키 텍처 (IDC, 2011) 출처 (1~3) : Data Mining for business Intelligence : Concepts, Techniques, and Application 출처 (4, 5) : 위키피디아
1.2 빅데이터의 범위 산업계에서 빅데이터를 바라보는 시선 현재 거론되는 빅데이터 비정형 데이터를 중심으로 효 과적으로 데이터를 처리하는 기술 정형 데이터베이스에서 대규모 저장 시스템을 연구 광의의 빅데이터 기존의 대용량 데이터베이스와 장비 시장을 장악하는 글로벌 기업들을 중심으로 부각되고 있는 기술 Talent, Organization (Data scientists, etc.) Data Processing, Accumulation, Analytical Techniques (Hadoop, NoSQL, Machine learning, Statistical Analysis) Unstructured Data (Text, Video, Audio Sensor, GPS, etc.) Structured Data (Customer data, Sales data, etc.) Narrow range of BigData (including the characteristics of the V3) Widely range of BigData 출처 : 노무라종합연구소
1.2 빅데이터의 범위 (con’t) 빅데이터에 대한 데이터베이스 기술 버려지고 있는 데이터들에 대한 관심으로 기술의 변화 대상 데이터를 클러스터링과 필터링 방식을 통해 효과적으로 걸러내는 기술이 등장 적은 비용으로 새로운 가치를 발굴하는 것이 가능 데이터 처리 기술의 발전과 컴퓨팅 속도의 발전으로 가능 -
1.3 빅데이터의 특징 2. Velocity - 가공되지 않는 원시 데이터에서 가치를 찾는 것 - 데이터가 계속 변하는 경우 - 변화에 따라 새로운 분석 방법, 새로운 가치 부여가 가능 - 예 : 소셜 네트워크 - 데이터의 변화 속도가 빠르기 때문에 - 현재 데이터를 포함할 가능성이 가장 높다 1. Volume - 분석하는 데이터의 크기가 일정 수준 이상이어야 의미있는 데이터를 취득하는 것이 가능 - 통계에서 표본 데이터가 많아야 정확도가 올라가는 것과 같음 - 일반적으로 100 테라비이트 이상의 데이터를 빅데이터라 칭함 3. Variety - 데이터의 다양성은 데이터가 만들어 내는 정보의 가치를 건강하게 함 - 건강하다 => 사실에 가깝거나, 사람들이 체감적으로 공감하는 내용에 가깝다는 것을 의미 - 예 : 선거 여론 조사에서 표본의 다양성 일반적으로 3 가지 특징을 가지는 큰 데이터 부피가 크고 / 변화의 속도가 빠르며 / 데이터의 속성이 너무나 다양한 데이터 출처 : Gatner inc.
2. 빅데이터와 집단지성 2.1 집단지성과 크라우드 소싱 2.2 오픈 소스 중심의 빅데이터 처리 기술 2.3 클라우드 기반의 빅데이터 처리 기술
2. 빅데이터와 집단지성 (con’t) 빅데이터는 많은 데이터를 가지고 정확한 기계적 통계 바탕의 결론을 제공 왜 데이터가 모이면 더 정확하고 심지어 미래를 예측하는 것이 가능한가 집단지성 (collective intelligence) 과 크라우드 소싱 (crowd sourcing) 개념에서 출발 집단지성과 크라우드 소싱 빅데이터과 밀접한 관련 빅데이터의 3V 특징 중에서 규모와 다양성이 중요하게 된 이유 사람이 생성하는 데이터나 기계가 생성하는 데이터에서 일정 규모 이상, 다양한 종류의 데이터를 확보하는 것은 데이터에서 새로운 가치를 만들어 내는데 중요한 역할을 하는 것
2.1 집단지성과 크라우드 소싱 집단적 지능 다수의 사람들이 서로 협력하거나 경쟁해서 지식을 더욱 고도화하여 얻음 제임스서로워키 (James Surowiecki) 의 실험 한 명의 우수한 사람의 대답보다 평범한 여러 명의 답이 더 우수한 결과를 생성 예 위키피디아 사용자가 검색하는 키워드를 페이지로 제공 누구나 정보를 올릴 수 있음 펩시 Pepsi Refresh Project 일반인들의 아이디어를 받고 투표를 통해 결정 델 IdeaStorm 사이트 - 자사의 컴퓨터에 대한 민원 처리 - 아이디어 추천
2.2 집단지성과 크라우드 소싱 크라우드 소싱 일을 대중 (crowd) 에게 일부 나눈다 (sourcing) 는 개념 기업이 상품 기획,, 판매, 홍보 등에 소비자가 참여할 수 있도록 일부를 개방 소비자가 자발적으로 참여하여 기업의 수입을 올리면 수익을 공유 2006 년 와이드 매거니 제프 하우가 제시 대중 (crowd) + 외부자원 활용 (outsourcing) 전문가 대신 비전문가인 고객과 대중에게 문제의 해결책을 아웃소싱하는 것
2.3 오픈 소스 중심의 빅데이터 처리 기술 오픈 소스 중심의 빅데이터 처리 기술 오픈 소스의 역할 빅데이터 분석의 기술적 배경이 되는 분산 처리 및 다양한 연산기술 Facebook, Google 등이 자사의 초기 프로그램을 공개한 것에 큰 영향을 받 음 각 분야의 실질적인 표준으로 자리를 잡기도 함 예 : 하둡의 높은 활용도 빅데이터 구성 기술 4 가지 과정 : 데이터 수집, 저장, 분석, 시각화
2.3 오픈 소스 중심의 빅데이터 처리 기술 (con’t) 빅데이터 관련 오픈 소스 프로젝트 빅데이터 구성 기술 - 데이터 수집, 저장, 분석, 시각화 실시간 분석 - 데이터 수집, 통합, 실시간 분석, 시각화 - 이전의 분석 결과에 새롭게 생성된 데이터를 추가 학습 - 데이터를 수집하고 스트림으로 제공하는 것이 중요 기술 일괄 분석 방법 - 데이터 수집, 저장, 일괄 분석, 시각화 - 전체를 다시 분석 ( 하루 정도의 시간 필요 )
2.4 클라우드 기반의 빅데이터 처리 기술 클라우드 기반의 빅데이터 처리 기술 기업의 부담감 하부의 저장 시스템을 구축해야 함에 어려움이 있음 클라우드 등장 물리적을 떨어진 기관이 데이터를 연동하기 위한 방법 공공 클라우드보다는 사설 클라우드를 활용 구글의 빅쿼리 구글의 빅데이터 분석 서비스 온라인 분석 활용
3. 표준화 기구별 동향 3.1 공적 표준화 기구 동향 3.2 사실 표준화 기구 동향
3.1 공적 표준화 기구 동향 ISO/IEC JTC 1 본격적인 표준화 작업에 앞서 관련된 SC(Sub-Committee) 의 활동 상황을 점검 SWG-P(Special Working Group-Planning) 이슈화되고 있는 기술에 대한 표준 항목을 도출 개별 SC 와의 협력 방안을 마련 공식적 그룹 SC32, SC29, SC27, SC23, SC7 ISO/IEC JTC1/SC32 데이터 관리 및 교환에 대한 표준을 추진 국가 간 데이터 교환 클라우드 컴퓨팅에서 데이터 교환을 위한 연구 그룹 정보교환 및 저장을 위한 디지털 미디어 표준을 추진 데이터 압축 기술 및 빅데이터 관련 데이터 저장 기술에 대한 관심
3.1 공적 표준화 기구 동향 (con’t) ISO/IEC JTC1/SC27 IT 보안에 관련된 표준을 개발 빅데이터 분석을 통한 개인의 사생활 침해 가능성에 대한 논의 개인의 사생활 문제 등 표준화가 필요한 항목에 대한 기본 조사를 추진 ISO/IEC JTC 1/SC29 WG11(MPEG) 빅데이터의 비정형 데이터의 표현을 정규화 의미 기반 데이터 처리를 위해 자연어 처리 기술을 바탕으로 데이터의 중 의적 의미를 표현하는 표준을 추진 ISO/IEC JTC 1/SC7(ISO/IEC 25012) 소프트웨어와 시스템공학 기술 표준을 개발 빅데이터 시스템에 대한 컴포넌트 참조 시스템에 대한 관심 클라우드 기술과 빅데이터 기술에 관심
3.1 공적 표준화 기구 동향 (con’t) ITU-T SG13, SG16, SG17 에서 관련된 표준화 활동에 대한 논의 SG13 미래 인터넷 측면에서 접근 클라우드 기반의 빅데이터 분석 시스템 SG16 멀티미디어 빅데이터 분석에 관심 SG17 빅데이터 분석에 따른 개인 사생활 보호에 대한 관심
3.2 사실 표준화 기구 동향 W3C 빅데이터 CG(Community Group) 2012 년 4 월에 생성 빅데이터 처리를 위한 표준 구조, 프로그램 API 정의 상호 호환성, 보안, 저비용 특징 반영 ODCA(Open Data Center Alliance) 클라우드 표준화 및 클라우드 기반의 오픈 서비스를 표준화 2012 년 4 월 30 일. 데이터 서비스 작업반 (Data Service Workgroup) 만듬 데이터를 수집, 관리, 분석할 수 있는 표준 기존 BI(Business Intelligence) 솔루션 사이의 상호 운영성을 보장할 수 있는 표준 개발 Cloudera, Hortonworks, MapR Tech., Teradata, SAS 등 업체 참여
3.2 사실 표준화 기구 동향 (con’t) ODI(Open Data Institute) 공공데이터의 활용 기회를 높여 국가 전반의 혁신을 촉진 공공 데이터의 잠재력을 활용한 새로운 비즈니스 발굴을 목적 2012 년 9 월부터 5 년동안 1,000 만 파운드 (180 억원 ) 지원
결론 빅데이터 기술은 ICT 전반에 걸쳐 다양한 이슈들이 관련되어 있는 기술 인공지능, 저장 시스템에 관련된 많은 연구가 진행 중 표준화 역시 관련 영역에서 병렬 추진중 빅데이터의 주요 이슈 클라우드 기술과 결합한 시스템 표준화가 목적 빅데이터에서 분석의 대상인 데이터의 재활용성 및 상호 호환에 초점 국내 기술 국내 기술은 아직 성숙되지 않은 상황 국내 기술을 지원하는 표준화보다는 향후 기술의 발전 방향을 미리 점치고 선점하는 전략적 접근이 필요