Big Data handling skill, Is it a key of performance ?

Presentation on theme: "Big Data handling skill, Is it a key of performance ?"— Presentation transcript:

1 Big Data handling skill, Is it a key of performance ?
기술경영학 협동과정 류성일 2012년 12월 10일

2 1. BigData 특징 Big Data의 5대 특징 : 대용량, 다양성, 속도↑, 복잡성, 분석모델無 (가트너, 매킨지, 베인, 부즈) Data Volumes 처리해야 할 데이터량 방대함 (물리적인 크기뿐만 아니라 현재의 기술로 처리가능한 양인지 아닌지에 따라 판단) Gathner (2011) McKinsey (2011) Bain&co. (2012) Booz&co.(2012) Data Structure 비정형 데이터의 비중이 높음 (소셜 미디어 데이터, 로그 파일, 클릭스트림 데이터, 콜센터 로그, 통신 로그 등) Velocity ↑ 실시간으로 데이터가 생성될 때 데이터를 빠르게 처리하는 니즈 증가 실시간 처리, 스트림 처리 등이 주목받음 Processing Complexity 처리 복잡도가 높음 (다양한 데이터 소스, 복잡한 로직 처리 등) Analysis flexibility 잘 정의된 데이터 모델/상관관계/절차 등이 없음 기존 데이터 처리방법과 프레임이 짜여진 바가 없음 (따라서 처리 방법에 유연성이 높음) Bain & Company (2012), Navigating the Big Data challenge Booz&co. (2012), Benefitting from Big Data Leveraging Unstructured Data Capabilities for Competitive Advantage Gathner (2011), CEO Advisory : Bit Data Equals Big Opportunity Gathner (2011), Big Data Analytics James Manyika, Michael Chui, Brad Brown, Jacques Bughin, Richard Dobbs, Charles Roxburgh, Angela Hung Byers (2011), Big data: The next frontier for innovation, competition, and productivity, McKinsey Global Institute, McKinsey & Co.

3 1. BigData 특징 Big Data의 분류 (IDC, 2011)
IDC's Digital Universe Study, sponsored by EMC, June 2011

4 2. BigData 활용으로 기업이 얻는 효과 Big Data의 가치 : 투명성, 성과향상, 세그먼트, 의사결정, 신상품및BM 발굴 (McKinsey, 2011) Creating transparency 빅데이터를 통해 주주들에게 올바른 정보를 적시에 제공될 수 있음. R&D나 제조 부문에서도 통합된 데이터는 결과물의 품질과 소요시간을 단축시킴. Improve performance 제품 재고 현황 에서부터 직원 병가에 이르기까지의 모든 데이터가 관리됨으로써, 보다 정확하고 상세한 데이터를 수집할 수 있고 이를 통해 매니저는 성과 향상을 위한 솔루션을 찾을 수 있음 Segmenting populations 빅데이터를 통해 보다 세밀하고 정확한 제품/고객 세그먼트를 발견할 수 있음 Decision making 의사결정 지원을 위한 자동화된 알고리즘 개발이 가능 이러한 도구를 통해 리스크를 줄이고 보이지 않던 인사이트를 발견할 수 있음. New BM, product and services 빅데이터 분석을 통해 새로운 제품 및 서비스를 발견하거나 전혀 다른 비즈니스 모델을 발견할 수 있음 James Manyika, Michael Chui, Brad Brown, Jacques Bughin, Richard Dobbs, Charles Roxburgh, Angela Hung Byers (2011), Big data: The next frontier for innovation, competition, and productivity, McKinsey Global Institute, McKinsey & Co.

5 3. BigData 경쟁우위 Level BigData로 부터 경쟁우위를 얻기 위한 요건 McKinsey (2011)
NIA (2012) Booz&Co. (2012) Tech. & Technique 스토리지, 컴퓨팅, 분석S/W 등의 기술적 뒷받침이 필요 [기술] 데이터 저장/관리 기술, 데이터 분석 기술 (자연어처리, 데이터마이닝), 시각화 [Solution Maturity] 분석 방법론 아직 정착안됨 [Tech.] Velocity, Volume, Variety of Data 를 커버할 기술 Access to data 다양한 원천으로부터 데이터를 수집하고 통합할 수 있어야 함 [자원] 데이터 자원 확보, 데이터 품질 관리 - Organizational change and talent 빅데이터 활용에 대한 이해가 충분한 사람이 조직의 리더를 맡아야 하며, 보상체계와 업무 체계를 갖추어야 함 [인력] 데이터 엔지니어 육성 및 확보 [조직적 한계] 데이터 핸들링/분석 전문성 부족 해결해야 [문화적 허들] 조직 문화가 빅데이터를 잘 활용할 수 있게 바뀌어야 함. Data Policy 프라이버시 침해, 보안 문제를 해결해야 하며, Linked-Data 증대가 초래할 분쟁에 대비해 법률적 뒷받침도 필요 [Privacy 문제] 개인 정보의 활용에 거부감, 리스크 있음 [Trust 이슈] 보안 문제 Competitive structure 빅데이터를 통한 가치 실현을 위해 산업내 경쟁환경 필요 (경쟁 강도가 약한 공공부문은 생산성 향상 노력이 부족하므로, 빅데이터 활용 시도 또한 잘 이뤄지지 않음) James Manyika, Michael Chui, Brad Brown, Jacques Bughin, Richard Dobbs, Charles Roxburgh, Angela Hung Byers (2011), Big data: The next frontier for innovation, competition, and productivity, McKinsey Global Institute, McKinsey & Co. NIA (2012), 성공적인 빅데이터 활용을 위한 3대 요소 : 자원, 기술, 인력 Booz&co. (2012), Benefitting from Big Data Leveraging Unstructured Data Capabilities for Competitive Advantage

6 3. BigData 경쟁우위 Level 1) ‘Tech. & Technique’ Level
2) ‘Access to data’ Level 데이터 원천 확보/확장을 위해 얼마나 노력하고 있는 지를 측정 전년도에 비해 확보 데이터 원천이 증가했는 지를 확인 3) ‘Organizational change and talent’ Level 데이터 전문가 영입 또는 육성 노력 수준을 평가 빅데이터 운용/분석 성과를 측정하기 위한 인사 제도 및 보상 체계 마련 수준 부문 리더가 빅데이터에 대한 이해를 갖추고 있는지 평가 4) ‘Data Policy’ Level 빅데이터 관련 프라이버시 침해, 보안 문제를 해결하기 위한 약관 마련, 제도 보완 기업 외부 및 타 부서간 Linked-Data 에 대한 소유권, 책임 등의 제도 마련

7 4. BigData 프로세스별 기술 Level BigData 프로세스 별, [Tech. & Technique] 리뷰
Pete Varden (2011), 문혜정 (2012) 안창원, 황승구 (2012) Data source 내부 데이터 (DB, File 관리시스템) 외부 데이터 (SNS, 공개정보 수집) - Collecting Crawling (검색 엔진의 로봇을 이용한 데이터 수집) ETL (소스 데이터의 추출, 전송, 변환, 적재) 데이터수집 로봇, Life Logger 데이터 가상화 기술 Preprocess 데이터 통합, 데이터 정제, ETL Storage DB, 기록매체, 서버관리 대용량 파일분산 시스템, MapReduce, 인-메모리 DB, 인-DB 분석 Handling 데이터의 추출, 가공 Analysis 자연어처리, 기계 학습, 서열화 등의 분석 자연어처리, Text마이닝, 예측분석 등 Expression 표현( 도표, 그래픽으로 시각화) 그래픽 기반 모델링 도구, 인포그래픽스, 동적 가시화 도구 Pete Warden (2011), Big Data Glossary, O’Reilly Media 문혜정 (2011), Big Data 구축기술과 사례를 중심으로 안창원, 황승구 (2012), 빅데이터 기술과 주요 이슈

8 4. BigData 프로세스별 기술 Level 1) Collecting 및 Preprocess 단계
얼마나 풍부한 데이터 수집 방법을 도입하고 있는지를 평가 ex) 외부 Big Data 자동 수집 방법 (NIA, 2012) 자신의 데이터가 내/외부 다른 소스의 데이터와 연계되고 인용되는 등, Linked Data가 만들어질 수 있는 수준 (다른 조직에서 데이터 시너지 효과 창출 가능성) Log 수집 Crawling Sencing Open API 조직 내부에 존재하는 정보의 로그 수집 (웹로그, 트랜잭션 로그, 클릭 로그, DB 로그) 조직 외부에 존재하는 소셜 데이터 등의 공개된 자료를 수집 공개된 자료는 아니지만, 자체 도구/방법론을 이용해 추가 데이터를 수집 데이터 공유, 참여를 지원하는 웹2,0 기술을 활용하여 더 많은 정보를 수집 NIA (2012), 빅데이터 시대의 데이터 자원 확보와 품질 관리 방안 2) Storage 및 Handling 단계 데이터를 기록/관리 캐파 향상을 위해 노력하고 있는지를 평가 전년도에 비해 확보 서버/스토리지 수준이 증가했는 지를 확인 메인프레임형 서버 → 분산형 서버로 교체 수준(예정)을 확인 비정형 데이터 처리 증가 수준 평가 ex) 분산형 스토리지 / 클라우드형 스토리지 운용 여부 평가 분산형 스토리지 혹은 클라우드형 스토리지 도입 수준 등으로 평가 (ex: Hadoop 등)

9 4. BigData 프로세스별 기술 Level 4) Analysis 단계
ex) 비정형 데이터를 기록/관리 수준으로 평가 비정형 데이터는 어느정도 구조적인 형태로 변형하여 저장해야 함 (ex: Scribe, Flume, Chuckwa 등의 오픈소스 솔루션) ex) Linked Data 5-Level (Berners-Lee, 2009) 자신의 데이터가 내/외부 다른 소스의 데이터와 연계되고 인용되는 등, Linked Data가 만들어질 수 있는 수준 (다른 조직에서 데이터 시너지 효과 창출 가능성) 1등급 2등급 3등급 4등급 5등급 임의의 형식으로 공개/제공 기계 처리 가능한 정형 데이터 (ex: 그림파일 대신 엑셀파일) 표준 공개 형식 (ex: CSV 파일) 확장된 표준 (ex: W3C의 RDF, SPARQL) 타조직/외부의 데이터와 링크해서 데이터를 진화시킴 (Linked RDF) Berners-Lee, T.(2009) Linked Data, ※ SPARQL은 RDF 트리플로 이루어진 그래프 구조의 시맨틱 웹 데이터를 효과적으로 질의하기 위한 언어 2008년 W3C의 권고안(Recommendation- 제정된 SPARQL 1.0은 RDF, RDFS, OWL 과 같은 시맨틱웹 표준으로 기술된 시맨틱웹 데이터를 접근하기 위한 표준 4) Analysis 단계 데이터 분석 수준 및 범위 증대를 위해 노력하고 있는지를 평가 데이터 분석 과업에 투입한 시간x인력(MM)가 증가했는 지를 확인 Hadoop 등의 분산형 빅데이터 분석 S/W 도입 수준을 평가 5) Expression 단계 빅데이터 Visualization 툴 개발 노력 평가 ‘클릭뷰’, ‘스팟파이어’ 등과 같은 데이터 Visualization 솔루션 도입 여부 평가 빅데이터 기반의 실시간 프리젠테이션 활용 정도 평가

10 5. R&D performance BSC(Balanced Scorecard)-based R&D 성과 지표 (kerssens-van Drongelen, 1997) R&D 특성상 최종 제품이 아닌 경우가 대부분으로, 재무지표 외에 고객관점 및 혁신수행관점 등의 평가 척도가 포함됨 Perspective Category Measure Internal business Productivity hours spent on projects/total hour R&D Speed to market technology/design reuse Current time to market(development time)/reference time to market (development time) Reliable delivery of outputs sum of revised project durations/sum of planned durations Quality of output no. of times rework required Innovation and learning Technology leadership no. of patentable discoveries per $ spent on R&D Long-term focus % of budget spent internally and externally on basic and applied research High absorptive capacity % of project in cooperation with third party Learning organization % of project evaluation ideas applied in new projects Financial Survive PV of R&D accomplishments / R&D expenditure Succeed % of sales from new products Prosper Market share gained due to R&D Customer High customer satisfaction Score on customer satisfaction audit % of customer driven projects Anticipation of internal and external customers needs % of customer driven projects High level of design for manufacture Engineering hours on projects / engineering hours on project and troubleshooting R&D hit rate % of projects terminated before implementation Kerssens-van Drongelen, I.C., and Cooke, A. (1997), Design principles for the development of measurement systems for research and development processes. R&D Management, 27, 4, 345–357.

11 BigData Management Level Competitive environment
6. 최종 연구 모형 BigData 프로세스별 기술 Level BigData 경쟁우위 Level BigData Management Level R&D Performance P7,8,9 Collecting & Preprocess P5,6 Storage & Handling Tech. & Technique P4 P10 Big data Management Level R&D Performance Analysis Access to data Expression Organizational change and talent Data Policy (moderator) 과업/프로세스의 BigData 연관성 BigData의 요건 p2 Data Volumes How close it is to big data condition Data Structure Velocity ↑ Competitive environment Processing Complexity p5 Analysis flexibility Competitive structure

12 7. 후속 작업 1) 추가 문헌 리뷰, 모형 단계별 측정 지표 정교화
7. 후속 작업 1) 추가 문헌 리뷰, 모형 단계별 측정 지표 정교화 독립변수 : BigData 프로세스별 기술 Level, BigData 경쟁우위 Level 종속변수 : R&D Performance 조절변수 : Environment (조절변수) 2) 측정 서베이 설계 및 파일롯 테스트 파일롯 테스트 결과, 연구 모형 검토 및 수정 최종 서베이 문항 확정 3) 최종 서베이 수행 필요시 서베이 전문 업체 용역 활용 여건이 허락한다면, 중/소 vs 대기업으로 설문 대상을 구분 4) 논문 작성 분석 결과의 시사점 수준에 따라, 논문의 향후 활용 방안 결정

13 Thank you