What is‘Big Data’? - 빅 데이터에 대한 전반적인 이해 네트워크 컴퓨팅 프로젝트 김충현

Slides:



Advertisements
Similar presentations
김 현 곤 한국정보화진흥원 국가정보화기획단장 2012 산림 IT 컨퍼런스.
Advertisements

데이터 베이스 (MYSQL) 장수용. MYSQL 이란 ? -MySQL 은 DBMS( 데이터베이스 관리 시스템 ) 이다. - MySQL 은 RDBMS( 관계형 데이터베이스 ) 이다. - MySQL 은 오픈소스이다. - MySQL 은 빠르고, 안정적이고.
이혁재 /KASA NoSQL. 요약 NoSQL 소개 데이타베이스 관련 문서 대상 : 클라이언트 프로그래머 NoSQL 소개 데이타베이스 관련 문서 대상 : 클라이언트 프로그래머.
ㄷ. 세상을 바라보는 또 다른 시각 ' 동아대학교 경영대학 기업분석공모전 -BIGGIRL 팀.
WCL 이민학 Big Data & Hadoop.
Big Data Chap 3. I. VBRE(Value-Based RE) II. Requirement Prioritization III. AHP(Analytical Hierarchy Process) IV. Requirement Negotiation Q & A.
윤준혁 (12), 이주연 (13), 박혜원 (14), 안혜경 (15) 허니버터칩으로 알아본 SNS 의 영향 력.
빅데이터 사례와 교육적 활용 교육공학 박사 3 학기 이경숙. 빅데이터 정의 빅데이터 (Big Data) 란 일반적인 데이터베이스 체계가 저장, 관 리, 분석할 수 있는 범위를 초과하는 규모의 데이터 (McKinsey, 2011) - 데이터의 양, 생성 주기 ( 실시간.
학교폭력이란 ? 학교 내외에서 학생을 대상으로 발생한 상해, 폭행, 감금, 협박, 약취, 유인, 명예훼손, 모욕, 공갈, 강요, 강제적인 심부름 및 성폭력, 따 돌림, 사이버 따돌림, 정보통신망을 이용한 신체 · 정신 또는 재산상의 피해를 수반하는 행위 음란 · 폭력 정보.
대학생 서포터즈 운영국 활동 리뷰 2013 년 해외안전여행 주요 이슈사항 _ 개요 해외안전여행 서포터즈 6 기 주요 활동 개요 월별로 미션에 따라 홍보대상을 선정, 전체활동과 함께 팀별 홍보활동 진행 5월5월 6월6월 7월7월 8월8월.
1 ‘ 우리나라의 주요공업 ’ - 정도웅, 주민혁, 안수진, 백경민, 엄다운, 박경찬 -.
수유부의 약물복용 시 주의점 발표자 조기성. 모유 수유의 장점 모유 수유의 장점은 ? 위장관 질환 발생감소 영아 돌연사 발생감소 아토피 질환 발생감소 정서적 안정.
Ⅰ Ⅱ Ⅲ Ⅳ Ⅴ Ⅵ ’ ( 금 ) ~ ( 목 ) / 15 개 시・군 대한체육회 / 도, 교육청, 도체육회 47 개 종목 / 32 천명 ’ ( 금 ) ~ ( 화 ) / 9 개 시・군 대한장애인체육회 / 도,
고려대∙매경∙한국빅데이터학회∙한국오라클 빅데이터 응용 및 보안 학위과정 안내
5장. 시장 조사와 사업계획서 시장 조사는 창업을 하려는 사업가가 자신이 선택한 사업 아이템에 대하여 반드시 실시하여야 하는 것이다. 아무리 창조적인 제품이라 할지라도 시장에서 선택받지 못한다면 그러한 제품을 아무리 생산하여도 결국 사업에 실패할 수밖에 없기 때문이다.
미국의 미디어교육 신문방송학과 강진구 한인수 곽모란 이명현.
2.1 In-Memory Computing 디스크 기반 데이터베이스에서 인메모리 기반 데이터베이스로 BW시스템 전환
스마트 남해 모바일 앱 완료보고 및 시연회 ㈜아이액츠.
PRESENTATION 저온화상이란?
김 형 진 전북대학교 IT응용시스템공학과 웹 서비스 개념과 기술 Chapter 김 형 진 전북대학교 IT응용시스템공학과.
사회의 사람들을 이어주는 망과같은역할을 하는 서비스를 SNS라고 한다.
컴퓨터공학과 김소원.
국가기간•전략산업직종훈련 빅데이터기반 자바 개발자 양성과정 대표전화 : ,
공부할 내용 조상들이 살던 곳 자연과 잘 어울리는 한옥 지방에 따라 서로 다른 집의 모양 섬 지방의 집
사랑, 데이트와 성적 자율성 :데이트 성폭력!!! 성폭력예방교육 전문강사 / 여성학 전공 신 순 옥.
블로그 활용 현황 학과 : 영어영문학과 학번 : 이름 : 정경업
보건의료 인력양성의 문제점과 방안 김윤미, 전현화, 김지연, 김현정.
퇴계와 율곡의 사회사상 비교 남 일 재 동서대학교 교수/ 정치학 박사 1. 퇴계 이황과 율곡 이이의 약전(略傳)
빅데이터 분산 처리 시스템 충북대학교 정보통신공학부 복경수
2017 인권과 성평등교육 고려대학교 인권센터.
진행 공모사업 흐름도 ①약정체결 킥오프워크샵 ②사업비지급 공유,토론회 (수시) ③사업비지출관리 ④예산변경 ⑤중단이슈발생
의사결정 향상을 위한 빅데이터 활용 강윤선 김민성.
빅데이터 분석 과정.
501. 군인들의 세상 502. 민정 이양과 한일회담 이선용.
쌓지 말고 해소하자 이 주휘 이 진영 전 민석 전 혜림.
2015년 하반기 소방교육 자 유 전 공 학 부 (금) 안녕하십니까 자유전공학부 행정실 입니다.
일 시 : 2013년 11월 12일(화) 15:00 발표자 : 동대문구보육반장 최 길 숙
빅데이터 순환 과정과 플랫폼.
NoSQL 개요 콘텐츠서비스연구팀 최완.
DBMS의 종류와 DBMS 장승빈 박상민 김혁.
Advanced Data Analytics 데이터분석 전문가
Korea University of Technology and Education Hongyeon Kim
교육팀 도경모 Big.
게임에서 공공까지, 국내 실 사례들로 본 빅데이터 융합 분석
이름:강연주 학번: 담당교수님:박주형교수님
사범 대학 05 사범 대학 01 하반기 공약사항
창업 계획서 경영학과 이동인.
Ⅲ-3. 생명의 연속성 5. 유전적 다양성과 현대의 진화
사회복지 법제론 /노인장기요양보험법 문은홍 조소라.
-청소년 입장에서 청소년 대상의 사회공헌활동을 중심으로-
패시브하우스 신안산대학교 l 건축과 l 박효동, 박창준, 지예림.
비식별 정보의 활용 현황과 가치창출을 위한 선결과제 한국은행 전자금융포럼 2016,10.17(월) 이효찬 실장 / 소장대행.
정치개혁의 가능성 논의 권력구조 개편을 통하여 본 -개헌을 통한 정부형태의 변화를 중심으로 [한국정치론] 윤성이 교수님
돌연변이 생물교재론 양현주.
NoSQL 박훈
치료 레크레이션 프로그램 (지적 장애 대상) 과 목: 학 과: 학 번: 이 름: 제 출 일 자 담 당 교 수:
Data Analytics for Healthcare
노년기 발달 장안대 행정법률과 세류반 정 오 손
태국 문학 욜라다 왓짜니 싸란차나 팟차라와라이 끼따야펀 르앙다우 타니다.
# 이렇게 2쁘조? 소소하지만 확실한 행복 #심창섭 #양윤석 #김민지 #김민경 #임지현 #김선우 #정연하.
Social Media의 교육적 활용 ASET 김은희, 김지현, 설현남
Advanced Data Analytics 데이터분석 전문가
도덕과 교수-학습 모형 초등특수교육과 나성령.
리더 코딩 스토리 디자인 박찬준 이근영 박동현 박나영
워밍업 실뭉치 전달게임.
빅데이터 분석 다양한(Variety) 형태로 수집, 저장된 대용량(Volume)의 데이터들을
유통경영학과 하성훈 유통경영학과 김병율 기계공학과 배용진
잡학다식, 디지털 집단지성과 미래직업 (3)SNS를 통한 집단지성의 이해.
제3의 미디어, SNS의 힘! 경영학부 권예슬.
음파성명학 최종욱.
Presentation transcript:

What is‘Big Data’? - 빅 데이터에 대한 전반적인 이해 네트워크 컴퓨팅 프로젝트 60062340 김충현 60062378 이병권 60062408 홍수범

서론 시대의 화두 빅 데이터 국내·외 빅 데이터 활용 현황 빅 데이터 분석 기법 빅 데이터 분석 인프라 기술 결론 myungji_공학특론 서론 시대의 화두 빅 데이터 국내·외 빅 데이터 활용 현황 빅 데이터 분석 기법 빅 데이터 분석 인프라 기술 결론

1. 서론 - 양적 거대함 SNS Social media IT convergence 데이터의 종류와 양의 급격한 증가

1. 서론 - 경제 변화의 핵심 자원 역할 산업 시대 = 철, 석탄 IT 시대 = 인터넷 모바일 스마트 시대 = ? 빅 데이터!

Volume (양) Variety (다양성) Velocity (속도) 2. 시대의 화두 빅 데이터 – 빅 데이터란? myungji_공학특론 2. 시대의 화두 빅 데이터 – 빅 데이터란? 의미 있는 결과 도출이 가능한 수십∼수천 TB에 달하는 거대 데이터 집합 Volume (양) 정 형 – 관계형DB, 스프레드시트 반정형 – XML, HTML 비정형 – 이미지, 동영상, 음성 Variety (다양성) 데이터의 생성과 흐름이 매우 빠르게 진행 Velocity (속도) 페타(Peta : ) 엑사(Exa : ) 제타(Zeta : ) 3V 관련도구, 플랫폼, 분석기법까지 포괄하는 용어로 변화

2. 시대의 화두 빅 데이터 – 어떻게 활용 할 수 있을까? myungji_공학특론 2. 시대의 화두 빅 데이터 – 어떻게 활용 할 수 있을까? Network 구조와 정보 패턴 파악 Social Graph와 패턴 사건의 징후와 전개과정을 감지 트랜드의 감지와 예측 경영자의 직관을 보완하는 효과적인 의사결정 지원 데이터에 근거한 의사결정 전략실행 효과의 최적화 예측 모형과 시뮬레이션

치안 - FBI의 종합 DNA 색인시스템(CODIS) myungji_공학특론 3. 국내·외 빅 데이터 활용 현황 – 국가(U.S.A) 국토보안 - 국토안보부 9.11 이후 국토안보부를 중심으로 테러·범죄 방지를 위한 범정부적 빅 데이터 수집, 분석 및 예측체계 도입 치안 - FBI의 종합 DNA 색인시스템(CODIS) DNA포렌식, 클라우드DNA분석 등 “빅DNA데이터"의 활용을 통해 2007년 45,400건의 범인 DNA Hit rate 달성 의료 - 오바마 Health.20 – 필박스 프로젝트(Pillbox) 수집된 빅 데이터를 통해 후천성 면역결핍증(HIV) 등 관리대상 주요 질병의 분포, 연도별 증가 등에 대한 통계치 확보 가능

정보공개 - 정부 사이트(data.gov.uk) myungji_공학특론 3. 국내·외 빅 데이터 활용 현황 – 국가(U.K , Singapore) 정보공개 - 정부 사이트(data.gov.uk) 공공부문의 정보 공유 및 활용을 위한 데이터 원스톱 서비스 제공 일반인들의 참여를 장려하고 아이디어 수렴, 앱 개발, 데이터 공개 등의 주제에 대한 커뮤니티 제공 국가 위험관리 - RAHS(Risk Assessment & Horizon Scanning) 시스템 질병, 금융위기 등 모든 국가적 위험을 수집 및 분석하여 위험을 방지 수집된 위험 정보는 시뮬레이션, 시나리오 기법 등을 통해 분석되어 사전에 위험을 예측하고 대응 방안을 모색함

3. 국내·외 빅 데이터 활용 현황 – 국내 데이터와 같은 데이터의 증가보다 인터넷 트래픽의 증가를 더 심각하게 생각 myungji_공학특론 3. 국내·외 빅 데이터 활용 현황 – 국내 데이터와 같은 데이터의 증가보다 인터넷 트래픽의 증가를 더 심각하게 생각 데이터의 활용이라는 측면의 연구는 상대적으로 부족 빅 데이터 활용 추진 방안

ㅇㅇㅇ 3. 국내·외 빅 데이터 활용 현황 – 기업 가장 정교한 검색결과 제공 빅 데이터 처리 핵심기술 MapReduce 공개 myungji_공학특론 3. 국내·외 빅 데이터 활용 현황 – 기업 가장 정교한 검색결과 제공 빅 데이터 처리 핵심기술 MapReduce 공개 빅 데이터 처리 최고 자리를 두고 구글과 경쟁 중 2012 미 대선 - 부동층 파악, 개인별로 맞춤형 선거 캠페인을 전개 ㅇㅇㅇ 사용자 정보처리를 통해 제안되는 ‘추천’ 시스템에서 전체 매출 30% 발생

Text mining 4. 빅 데이터 분석 기법 – Text Mining 비·반정형 텍스트 데이터를 자연어 처리 기술에 myungji_공학특론 4. 빅 데이터 분석 기법 – Text Mining Text mining 비·반정형 텍스트 데이터를 자연어 처리 기술에 기반하여 유용한 정보를 추출하여 가공 텍스트 마이닝 과정 의미 있는 정보 추출 다른 정보와의 연계성을 파악 텍스트가 가진 카테고리를 검색 정보 검색 정보 재생산

선호도를 나타내는 표현·단어 자원의 축적이 필요 myungji_공학특론 4. 빅 데이터 분석 기법 – Opinion Mining 주관성 분석 극성 분석 극성의 정도 분석 Opinion mining 웹사이트와 소셜 미디어에 나타난 여론과 의견을 분석하여 유용한 정보로 재가공하는 기술 Opinion Mining 3단계 특정 서비스 및 상품에 대한 시장 규모 예측, 소비자의 반응, 입소문 분석 등에 활용 공공분야의 경우 민원의 원인이나 문제점 등을 파악하는 것이 용이해 서비스를 개선 선호도를 나타내는 표현·단어 자원의 축적이 필요

- Social Network Analytics 4단계 - myungji_공학특론 4. 빅 데이터 분석 기법 – Social Network Analytics Social Network Analytics 페이스북, 트위터등의 소셜 네트워크 서비스에서 생산되는 데이터를 분석, 의미 있는 정보를 추출하는 기술 1. 소셜 네트워크의 위상학적 구조 분석 2. 네트워크 구조의 시간에 따른 진화를 분석 3. 네트워크상의 콘텐츠 흐름을 분석, 종합 4. 관심사, 성향 및 행동 패턴을 분석 추출 프라이버시 보호 등 부작용 대응을 위한 기술개발 및 산업육성 필요 - Social Network Analytics 4단계 -

Hadoop 5. 빅 데이터 분석 인프라 기술 – Hadoop 오픈 소스 분산처리기술 프로젝트. myungji_공학특론 5. 빅 데이터 분석 인프라 기술 – Hadoop Hadoop 오픈 소스 분산처리기술 프로젝트. 현재 정형/비정형 빅 데이터 분석에서 가장 선호되는 솔루션 - 하둡 구조 & 대응하는 구글 분산처리기술 - 개발자는 맵리듀스 프레임워크 기반의 자바 프로그램을 개발하고 하둡 플랫폼에서 이를 실행해 대량의 데이터를 병렬로 처리

시각화를 통해 데이터의 직관적인 분석과 이해 도움 myungji_공학특론 5. 빅 데이터 분석 인프라 기술 – R R 통계 계산 및 시각화를 위한 언어 및 개발환경. 모델링, 최신 데이터 마이닝 기법까지 구현/개선이 가능 R의 특징 그래프로 시각화 가능 Java, Python등 다른 프로그래밍 언어와 연결도 용이 Mac OS, 리눅스/유닉스, 윈도우 등의 대부분의 컴퓨팅 환경 을 지원 시각화를 통해 데이터의 직관적인 분석과 이해 도움

NoSQL NoSQL 5. 빅 데이터 분석 인프라 기술 – NoSQL(Not-only SQL) myungji_공학특론 5. 빅 데이터 분석 인프라 기술 – NoSQL(Not-only SQL) NoSQL 전통적인 관계형 데이터베이스RDBMS와 다르게 설계된 비관계형 데이터베이스를 의미 NoSQL MongDB Hbase Cassandra SQL(관계형DB) NoSQL 정보 회계정보, 고객정보 등 중요치 않으나 데이터 양이 많고 급격히 늘어나는 시스템 환경 보통 환경 클라우드 컴퓨팅처럼 수천, 수만대의 서버로 이뤄진 분산 환경 장점 무결성 비용과 확장성 처리방법 오라클 RAC등으로 분산처리 페타바이트 수준의 데이터 처리 예 오라클 RAC 빅 데이블(구글 earth) 특징 조인(JOIN), 고정된 스키마 단순한 키와 값의 쌍으로만 이루어져 있음 - 대표적인 NoSQL 솔루션 -

장 점 하지만 다양한 빅 데이터 관련 오픈소스 중 기업에 적당한 기술을 선택 해야 할 것! 빅 데이터를 활용해서 새로운 가치 6. 결론 – 기업의 입장에서 장 점 미래에 능동적으로 대응 하거나 변화 예측 가능 기존 사업의 효율적 지원을 위한 심층적인 데이터 기반 서비스 제공 기술이나 역량을 보유한 기업이나 국가가 미래의 경쟁력을 갖게 될 것 하지만 기존 환경과의 연계, 사용의 용이성, 보안, 시각화 등이 가능해야 함 볼륨의 폭증에 대한 기회를 확보할 수 있는 실질적인 방법은 미흡한 상황 빅 데이터 방식의 분석을 통해 더 많은 성과를 거둬야 한다는 압박감 증가 다양한 빅 데이터 관련 오픈소스 중 기업에 적당한 기술을 선택 해야 할 것! 빅 데이터를 활용해서 새로운 가치 창출과 이익 극대화를 위한 연구가 필요! 분석기술과 관리 능력에 초점을 맞춰 심층적인 개선에 주력해야 할 것!

무수한 정보에 대한 정보 분석력 다양한 정보에 대한 활용 능력 Developer 시대에 변화에 따른 빠른 적응력 6. 결론 – 개발자의 입장에서 Big Data 무수한 정보에 대한 정보 분석력 다양한 정보에 대한 활용 능력 Big Data에 대한 팀원들과의 정보 이해도 시대에 변화에 따른 빠른 적응력 Developer

Thank you