비정형 데이터분석 유재명.

Presentation on theme: "비정형 데이터분석 유재명."— Presentation transcript:

1 비정형 데이터분석 유재명

2 비정형 데이터 정형(structured) - 주로 표 형태의 데이터
비정형(unstructred) - 자연어, 이미지 등 표 형태가 아닌 데이터 대부분의 데이터는 비정형

3 왜 비정형 데이터 분석인가? 최근 많은 컴퓨터 과학 논문은 정식 출판 전 arXiv에 게재
주 5일 하루 10편씩 읽으면 월 100편의 논문을 읽을 수 있음. arXiv에 월 게재되는 논문은 10,000여편. (100배!) 방대한 비정형 데이터를 분석하여 가치있는 정보를 추출할 수 있다면 많은 가치가 있음

4 텍스트 분석

5 단어 빈도 분석 단어-문서 행렬을 바탕으로 단어 빈도의 총 합계를 구하거나 시간에 따른 빈도의 변화를 구하는 것

6 단어 빈도 분석 출처: 뉴욕타임즈

7 의미망 분석 두 단어가 함께 나오는 관계를 나타내는 것 많이 나오는 단어는 크게, 적게 나오는 단어는 작게 원으로 그림
두 단어가 함께 나오는 경향이 있을 수록 굵은 선으로 그림 굵은 선으로 연결된 단어일 수록 가깝게 배치

8 의미망 분석 출처: 한겨레21

9 의미망 분석

10 의미망 분석

11 의미망 분석

12 감정 분석 텍스트에 나타난 감정을 긍정/부정으로 분석하는 것 감정 사전 또는 기계학습 사용
감정 사전: 감정을 나타내는 단어 모음 기계 학습: 텍스트의 감정을 사람이 판정  컴퓨터가 학습 기계학습으로 감정사전을 만들 수도 있음

13 부모-자녀 관계 감정 사전

14 곡성 감정 사전

15 곡성 감정 사전

16 곡성 감정 사전 긍정 부정 현혹 꿀잼 한국 완전 대박 소름 상영 오랜만 최악 쓰레기 별로 실망 진심 노잼 스트레스 평론가

17 감정 분석 + 주제 분류: BestBuy

18 감정 분석 + 주제 분류: BestBuy

19 감정 분석 + 주제 분류: BestBuy

20 VIBE

21 진저

22 다면평가 분석 다면평가 시 주관식 서술 문항  점수 반영 안됨 감정 분석을 통해 점수화 직급/직무에 맞지 않는 서술 발견

23 의미 해석 Semantic Parsing 자연어 문장을 논리식, 프로그램 코드 등으로 변환

24 ifttt

25 의미 해석: ifttt 마이크로소프트의 연구

26 빅데이터 인문학 빅데이터 인문학: 진격의 서막 에레즈 에이든, 장바티스트 미셸 공저 사계절 2015년
구글 n그램을 이용한 연구 사례 교양서로 읽어볼만

27 빅데이터 인문학 음식의 언어 댄 주라프스키 어크로스 2015년 음식과 관련된 텍스트 분석 사례 교양서로 읽어볼만

28 이미지 분석

29 문자 인식 손글씨 인식(손글씨 이미지  글자) MNIST 숫자 손글씨 데이터 딥러닝 오류율: 0.21% (인간 수준)

30 물체 인식 물체 인식(물체 이미지  물체 종류) CIFAR10 물체 이미지 데이터 딥러닝 오류율: 3.47%

31 물체 탐지

32 시맨틱 세그멘테이션 semantic segmantation

33 Colorization

34 Colorization

35 SNS 소셜 미디어에 올라온 사진에서 브랜드 인식

36 위성 사진 segmentation 위성 사진의 물체를 구별

37 멸종 위기종 탐지

38 헬스케어

39 패션 옷을 사진으로 찍으면 쇼핑몰 구매 링크를 제시