1. 비정형 데이터마이닝의 이해.

Slides:



Advertisements
Similar presentations
정보의 공유와 보호 정보의 공유와 관리 2. 정보 보호 기술과 지식 재산권.
Advertisements

Mining the by Graph API. 1. 페이스북 소셜 그래프와 Graph API, OGP 2. 페이스북 페이지와 친구들에서 좋아요 분석하기 3. 소셜 그래프 분석을 위한 결속집단 분석 4. 소셜 그래프 시각화.
Popcon 이규태 김준수 강예진. 목차  Popcon 이란  개발동기 및 목적  필요성  차별성  설계  개발일정  기대효과 및 향후 계획.
Big Data & Hadoop. 1. Data Type by Sectors Expected Value using Big Data.
문산고등학교 학교에서의 인터넷 이용 수칙 사이버 예절, 건강한 디지털 세상의 시작입니다
컴퓨터와 인터넷.
Deep Learning.
Deep Learning.
컴퓨터 운영체제의 역사 손용범.
목 차 C# 언어 특징 .NET 프레임워크 C# 콘솔 프로그램 C# 윈도우 프로그램 실습 프로그래밍세미나 2.
블룸의 교육목표분류학 (Bloom’s Taxonomy)
의사 결정 트리(decision tree)
2장. 프로그램의 기본 구성. 2장. 프로그램의 기본 구성 2-1"Hello, World!" 들여다 보기 /* Hello.c */ #include int main(void) { printf("Hello, World! \n"); return 0;
MS-Access의 개요 1강 MOS Access 2003 CORE 학습내용 액세스 응용 프로그램은 유용한 데이터를
Entity Relationship Diagram
1. Windows Server 2003의 역사 개인용 Windows의 발전 과정
제 09 장 데이터베이스와 MySQL 학기 인터넷비즈니스과 강 환수 교수.
데이터베이스 및 설계 금오공과대학교 컴퓨터공학부 이 이섭.
데이터 마이닝 - 강의 개요 년 가을학기 강원대학교 컴퓨터과학전공 문양세.
CHAP 24. nfc와 앱위젯.
컴퓨터과학 전공탐색 배상원.
학습목표 학습목차 다른 홈페이지의 HTML 파일 코드를 보는 방법에 대해 알아봅니다.
KHS JDBC Programming 4 KHS
(Extensible Markup Language)
3강_HTML 기본-II 리스트 태그 - ul,li,ol 표를 나타내는 태그 - table 이미지를 출력하는 태그 – img
제 1장. 멀티미디어 시스템 개요.
소프트컴퓨팅 연구실 소개자료 . 소프트컴퓨팅연구실 조성배.
1장. 데이터베이스 자료의 조직적 집합체_데이터베이스 시스템의 이해
웹 사이트 분석과 설계 (주제 : 화면설계) 학번 : 성명 : 한형진.
간지 Ⅰ. 시스템소개 Autoway Groupware User Manual Ⅰ. 시스템 소개 | 시스템 소개.
제1장 통계학이란 무엇인가 제2장 자료와 수집 제3장 자료 분석 방법
04 소셜 네트워크의 가능성 Friends Indeed M63339 황지영.
2장. 데이터베이스 관리 시스템 데이터베이스 관리 시스템의 등장 배경 데이터베이스 관리 시스템의 정의
2018년 11월 05일 박성진 Web & Internet [08] 레이아웃 P1 2018년 11월 05일 박성진
소규모 IPTV 사업자용 실시간 미디어 플랫폼 기술
HTTP 프로토콜의 요청과 응답 동작을 이해한다. 서블릿 및 JSP 를 알아보고 역할을 이해한다.
Chapter 03. 관계 데이터베이스 설계.
BIC 사례 1 연관규칙과 분류모형을 결합한 상품 추천 시스템: G 인터넷 쇼핑몰 사례
졸업 요건 충족을 위한 추가 이수 학점에 대해서는 ‘졸업요건‘ 규정 확인 바람
20 장 네트워킹과 인터네트워킹 장치 20.1 리피터(Repeaters) 20.2 브리지(Bridges)
데이터마이닝, 빅데이터, 데이터과학: 정의 데이터마이닝(data mining)
데이터 베이스 DB2 관계형 데이터 모델 권준영.
데이터 마이닝 - 강의 개요 년 가을학기 강원대학교 컴퓨터과학전공 문양세.
인천대학교 웹과 인터넷 수업 개요 및 내용 소개.
웹사이트 분석과 설계 (화면 설계) 학번: 성명: 박준석.
ALLPPT.com _ Free PowerPoint Templates, Diagrams and Charts
CHAP 21. 전화, SMS, 주소록.
네트워크 환경 구축과 이미지 전송 호스트/타겟 통신 직렬 통신을 이용한 이미지 전송 수퍼 데몬 BOOTP 환경 구축
XML (eXtensible Markup Language) 개요
수율관리를 위한 POP시스템 목적과 용도 시스템과 구성 POP의 효과
문서 클러스터링 일본언어문화학과 서동진.
다차원 색인을 사용하는 실질적인 응용예제 컴퓨터 과학과 이 대 기.
Viewing Advanced Web Pages
.Net Web Application 2007 컴퓨터공학실험(Ⅰ)
SNS마케팅 트렌드 사회복지공동봉사회 유영진 참고: 사례.
멀티미디어시스템 제 4 장. 멀티미디어 데이터베이스 정보환경 IT응용시스템공학과 김 형 진 교수.
멀티미디어시스템 제 5 장. 멀티미디어 데이터베이스 개념 IT응용시스템공학과 김 형 진 교수.
Map Designer Solution 소개자료
웹 사이트 분석과 설계 [디자인 리서치] 학번: 이름 : 홍지애.
비교분석 보고서 Template 2015.
의미론적 관점 * TV에서 ‘푸른 빛이 아닌 청자빛’이란 표현을 들었을 경우
텍스트 분석 ㈜ 퀀트랩.
.Net FrameWork for Web2.0 한석수
1장 C 언어의 개요 C 언어의 역사와 기원 C 언어의 특징 프로그램 과정 C 프로그램 구조 C 프로그램 예제.
자연언어 처리 인지과학 입문.
학부 컴퓨터공학부 교육과정 (학부) 2학년 4학년 3학년 1학년 1학기 2학기 IPP 자격과정 전공트랙
CHAP 15. 데이터 스토리지.
 6장. SQL 쿼리.
6 객체.
웹 사이트 분석과 설계 학과 : e-biz 경영학과 2-2 학번 : 이름 : 이재섭.
Presentation transcript:

1. 비정형 데이터마이닝의 이해

비정형 데이터 1. 비정형 데이터의 이해 정형화 되지 않은 데이터 미리 정의된 데이터 모델(구조)을 가지고 있지 않은 데이터 ! 정형화 되지 않은 데이터 미리 정의된 데이터 모델(구조)을 가지고 있지 않은 데이터 아주 많은 양의 데이터를 가지고 있으면서 구조와 형태가 다르고 정형화 되지 않은 문서, 영상, 음성 책, 저널, 문서, 메타데이터, 건강 기록, 오디오, 비디오, 아날로그 데이터, 이미지, 파일 뿐만 아니라 이메일 메시지나 웹페이지, 워드프로세스 문서 등의 내용에 해당되는 비정형 텍스트

반정형 데이터의 개념 1. 비정형 데이터의 이해 비정형 데이터는 불규칙 정도에 따라 반정형 데이터로 구분 ! 비정형 데이터는 불규칙 정도에 따라 반정형 데이터로 구분 관계형 데이터베이스나 다른 형태의 데이터 테이블로 조직된 데이터 모델의 정형적 구조를 따르지 않지만 어의적 요소를 분리시키고 데이터 내의 레코드와 필드의 계층 구조가 있게 하는 태그나 다른 마커를 포함하고 있는 정형 데이터 마크업 언어(XML), 이메일, EDI

XML(eXtensible Markup Language)의 개념 1. 비정형 데이터의 이해 XML(eXtensible Markup Language)의 개념 ! 웹 상에서 공유될 데이터를 정의하는 방법에 관한 일련의 구조화된 규칙을 가진 마크 업 언어 기능적 수준에서 구조적 엄격함이 못 미처 이전에는 비정형 형태로 보았지만, XML 스키마를 따르고 상업 또는 고객 프로그램 둘 다에 의해 처리되는 데이터베이스 스키마에 따라 설계될 수 있으므로 내재적으로 반정형 데이터 형태로 봄

비정형 데이터 분석 2. 비정형 데이터의 분석과 마이닝 비정형 데이터 속의 패턴 발견 비정형 데이터 번역 ! 비정형 데이터 속의 패턴 발견 비정형 데이터 번역 데이터 마이닝, 텍스트 분석, 비표준 텍스트 분석을 이용

비정형 데이터 분석 2. 비정형 데이터의 분석과 마이닝 텍스트를 정형화 메타데이터로 태그를 직접 입력 ! 텍스트를 정형화 메타데이터로 태그를 직접 입력 고도의 텍스트 마이닝 기반 정형화 태그를 텍스트 속의 단어와 스피치의 한 부분이 대응되게 붙이는 방법을 이용

비정형 데이터 분석 2. 비정형 데이터의 분석과 마이닝 텍스트를 정형화 메타데이터로 태그를 직접 입력 ! 텍스트를 정형화 메타데이터로 태그를 직접 입력 고도의 텍스트 마이닝 기반 정형화 태그를 텍스트 속의 단어와 스피치의 한 부분이 대응되게 붙이는 방법을 이용 기계로 처리할 수 있는 구조를 만드는 소프트웨어를 이용 언어적, 청각적, 시각적 구조가 인간 커뮤니케이션의 모슨 형태로 내재 알고리즘을 이용하여 내재된 구조를 단어 형태로 검사하는 방법을 적용하여 텍스트나 문장 구문, 다른 소규모 및 대규모 패턴으로부터 의미 추론이 가능하게 하는 분석

비정형 데이터마이닝 2. 비정형 데이터의 분석과 마이닝 빅데이터 환경 (80% 이상 비정형 데이터) ! 빅데이터 환경 (80% 이상 비정형 데이터) 빅데이터에서의 데이터마이닝은 비정형 데이터마이닝에 초점

비정형 데이터마이닝 2. 비정형 데이터의 분석과 마이닝 ! 통계 기반의 데이터 분석 도구를 사용하거나 OLAP 분석을 통해 데이터를 다양한 각도의 관점으로 조명하여 의미 있는 것으로 해석하는 것에 덧붙여 데이터 사이의 숨겨진 관계와 패턴, 경향 등을 추출

비정형 데이터마이닝 2. 비정형 데이터의 분석과 마이닝 ! 통계 기반의 데이터 분석 도구를 사용하거나 OLAP 분석을 통해 데이터를 다양한 각도의 관점으로 조명하여 의미 있는 것으로 해석하는 것에 덧붙여 데이터 사이의 숨겨진 관계와 패턴, 경향 등을 추출 비정형 데이터를 일단 정련 과정을 통해 정형 데이터로 만든 뒤 일반적인 데이터마이닝 작업인 분류, 군집화, 회귀분석, 요약, 이상감지 등에 적용하여 의미 있는 정보를 발굴

비정형 데이터마이닝 과정 2. 비정형 데이터의 분석과 마이닝 탐색 과정 질의, 집합연산, 재귀 및 팽창 등의 작업을 수행 ! 탐색 과정 질의, 집합연산, 재귀 및 팽창 등의 작업을 수행 이해 과정 통계, 분배, 특징 선택, 군집화, 분류 편집, 시각화 등의 작업을 수행 분석 과정 경향, 상관관계, 분류 등의 작업을 수행

비정형 데이터마이닝 기법 2. 비정형 데이터의 분석과 마이닝 텍스트 마이닝 웹 마이닝 오피니언 마이닝 소셜 네트워크 분석 ! 정제된 데이터베이스를 기반으로 일정한 기준이 적용된 상식적인 범위에서 부분적인 데이터를 다루는 정형 데이터마이닝의 한계를 뛰어넘는 기법들을 의미 텍스트 마이닝 웹 마이닝 오피니언 마이닝 소셜 네트워크 분석 끝

2. 비정형 데이터마이닝 기법

대규모의 텍스트에서 고품질의 정보를 도출하는 과정 1. 텍스트 마이닝의 이해 텍스트 마이닝 ! 대규모의 텍스트에서 고품질의 정보를 도출하는 과정

대규모의 텍스트에서 고품질의 정보를 도출하는 과정 1. 텍스트 마이닝의 이해 텍스트 마이닝 ! 새롭고 적절하며 관심을 끄는 데이터들의 집합으로 일반적으로 통계적인 패턴 학습 등의 수단을 통해 패턴과 추세를 파악함으로써 도출 대규모의 텍스트에서 고품질의 정보를 도출하는 과정

텍스트 마이닝 1. 텍스트 마이닝의 이해 텍스트 데이터마이닝 또는 텍스트 분석 ! 텍스트 데이터마이닝 또는 텍스트 분석 정보 검색, 단어 빈도 분포를 연구하는 어휘 분석, 패턴 인식, 태그 및 주석, 정보 추출, 링크 및 연결 분석을 내포하는 데이터마이닝, 시각화, 예측 분석 등이 필요

1. 텍스트 마이닝의 이해 텍스트 마이닝 기술 ! 비정형 텍스트 데이터로부터 자연어처리 기술에 기반을 두고 의미 있는 정보를 추출하거나 가공하는 정보 발견 기술 자연어 처리 기술을 적용하여 텍스트에서 의미있는 숫자나 단어 인덱스를 추출하고, 텍스트에 포함된 데이터를 통계 및 기계 학습과 같은 다양한 데이터마이닝 알고리즘에 의해 접근할 수 있도록 만들어 의미있는 정보를 추출 텍스트 요약과 분류를 위한 도서 분류체계, 일반적인 정보 과학 기술 등이 필요

1. 텍스트 마이닝의 이해 텍스트 마이닝 기술 ! 비정형 텍스트 데이터로부터 자연어처리 기술에 기반을 두고 의미 있는 정보를 추출하거나 가공하는 정보 발견 기술 자연어 처리 기술을 적용하여 텍스트에서 의미있는 숫자나 단어 인덱스를 추출하고, 텍스트에 포함된 데이터를 통계 및 기계 학습과 같은 다양한 데이터마이닝 알고리즘에 의해 접근할 수 있도록 만들어 의미있는 정보를 추출 텍스트 요약과 분류를 위한 도서 분류체계, 일반적인 정보 과학 기술 등이 필요 웹 마이닝, 오피니언 마이닝, 소셜 네트워크 분석 등과 같은 다른 비정형 데이터마이닝 기법의 근간이 되는 기술

여러 가지 종류의 텍스트 데이터로부터 지식을 발견하는 과정 1. 텍스트 마이닝의 이해 텍스트 마이닝 처리과정 ! 여러 가지 종류의 텍스트 데이터로부터 지식을 발견하는 과정

여러 가지 종류의 텍스트 데이터로부터 지식을 발견하는 과정 1. 텍스트 마이닝의 이해 텍스트 마이닝 처리과정 ! 텍스트 마이닝의 목적은 비정형 데이터나 정형 데이터, 반정형 데이터를 처리하여 의사결정을 위해 필요한 고차원적이고 의미 있는 정보나 지식을 추출하는 것 여러 가지 종류의 텍스트 데이터로부터 지식을 발견하는 과정

1. 텍스트 마이닝의 이해 텍스트 마이닝 처리과정 ! 거시적 측면 미시적 측면 입력 준비 처리 전처리 출력 지식 추출

텍스트 마이닝 처리과정 1. 텍스트 마이닝의 이해 입력 처리 출력 준비 ! 입력 처리 출력 준비 입력되는 여러 가지 텍스트 문서의 데이터들을 문제 범위에 적절한 것으로 확립

텍스트 마이닝 처리과정 1. 텍스트 마이닝의 이해 입력 처리 출력 준비 ! 입력 처리 출력 준비 입력되는 여러 가지 텍스트 문서의 데이터들을 문제 범위에 적절한 것으로 확립 전처리 조직화된 텍스트들을 정형화된 표현 양식으로 만듦

텍스트 마이닝 처리과정 1. 텍스트 마이닝의 이해 입력 처리 출력 준비 ! 입력 처리 출력 준비 입력되는 여러 가지 텍스트 문서의 데이터들을 문제 범위에 적절한 것으로 확립 전처리 조직화된 텍스트들을 정형화된 표현 양식으로 만듦 지식추출 정형 데이터에서 의미 있는 패턴이나 관계와 같은 지식을 발견 분류, 클러스터링, 개념 및 개체 추출, 세분화된 분류 체계의 생간, 심리 분석, 문서 요약, 개체 관계 모델링

데이터마이닝 기술의 응용분야로서 인터넷을 통해 웹 서비스를 이용하면서 웹에서 패턴을 발견 하는 것 2. 웹 마이닝의 이해 웹 마이닝 개념 ! 데이터마이닝 기술의 응용분야로서 인터넷을 통해 웹 서비스를 이용하면서 웹에서 패턴을 발견 하는 것 데이터의 속성이 반정형 이거나 비정형이고, 링크(Link) 구조를 가지고 있기 때문에 전통적인 데이터마이닝 기술에 추가적인 분석기법이 필요

2. 웹 마이닝의 이해 웹 마이닝 ! 분석 대상에 따라 웹 마이닝의 구분 웹 구조 마이닝 웹 사용 마이닝 웹 콘텐츠 마이닝

웹 마이닝 웹 사용 마이닝 웹 콘텐츠 마이닝 웹 구조 마이닝 2. 웹 마이닝의 이해 분석 대상에 따라 웹 마이닝의 구분 ! 분석 대상에 따라 웹 마이닝의 구분 웹 구조 마이닝 웹 사용 마이닝 웹 콘텐츠 마이닝 로그 분석 웹 상에서 사용자가 찾고자 했던 것을 기록하고 있는 웹 서버 로그에서 유용한 정보를 추출하는 과정

웹 마이닝 웹 사용 마이닝 웹 콘텐츠 마이닝 웹 구조 마이닝 2. 웹 마이닝의 이해 분석 대상에 따라 웹 마이닝의 구분 ! 분석 대상에 따라 웹 마이닝의 구분 웹 구조 마이닝 웹 사용 마이닝 웹 콘텐츠 마이닝 웹 사이의 연결 분석 웹 사이트의 노드와 연결 구조를 분석하기 위해 그래프 이론을 사용하는 과정

웹 마이닝 웹 사용 마이닝 웹 콘텐츠 마이닝 웹 구조 마이닝 2. 웹 마이닝의 이해 분석 대상에 따라 웹 마이닝의 구분 ! 분석 대상에 따라 웹 마이닝의 구분 웹 구조 마이닝 웹 사용 마이닝 웹 콘텐츠 마이닝 웹 페이지에서 유용한 데이터, 정보, 지식을 마이닝하고 추출하고 통합하는 것

어떤 사안이나 인물, 이슈, 이벤트 등과 관련 원천 데이터에서 의견이나 평가, 태도, 감정 등과 3. 오피니언 마이닝의 이해 오피니언 마이닝 ! 어떤 사안이나 인물, 이슈, 이벤트 등과 관련 원천 데이터에서 의견이나 평가, 태도, 감정 등과 같은 주관적인 정보를 식별하고 추출하는 것

오피니언 마이닝 3. 오피니언 마이닝의 이해 오피니언 분석, 평판 분석, 정서 분석 오피니언 분석의 기본적인 작업 ! 오피니언 분석, 평판 분석, 정서 분석 오피니언 분석의 기본적인 작업 문서, 문장, 특징, 관점 수준에서 표현된 견해가 긍정적인지, 부정적인지, 중립적인지, 진보적인지 주어진 텍스트의 특성을 분류하는 것

3. 오피니언 마이닝의 이해 오피니언 마이닝 방법 ! 컴퓨터를 통한 기계학습에 포함되는 어의 분석과 같은 기능을 사용하여 텍스트에 대한 자동화된 오피니언 분석을 수행할 수 있으며, 오피니언의 소유자와 그 대상을 발견하는데 보다 세련된 방법을 사용

3. 오피니언 마이닝의 이해 오피니언 마이닝 방법 ! 컴퓨터를 통한 기계학습에 포함되는 어의 분석과 같은 기능을 사용하여 텍스트에 대한 자동화된 오피니언 분석을 수행할 수 있으며, 오피니언의 소유자와 그 대상을 발견하는데 보다 세련된 방법을 사용 구문에서 의견을 뽑아내서 오피니언이 만들어진 특징을 파악 단어들의 문법적인 관계가 사용되고, 문법적 의존 관계는 텍스트에 대한 깊이 있는 문장 분석을 통해서 구성 사람에 의한 수작업 정서 분석과 기계에 의한 자동화된 정서 분석이 있음

노드와 링크로 구성되는 네트워크 이론에 의해 사회적(연결) 관계를 보여주는 것 4. 소셜 네트워크 분석 노드와 링크로 구성되는 네트워크 이론에 의해 사회적(연결) 관계를 보여주는 것

노드와 링크로 구성되는 네트워크 이론에 의해 사회적(연결) 관계를 보여주는 것 4. 소셜 네트워크 분석 점으로 표현 행위자를 의미 노드와 링크로 구성되는 네트워크 이론에 의해 사회적(연결) 관계를 보여주는 것 선으로 표현 각 노드들의 관계(우정, 연대감, 조직력, 성향)

4. 소셜 네트워크 분석 소셜 네트워크 분석 특성 ! 소셜 네트워크 연결구조 및 연결강도 등을 바탕으로 노드의 복잡도를 측정하여, 소셜 네트워크 상에서 연결의 중심 역할을 하는 영향력이 있는 행위자를 파악 파악하고 관리하는 것이 마케팅 관점에서 매우 중요!

4. 소셜 네트워크 분석 소셜 네트워크 분석 특성 ! 소셜 네트워크 연결구조 및 연결강도 등을 바탕으로 노드의 복잡도를 측정하여, 소셜 네트워크 상에서 연결의 중심 역할을 하는 영향력이 있는 행위자를 파악 파악하고 관리하는 것이 마케팅 관점에서 매우 중요! 현대 사회에서 하나의 핵심기술로 출현하여 인류학, 생물학, 의사소통 연구, 경제, 지리학, 역사, 정보과학 조직연구, 정치, 사회심리학 등 다방면에 걸쳐 중요한 영향을 미치고 있으며 현재 고객 분석 도구로서 널리 이용

4. 소셜 네트워크 분석 소셜 네트워크 분석 기법 ! 사회적 관계를 나타내는 네트워크를 모델화하고 시각화하는 것은 네트워크 데이터를 이해하고 분석결과를 전달하는데 있어서 중요한 기법

4. 소셜 네트워크 분석 소셜 네트워크 분석 기법 ! 사회적 관계를 나타내는 네트워크를 모델화하고 시각화하는 것은 네트워크 데이터를 이해하고 분석결과를 전달하는데 있어서 중요한 기법 데이터를 탐색 다양한 레이아웃으로 노드와 링크를 표시하고, 색깔과 크기와 다른 진보된 속성 등을 노드에 덧붙임으로써 구별되게 하는 것

4. 소셜 네트워크 분석 소셜 네트워크 분석 기법 ! 사회적 관계를 나타내는 네트워크를 모델화하고 시각화하는 것은 네트워크 데이터를 이해하고 분석결과를 전달하는데 있어서 중요한 기법 소셜 네트워크를 모델화하고 시각화하는 도구 협동그래프: 두 노드들 사이의 긍정 링크, 부정 링크 표식 표식 사회적 관계망 그래프: 그래프의 미래 진화 예측에 사용, 균형 그래프는 그룹에서 다른 사람들에 대한 그들의 의견을 바꾸는 것을 좋아하지 않는 사람들의 집단이고, 불균형 그래프는 다른 사람들에 대한 그들의 의견을 바꾸는 것을 아주 좋아하는 사람들의 집단 끝