(Data Mining Overview) 데이터 마이닝 개요 (Data Mining Overview) 2017년 가을학기 강원대학교 컴퓨터과학전공 문양세

데이터를 왜 마이닝하죠? 데이터 마이닝이란? 데이터 마이닝 기술 분류 강의 내용 연관규칙 분류 클러스터링 데이터 마이닝 개요 데이터를 왜 마이닝하죠? 데이터 마이닝이란? 데이터 마이닝 기술 분류 연관규칙 분류 클러스터링 기타 (순차검색, 회귀분석, 이상치 탐색)

데이터를 왜 마이닝하죠?  상업적 관점 수많은 데이터가 수집되고 저장(warehoused)되고 있음 데이터 마이닝 개요 수많은 데이터가 수집되고 저장(warehoused)되고 있음 인터넷 데이터 (Web, SNS, blog, e-commerce) 백화점, 마트의 구매 데이터 은행, 신용카드의 트랜잭션 데이터 컴퓨터는 가격이 저렴해지고 성능이 더욱 향상되고 있음 기업(사회)은 무한 경쟁의 시대에 있음 보다 좋은 서비스, 고객 중심의 서비스를 요구하고 있음 CRM(Customer Relationship Management)의 보편화

데이터를 왜 마이닝하죠?  과학적 관점 상상초월 속도로 데이터가 수집되고 있음(GB-TB/hour) 데이터 마이닝 개요 상상초월 속도로 데이터가 수집되고 있음(GB-TB/hour) 위성에 장착된 많은 원격 센서(remote sensors) 하늘을 스캐닝하는 고성능 망원경(telescopes) 유전자 데이터를 생성하는 마이크로어레이(microarrays) TB 데이터를 생성하는 과학 시뮬레이션 기존 기술은 원시 데이터 처리에 부적합(infeasible) 과학자들은 데이터 마이닝의 도움을 원함 대용량 데이터의 분류, 세크먼트, 시각화, 해석 가설의 정형화 (Hypothesis formulation)

데이터를 왜 마이닝하죠? 데이터 마이닝이란? 데이터 마이닝 기술 분류 강의 내용 연관규칙 분류 클러스터링 데이터 마이닝 개요 데이터를 왜 마이닝하죠? 데이터 마이닝이란? 데이터 마이닝 기술 분류 연관규칙 분류 클러스터링 기타 (순차검색, 회귀분석, 이상치 탐색)

데이터 마이닝의 정의 (1/2) 데이터 마이닝 개요 데이터로부터, 묵시적이고, 이미 알려지지 않았으며, 잠재적으로 유용한 정보를 쉽지 않은 기술로 추출하는 작업이다. (Non-trivial extraction of implicit, previously unknown, and potentially useful information from data.) 의미 있는 패턴을 발견하기 위하여, 자동 혹은 반자동 기술을 사용하여 대용량 데이터를 탐사 및 분석하는 작업이다. (Exploration & analysis, by automatic or semi-automatic means, of large quantities of data in order to discover meaningful patterns )

데이터 마이닝의 정의 (2/2) 데이터 마이닝 개요 데이터 미아닝 과정

Knowledge Discovery (KDD) Process Data mining—core of knowledge discovery process Pattern Evaluation Data Mining Task-relevant Data Selection Data Warehouse Data Cleaning Data Integration Databases Data Mining: Concepts and Techniques

어떤 게 마이닝이고 어떤 게 아니죠? 데이터 마이닝으로 볼 수 없는 것은? 데이터 마이닝으로 볼 수 있는 것은? 데이터 마이닝 개요 데이터 마이닝으로 볼 수 없는 것은? 우편번호 데이터베이스에서 우리 학교의 우편번호를 찾아라. 검색 사이트에서 “강원대학교”를 검색하라. 데이터 마이닝으로 볼 수 있는 것은? 특정 성씨가 특정 지역에서 보다 빈도 수가 높은 경우는? (예: 보스톤에는 O’Brien, O’Rurke, O’Reilly 성씨가 상대적으로 높음) 검색 엔진에서 검색된 문서들을 문맥에 따라 그룹핑하시오. (예: 삼성전자로 검색하여 결과를 제품소개, 서비스, 주식 별로 그룹핑함)

Statistics, Artificial Intelligence 데이터 마이닝의 유래 데이터 마이닝 개요 데이터 마이닝은 기계학습, 인공지능, 패턴 인식, 통계, 데이터베이스 시스템 등에서 출발하였음 전통적인 기계학습, 통계 등 기술은 다음의 사유에 의해 오늘날 데이터 분석에 적합하지 않음 엄청난 양의 데이터 (enormity of data) 고차원 데이터 (high dimensionality of data) 이기종, 분산 성질의 데이터 (heterogeneous, distributed nature of data) Statistics, Artificial Intelligence Machine Learning, Pattern Recognition Data Mining Database systems

데이터를 왜 마이닝하죠? 데이터 마이닝이란? 데이터 마이닝 기술 분류 강의 내용 연관규칙 분류 클러스터링 데이터 마이닝 개요 데이터를 왜 마이닝하죠? 데이터 마이닝이란? 데이터 마이닝 기술 분류 연관규칙 분류 클러스터링 기타 (순차검색, 회귀분석, 이상치 탐색)

데이터 마이닝 작업 (1/2) 예측 방법 (predictive methods) 데이터 마이닝 개요 예측 방법 (predictive methods) 주어진 변수의 모르는 값이나 미래의 값을 다른 변수를 사용하여 예측한다. (Use some variables to predict unknown or future values of other variables.) 예제: 과거 주식 데이터를 분석하여 내일의 주식 방향을 예측한다. 서술 방법 (descriptive methods) 주어진 데이터를 설명(기술)하는 “사람이 해석 가능한 패턴”을 찾아낸다. (Find human-interpretable patterns that describe the data.) 예제: “기저귀와 맥주는 함께 잘 팔린다”는 규칙을 찾아낸다.

데이터 마이닝 작업 (2/2) 예측 방법 (predictive methods) 데이터 마이닝 개요 예측 방법 (predictive methods) 분류 (classification) 회귀 분석 (regression) 이상치 검출 (outlier/deviation detection) 서술 방법 (descriptive methods) 클러스터링 (clustering) 연관 규칙 (association rules) 순차 패턴 (sequential patterns)

데이터를 왜 마이닝하죠? 데이터 마이닝이란? 데이터 마이닝 기술 분류 강의 내용 연관규칙 분류 클러스터링 데이터 마이닝 개요 데이터를 왜 마이닝하죠? 데이터 마이닝이란? 데이터 마이닝 기술 분류 연관규칙 분류 클러스터링 기타 (순차검색, 회귀분석, 이상치 탐색)

연관 규칙 탐사  정의 데이터 마이닝 개요 여러 아이템들이 하나의 레코드(트랜잭션)를 구성하는 레코드(트랜잭션) 집합에서, “어떤 아이템들이 나타나면 특정 아이템들도 함께 나타난다”는 형태의 의존 규칙을 찾아라. Given a set of records each of which contains some number of items from a given collection, produce dependency rules which will predict occurrence of an item based on occurrences of other items. Rules Discovered: {Milk} --> {Coke} {Diaper, Milk} --> {Beer}

연관 규칙 탐사  응용 #1 마케팅 및 영업 프로모션 데이터 마이닝 개요 마케팅 및 영업 프로모션 다음 형태의 규칙을 찾았다 가정하자. {Bagels, …}  {Potato Chips} 포테이토칩이 결론(consequent)부에 있으므로,  포테이토칩의 판매 촉진을 위해서 무엇을 해야 하는지 결정할 수 있다. 베이글이 선행(antecedent)부에 있으므로,  만일 베이글 판매를 중지한다면 어떤 제품이 영향을 받는지를 유추할 수 있다.

연관 규칙 탐사  응용 #2 마트 진열대(supermarket shelf) 관리 데이터 마이닝 개요 마트 진열대(supermarket shelf) 관리 목적: 많은 수의 고객이 “함께 구매하는 제품들”을 식별해 낸다. 접근법: (바코드 스캔을 통해 축적된) POS 데이터를 분석하여 판매 제품들간의 의존성을 알아낸다. 잘 알려진 규칙  기저귀와 우유를 사는 고객은 맥주를 함께 구매할 가능성이 높다.  6팩짜리 맥주가 기저귀 옆에 쌓여있더라도 그리 놀라지 마시라~ (Don’t be surprised if you find six-packs stacked next to diapers!)

연관 규칙 탐사  응용 #3 재고(inventory) 관리 데이터 마이닝 개요 재고(inventory) 관리 목적: 가전제품 서비스 회사는 제품 수리를 위한 부품들을 각 지역에 적절히 분배하여야 한다. (미국은 넓어서 부품 배달, 가정 방문 등의 최소화가 경쟁력에 해당함) 참고: 한번 방문 시 여러 부품들을 함께 교체, 수리하는 경우가 많다. 접근법: 수리 이력 데이터를 분석하여, 어떤 부품들이 함께 필요한지를 파악한다.

데이터를 왜 마이닝하죠? 데이터 마이닝이란? 데이터 마이닝 기술 분류 강의 내용 연관규칙 분류 클러스터링 데이터 마이닝 개요 데이터를 왜 마이닝하죠? 데이터 마이닝이란? 데이터 마이닝 기술 분류 연관규칙 분류 클러스터링 기타 (순차검색, 회귀분석, 이상치 탐색)

분류(classification)  정의 데이터 마이닝 개요 분류에 사용되는 레코드와 레코드 집합 레코드: 여러 속성들로 구성되어 있고, 하나의 클래스가 부여되어 있음 훈련 집합(training set): 분류 모델을 만들기 위한 레코드들의 집합 테스트 집합(test set): 분류 모델의 정확성 판별을 위한 레코드들의 집합 분류란? 모델 구성: 주어진 훈련 집합의 레코드들을 사용하여, 속성 값들을 입력으로 클래스를 출력으로 하는 함수(모델)를 찾는 작업이다. 모델 검증: 테스트 집합의 레코드들을 앞서 구성한 분류 모델에 적용하여 모델의 정확성을 판별한다.  일정 수준의 정확성이 확보되면 모델로서 의미를 가짐 모델을 사용한 예측: 아직 분류되지 않은 (즉, 클래스가 부여되지 않은) 레코드를 분류 모델에 적용하여 클래스를 부여함

분류  예제 Learn Classifier Model categorical categorical continuous 데이터 마이닝 개요 categorical categorical continuous class Test Set Learn Classifier Model Training Set

분류  응용 #1 우편 마케팅 (direct marketing) 데이터 마이닝 개요 우편 마케팅 (direct marketing) 목적: 모든 고객에게 광고물을 발송하지 않고 특정 고객(예를 들어, 새로운 핸드폰을 살 가능성이 높은 고객)에게만 광고물을 발송하여, 우편 비용을 줄여라. 접근법 과거에 소개된 유사한 제품의 판매 데이터를 사용한다. 이미 어떤 고객이 신제품을 구매했고, 어떤 고객이 구매하지 않았는지를 알고 있다.  클래스 부여: buy or don’t buy 고객의 다양한 정보(가족관계, 라이프 스타일, 수입 등)를 수집한다. 고객 정보를 입력으로 하여, 분류 모델을 만들고, 이 모델을 활용하여 어떤 사람들에게 광고물을 보낼지를 결정한다.

분류  응용 #2 (1/2) 사기 적발 (fraud detection) 데이터 마이닝 개요 사기 적발 (fraud detection) 목적: 신용 카드 사용에 있어서 사기 사용(분실, 복제 등)을 적발하라. 접근법 신용카드 사용 트랜잭션과 해당 카드 소유주의 정보를 사용한다. (언제 샀는지, 무엇을 샀는지, 결제는 얼마나 제때 하는지 등의 정보) 과거 트랜잭션들에 대해 “정상” 혹은 “사기”의 클래스를 부여한다. 과거 트랜잭션들로부터 분류 모델을 구성한다. 신규 신용카드 사용 건이 발생할 경우, 이 모델에 입력하여 정상인지 사기인지 판단한다.

분류  응용 #2 (2/2) 사기 적발의 쉬운 예제 사기 적발의 어려운 예제 데이터 마이닝 개요 사기 적발의 쉬운 예제 평소 신용카드로 마트에서만 결제하던 50대 주부가 새벽시간에 유흥주점에서 카드를 사용하면 이를 부정 사용으로 인식한다. 대구에서 결제 후 10분만에 뉴욕에서 결제가 진행되면 부정 사용으로 인식한다.  불법 복제 카드의 가능성이 높음 사기 적발의 어려운 예제 주유소에서 소액 결제를 한 후, 수십-수백 Km 떨어진 곳에서 고액 결제를 하였다.  왜 사기 가능성이 높을까? 도난 카드를 습득한 사람은 우선 카드가 동작하는지 알아보기 위해 소액 결재를 한 다음에, 멀리 떨어진 곳에 가서 카드로 고액의 제품을 구매한다. Outlier/Anomaly Detection 분야에서도 많은 연구가 이루어짐

분류  응용 #3 이탈 고객 예측 목적: 어떤 고객이 다른 경쟁사로 이탈할지 아닐지를 예측하라. 접근법 데이터 마이닝 개요 이탈 고객 예측 목적: 어떤 고객이 다른 경쟁사로 이탈할지 아닐지를 예측하라. 접근법 과거 및 현재 고객들의 자세한 레코드를 사용한다. (얼마나 자주 전화했나?, 어디서 전화했나?, 재정상태는?, 결혼 여부는? 등) 기존 고객을 충성(loyal)과 비충성(disloyal)로 구분한다. (클래스 부여) 충성도에 대한 분류 모델을 구성한다.

분류  응용 #4 데이터 마이닝 개요 천체 카탈로그 작성 목적: 천제(sky objects)가 어떤 클래스(별인지, 은하인지 등)인지를 구분한다. 망원경으로 포착한 이미지로부터, 특히 빛이 희미한 천체의 분류 필요성 있음 23,040 x 23,040 픽셀의 3000개 이미지 (Palomar Observatory) 접근법 이미지를 세그먼트로 나눈다. 이미지 속성(attributes, features)을 측정한다. (객체당 40 여개) 속성들을 기반으로 모델을 작성한다. 성공 스토리: 16개의 새로운 퀘이사(quasar)를 발견함 (가장 멀리 떨어진 몇 개는 매우 찾기 어려운 것임)

분류  응용 #4 (Classifying Galaxies) 데이터 마이닝 개요 Early Class: Stages of Formation Attributes: Image features, Characteristics of light waves received, etc. Intermediate Late Data Size: 72 million stars, 20 million galaxies Object Catalog: 9 GB Image Database: 150 GB

데이터를 왜 마이닝하죠? 데이터 마이닝이란? 데이터 마이닝 기술 분류 강의 내용 연관규칙 분류 클러스터링 데이터 마이닝 개요 데이터를 왜 마이닝하죠? 데이터 마이닝이란? 데이터 마이닝 기술 분류 연관규칙 분류 클러스터링 기타 (순차검색, 회귀분석, 이상치 탐색)

클러스터링(clustering, 군집)  정의 데이터 마이닝 개요 클러스터링 대상인 데이터 포인트(data points) 데이터 포인트는 여러 속성(attributes)으로 구성되어 있음 데이터 포인트들 간에는 유사 척도(similarity measure)가 부여됨 (가깝고 먼 것들을 구분할 수 있는 거리 척도가 존재함) 클러스터링(군집)이란? 클러스터 내의 데이터 포인트들은 서로 많이 유사한(more similar) 반면, 클러스터 간의 데이터 포인트들은 서로 적게 유사하도록(less similar) 데이터 포인트들을 클러스터들로 그룹핑하는 작업 유사 척도(유사도, similarity measure) 속성이 연속(continuous)인 경우 유클리디안 거리(Euclidean distance)를 사용 그렇지 않은 경우, 해당 문제에 적합한 척도를 (정의하여) 사용함

Intracluster distances are minimized Intercluster distances 클러스터링의 도식화 데이터 마이닝 개요 3-차원 공간에서 유클리디안 거리 기반의 클러스터링 Intracluster distances are minimized Intercluster distances are maximized

클러스터링  응용 #1 시장 구분 (market segmentation) - Wiki 데이터 마이닝 개요 시장 구분 (market segmentation) - Wiki 목적: 분류되지 않은 고객들을 특정 목적을 갖는 고객 그룹으로 구분하라. (시장을 고객들의 부분집합으로 구분하되, 각 부분집합은 특정 마케팅 타겟으로 생각될 수 있다.) 접근법 거주위치, 라이프 스타일 등을 기반으로 고객들의 다양한 속성을 수집한다. 클러스터링을 수행하여 고객들의 클러스터를 찾는다. 즉, 유사한 고객들의 클러스터를 찾는다. 클러스터링의 질(quality)은 동일 클러스터 내 고객들의 구매 패턴과 다른 클러스터 내 고객들의 구매패턴을 관찰함으로써 확인할 수 있다. (동일 클러스터 내 고객들의 구매패턴은 유사하고, 그렇지 않은 고객들의 구매패턴이 유사하지 않으면 클러스터링이 잘 되었다 판단할 수 있다.)

클러스터링  응용 #2 문서 클러스터링 (document clustering) 데이터 마이닝 개요 문서 클러스터링 (document clustering) 목적: 문서에 나타나는 주요 용어(important terms)를 기반으로, 서로 서로 유사한 문서들의 그룹을 찾아라. 접근법 문서들에 자주 나타나는 용어들을 식별한다. 용어들의 출현 빈도를 기반으로 유사 척도를 정의한다. (즉, 어떤 용어가 공통으로 자주 나타나면 유사한지를 유사 척도로 정의한다.) 정의한 유사 척도를 사용하여 문서들을 클러스터링 한다. 정보 검색(information retrieval) 활용: 새로운 문서나 새로운 검색어를 이미 클러스터된 문서들을 관련 짓는데 활용할 수 있다.

문서 클러스터링 예제 데이터 마이닝 개요 Clustering points (documents): 3204 articles of Los Angeles Times. Similarity measure: How many words are common in these documents (after some word filtering).

주식 데이터 클러스터링 예제 Observe stock movements everyday. 데이터 마이닝 개요 Observe stock movements everyday. Clustering points: Stock-{UP/DOWN} Similarity measure: Two points are more similar if the events described by them frequently happen together on the same day. We used association rules to quantify a similarity measure.

데이터를 왜 마이닝하죠? 데이터 마이닝이란? 데이터 마이닝 기술 분류 강의 내용 연관규칙 분류 클러스터링 데이터 마이닝 개요 데이터를 왜 마이닝하죠? 데이터 마이닝이란? 데이터 마이닝 기술 분류 연관규칙 분류 클러스터링 기타 (순차검색, 회귀분석, 이상치 탐색)

순차 패턴 (Sequential Pattern)  정의 데이터 마이닝 개요 주어진 객체 집합에서 각 객체는 여러 이벤트의 시간 순서를 가진다 할 때, 이벤트들이 순차적 의존관계를 가지는 규칙을 찾아라. 규칙들은 찾아낸 패턴으로 형성되며, 패턴 내 이벤트는 시간 제약(timing constraints)에 영향을 받는다.

순차 패턴  예제 전화통신 알람 로그(telecommunication alarm logs)에서, POS 트랜잭션 시퀀스에서, 데이터 마이닝 개요 전화통신 알람 로그(telecommunication alarm logs)에서, (Inverter_Problem Excessive_Line_Current) (Rectifier_Alarm)  (Fire_Alarm) POS 트랜잭션 시퀀스에서, Computer Bookstore: (Intro_To_Visual_C) (C++_Primer)  (Perl_for_dummies,Tcl_Tk) Athletic Apparel Store: (Shoes) (Racket, Racketball)  (Sports_Jacket)

회귀분석 (Regression Analysis) 데이터 마이닝 개요 연속 값을 갖는 변수의 미래 값을 (다른 변수 값들을 활용하여) 예측하라. 일반적으로, 변수에 대해 선형(linear) 혹은 비선형(nonlinear) 모델을 가정한다. 통계학, 신경망(neural network) 분야에서 많은 연구가 이루어졌다. 회귀분석 예제 광고 지출 비용에 기반하여 새로운 제품의 판매량을 예측하라. (즉, 광고에 얼마를 지출했을 때, 얼마의 제품 판매가 예상되는지 예측하라.) 풍속을 온도, 습도, 기압 등의 함수로 나타내라(예측하라). 주가지수의 시계열 예측 (time-series prediction of stock market indices)

이상치 탐색 (Outlier Detection) 데이터 마이닝 개요 A.k.a. Deviation Detection, Anomaly Detection 정상적 행위로부터 크게 다른 것을 검출하라. (Detect significant deviations from normal behaviors.) Applications Credit card fraud detection Network intrusion detection (Typical network traffic at University level may reach over 100 million connections per day)

데이터 마이닝의 주요 기술과 사례를 살펴 보았습니다. 요약 데이터 마이닝 개요 데이터 마이닝을 하는 이유를 살펴 보았습니다. 데이터 마이닝의 개념을 이해하였습니다. 데이터 마이닝의 주요 기술과 사례를 살펴 보았습니다. 연관규칙 분류 클러스터링 기타 (순차검색, 회귀분석, 이상치 탐색)