(Classification – Advanced Techniques) 분류 - 고급기법 (Classification – Advanced Techniques) 2017년 가을학기 강원대학교 컴퓨터과학전공 문양세

의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-Based Classifiers) 강의 내용 Classification 분류 정의와 적용사례 의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-Based Classifiers) 인접 이웃 분류기 (Nearest Neighbor Classifiers) 베이지안 분류기 (Bayesian Classifiers) 인공 신경망 (Artificial Neural Networks) 지지도 벡터 머신 (Support Vector Machines)

규칙기반 분류기 (Rule-Based Classifier) Classification

규칙기반 분류기 예제 Classification Reptiles: 파충류 Amphibians: 양서류

규칙기반 분류기의 적용 Classification

규칙 적용범위(Coverage)와 정확도(Accuracy) Classification

규칙기반 분류기의 동작 방법 Classification

규칙기반 분류기의 (바람직한) 특징 Classification 상호 배타적 규칙 (Mutually exclusive rules): 각 레코드는 하나의 규칙에만 지배를 받아야 한다. 포괄적 규칙 (Exhaustive rules): 분류기의 규칙은 모든 가능한 레코드에 적용될 수 있어야 한다.

의사결정 트리  규칙 생성 Classification

(생성된) 규칙의 단순화 Classification

규칙 단순화에 의한 효과 영향 Classification

순서화된 규칙 집합 (Ordered Rule Set) Classification

분류 규칙의 생성 방법 Classification

직접 방법: 순차적 커버링(Sequential Covering) Classification

순차적 커버링 예제 Classification

순차적 커버링 진행 Rule Growing Instance Elimination Rule Evaluation 순차적 커버링 진행 Classification Rule Growing Instance Elimination Rule Evaluation Stopping Criterion Rule Pruning

순차적 커버링 - Rule Growing Classification hibernate: 동면

순차적 커버링 - Instance Elimination Classification Why do we need to eliminate instances?  Otherwise, the next rule is identical to previous rule

Metrics 순차적 커버링 - Rule Evaluation Accuracy Laplace M-estimate Classification Metrics Accuracy Laplace M-estimate n : Number of instances nc : Number of instances covered by rule k : Number of classes p : Prior probability

순차적 커버링 - Stopping Criterion & Rule Pruning Classification

간접 방법: 의사결정 트리 등 사용 Classification

규칙기반 분류기의 장점 Classification

의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-Based Classifiers) 강의 내용 Classification 분류 정의와 적용사례 의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-Based Classifiers) 인접 이웃 분류기 (Nearest Neighbor Classifiers) 베이지안 분류기 (Bayesian Classifiers) 인공 신경망 (Artificial Neural Networks) 지지도 벡터 머신 (Support Vector Machines)

인스턴스 기반 분류기 (1/2) Classification

인스턴스 기반 분류기 (2/2) Classification rote: (기계적) 암기

인접 이웃 분류기 (Nearest Neighbor Classifiers) Classification

인접 이웃 분류기 개념 Classification

인접 이웃 분류기 정의 Classification

1 인접 이웃 (1-Nearest Neighbor) Classification

인접 이웃 분류기 이슈 (1/4) Classification

인접 이웃 분류기 이슈 (2/4) Classification

인접 이웃 분류기 이슈 (3/4) Classification

인접 이웃 분류기 이슈 (4/4) Classification

의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-Based Classifiers) 강의 내용 Classification 분류 정의와 적용사례 의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-Based Classifiers) 인접 이웃 분류기 (Nearest Neighbor Classifiers) 베이지안 분류기 (Bayesian Classifiers) 인공 신경망 (Artificial Neural Networks) 지지도 벡터 머신 (Support Vector Machines)

베이지안 분류기 (Bayesian Classifiers) Classification

베이스 정리의 예제 Classification meningitis: 뇌막염 stiff neck: 뻣뻣한 목

베이지안 분류기 개념 (1/2) Classification

베이지안 분류기 개념 (2/2) Classification

순수 베이지안 분류기 (Naïve Bayes Classifier) Classification

훈련 집합에서 확률 구하기 (1/3) Classification

훈련 집합에서 확률 구하기 (2/3) Classification

훈련 집합에서 확률 구하기 (3/3) Classification

순수 베이지안 분류기 예제 (1/2) Classification

순수 베이지안 분류기 예제 (2/2) Classification

베이지안 분류기 요약 Classification

의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-Based Classifiers) 강의 내용 Classification 분류 정의와 적용사례 의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-Based Classifiers) 인접 이웃 분류기 (Nearest Neighbor Classifiers) 베이지안 분류기 (Bayesian Classifiers) 인공 신경망 (Artificial Neural Networks) 지지도 벡터 머신 (Support Vector Machines)

Thinking Machine from Brain Classification

Activation Function – Neuron? Cell? Classification

인공 신경망 개념 (1/3) Classification

인공 신경망 개념 (2/3) Classification

인공 신경망 개념 (3/3) Classification

인공 신경망의 일반적 구조 Classification

인공 신경망의 학습 알고리즘 Classification

인공신경망의 하드웨어 구현 Classification

더 많은 레이어  딥 러닝 Classification

Convolutional NN – CNN (1/2) Classification

Convolutional NN – CNN (2/2) Classification

순차적 성질?  Recurrent NN Classification

https://hunkim.github.io/ml/ 머신러닝 강좌 Classification HKUST 김성훈 교수님 https://hunkim.github.io/ml/ NN 관련 많은 슬라이드가 위 강의 사이트에서 발췌되었음

의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-Based Classifiers) 강의 내용 Classification 분류 정의와 적용사례 의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-Based Classifiers) 인접 이웃 분류기 (Nearest Neighbor Classifiers) 베이지안 분류기 (Bayesian Classifiers) 인공 신경망 (Artificial Neural Networks) 지지도 벡터 머신 (Support Vector Machines)

SVM (Support Vector Machines) (1/7) Classification

SVM (Support Vector Machines) (2/7) Classification

SVM (Support Vector Machines) (3/7) Classification

SVM (Support Vector Machines) (4/7) Classification

SVM (Support Vector Machines) (5/7) Classification

SVM (Support Vector Machines) (6/7) Classification

SVM (Support Vector Machines) (7/7) Classification

비선형 SVM (Nonlinear SVM) (1/2) Classification

비선형 SVM (Nonlinear SVM) (2/2) Classification

의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-Based Classifiers) 강의 내용 Classification 분류 정의와 적용사례 의사결정 트리 (Decision Trees) 규칙기반 분류기 (Rule-Based Classifiers) 인접 이웃 분류기 (Nearest Neighbor Classifiers) 베이지안 분류기 (Bayesian Classifiers) 인공 신경망 (Artificial Neural Networks) 지지도 벡터 머신 (Support Vector Machines)