2 장. 베이시언 결정 이론 오일석, 패턴인식, 교보문고, 2008..

Slides:



Advertisements
Similar presentations
제3장제3장 제3장제3장 이산균등분포  확률질량함수 :  평균 :  분산 : 공정한 주사위를 한 번 던지는 경우 나온 눈의 수를 확률변수 : X 확률질량함수 : 평균 : 분산 :
Advertisements

Add Your Text 5. 지수함수와 로그함수 1. 지수함수 2. 로그함수 · 지수함수와 그 그래프 · 지수방정식과 지수부등식 · 로그 함수와 그 그래프 · 로그방정식과 로그부등식.
재료수치해석 HW # 박재혁.
의사 결정 트리(decision tree)
패턴인식 개론 Ch.4 기초 통계와 확률 이론 Translated from “CSCE 666 Pattern Analysis | Ricardo Gutierrez-Osuna | “
• 수학 • 6학년 나단계 • 7. 연비>1/9 홈 두 수의 대응 관계를 , 를 사용한 식으로 나타내기 수업활동 수업계획.
확률분포의 개념 미분과 적분의 개념을 사전에 공부한다.
표본분포 Sampling Distribution
4.3.3 초기하분포 (Hypergeometric distribution)
3일차 - 가설검정.
고장률 failure rate 어떤 시점까지 동작하여 온 품목이 계속되는 단위기간내에 고장을 일으키는 비율(횟수). 고장률은 확률이 아니며 따라서 1 보다 커도 상관없다. 고장이 발생하기 쉬운 정도를 표시하는 척도. 일반으로 고장률은 순간고장률과 평균고장률을 사용하고 있지만.
수치해석 6장 예제문제 환경공학과 천대길.
컴퓨터 프로그래밍 기초 [Final] 기말고사
제9장 샘플링과 오차 표본: 시료, Sample 모집단 : 공정, Lot Sampling
제12주 회귀분석 Regression Analysis
윤성우의 열혈 C 프로그래밍 윤성우 저 열혈강의 C 프로그래밍 개정판 Chapter 12. 포인터의 이해.
Keller: Stats for Mgmt & Econ, 7th Ed 표본분포 Sampling Distributions
11장. 포인터 01_ 포인터의 기본 02_ 포인터와 Const.
컴퓨터 프로그래밍 기초 #02 : printf(), scanf()
2007 1학기 11 프로젝트 기초 실습.
Tail-recursive Function, High-order Function
CH 4. 확률변수와 확률분포 4.1 확률 확률실험 (Random Experiment, 시행, Trial) : 결과를 확률적으로 예측 가능, 똑 같은 조건에서 반복 근원사상 (Elementary Event, e) : 시행 때 마다 나타날 수 있는 결과 표본공간.
1 장. 소개 오일석, 패턴인식, 교보문고, © 오일석, 전북대학교 컴퓨터공학.
별의 밝기와 거리[2] 밝다고 가까운 별은 아니야! 빛의 밝기와 거리와의 관계 별의 밝기 결정.
9장. 특징 선택 오일석, 패턴인식, 교보문고, © 오일석, 전북대학교 컴퓨터공학.
Ⅲ. 이 차 방 정 식 1. 이차방정식과 그 풀이 2. 근 의 공 식.
Keller: Stats for Mgmt & Econ, 7th Ed
1.4 중첩된 한정기호 (Nested Quantifiers) 이산수학 (Discrete Mathematics)
C 프로그래밍 C언어 (CSE2035) (Chap11. Derived types-enumerated, structure, and union) (1-1) Sungwook Kim Sogang University Seoul, Korea Tel:
빅데이터 연구회 6주차 발표 주제 : 서포트 벡터 머신 통계학과 서태석.
프로그래밍 개요
Chap 6.Assembler 유건우.
군집 분석.
벡터의 공간 이문현.
27장. 모듈화 프로그래밍.
문제 2명의 사형수가 있다. 둘에게는 검정색 모자와 흰색 모자를 임의로 씌우는데, 자기가 쓴 모자의 색은 절대로 알 수가 없다. 서로 상대의 모자색만을 볼 수 있고, 이들이 살기 위해선 자신의 쓴 색의 모자를 맞춰야 한다. 단, 둘 중 한명만이라도 자신이 쓴 모자의 색을.
3 장. 확률 분포 추정 오일석, 패턴인식, 교보문고,
학습 주제 p 일률 측정하기.
Week 5:확률(Probability)
컴퓨터 프로그래밍 기초 - 10th : 포인터 및 구조체 -
고체역학 2 - 기말고사 1. 단면이 정사각형이고 한번의 길이가 a 일 때, 최대굽힘응력과 최대전단응력의 비를 구하라(10).
밀도 (1) 부피가 같아도 질량은 달라요 ! 밀도의 측정 밀도의 특징.
두 모집단에 대한 검정.
2 장. 베이시언 결정 이론 오일석, 패턴인식, 교보문고,
컴퓨터 프로그래밍 기초 - 8th : 함수와 변수 / 배열 -
1. 2진 시스템.
5 장. SVM 오일석, 패턴인식, 교보문고, © 오일석, 전북대학교 컴퓨터공학.
5강. 배열 배열이란? 배열의 문법 변수와 같이 이해하는 배열의 메모리 구조의 이해 레퍼런스의 이해 다차원 배열
3강. 컴퓨터와의 기본적인 소통수단 - I 연산자란? 컴퓨터와 소통하기 위한 다양한 방법들
9강. 클래스 실전 학사 관리 프로그램 만들기 프로그래밍이란 결국 데이터를 효율적으로 관리하기 위한 공구
수학10-나 1학년 2학기 Ⅰ. 도형의 방정식 2. 직선의 방정식 (9/24) 점과 직선 사이의 거리 수업계획 수업활동.
제3장 함수와 배열수식 전진환
수학10-나 1학년 2학기 Ⅱ.부등식의 영역 2. 연립부등식의 영역 (3/5) 부등식 영역 수업계획 수업활동.
수학10-나 1학년 2학기 Ⅱ.부등식의 영역 1. 부등식의 영역(2/5) 부등식 영역 수업계획 수업활동.
Sampling Distributions
에어 PHP 입문.
Chapter 1 단위, 물리량, 벡터.
Support Vector Machine
쉽게 배우는 알고리즘 2장. 점화식과 점근적 복잡도 분석
최소의 실험 횟수에서 최대의 정보를 얻기 위한 계획방법 분석방법: 분산분석(Analysis of Variance, ANOVA)
상관계수.
이산수학(Discrete Mathematics)  술어와 한정기호 (Predicates and Quantifiers)
수학 3학년 1학기 2. 덧셈과 뺄셈 재미있는 놀이 수업 계획 수업 활동.
CH3. 데이터의 기초적 정리방법 모집단과 표본 모집단 (Population) , 표본 (Sample, 시료) 그림 3.1
CH3. 데이터의 기초적 정리방법 모집단과 표본 모집단 (Population) , 표본 (Sample, 시료) 그림 3.1
수학10-나 1학년 2학기 Ⅱ.부등식의 영역 3. 부등식의 영역에서 최대, 최소(5/5) 부등식 영역 수업계획 수업활동.
3 장. 확률 분포 추정 오일석, 패턴인식, 교보문고,
전류의 세기와 거리에 따른 도선 주변 자기장 세기 변화에 대한 실험적 고찰
문제의 답안 잘 생각해 보시기 바랍니다..
6 객체.
Presentation transcript:

2 장. 베이시언 결정 이론 오일석, 패턴인식, 교보문고, 2008.

가장 그럴듯한 이라는 보편 법칙 보편적인 인식 법칙 기계 (컴퓨터)의 인식 ‘가장 그럴듯한’ 부류로 분류 라디오 목소리가 배철수인지 배칠수인지 헛갈리는데 배칠수 같다. 도로 표지판이 전주인지 진주인지 확실치 않은데 전주인것 같다. 기계 (컴퓨터)의 인식 수학 틀에 넣어야 프로그래밍이 가능해짐 P(ωi|x): x가 주어졌을때 그것이 부류 ωi에서 발생했을 확률 (사후 확률) 2019-07-23

어렵고 중요한 문제 사후 확률 P(ωi|x)의 추정 어려운가? (그림 1.6을 가지고 생각해 보자.) 왜? 어떻게 추정하나? 2~3장의 핵심 주제 2019-07-23

2.1.1 확률 기초 주사위 사람 키 패턴 인식에서 특징 각각이 랜덤 변수에 해당 주사위 던졌을 때 3이 나올 확률 P(X=3)=1/6 X를 랜덤 변수라 부름 이 경우 X는 이산 값을 가짐 사람 키 연속 값 확률 밀도 함수 p(X) 패턴 인식에서 특징 각각이 랜덤 변수에 해당 2019-07-23

확률 실험 (사전 확률, 우도, 사후 확률을 설명할 목적의 시나리오) 2.1.1 확률 기초 확률 실험 (사전 확률, 우도, 사후 확률을 설명할 목적의 시나리오) 주머니에서 카드를 뽑아 상자를 선택하고 선택된 상자에서 공을 뽑아 관찰 랜덤 변수 X∈{A,B}, Y={파랑, 하양} 2019-07-23

P(X)를 사전 확률이라prior probability 부름 2.1.1 확률 기초 확률 상자 A가 선택될 확률은? P(X=A)=P(A)=7/10 상자 A에서 하얀 공이 뽑힐 확률은? 조건부 확률 P(Y=하양|X=A)=P(하양|A)=2/10 상자는 A이고 공은 하양이 뽑힐 확률은? 결합 확률 P(A, 하양)=P(하양|A)P(A)=(2/10)(7/10)=7/50 하얀 공이 나올 확률은? 주변 확률 P(하양)=P(하양|A)P(A)+P(하양|B)P(B) =(2/10)(7/10)+(9/15)(3/10)=8/25 P(X,Y)=P(X)P(Y)이면 X와 Y는 독립 P(X)를 사전 확률이라prior probability 부름 2019-07-23

2.1.1 확률 기초 이런 문제를 생각해 보자. 생각 1 하얀 공이 뽑혔는데 어느 상자에서 나왔는지 맞추어라. 기본 전략: 상자 A와 B에서 나왔을 가능성 각각을 구하고 큰 가능성을 보인 상자를 답으로 취한다. 이렇게 해야 맞출 가능성이 최대 (오류 범할 가능성이 최소)가 됨 가능성은 어떻게 계산? 생각 1 상자 A의 하얀 공 확률과 상자 B의 하얀 공 확률을 비교하여 큰 쪽을 취한다. P(하양|B)=9/15 > P(하양|A)=2/10 이므로 ‘상자 B에서 나왔다’고 말함 조건부 확률 P(Y|X)를 사용한 셈이다. 타당한가? 이 조건부 확률을 우도라고likelihood 부름 2019-07-23

2.1.1 확률 기초 생각 2 올바른 생각 상자 A와 상자 B의 선택 가능성을 비교하여 큰 쪽을 취한다. P(A)=7/10 > P(B)=3/10 이므로 ‘상자 A에서 나왔다’고 말함 사전 확률 P(X)를 사용한 셈이다. 타당한가? 올바른 생각 생각 1과 생각 2의 한계 극단적으로 P(A)=0.999라면 생각 1이 틀린 것이 확실하다. 극단적으로 P(하양|A)=0.999라면 생각 2가 틀린 것이 확실하다. 우도와 사전 확률을 모두 고려함이 타당해 보임 문제에 충실하자. 조건부 확률 P(A|하양)과 P(B|하양) 을 비교하여 큰 쪽을 취함 즉 P(X|Y)를 사용하겠다는 생각이 타당하다. P(X|Y)를 사후 확률 이라posterior probability 함 어떻게 게산할 것인가? 2019-07-23

2.1.1 확률 기초 베이스 정리의 유도 베이스 정리를 이용한 사후 확률 계산 2019-07-23

2.1.2 평균과 분산 평균 벡터와 공분산 행렬 2019-07-23

2.1.2 평균과 분산 예제 2.3 8개 샘플이 주어진 상황에서 평균 벡터와 공분산 행렬 구함 2019-07-23

2.1.3 확률 분포의 표현과 추정 이산인 경우 연속인 경우 차원의 저주 변수의 수가 d이고 각 변수가 q개의 구간을 가진다면 qd에 비례하는 메모리 필요 연속인 경우 일정한 형태를 가는 상황 그렇지 않은 상황 2019-07-23

분류기 학습 (훈련)에 사용하는 정보는 ‘훈련 집합’ 2.2 베이시언 분류기 분류기 학습 (훈련)에 사용하는 정보는 ‘훈련 집합’ 훈련 집합 X={(x1,t1), (x2,t2), …, (xN,tN)} xi=(x1,x2,…,xd)는 특징 벡터 ti∈{ω1,ω2,…,ωM} 부류 표지 (이진 분류기인 경우 M=2) 예) 필기 숫자 x1=(13/11,12/12)T, t1=ω1 (숫자 0) x2=(12/7,14/5)T, t2=ω2 (숫자 1) x3=(6/11,13/4)T, t3=ω3 (숫자 2) x4=(13/11,10/14)T, t4=ω4 (숫자 3) …… x40=(15/13,11/17)T, t40=ω10 (숫자 9) 2019-07-23

주어진 특징 벡터 x에 대해 ‘가장 그럴듯한’ 부류로 분류 2.2.1 최소 오류 베이시언 분류기 주어진 특징 벡터 x에 대해 ‘가장 그럴듯한’ 부류로 분류 (2.16)에서 사후 확률은 직접 구할 수 없음. 왜? 베이스 정리를 이용하여 사후 확률 계산을 사전 확률과 우도로 대치 분모는 무시해도 됨. 왜? 우도와 사전 확률은 어떻게 계산? 2019-07-23

2.2.1 최소 오류 베이시언 분류기 사전 확률 계산 우도 계산 P(ω1)=n1/N, P(ω2)=n2/N 훈련 집합에서 ωi에 속하는 샘들들을 가지고 P(x|ωi) 추정 부류 조건부 확률 이라고도class-conditional probabilty 함 3장의 주제 2019-07-23

2.2.1 최소 오류 베이시언 분류기 최소 오류 베이시언 분류기 결정 규칙 특수한 경우로 (2.18)의 의미 해석하면, 사전 확률이 0.5인 경우 우도만으로 분류 P(ω1)>>P(ω2)인 경우 사전 확률이 의사 결정 주도 2019-07-23

2.2.1 최소 오류 베이시언 분류기 최소 오류 베이시언 분류기 오류 확률 최적성 2019-07-23

2.2.2 최소 위험 베이시언 분류기 성능 기준으로 오류가 적절하지 못한 상황 손실 행렬 정상인과 암 환자 분류 과일을 상품과 하품으로 분류 손실 행렬 2019-07-23

2.2.2 최소 위험 베이시언 분류기 최소 위험 베이시언 분류기 우도비로 다시 쓰면 우도비 결정 규칙 2019-07-23

2.2.3 M 부류로 확장 M 부류 최소 오류 베이시언 분류기 M 부류 최소 위험 베이시언 분류기 사후 확률로 쓰면 사전 확률과 우도로 쓰면 M 부류 최소 위험 베이시언 분류기 2019-07-23

2.3 분별 함수 지금까지 분류기를 분별 함수로 다시 작성하면 2019-07-23

2.3 분별 함수 분별 함수 표현의 장점 여러 분류기를 하나의 틀로 표현 f(.)가 단조 증가라면 p(x|ωi) P(ωi)대신 gi(x)=f(p(x|ωi) P(ωi)) 사용하여도 같은 결과 f(.)로 log 함수를 주로 사용 log는 곱셈을 덧셈으로 바꾸어 주므로 수식 전개에 유리하고 log 취하면 값의 규모가 커져 수치 오류에 둔감한 이점 2019-07-23

우도가 정규 분포를 따른다는 가정 하에 베이시언 분류기의 특성을 해석해 보자. 2.4 정규분포에서 베이시언 분류기 정규 분포 (가우시언 분포) 현실 세계에 맞는 경우 있음 평균과 분산이라는 두 종류의 매개 변수만으로 표현 가능 수학적인 매력 우도가 정규 분포를 따른다는 가정 하에 베이시언 분류기의 특성을 해석해 보자. 2019-07-23

2.4.1 정규분포와 분별 함수 정규 분포 2019-07-23

2.4.1 정규분포와 분별 함수 우도를 다시 쓰면, 로그를 취하여 분별 함수를 만들어 보면, gi(x)는 변수 x에 대한 2차 식 2019-07-23

2.4.1 정규분포와 분별 함수 예제 2.4 d=2이고 아래와 같다고 가정 분별 함수를 유도해 보면, 2019-07-23

2.4.1 정규분포와 분별 함수 결정 경계 두 부류가 차지하는 영역의 경계 gi(x)=gj(x)인 점 즉 gij(x)=0인 점 2019-07-23

2.4.2 선형 분별 모든 부류의 공분산 행렬이 같은 상황, 분별 함수를 다시 쓰면 i에 무관한 항은 제거해도 됨. 따라서 2차 항 xTΣ-1x 없어짐 선형식이 됨 2019-07-23

2.4.2 선형 분별 결정 경계 2019-07-23

2.4.2 선형 분별 예제 2.5 2019-07-23

2.4.3 2차 분별 임의의 공분산 행렬 2019-07-23

2.4.3 2차 분별 예제 2.6 2019-07-23

2.4.4 최소 거리 분류기 최소 거리 분류기로 다시 해석해 보자. 거리 척도 수식 유도 편의를 위해 두 부류의 사전 확률과 공분산 행렬 같다고 가정 최소 거리 분류기 거리 척도 2019-07-23

2.4.4 최소 거리 분류기 예제 2.7 2019-07-23

2019-07-23

2.5 베이시언 분류의 특성 베이시언 분류의 특성 2019-07-23

2.5 베이시언 분류의 특성 나이브naïve 베이시언 분류기 특징들이 서로 독립이라는 가정 우도 계산을 (2.45)로 하는 분류기를 나이브 베이시언 분류기라 함 얻은 것: 차원의 저주를 피함 잃은 것: 성능 저하 2019-07-23

2.6 기각 처리 기각 신뢰도가 충분치 않은 경우는 의사 결정 포기 그림 2.16에서 두 부류의 확률 차이가 Δ보다 작으면 기각 2019-07-23