3 장. 확률 분포 추정 오일석, 패턴인식, 교보문고, 2008..

Slides:



Advertisements
Similar presentations
출석수업 과제 – 총 5문제, 10월 25일 제출 정보통계학과 장영재 교수.
Advertisements

4장 배열과 함수 한빛미디어(주).
풀 다운 메뉴 File > New “intent” 이름을 넣고 OK 를 클릭한다.
4.3.3 초기하분포 (Hypergeometric distribution)
패턴인식 개론 Ch.8 클러스터링.
고장률 failure rate 어떤 시점까지 동작하여 온 품목이 계속되는 단위기간내에 고장을 일으키는 비율(횟수). 고장률은 확률이 아니며 따라서 1 보다 커도 상관없다. 고장이 발생하기 쉬운 정도를 표시하는 척도. 일반으로 고장률은 순간고장률과 평균고장률을 사용하고 있지만.
각 행 (row) 에서 같은 첨자가 있는 곳은 비워두고, 그 밖에 cell에 수준수 (level) 또는 반복수를 기입
9장. C 언어의 핵심! 함수. 9장. C 언어의 핵심! 함수 9-1 함수의 정의와 선언 main 함수 다시 보기 : 함수의 기본 형태 { } 그림 9-1.
(Numerical Analysis of Nonlinear Equation)
11장. 최적화 알고리즘 오일석, 패턴인식, 교보문고, © 오일석, 전북대학교 컴퓨터공학.
수치해석 6장 예제문제 환경공학과 천대길.
Report #2 - Solution 문제 #1: 다음과 같이 프로그램을 작성하라.
사원수 (Quaternion)
보고서 #7 (기한: 6/2) 2개의 스택, stk1, stk2를 이용하여 큐를 구현하라.
CHAP 2:순환 순천향대학교 컴퓨터공학과.
Chapter 02 순환 (Recursion).
Multimedia Programming 10: Point Processing 5
Error Detection and Correction
보고서 #5(제출기한: 10/14) 다음 문제를 해결하시오.
Chapter 07. 기본 함수 익히기.
CH 4. 확률변수와 확률분포 4.1 확률 확률실험 (Random Experiment, 시행, Trial) : 결과를 확률적으로 예측 가능, 똑 같은 조건에서 반복 근원사상 (Elementary Event, e) : 시행 때 마다 나타날 수 있는 결과 표본공간.
11장. 1차원 배열.
Ⅱ. 지구의 변동과 역사 1. 지구의 변동 2. 지구의 역사 3. 우리나라의 지질.
9장. 특징 선택 오일석, 패턴인식, 교보문고, © 오일석, 전북대학교 컴퓨터공학.
Ⅲ. 이 차 방 정 식 1. 이차방정식과 그 풀이 2. 근 의 공 식.
빅데이터 연구회 6주차 발표 주제 : 서포트 벡터 머신 통계학과 서태석.
프로그래밍 개요
군집 분석.
자료구조: CHAP 7 트리 –review 순천향대학교 컴퓨터공학과 하 상 호.
27장. 모듈화 프로그래밍.
Report #3 - due: 4/6 100*100의 2개의 희소 행렬 A, B를 전달 받아서 이들의 덧셈을 구하고, 그 결과의 행렬 C를 반환하는 add_sparse_matrix(A, B, C)를 다음과 같이 작성하라. 희소 행렬은 sparse_matrix 타입으로 표현된다.
(independent variable)
Computer Vision & Pattern Recognition Lab. 위 은 영 (월)
Metal Forming CAE Lab., Gyeongsang National University
10장. 군집화 오일석, 패턴인식, 교보문고, © 오일석, 전북대학교 컴퓨터공학.
고체역학 2 - 기말고사 1. 단면이 정사각형이고 한번의 길이가 a 일 때, 최대굽힘응력과 최대전단응력의 비를 구하라(10).
8장. spss statistics 20의 데이터 변환
밀도 (1) 부피가 같아도 질량은 달라요 ! 밀도의 측정 밀도의 특징.
Decision Tree & Ensemble methods
5 장. SVM 오일석, 패턴인식, 교보문고, © 오일석, 전북대학교 컴퓨터공학.
보고서 #7 (기한: 6/2) 2개의 스택, stk1, stk2를 이용하여 큐를 구현하라.
9장. C 언어의 핵심! 함수. 9장. C 언어의 핵심! 함수 9-1 함수의 정의와 선언 main 함수 다시 보기 : 함수의 기본 형태 { } 그림 9-1.
미분방정식.
Week 3-2: 데이터분포 3_2장_1(백분율:Percentile)에서 동영상 1,2
알고리즘 알고리즘이란 무엇인가?.
디버깅 관련 옵션 실습해보기 발표 : 2008년 5월 19일 2분반 정 훈 승
2장 변형률 변형률: 물체의 변형을 설명하고 나타내는 물리량 응력: 물체내의 내력을 설명하고 나타냄
문서 클러스터링 일본언어문화학과 서동진.
작도 작도 작도: 눈금 없는 자와 컴퍼스만을 사용하여 도형을 그리는 것
Support Vector Machine
5장. 선택 알고리즘.
Flow Diagram IV While.
쉽게 배우는 알고리즘 2장. 점화식과 점근적 복잡도 분석
최소의 실험 횟수에서 최대의 정보를 얻기 위한 계획방법 분석방법: 분산분석(Analysis of Variance, ANOVA)
상관계수.
컴퓨터공학과 손민정 Computer Graphics Lab 이승용 교수님
제 16장 비율의 정확성 머리말 신뢰구간 신뢰구간의 해석.
CH3. 데이터의 기초적 정리방법 모집단과 표본 모집단 (Population) , 표본 (Sample, 시료) 그림 3.1
수치해석 ch3 환경공학과 김지숙.
CH3. 데이터의 기초적 정리방법 모집단과 표본 모집단 (Population) , 표본 (Sample, 시료) 그림 3.1
2 장. 베이시언 결정 이론 오일석, 패턴인식, 교보문고,
회로 전하 “펌핑”; 일, 에너지, 그리고 기전력 1. 기전력(electro-motive force: emf)과 기전력장치
3 장. 확률 분포 추정 오일석, 패턴인식, 교보문고,
수학 2 학년 1 학기 문자와 식 > 부 등 식 ( 1 / 2 ) 일차부등식의 풀이.
                              데이터베이스 설계 및 실습 #6 - SQL 실습 한국외국어대학교 DaPS 연구실                              
컴퓨터는 어떻게 덧셈, 뺄셈을 할까? 2011년 10월 5일 정동욱.
아날로그 신호를 디지털 신호로 변환하는 A/D 변환기 A/D 변환 시 고려하여 할 샘플링 주파수 D/A 변환기
교착 상태 해결 : 교착 상태 탐지 교착 상태 탐지(Deadlock Detection)
문제의 답안 잘 생각해 보시기 바랍니다..
: 3차원에서 입자의 운동 방정식 제일 간단한 경우는 위치만의 함수 : 시간, 위치, 위치의 시간미분 의 함수
Presentation transcript:

3 장. 확률 분포 추정 오일석, 패턴인식, 교보문고, 2008.

베이시언 분류에서의 학습은 사전 확률과 우도의 추정 들어가는 말 베이시언 분류에서의 학습은 사전 확률과 우도의 추정 2019-04-04

들어가는 말 사전 확률 P(ωi)의 추정 우도 P(x|ωi) 추정 N은 X의 크기이고 Ni는 ωi에 속하는 샘플 수 2019-04-04

3.1 히스토그램 히스토그램 총 sd개의 빈이 발생 (각 차원을 s 개 구간으로 나눈다 했을 때) 전형적인 차원의 저주 N은 충분히 크고 d는 작아야 함 2019-04-04

3.2 최대 우도 문제 정의 “주어진X를 발생시켰을 가능성이 가장 높은 매개 변수 Θ를 찾아라.” 아래 예에서 P(X| Θ1)>P(X| Θ2) 최대 우도를 갖는 Θ는? 2019-04-04

3.2 최대 우도 최대 우도ML 방법 로그 우도로 바꾸면 아래 최적화 문제를 풀어 답을 구하는 방법 미분을 이용한 최적화 문제 풀이 L(Θ)의 도함수를 0으로 두고 풀어 구한 답이 2019-04-04

3.2 최대 우도 예제 3.1: 정규 분포를 위한 최대 우도 ML에 의한 평균 벡터 μ의 추정 (공분산 행렬은 안다고 가정) 2019-04-04

3.2 최대 우도 MAP 방법 P(Θ)가 균일하지 않은 경우 2019-04-04

3.3 비모수적 방법 확률 분포 추정 방법 모수적 방법 확률 분포가 매개 변수 (모수)로 표현되는 형태 ML,MAP 방법등 확률 분포가 임의의 형태 파젠 창, k-최근접 이웃 추정 방법 등 2019-04-04

히스토그램 방법을 확장하여 확률 밀도 함수pdf 추정 3.3.1 파젠 창 히스토그램 방법을 확장하여 확률 밀도 함수pdf 추정 그림 3.6에서 임의의 점 x에서 확률 값 추정 크기 h인 창을 씌우고 그 안의 샘플의 개수를 k라 하면, d 차원으로 확대하면, 2019-04-04

3.3.1 파젠 창 여전히 매끄럽지 않은 함수 매끄러운 pdf 커널 함수 예를 들어 그림 3.6(a)에서 x를 오른쪽 옮기면 계속 두 개이다가 어느 순간에 3으로 바뀜. 따라서 불연속인 pdf 매끄러운 pdf 창 안의 샘플에 가중치를 준다. (중앙에 가까운 샘플이 더 높은 가중치) 어떻게 이러한 아이디어를 구현할까? 커널 함수 2019-04-04

3.3.1 파젠 창 커널 함수를 사용하여 수식을 다시 쓰면, 파젠 창의 특성 커널 함수로 가우시언을 채택하면 매끄러운 pdf를 얻게 된다. 파젠 창의 특성 차원의 저주에서 자유로운가? 추정한 pdf가 실제에 가까우려면 N과 h는 어떻게 되어야 하나? 2019-04-04

3.3.2 k-최근접 이웃 추정 k-최근접 이웃 추정 x를 중심으로 창을 씌우고 k 개 샘플이 안에 들어올 때까지 확장하고 그 순간의 창의 크기를 h라 한다. 즉 k가 고정되고 h가 가변이다. 파젠 창에서는 h가 고정되고 k가 가변이다. 시간 복잡도: Θ(kdN) 보로노이 도형으로 복잡도 줄일 수 있음 2019-04-04

3.3.3 k-최근접 이웃 분류기 k-NN 분류기 확률 분포 추정이 아니라 분류기인데, k-NN 추정과 동작이 흡사하여 여기에서 설명함 x를 중심으로 창을 씌우고, k 개 샘플이 안에 들어올 때까지 확장. 이때의 창의 크기를 hx라 하면 창의 부피는 hxd 창 안의 샘플 중에 ωi에 속하는 것의 개수를 ki라 하면, 2019-04-04

3.3.3 k-최근접 이웃 분류기 베이스 정리를 적용하면 k-NN 분류기 2019-04-04

3.3.3 k-최근접 이웃 분류기 k-NN 분류기의 오류율 특성 2019-04-04

두 개 이상의 서로 다른 확률 분포의 혼합으로 X를 모델링함 3.4 혼합 모델 두 개 이상의 서로 다른 확률 분포의 혼합으로 X를 모델링함 보통 요소 확률 분포로는 가우시언을 사용함 2019-04-04

3.4.1 가우시언 혼합 다양한 분포들 어떻게 다중 모드 분포를 정확히 모델링 할 수 있을까? 2019-04-04

가우시언 혼합Gaussian mixture 3.4.1 가우시언 혼합 가우시언 혼합Gaussian mixture 추정해야 할 매개 변수 2019-04-04

3.4.1 가우시언 혼합 최적화 문제로 공식화 해 보자. 가우시언 혼합의 일반 공식 πk는 혼합 계수, N(x|μk, Σk)는 요소 분포 주어진 것과 추정해야 할 것 2019-04-04

3.4.1 가우시언 혼합 최대 우도 문제로 공식화 Θ에 대한 x의 우도와 로그 우도 이 최적화 문제를 어떻게 풀 것인가? 2019-04-04

3.4.2 EM 알고리즘 문제에 대한 통찰 (예제 3.1과의 비교) 예제 3.1은 한 쌍의 μ와 Σ를 추정  미분 한번 적용으로 해결 지금은 K 개의 μ와 Σ 그리고 그들의 혼합을 위한 혼합 계수 π를 추정 게다가 샘플이 어느 가우시언에 속하는지에 정보가 없음 (손실 정보) 2019-04-04

3.4.2 EM 알고리즘 새로운 알고리즘 두 단계를 반복 샘플이 어느 가우시언에 속하는지 결정 (연성 소속soft membership) 매개 변수 추정 2019-04-04

3.4.2 EM 알고리즘 EM 알고리즘의 구체화 샘플의 가우시언 소속을 어떻게 표현할 것인가? z=(z1, z2,…, zK)T로 표현 (이런 종류의 변수를 은닉 변수라latent variable 부름) 샘플이 j 번째 가우시언에서 발생했다면 zj=1이고 나머지는 0 j 번째 가우시언에서 샘플 xi가 발생할 확률 (‘우도’로 간주할 수 있음) 샘플 xi가 관찰되었는데 그것이 j 번째 가우시언에서 발생했을 확률 (‘사후 확률’로 간주할 수 있음) 2019-04-04

3.4.2 EM 알고리즘 EM 알고리즘의 구체화 (3.23)의 최적화 문제를 풀기 위해, (3.22)의 ln P(X|Θ)을 미분하여 얻은 도함수를 0으로 두고 그것의 해를 구한다. 먼저 μj에 대해 풀면, Nj는 ‘j 번째 가우시언에 소속된’ 샘플의 개수로 해석할 수 있음 μj는 j 번째 가우시언에 소속된 샘플의 가중치 평균으로 해석 2019-04-04

3.4.2 EM 알고리즘 EM 알고리즘의 구체화 Σj에 대해 풀면, Σj는 j 번째 가우시언에 소속된 샘플의 가중치 공분산 행렬로 해석 가능 혼합 계수 πj에 대해 풀면, 조건부 최적화 문제이므로 라그랑제 승수를 도입하여 해결 2019-04-04

3.4.2 EM 알고리즘 2019-04-04

3.4.2 EM 알고리즘 EM 알고리즘에 대한 부연 설명 군집화를 위한 k-means 알고리즘은 EM의 일종이다. 멈춤 조건은? EM은 최적 해로 수렴함 (욕심 알고리즘이므로 전역 최적 해 보장 못함) EM은 불완전 데이터에 대한 최대 우도 추정법으로 간주할 수 있다. 2019-04-04