패턴인식 개론 Ch.5 확률 변수와 확률 분포.

Presentation on theme: "패턴인식 개론 Ch.5 확률 변수와 확률 분포."— Presentation transcript:

1 패턴인식 개론 Ch.5 확률 변수와 확률 분포

2 확률변수 ■ 확률변수란 무엇인가? 주사위 던졌을 때 3이 나올 확률을 P(X=3) = 1/6 또는 사람의 몸무게가 70kg 일 확률밀도를 p(X=70) = 0.032로 표현할 때, 이처럼 시행 결과 하나 하나를 수치로 대응시키는 X 를 '확률변수' 혹은 '랜덤변수(random variables)‘라 정의한다. 랜덤변수 X 는 이와 같이 시행 결과 ζ (zeta) 를 실수치 X(ζ) 로 대응시키는 함수로서, 샘플공간의 모든 요소들을 실수(또는 실선)에 매핑을 수행하게 된다. 랜덤변수(random variables)는 주사위 굴리기의 결과와 같이 이산변수(discrete variable)일 경우도 있고, 표본 추출된 몸무게와 같이 연속변수(continuous variable)일 수도 있다.

3 예1) 두 개의 동전을 던지는 확률 실험에서 앞면이 나오는 숫자
확률분포 ■ 확률 분포란 무엇인가? 수치로 대응된 확률변수의 개별 값들이 가지는 확률 값의 분포를 “확률분포”라 함. 확률변수가 취할 수 있는 구체적인 값 하나 하나를  확률공간상의 확률 값으로 할당해 주는 함수를 “확률분포함수”라 함. 예1) 두 개의 동전을 던지는 확률 실험에서 앞면이 나오는 숫자 예2) 두 개의 주사위를 던져서 나오는 점들의 합

4 확률함수의 종류 ■ 누적분포함수 ■ 누적분포함수의 성질
확률변수 X의 누적분포함수 ( cumulative distribution function, cdf ) FX (x)는 확률변수 X 가 {X ≤ x} 인 확률함수이다. ■ 누적분포함수의 성질

5 확률함수의 종류 ■ 확률밀도함수와 확률질량함수 ■ 확률밀도함수의 성질
확률밀도함수 (probability density function, pdf), fx(x) 는 연속확률변수 X 의 누적분포 Fx (x) 의 미분값으로 정의한다. 이산확률변수에서는 확률밀도함수와 동일한 개념으로 이를 특별히 확률질량함수 (probability mass function, pmf)라고 한다. ■ 확률밀도함수의 성질

6 확률함수의 종류 ■ 확률밀도함수에서 확률의 의미
확률밀도함수는 확률의 밀도를 정의하는 것이므로, 실제 확률을 얻기 위해서는 확률밀도함수를 일정구간에서 적분하여야 함. 확률질량함수는 실제확률을 나타냄.

7 확률함수의 종류 ■ 기대값 : 확률변수의 평균 n 값을 증가시키면 통계적 확률, 즉 근사확률 p(x) 에 접근하게 된다. 그러므로 다음과 같이 되고, 이 식을 x의 기대값(expectation)이라고 한다. 이는 각 값의 가중 산술평균을 확률적용어로 표현한 것인데, 어떤 실험을 무수히 반복했을 때 예상되는 평균 값을 말하며, 연속확률변수인 경우에는 다음과 같이 표현된다.

8 확률함수의 종류 ■ 확률변수의 분산/표준편차 이산자료의 확률변수 (일반자료 와 모집단자료) 연속자료의 확률변수

9 벡터 랜덤변수 ■ 벡터 랜덤변수 확률 변수를 2개 이상 고려한 경우로 확률변수의 개념을 확장한 것으로 열(column)벡터로 정의된다. 2개의 랜덤변수를 고려한 경우를 이중 랜덤변수라고 한다. 즉, 표본 공간 S 에서 정의되는 두 개의 랜덤변수 X, Y 를 고려할 경우에 두 개의 랜덤 벡터는 각각 x, y 라는 값을 가지며 순서쌍 (x, y) 로 표현되는 새로운 표본 공간(이를 결합 표본공간이라고 한다)의 xy 평면상의 임의의 점(random point)에 대응될 것이다. 그리고 누적분포함수와 확률밀도함수 개념은 "결합 누적분포함수(joint cdf)"와 "결합 확률밀도함수(joint pdf)"로 확장된다.

10 벡터 랜덤변수 ■ 단일 랜덤변수의 누적 분포함수의 표현 ■ X,Y의 이중 벡터 랜덤변수의 누적 분포함수의 표현
■ 랜덤 벡터 가 주어질 경우 결합 누적분포함수 (Joint Cumulative Density Function) 결합 확률밀도함수 (Joint Probability Density Function)

11 랜덤벡터의 통계적 특징 랜덤 벡터의 통계적 특징은 결합 누적분포함수(joint cdf) 혹은 결합 확률밀도함수(joint pdf)를 이용하여 정의할 수 있다. 또한 랜덤 벡터를 스칼라 확률변수에서 정의한 것과 같은 방식으로 표현할 수 있다. 평균 벡터 공분산 행렬 : 랜덤 벡터에서 차원의 각 특징간의 관계를 나타낸다. 공분산 행렬의 성질

12 공분산 행렬과 상관계수 공분산 항은 다음과 같이 표현 될 수 있다.

13 공분산 행렬의 예 다음과 같이 3차원 분포의 표본이 주어진 경우, 공분산 행렬과 모든 변수 쌍에 대한 분산플롯을 완성하시오.

14 가우시안 분포 ■ 단변량 가우시안(Gaussian) 확률밀도함수

15 가우시안 분포 ■ 다변량 가우시안 확률밀도함수

16 중심극한정리 ■ 가우시안 분포가 자주 사용되는 이유
* 1차원의 특징 벡터일 경우에는 두 개의 파라미터, 평균과 표준편차 (μ,σ) 만으로도 정상분포를 특징 짖기에 충분함. * 중심극한정리(Central Limit Theorem) 중심극한정리(central Limit Theorem) : 평균, μ, 와 분산, σ 2,를 갖는 경우 평균의 표본 분포는 표본의 크기(N )가 증가함에 따라, 평균, μ, 과 분산, σ 2/N 을 갖는 정규분포로 접근한다. 정규분포의 자료로부터 500번의 실험을 수행한 경우 N=1 : 분포로부터 하나의 표본을 추출하고 그의 평균을 기록 ( 히스토그램은 일정한 밀도를 보임) N=4 : 분포로부터 4개의 표본을 추출하고 그의 평균을 기록 (히스토그램은 가우시안 분포를 보이기 시작함) N=7 그리고 N=10 경우도 마찬가지임. N이 증가함에 따라서 히스토그램의 모양이 점점 더 정상분포를 닮아 간다.

17 가우시안 분포 ■ 완전 공분산 가우시안 형태 ■ 대각 공분산 가우시안 형태 ■ 구형 공분산 가우시안 형태

18 가우시안 분포 ■ MATLAB 실습 >> N=10000;
>> mu = [ ]; sigma_1=[8000 0; ]; >> X1= randn(N,2) *sqrtm(sigma_1) + repmat(mu,N,1); >> gaussview(X1, mu, sigma_1,’amplitude X1’); >> sigma_2=[8000 0; ]; >> X1= randn(N,2) *sqrtm(sigma_2) + repmat(mu,N,1); >> gaussview(X1, mu, sigma_2,’amplitude X1’); >> sigma_3=[ ; ]; >> X1= randn(N,2) *sqrtm(sigma_3) + repmat(mu,N,1); >> gaussview(X1, mu, sigma_3,’amplitude X1’);