패턴인식 개론 Ch.5 확률 변수와 확률 분포

확률변수 ■ 확률변수란 무엇인가? 주사위 던졌을 때 3이 나올 확률을 P(X=3) = 1/6 또는 사람의 몸무게가 70kg 일 확률밀도를 p(X=70) = 0.032로 표현할 때, 이처럼 시행 결과 하나 하나를 수치로 대응시키는 X 를 '확률변수' 혹은 '랜덤변수(random variables)‘라 정의한다. 랜덤변수 X 는 이와 같이 시행 결과 ζ (zeta) 를 실수치 X(ζ) 로 대응시키는 함수로서, 샘플공간의 모든 요소들을 실수(또는 실선)에 매핑을 수행하게 된다. 랜덤변수(random variables)는 주사위 굴리기의 결과와 같이 이산변수(discrete variable)일 경우도 있고, 표본 추출된 몸무게와 같이 연속변수(continuous variable)일 수도 있다.

예1) 두 개의 동전을 던지는 확률 실험에서 앞면이 나오는 숫자 확률분포 ■ 확률 분포란 무엇인가? 수치로 대응된 확률변수의 개별 값들이 가지는 확률 값의 분포를 “확률분포”라 함. 확률변수가 취할 수 있는 구체적인 값 하나 하나를  확률공간상의 확률 값으로 할당해 주는 함수를 “확률분포함수”라 함. 예1) 두 개의 동전을 던지는 확률 실험에서 앞면이 나오는 숫자 예2) 두 개의 주사위를 던져서 나오는 점들의 합

확률함수의 종류 ■ 누적분포함수 ■ 누적분포함수의 성질 확률변수 X의 누적분포함수 ( cumulative distribution function, cdf ) FX (x)는 확률변수 X 가 {X ≤ x} 인 확률함수이다. ■ 누적분포함수의 성질

확률함수의 종류 ■ 확률밀도함수와 확률질량함수 ■ 확률밀도함수의 성질 확률밀도함수 (probability density function, pdf), fx(x) 는 연속확률변수 X 의 누적분포 Fx (x) 의 미분값으로 정의한다. 이산확률변수에서는 확률밀도함수와 동일한 개념으로 이를 특별히 확률질량함수 (probability mass function, pmf)라고 한다. ■ 확률밀도함수의 성질

확률함수의 종류 ■ 확률밀도함수에서 확률의 의미 확률밀도함수는 확률의 밀도를 정의하는 것이므로, 실제 확률을 얻기 위해서는 확률밀도함수를 일정구간에서 적분하여야 함. 확률질량함수는 실제확률을 나타냄.

확률함수의 종류 ■ 기대값 : 확률변수의 평균   n 값을 증가시키면 통계적 확률, 즉 근사확률 p(x) 에 접근하게 된다. 그러므로 다음과 같이 되고, 이 식을 x의 기대값(expectation)이라고 한다. 이는 각 값의 가중 산술평균을 확률적용어로 표현한 것인데, 어떤 실험을 무수히 반복했을 때 예상되는 평균 값을 말하며, 연속확률변수인 경우에는 다음과 같이 표현된다.

확률함수의 종류 ■ 확률변수의 분산/표준편차 이산자료의 확률변수 (일반자료 와 모집단자료) 연속자료의 확률변수

벡터 랜덤변수 ■ 벡터 랜덤변수 확률 변수를 2개 이상 고려한 경우로 확률변수의 개념을 확장한 것으로 열(column)벡터로 정의된다. 2개의 랜덤변수를 고려한 경우를 이중 랜덤변수라고 한다. 즉, 표본 공간 S 에서 정의되는 두 개의 랜덤변수 X, Y 를 고려할 경우에 두 개의 랜덤 벡터는 각각 x, y 라는 값을 가지며 순서쌍 (x, y) 로 표현되는 새로운 표본 공간(이를 결합 표본공간이라고 한다)의 xy 평면상의 임의의 점(random point)에 대응될 것이다. 그리고 누적분포함수와 확률밀도함수 개념은 "결합 누적분포함수(joint cdf)"와 "결합 확률밀도함수(joint pdf)"로 확장된다.

벡터 랜덤변수 ■ 단일 랜덤변수의 누적 분포함수의 표현 ■ X,Y의 이중 벡터 랜덤변수의 누적 분포함수의 표현 ■ 랜덤 벡터 가 주어질 경우 결합 누적분포함수 (Joint Cumulative Density Function) 결합 확률밀도함수 (Joint Probability Density Function)

랜덤벡터의 통계적 특징 랜덤 벡터의 통계적 특징은 결합 누적분포함수(joint cdf) 혹은 결합 확률밀도함수(joint pdf)를 이용하여 정의할 수 있다. 또한 랜덤 벡터를 스칼라 확률변수에서 정의한 것과 같은 방식으로 표현할 수 있다. 평균 벡터 공분산 행렬 : 랜덤 벡터에서 차원의 각 특징간의 관계를 나타낸다. 공분산 행렬의 성질

공분산 행렬과 상관계수 공분산 항은 다음과 같이 표현 될 수 있다.

공분산 행렬의 예 다음과 같이 3차원 분포의 표본이 주어진 경우, 공분산 행렬과 모든 변수 쌍에 대한 분산플롯을 완성하시오.

가우시안 분포 ■ 단변량 가우시안(Gaussian) 확률밀도함수

가우시안 분포 ■ 다변량 가우시안 확률밀도함수

중심극한정리 ■ 가우시안 분포가 자주 사용되는 이유 * 1차원의 특징 벡터일 경우에는 두 개의 파라미터, 평균과 표준편차 (μ,σ) 만으로도 정상분포를 특징 짖기에 충분함. * 중심극한정리(Central Limit Theorem) 중심극한정리(central Limit Theorem) : 평균, μ, 와 분산, σ 2,를 갖는 경우 평균의 표본 분포는 표본의 크기(N )가 증가함에 따라, 평균, μ, 과 분산, σ 2/N 을 갖는 정규분포로 접근한다. 정규분포의 자료로부터 500번의 실험을 수행한 경우 N=1 : 분포로부터 하나의 표본을 추출하고 그의 평균을 기록 ( 히스토그램은 일정한 밀도를 보임) N=4 : 분포로부터 4개의 표본을 추출하고 그의 평균을 기록 (히스토그램은 가우시안 분포를 보이기 시작함) N=7 그리고 N=10 경우도 마찬가지임. N이 증가함에 따라서 히스토그램의 모양이 점점 더 정상분포를 닮아 간다.

가우시안 분포 ■ 완전 공분산 가우시안 형태 ■ 대각 공분산 가우시안 형태 ■ 구형 공분산 가우시안 형태

가우시안 분포 ■ MATLAB 실습 >> N=10000; >> mu = [730 1090]; sigma_1=[8000 0; 0 8000]; >> X1= randn(N,2) *sqrtm(sigma_1) + repmat(mu,N,1); >> gaussview(X1, mu, sigma_1,’amplitude X1’); >> sigma_2=[8000 0; 0 18500]; >> X1= randn(N,2) *sqrtm(sigma_2) + repmat(mu,N,1); >> gaussview(X1, mu, sigma_2,’amplitude X1’); >> sigma_3=[8000 8400; 8400 18500]; >> X1= randn(N,2) *sqrtm(sigma_3) + repmat(mu,N,1); >> gaussview(X1, mu, sigma_3,’amplitude X1’);