패턴인식 개론 Ch.4 기초 통계와 확률 이론 Translated from “CSCE 666 Pattern Analysis | Ricardo Gutierrez-Osuna | CSE@TAMU “

기초 통계 ■ 통계학 패턴인식에서는 통계학적인 여러 가지 기법들을 이용하며, 이미 알려진 자료에 대한 통계적인 분석이 필수 불확실성 하에서 미지의 데이터가 속하는 카테고리들에 대한 판별 결정을 위한 방법으로 확률적인 여러 기법들 사용 확률을 이용하여 미지의 자료가 어느 카테고리에 속하는가를 결정하고 인식 ■ 통계 용어 모집단 (population) : 데이터 분석의 관심이 되는 전체 대상, 분석하고자 하는 대상의 전체집합 표본 (sample) : 모집단의 특성을 파악하기 위해서 수집된 모집단의 일 부분인 개별 자료, 모집단으로부터 임의로 추출된 모집단의 부분집합 표본 분포 (sampling distribution) : 동일한 모집단으로부터 취해진 동일한 크기의 모든 가능한 표본으로부터 얻어진 통계값들의 분포

기초 통계 ■ 통계 파라미터 (모수: 모집단의 특성을 요약한 값) 평균 (mean) : 평균은 자료의 총합을 자료의 개수로 나눈 것을 말한다. 분산 (variance) : 자료로부터 평균값의 차이에 대한 제곱 값의 평균을 분산이라고 하는데, 자료의 흩어진 정도를 나타낸다.

기초 통계 ■ 통계 파라미터 표준 편차 (standard deviation) : 분산은 자료의 단위와 달라지므로 분산의 제곱근을 취하여 자료의 단위와 일치시킨 것을 표준 편차라고 한다. 공분산 (covariance) : 공분산이란 두 개 이상의 변량 데이터가 주어질 경우에 각 변량 간의 변화하는 양상을 나타내는 통계적 척도이다. 표본의 랜덤 데이터가 이변량 데이터(bivariate) (x1i, x2i )일 경우의 공분산은 다음과 같이 계산된다.

기초 통계 ■ 통계 파라미터 상관 계수 (correlation) : 두 변량 x, y 사이의 상관관계의 정도를 나타내는 수치(계수)를 "상관 계수(ρ ) (correlation)"라고 한다. 여기에서 sx, 와 sy 는 변량 x, y의 표준편차 값

기초 통계 ■ Example 평균 분산 (x1,x2) (x2,x3) 공분산 상관계수

기초 통계 ■ Example (Answer) 작은 상관 계수는 선형적으로 두 성분간의 관련성이 거의 없음을 나타낸다

확률 이론 ■ 확률 용어 정리 통계적 현상(statistical phenomena) : 불확정 현상을 반복하여 관찰하거나 혹은 집단 안에서 대량으로 관찰하거나 하여 그 현상 고유의 법칙성을 찾아내는 것이 가능한 현상. 확률 실험 (random experimental, trial) : (1) 같은 조건 아래에서 반복할 수 있으며, (2) 시행의 결과는 매 번 우연적으로 변하므로 예측할 수 없으나, 가능한 모든 결과의 집합을 알 수 있으며, (3) 시행을 반복할 때 낱낱의 결과는 불규칙하게 나타나지만, 반복의 수를 늘이면 어떤 규칙성이 나타나는 특징을 가지는 행위.  확률 (probability) : 이러한 통계적 현상의 확실함의 정도를 나타내는 척도이다. 즉, 랜덤 시행에서 어떠한 사건이 일어날 정도를 나타내는 사건에 할당된 수들을 말한다.  "확률 법칙(Probability law)"이란 랜덤 시행에서 사건에 확률을 할당하는 규칙을 말한다.  랜덤 시행의 표본 공간(Sample space) S 가 모든 가능한 출력 집합이 된다.

확률 이론 ■ 확률 용어 정리 수학적 확률 : 표본공간 S의 각 근원 사건이 일어날 가능성이 동등할 때, 사건 A에 대하여 n(A)/n(S) 을 사건 A 의 수학적 확률이라고 한다. (여기에서 n(A), n(S) 는 각각 A, S 에 속하는 표본의 개수를 말함) 통계적 확률 : 일반적인 자연 현상이나 사회 현상에는 일어날 가능성이 동일한 현상은 드물 뿐만 아니라, 일어날 가능성이 동일한지 어떤지가 분명하지 않는 경우가 대부분이다. 이러한 때에는 시행을 여러 번 반복하여 문제의 사건이 일어나는 확률을 상대돗수에 의하여 추정하게 된다. 여기서 상대돗수는 n회 시행에서 문제의 사건이 r 회 일어났다고 하면 r/n 이 된다. 이와 같이 추정되는 확률을 통계적 확률이라고 한다. 일정한 조건 아래에서 시행을 n 회 반복할 때 사건 A의 상대 돗수 r/n 이, n 이 커짐과 더불어 일정한 값 p 에 수렴하는 경향이 있으면, 이 p를 사건 A의 “통계적 확률” 또는 “확률”이라고 하고 기호 P(A)로 나타낸다. 사건과 배반 사건 : 우리가 관심을 갖는 것이 어떤 랜덤 시행에서 개별적으로 발생할 결과일 수도 있고, 또한 몇 가지의 복합된 결과의 집합이 될 수도 있다. 이러한 복합된 결과를 "사건"이라고 한다. 그러므로 어떤 사건의 확률은 그 사건에 포함되어 있는 각 결과의 발생 확률의 합으로 나타낸다. 그리고 두 사건 A, B가 동시에 일어날 수 없을 때 A, B는 서로 배반한다 고 한다.

확률 이론 ■ 확률 용어 정리 표본 공간(sample space)과 확률 공간 관찰할 면을 지정한다.  일어날 수 있는 결과의 범위를 규정한다.  그 범위 내의 각 결과에 기호를 대응시킨다. 이와 같이 하여 얻어진 기호화된 결과의 집합을 "표본 공간"이라고 한다. 이 때, 표본 공간의 원소를 "표본점"이라 하고 표본 공간의 부분 집합을 "사건", 오직 한 표본점으로 이루어진 사건을 "근원 사건"이라고 한다. 그리고 표본 공간을 확률까지 대응시킨 결과의 집합이라 생각할 때의 공간을 "확률 공간" 이라 한다. 즉, 확률 공간이란 확률 실험에서 가능한 모든 결과의 집합을 말한다.   확률에 관한 정리 (axioms)  확률은 항상 0 보다 크거나 같아야 한다  확률은 모두 더하면 1이 되어야 한다

확률 이론 ■ 확률에 관한 성질

확률 이론 ■ 확률 용어 정리 주변 확률 (marginal probability) : 어떤 하나의 사건이 일어날 단순한 확률로 아무 조건이 붙지 않는 확률 조건부 확률 (conditional probability) : A와 B 두 개의 사건이 있을 경우, 사건 B가 일어날 확률이 이미 알려져 있을 경우에 사건 A가 일어날 확률로서, P[A|B] 는 “B가 일어났다고 가정할 때, A의 조건부 확률” 또는 “주어진 B에 대한 A의 확률”이라 한다. Ex: 주사위 눈금이 3이 나올 확률은 1/6 이다. 만약 눈금이 홀수가 나왔다는 사실을 알고 있다면 (주어졌다면), 눈금이 3일 확률은 (1/6)/(1/2) = 1/3 이다.

확률 이론 ■ 확률 용어 정리 결합 확률 : 조건부 확률로부터 P[B]P[A|B] = P(A∩B) 또는 P[A]P[B|A]=P(A∩B) 가 성립한다. A와 B 사건이 동시에 발생하는 확률을 “결합확률(joint probability)” 또는 “동시확률”이라 하며, 조건부 확률의 수식으로 유도 할 수 있는데, 이를 "곱셈 법칙"이라고 한다. 만약, 각 사건 A와 B가 독립이라면, (동일한 시행을 반복할 때, 각 시행의 결과가 서로 독립일 경우 독립시행이라 한다. 예를 들어 주사위를 두 번 던지는 행위 등.) P[A|B]=P(A)이 되므로 위의 곱셈 법칙에 대입하면, P[B]×P[A]=P(A∩B)가 성립한다.

확률 이론 ■ 확률 용어 정리 전체 확률 이론 : B1, B2, ..., BN 의 합집합이 표본 공간이고, 서로 상호 배타적인 사건이라고 하자. 표본 공간 S의 분할 영역으로 이들 집합을 나타낼 수 있다. 이 때, 사건 A는 다음과 같이 표현된다. B1, B2, ..., BN 은 상호 배타적이므로 이를 사건 A의 전체 확률이라고 한다.

확률 이론 베이즈의 정리 : B1, B2, ..., BN 의 합집합이 표본 공간 S인 경우, A 사건이 일어났을 때 Bj 사건이 일어날 확률은? 또는 패턴 분류의 목적으로 여기에서 wj는 j-번째 클래스를 x는 특징벡터를 각각 말한다.          

확률 이론 예제 (전체 확률 이론) : 어느 공장에서 A, B, C 3종류의 기계를 사용하여 물건을 생산한다. A, B, C 종류의 기계가 생산하는 제품의 양은 전체생산량의 50%, 30%, 20% 이고 제품의 불량률은 각각 1%, 2%, 3% 라 한다. 이들 제품에서 임의의 1개를 뽑아 검사할 때, 그것이 불량품일 확률은 ? P[불량] = P[A∩불량] + P[B∩불량] + P[C∩불량] = P[불량|A]P[A] + P[불량|B]P[B] + P[불량|C]P[C] = _______________________________ = 0.017 예제 (베이즈의 정리) : 위의 문제에서 제품의 무더기에서 1개를 뽑아 검사하였더니 불량품이었다고 가정하면, 이것이 A기계에서 생산된 물건일 확률은?