<정보이론(Information Theory)> 제8장 채널의 특성과 상호정보

Presentation on theme: "<정보이론(Information Theory)> 제8장 채널의 특성과 상호정보"— Presentation transcript:

1 <정보이론(Information Theory)> 제8장 채널의 특성과 상호정보
채널과 정보의 전달 정보채널과 채널관계식 이진 대칭채널 (BSC : binary symmetric channel) 신호시스템의 Entropy 시스템 상호정보

2 채널과 정보의 전달 채널의 정보전달 - 전송(transmission) : 공간적 채널의 정보전달 - 저장(storage) : 시간적 채널의 정보전달 필연적으로 잡음(noise)/오류(error)를 발생 채널의 분석 상호정보(mutual information) • a priori Entropy (채널 통과 이전의 정보량) • a posteriori Entropy (채널 통과 이후의 정보량)  a priori Entropy – a posteriori Entropy = mutual information (수신측에서 획득한 정보량, 채널을 통하여 전송된 정보량) 채널용량(channel capacity) • 상호정보의 최대값 • 채널을 통하여 전송할 수 있는 최대 정보량 정보공학

3 정보채널과 채널관계식 (1) 정보채널(information channel) Tx. Alphabet A = {a1, a2, …, aq} : q symbols Rx. Alphabet B = {b1, b2, …, bs} : s symbols Forward conditional prob. 혹은 Channel prob. 정보채널의 표현 P(bj | ai) a1 a2 ai aq · · · 송신 A 수신 B b1 b2 bj bs 정보채널 정보공학

4 정보채널과 채널관계식 (2) 채널 천이행렬(channel transition matrix)
i-th row : 송신심볼 ai에 관계 j-th column : 수신심볼 bj에 관계 임의의 행(row)의 합은 언제나 1 이다. 하나의 송신심볼 ai에 대하여 반드시 하나의 수신심볼 bj가 결정된다. 채널관계식(channel relationship) 정보공학

5 이진대칭채널(BSC: binary symmetric channel)
채널모델(BSC model) A B P00 P01 P10 1 1 P11 ※ When P00=P11 & P01=P10  the channel is a BSC 채널관계식(channel relationship) 정보공학

6 신호시스템의 Entropy (1) P(bj | ai) 송신 엔트로피(Tx. Entropy) :
a1 a2 ai aq · · · 송신 A 수신 B b1 b2 bj bs 정보채널 송신 엔트로피(Tx. Entropy) : 수신 엔트로피(Rx. Entropy) : 정보공학

7 신호시스템의 Entropy (2) 전향조건 엔트로피(forward conditional Entropy)
후향조건 엔트로피(backward conditional Entropy) 결합 엔트로피(joint Entropy) 정보공학

8 시스템 상호정보 (1) 상호정보의 도입 1) a priori prob. p(ai)에 의한 정보량
: 송신심볼이 원래 소유한 정보량 2) a posteriori prob. P(ai | bj) 에 의한 정보량 : 수신심볼 bj가 수신된 후, 송신심볼 ai가 소유한 정보량 3) 상호정보(mutual information) ※ 상호정보 : “채널을 통하여 전송된 정보의 양” 정보공학

9 시스템 상호정보 (2) 상호정보의 성질 채널의 특성은 송신측과 수신측을 교환하더라도 동일하다.
전송된 정보량은 원래 소유하고 있던 정보량을 초과할 수 없다. “All noise channel”에 의하여 전송되는 정보량은 0 이다. 정보공학

10 시스템 상호정보 (3) 조건 상호정보(conditional mutual information) 1) 후향 조건 상호정보(backward conditional mutual information) ※ 하나의 심볼 bj를 수신한 경우, 전송된 평균 정보량 2) 전향 조건 상호정보(forward conditional mutual information) ※ 하나의 심볼 ai 를 채널에 인가 한 경우, 전송된 평균 정보량 정보공학

11 시스템 상호정보 (4) 시스템 상호정보(system mutual information) <시스템 상호정보의 성질>
정보공학