제9장 채널용량(Channel capacity)

Presentation on theme: "제9장 채널용량(Channel capacity)"— Presentation transcript:

1 제9장 채널용량(Channel capacity)
채널용량의 정의 균일채널과 균일입력 이진 대칭채널(BSC)의 용량 채널용량과 조건 상호정보의 관계 연속적 소스와 채널

2 채널용량의 정의  I(A ; B) 내에 변수는 오직 p(ai) 뿐이다.
“채널을 통하여 전달할 수 있는 최대의 정보량” 즉, “시스템 상호정보의 최대값” : 채널이 주어지면 고정되는 값 (channel prob.) 로 산출되는 값  I(A ; B) 내에 변수는 오직 p(ai) 뿐이다. 정보공학

3 균일채널과 균일입력 균일채널(uniform channel) 채널천이행렬의 모든 행(row)이 첫 행의 순열(permutations)로 주어지는 채널 ※ 첫 행의 재배열 균일입력(uniform input) 모든 입력심볼의 발생확률이 동일한 입력, 즉 p(ai) = 1/q, for all i=1,2,…,q 정보공학

4 이진 대칭채널(BSC)의 용량 BSC는 균일채널이므로 그 시스템 상호정보는 로 표현되고, 여기서 또한, 정보공학

5 채널용량과 조건 상호정보의 관계 연속적 소스와 채널 “송신심볼의 발생확률이 시스템 상호정보를 채널용량 C에
도달하도록 선택된다면, 모든 송신심볼 ai에 대한 전향 조건 상호정보는 채널용량과 같다.” 즉, 연속적 소스와 채널 ※ Hartley-Shannon 법칙 정보공학

6 Channel capacity (1) ● Channel capacity의 개념 Max. mutual information X
A priori Entropy A posteriori Entropy By symmetry X Y Input random variable Output random variable Channel 정보공학

7 Channel capacity (2) ● for discrete random variables X & Y
● for continuous random variable Z 정보공학

8 Channel capacity (3) ● AWGN channel
If Z is a Gaussian rv. with zero-mean & variance 정보공학

9 Channel capacity (4) ● AWGN channel (계속) X Y Z : AWGN
Input random variable Output random variable Channel Z : AWGN 정보공학

10 Channel capacity (5) ● AWGN channel (계속)
Given variance, zero-mean Gaussian will maximize Entropy h(Y) 정보공학