<정보이론(Information Theory)> 제6장 정보의 특성과 Entropy 정보이론과 코딩의 관계 정보의 개념(정보량: amount of information) Entropy(소스가 갖는 평균 정보량) Entropy 함수의 성질
정보이론과 코딩의 관계 1. Coding의 한계 Channel Coding - Redundancy 부여, 오류(error) 제어 전송효율 및 신뢰성 확보 - <한계> Channel Capacity (Shannon’s main theorem) Source Coding - 확률구조를 이용한 자료압축 평균코드길이의 축소 - <한계> Entropy (Shannon’s noiseless coding theorem) 2. Source Entropy vs. Channel Capacity Entropy : Source의 정보량 평가 기준 - 채널을 통과하기 이전의 정보량을 평가 - Source Coding에 의한 평균 코드길이의 하한(lower limit) Capacity : Channel의 능력 평가 기준 - 채널을 통과한 후의 정보량을 평가 - 오류 없이 성취할 수 있는 전송속도의 상한(upper limit) 정보공학 2001-1
정보와 정보량의 개념 1. 정보 Source와 확률구조의 표현 Source Alphabet S = {s1, s2, …, sq} : q elements & pi = Pr{si occurs}, i = 1, 2, …, q 2. 정보의 양(amount of information) • 심볼의 발생확률과 모종의 역비례 관계 • 하나의 심볼에 대한 정보량 함수 : I(p) 1) 2) 3) Cauchy functional equation 정보공학 2001-1
정보량 함수의 정의와 단위 1. 정보량 함수의 정의 : 공리 1) 2) 3) 만족 2. 정보량의 단위 • log 함수의 밑수(base)에 의하여 결정 정보공학 2001-1
ENTROPY 정의 : 정보 Source가 보유하는 “평균 정보량” “the average amount of information of the source” ※ 원칙적으로 발생확률 pi의 함수지만 관습적으로 H(S)로 쓴다. 예) 2-symbol source의 Entropy S = {s1, s2}, & p = Pr{s1}, q = 1-p = Pr{s2} 정보공학 2001-1
ENTROPY 함수의 성질 (1) 요소함수의 그래프 2-symbol source의 Entropy 0.53074 h(p) p 1/e 1 2-symbol source의 Entropy p 1 1/2 정보공학 2001-1
ENTROPY 함수의 성질 (2) (1) (2) Gibbs 부등식 (3) Entropy 함수의 최대, 최소 정보공학 2001-1