<정보이론(Information Theory)> 제7장 Source Coding의 한계 Entropy와 평균 코드길이 UI-Code에 대한 고찰 코드의 확장에 대한 고찰 (Shannon’s 1st theorem) Markov 과정에 대한 고찰
“Shannon’s Noiseless Coding Theorem” ※ Shannon-Fano Code를 이용하여 확인 Entropy와 평균 코드길이 “Shannon’s Noiseless Coding Theorem” 임의의 UI-Code(동시코드) 임의 차수로 확장된 코드 Markov 과정을 이용하여 구성된 코드 ※ Shannon-Fano Code를 이용하여 확인 정보공학 2001-1
UI-code(동시코드)에 대한 고찰 Source Alphbet과 각 심볼의 발생확률이 다음과 같이 주어진다. Source Alphabet S = {s1, s2, …, sq} : q elements & pi = Pr{si occurs}, i = 1, 2, …, q 어떤 UI-Code의 길이들이 각각 다음과 같다면 li , i = 1, 2, …, q 평균코드길이 : Source Entropy : For any UI-code, 정보공학 2001-1
코드의 확장에 대한 고찰 (1) Shannon-Fano Code Source Alphabet S = {s1, s2, …, sq} : q elements & pi = Pr{si occurs}, i = 1, 2, …, q For any symbol si li : an integer such that 이러한 조건의 코드길이를 갖는 체계를 Shannon-Fano 코드라 한다. 정보공학 2001-1
코드의 확장에 대한 고찰 (2) Shannon-Fano Code의 존재성 다음의 조건을 만족하는 코드길이 li , i = 1, 2, …, q 로 구성되는 UI-Code는 존재한다. Shannon-Fano Code와 Entropy 의 관계 ※ Shannon의 “Noiseless Coding Theorem” 정보공학 2001-1
Markov 과정에 대한 고찰 For j-th order Markov Process, Entropy of Markov precess Entropy of the adjoint system : 0-memory system의 Entropy Shannon’s Noiseless Coding Theorem 정보공학 2001-1