Download presentation
Presentation is loading. Please wait.
1
<정보이론(Information Theory)> 제7장 Source Coding의 한계
Entropy와 평균 코드길이 UI-Code에 대한 고찰 코드의 확장에 대한 고찰 (Shannon’s 1st theorem) Markov 과정에 대한 고찰
2
“Shannon’s Noiseless Coding Theorem” ※ Shannon-Fano Code를 이용하여 확인
Entropy와 평균 코드길이 “Shannon’s Noiseless Coding Theorem” 임의의 UI-Code(동시코드) 임의 차수로 확장된 코드 Markov 과정을 이용하여 구성된 코드 ※ Shannon-Fano Code를 이용하여 확인 정보공학
3
UI-code(동시코드)에 대한 고찰 Source Alphbet과 각 심볼의 발생확률이 다음과 같이 주어진다. Source Alphabet S = {s1, s2, …, sq} : q elements & pi = Pr{si occurs}, i = 1, 2, …, q 어떤 UI-Code의 길이들이 각각 다음과 같다면 li , i = 1, 2, …, q 평균코드길이 : Source Entropy : For any UI-code, 정보공학
4
코드의 확장에 대한 고찰 (1) Shannon-Fano Code Source Alphabet S = {s1, s2, …, sq} : q elements & pi = Pr{si occurs}, i = 1, 2, …, q For any symbol si li : an integer such that 이러한 조건의 코드길이를 갖는 체계를 Shannon-Fano 코드라 한다. 정보공학
5
코드의 확장에 대한 고찰 (2) Shannon-Fano Code의 존재성 다음의 조건을 만족하는 코드길이 li , i = 1, 2, …, q 로 구성되는 UI-Code는 존재한다. Shannon-Fano Code와 Entropy 의 관계 ※ Shannon의 “Noiseless Coding Theorem” 정보공학
6
Markov 과정에 대한 고찰 For j-th order Markov Process,
Entropy of Markov precess Entropy of the adjoint system : 0-memory system의 Entropy Shannon’s Noiseless Coding Theorem 정보공학
Similar presentations
![과목 홈페이지 전산학개론 이메일 숙제를 제출할 경우, 메일 제목은 반드시 ‘[전산학개론]’으로 시작.](/90/14487693/big_thumb.jpg "과목 홈페이지 전산학개론 이메일 숙제를 제출할 경우, 메일 제목은 반드시 ‘[전산학개론]’으로 시작.>")
