28장 멀티미디어 28.1 디지털 AV 28.2 AV압축 28.3 스트리밍 저장형 AV 28.4 스트리밍 생방송 AV 28.6 IP상의 음성 28.7 요약

28장 멀티미디어 AV서비스의 분류 스트리밍 저장형AV, 스트리밍 생방송AV, 대화형AV 스트리밍 생방송 : 인터넷을 통한 라디오와 TV프로그램방송(인터넷 라디오) 대화형 AV : 대화형 AV 응용을 위한 인터넷 사용(인터넷 전화통신과 인터넷 원격회의)

28.1 디지털 AV 디지털 음성 디지털 화상 소리(analog audio signal)의 디지털 신호화 나이퀴스트 정리 : 초당 2f 샘플링 (예) 음성 : 64Kbps(8 x 8000), 음악 705.6Kbps(16 x 44100), 스테레오는 2배임 디지털 화상 프레임의 연속으로 구성되며, 초당 25번이 일반적 화상의 단위 : 픽셀(pixel), TV의 경우 2번씩(50번) 나타냄 흑백 TV : 8 x 256, 칼라 TV : 24 x 1024 x 768 (예) 칼라 TV의 데이터 전송율 : 944Mbps (2x25x1024x768x24) 낮은 전송률의 기술을 사용하여 화상전송을 위하여 압축을 해야함 압축은 인터넷을 통한 화상전송에 필요함

28.2 AV 압축 음성압축 화상압축 전조 부호화 와 지각부호화 방식이 사용됨 JPEG(이미지 압축)과 MPEG(화상압축) 전조부호화 : 샘플들 사이의 차이값을 부호화함. GSM, G.729, G.723.3 지각부호화 : MP3기술을 이용하며, 압축을 위해 주파수 마스킹과 일시적 마스킹을 사용하며, 스펙트럼을 몇 개로 나누고 분석함. (데이터 전송율 : 96Kbps, 128Kbps, 160Kbps) 화상압축 JPEG(이미지 압축)과 MPEG(화상압축) 흑백 이미지 : 8비트 정수형(256단계), 칼라 이미지 : 24비트(3 x 8) : 적,청, 녹

28.2 AV 압축 JPEG(이미지 압축) 그림 28.2 JPEG 처리과정 DCT(Discrete Cosine Transform) 각 64픽셀 블록은 DCT 변환과정을 거치는데, 과정은 중복이 나타남이 없이 상대적인 관계가 유지되도록 변환하며, 세가지 변환결과를 보여줌 경우 1. 단일그레이 스케일

28.2 AV 압축 JPEG(이미지 압축) DCT(Discrete Cosine Transform) 경우 2. 2구역 경우 2. 2구역 경우3. 기울기그레이 스케일

28.2 AV 압축 JPEG(이미지 압축) 양자화(Quantization) : T 테이블이 생성된 후, 부호화에 필요한 비트의 수를 감소하기 위하여 그 값을 양자화함. 양자화는 각 값들에 대해 소수점 이하의 수를 없애고, 정수부분만으로 표현한다. 이러한 양자화 단계로 인해 정보를 잃게되는 JPEG을 손실압축(lossy compression)이라고 함 압축(Compression) : 양자화 이후 값들은 테이블로부터 읽혀지고, 중복된 0들은 제거된다. 그림 28.7 테이블 읽기

28.2 AV 압축 MPEG(화상 압축) MPEG(Moving Picture Experts Group)은 화상을 압축하는데 사용됨. 프레임은 픽셀 공간의 조합이고, 화상은 프레임의 일시적인 조합임 공간압축 : JPEG으로 이루어지고, 각 프레임은 독립적으로 압축될 수 있음 일시적인 압축 : 중복 프레임이 제거되며, TV시청시 초당 50프레임을 수신. 데이터를 압축은 3가지 범주로 나눈다. I-frame : 어떤 다른 프레임과 관계되지 않는 독립적인 프레임으로 규칙적인 간격 으로 되어 있음 P-frame : 이전의 I-프레임 혹은 P-프레임과 연관됨. 이전의 프레임으로부터 단지 변화값만을 포함하지만, 변화값만으로는 큰 단편을 처리할 수 없음 B-frame : 앞뒤의 I-프레임 혹은 P-프레임과 연관됨. 즉, 지나간 것과 지나갈 것에 연관됨 ( 다른 B-frame과 연관되지 않음)

28.2 AV 압축 MPEG(화상 압축) 그림 28.8 MPEG 프레임 그림 28.9 MPEG 프레임 구조

28.3 스트리밍 저장형 AV 웹 서버 이용 압축된 AV 파일은 텍스트 파일과 같이 다운로드 가능하며, HTTP 서비스를 사용할 수 있고, 파일은 재생하기위해 매체재생기를 사용함 (단점) 압축후에도 파일이 크서, 다운로드 후 실행시 까지 수십초가 걸린다. 그림 28.10 웹 서버 이용

28.3 스트리밍 저장형 AV 웹 서버 메타파일 사용 AV 파일을 다운로드하기 위해 매체재생기는 웹서버 그림 28.11 웹 서버 메타파일 사용

28.3 스트리밍 저장형 AV 미디어 서버 사용 웹서버 메타파일 접근방법의 문제는 모두 HTTP 서비스를 사용하며, TCP 위에서 동작되도록 설계됨. 메타파일을 검색하기엔 적절하나, AV 파일을 검색 하기엔 적절치 못함. TCP가 잃어버린 세그먼트를 재전송하는 것은 스트리밍 원리에 반함 매체 서버와 같은 다른 서버를 요구와 같은 다른 서버를 요구함 그림 28.12 매체 서버 사용

28.3 스트리밍 저장형 AV 매체서버와 RTSP 사용 RTSP(Real-Time Streaming Protocol)는 스트리밍 처리를 위해 더 많은 기능을 추가하도록 설계되었고, RTSP를 사용하여 AV의 실행을 제어할 수 있다. RTSP는 FTP의 두번째 연결과 유사한 대역외(out-of-band) 제어 프로토콜 이다 매체 재생기는 다른 유형의 메시지를 보낼 수 있다 그림 28.13 매체 서버와 RTSP 사용

28.4 스트리밍 생방송 AV 라디오나 TV 방송국과 유사하나, 공중파대신 인터넷을 통하여 방송한다. 스트리밍 저장형 AV와 생방송 AV 모두 지연에 민감함. 즉 재 전송을 인정하지 않음. 차이점 스트리밍 저장형 AV : 유니캐스트이고, 주문형 스트리밍 생방송 AV : 멀티캐스트이고, 실시간이며, UDP와 RTP를 사용하는 것이 적합하고, IP 멀티캐스트가 더 적합하나, TCP를 사용하고 있고 다중 유니캐스팅을 사용하고 있으며, 많은 개선이 필요

28.5 실시간 대화형 AV 실시간으로 다른사람과 통신을 함(인터넷 폰, VoIP) 특징 시간적인 관계 그림 28.14 시간관계

28.5 실시간 대화형 AV 지터(jitter) : 실시간 데이터에서 각 패킷간의 지연으로 인해 발생

28.5 실시간 대화형 AV 타임스탬프 : 지터를 방지하기위해 패킷에 타임스탬프 정보를 더하면 도착시간과 재생시간을 구분하여 처리할 수 있음 그림 28.16 타임스탬프

28.5 실시간 대화형 AV 재생 버퍼(Playback buffer) : 실시간 트래픽에 필요함 (도착시간과 재생시간을 분리하기 위하여 사용) 정렬 : 각 패킷에 대한 순서번호가 필요함 멀티캐스팅 : 멀디캐스팅 지원을 필요로 함 그림 28.17 재생 버퍼

28.5 실시간 대화형 AV 변환 : 수신측 네트워크의 대역폭에 맞추기 위해 낮은 품질로 페이로드의 부호화를 변경하는 것을 의미 혼합 : 여러 스트림을 하나의 스트림으로 합치는 것을 의미 전송계층 프로토콜의 지원 TCP의 기본개념은 실시간 트래픽 처리에 적합하지 않다. 이는 패킷의 재전송을 허용하면 안되기 때문이다. UDP는 실시간 트래픽 측면에서 TCP보다 상대적으로 적합하다. 하지만 UDP의 부족한 점을 보충하기 위해 또 다른 전송계층 프로토콜인 RTP 서비스를 필요로 함

28.5 실시간 대화형 AV 실시간 전송 프로토콜(RTP) 인터넷 상에서 실시간 트래픽을 처리하기 위해 설계 전달 메커니즘(멀티캐스팅, 포트번호)은 갖지않고 UDP와 함께 사용되는 프로토콜로서, 기능은 타임스탬프, 순서제어 및 혼합기능이다 UDP 포트 : RTP 패킷이 직접 IP패킷에 캡슐화되어 전송될 수 없으므로, 응용프로그램처럼 되어 UDP 데이터그램에 캡슐화 되어야 함 RTP는 임시짝수 UDP 포트를 사용한다. 그림 28.18 RTP

28.5 실시간 대화형 AV 실시간 전송제어 프로토콜(RTCP) RTCP는 RTP를 위해 선택한 포트번호 다음의 홀수 번호 UDP포트번호 를 사용한다. 흐름과 데이터 품질을 제어하며 수신자로 하여금 송신자에게 피드백을 보내도록 한다. 그림 28.19 RTCP 메시지 유형

28.5 실시간 대화형 AV 실시간 전송제어 프로토콜(RTCP) 송신자 보고 : 송신자가 주기적으로 일정기간 동안 전송된 모든 RTP 패킷에 대한 전송 및 수신 통계를 보고하기 위해 보냄 수신자 보고 : 송신자 및 다른 수신자들에게 서비스 품질에 대한 정보 를 알리는 것임 송신자 기술 메시지 : 주기적으로 자신에 대한 추가정보를 알리기위해 송신자 기술 메시지를 전송 종료 메시지 : 스트림을 종료하기 위해 by 메시지 전송 응용-지정메시지 : 새로운 응용을 사용하기 원하는 응용에 대한 패킷 UDP포트 : UDP 포트를 사용하지않고 임시포트를 사용함

28.6 IP상의음성 세션 초기화 프로토콜(SIP) IETF에서 설계되었고, 멀디미디어 세션(요청)을 구축, 관리, 종료하는 응용계층 프로토콜 양 당사자 또는 다중 당사자 혹은 멀티캐스트 세션을 생성하는데 사용될 수 있고, 전송계층에 독립적으로 설계 메시지 그림 28.20 SIP 메시지

28.6 IP상의음성 세션 초기화 프로토콜(SIP) 주소 이 주소들은 세션 초기화 프로토콜 형식(스킴)이 되어야 함 그림 28.21 SIP 형식

28.6 IP상의음성 세션 초기화 프로토콜(SIP) 단순세션 : 설정, 통신, 종료의 3가지 모듈로 구성

28.6 IP상의음성 세션 초기화 프로토콜(SIP) 그림 28.23 피호출자 추적

28.6 IP상의음성 세션 초기화 프로토콜(SIP) H. 323 : ITU에 의해 설계되었고, 전화네트워크 및 인터넷에 연결된 컴퓨터가 통신 하기위해 전화를 허락하는 표준 그림 28.24 H.323 구조

28.6 IP상의음성 세션 초기화 프로토콜(SIP) 프로토콜 : H.323은 음성(혹은 화상) 통신을 설정 및 유지하기 위해 몇가지 프로토콜을 사용함 H.323은 압축으로 G.71 혹은 G.723.1을 사용함 H.245는 압축방법을 협상하기위해, Q.931은 연결종료 및 종료에, H.225는 게이트키퍼에서 등록을 위해 사용됨 그림 28.25 H.323 프로토콜

28.6 IP상의음성 세션 초기화 프로토콜(SIP) 동작 그림 28.26 H.323 예제

28.7 요약