MPEG-4 Overview 소프트웨어전문대학원 이상은

MPEG 이란? “Moving Picture Experts Group” 의약자 정식 명칭은 ISO/IEC/JTC1/SC29/WG11 이다. 이 명칭은 국제 표준화 기구 (ISO)와 국제 전기기술위원회(IEC)가 정보 표현의 표준화를 위하여 구성한 공동위원회(JTC) 산하의 작업반인 JTC1/SC29/WG11 의 이름

MPEG 표준화 흐름 MPEG-1 MPEG-2 MPEG-4 MPEG-7 MPEG-21 1988 1992 1994 1998 현제 저장 미디어용 (CD-ROM) ~1.5Mbps 범용 (방송) ~10Mbps 범용 (멀티미디어) ~1.5Mbps 콘텐트 기술 멀티미디어 콘텐트 MPEG-1 MPEG-2 MPEG-4 MPEG-7 MPEG-21

MPEG-1의 탄생 MPEG-1의 목적 : DSM(Digital Storage Media) “한시간의 영화를 CD-ROM에 담자” MPEG-1의 특징 B 프레임(양방향 예측 기술 도입) 움직임 보상의 정밀도 개선 DCT 변환 및 고속 접속을 위한 GOP(Group of Picture) 사용 응용사례 : Video CD , 가라오케

MPEG-2로의 전개 방송용에 적합한 고화질 부호화가 목표 MPEG-2 비디오는 일종의 범용 압축 알고리즘 부호화 단위를 매크로 블록으로 한다. DCT에 의한 공간적 압축을 한다. DPCM(Differential PCM)에 의한 시간적 압축을 한다. 독립 실행을 위한 GOP 그룹을 가지고 있다.(랜덤 액세스 가능 ) 스케일러빌리티 기능을 가지고 있다. 적용사례 : HDTV

MPEG-4의 시동 휴대 전화의 보급에 따른 TV 전화의 요구로 1993년MPEG-4의 검토 시작 초기 목적 3차원 공간 정보를 공간 내에 위치하는 사람과 건물 등의 각 객체별로 별도로 부호화함으로써, 부호화 효 율을 높이고 동시에 각 객체의 가공 / 편집을 가능하게 한다. 기존의 영상, 오디오 신호의 압축 부호화에 추가해서 정지영상, 컴퓨터 그래픽스를 포함하는 종합 멀티미디어 부호화 규격을 목적으로 한다.

MPEG-4 Standard Functionalities offered by the MPEG-4 visual standard

MPEG-4 Standard Compression efficiency :기존의 방법들보다 개선된 압축률을 제공 Content-based interactivity: 화면이나 음향의 객체 요소들을 독립적으로 취급하여 사용자가 화면이나 음향을 자유로이 구성할 수 있는 기능을 제공 Universal access : 무선통신 환경 등을 고려해 채널에러가 많은 환경에서도 내성이 강해야함

MPEG-4 기술 소개

MPEG-4 기술 소개 game Animation Virtual studio Simulation

MPEG-4 비주얼 부호화 비주얼 부호화의 개요 구형 형상(Rectangular Shape)의 영상에 임의형상(Arbitrary Shape)의 영상에도 대응하고 있다. MPEG-4 비주얼 파트의 5가지 특징 영상을 구성하는 객체 단위의 부호화 부호화 효율의 향상 오류 내성의 향상 CG영상 부호화 객체 단위의 스케일러빌리티(scalability)

MPEG-4 비디오 부호화 단위 VO(Video Object):자연영상 비디오 객체 VOP(Video Object Plan) 특정의 시간에 촬영한 복수의 비디오 객체 평면 MPEG-4의 영상 객체의 기본단위 구형형상의 경우 MPEG-1/2의 프레임 또는 필드에 해당 프레임 기반 부호화 : 구형 형상의 VO를 부호화 내용 기반 부호화 : 임의의 형상 VO의 부호화

MPEG-4 VOP 1 Arbitrary Shape Video Object Animated Face Rectangular Shape Video Object

MPEG-4 VOP 2 원영상 각각의 VOP

MPEG-4 VOP 3

VOP Segmentation Demo Demo1 Source Video Demo2 Demo3 Segmentation Video Demo2 Demo3

MPEG-4 Video Syntax Layer

Video Object Encoder / Decoder

VOP separate coding

VOPs Separated Coding

MPEG-4 Frame(VOP) I(Intra)-VOP P(Predictive)-VOP B(Bidirectionally Predictive)-VOP

Intra Encoding I-VOP (Intra 부호화) DCT 변환과 움직임 보상 및 예측을 조합한 방식

I-VOP Encoding structure 1 RGB to YCbCr 변환기 DCT 양자화 테이블 run-length 부호화 Huffman 압축 영상 I VOP DCT 계수 양자화된 0 제거 VLC

I-VOP Encoding structure 2 Video Sequence Video Frame Macro Block 8X8 Block Zig-Zag Scan 3 0 0 0 2 0 0 0 0 1 3020000000100 2-D Run Length Coding Event = (run,level) (0,3)(1,2)(7,1)EOB Variable Length Coding

Motion Vector

Inter Encoding K 번째 VOP 와 시간에 인접한 K+1번째 VOP기준으로 예측 매크로블록 검출, 움직임 벡터 검출 부호화 대상 매크로블록과 예측 매크로블록의 차분을 구한다. 차분 신호에 DCT를 수행. DCT 계수에 양자화 DCT 계수를 움직임 벡터 및 양자화 폭과 함께 가변장 부호하 수행 Inter 부호화 의 종류 P-VOP : 시간상으로 앞의 VOP에서 예측 B-VOP : 앞뒤의 VOP로 부터 예측

양방향 예측에 의한 영상 재생

Motion Compensation(Cont’) Motion-compensated prediction Previous frame Current frame A B

Motion Compensation(Cont’) Motion-compensated interpolation B frame: very high compression Previous frame A Current frame Future frame B C

MPEG Encoder(P/B 프레임) VOP 압축 영상 P/B 0 제거 VLC + - RGB to YCbCr 변환기 DCT 양자화 테이블 run-length 부호화 Huffman 압축 영상 P/B VOP 0 제거 VLC 움직임 보상 + - 벡터 오차 기준 프레임

MPEG-4 Scalability 1.공간 스케일러빌리티(spatial scalability) 비트율은 같지만 다른 공간적 해상도에서 일련의 영상 장면들 을 부호화 하는 기술 2.시간 스케일러빌리티(temporal scalability) - 같은 공간해상도에서 프레임 주파수가 다른 것들을 부호화하는 방법 3.SNR 스케일러빌리티(SNR scalability) - 화질이 다른 두 개의 영상 시퀀스들을 동시에 효율적으로 보내는 부호화 방법 (a) 공간 스케일러빌리티 (b) 시간 스케일러빌리티 (c) SNR스케일러빌리티

SNR scalability decoder

Temporal scalability decoder

Spatial scalability

Bit-Plane Coding of the DCT Coefficients Assume that the absoulte values and the sign bits after zigzag ordering are given as follows Writing every value in the binary format, the 4 bit-planes are formed as follows

Bit-Plane Coding of the DCT Coefficients (2) Converting the four bit-planes into(RUN,EOP) symbols These symbols are coded using variable-length code together with the sign bits

Sprite VOP Decoding step 정의 : 기하변환(image warping) 에 의한 동영상을 단일 프레임으로 구성하는 객체 단위의 그래픽스 영상 또는 그것의 표시 기술 형상.텍스쳐 복호화 스프라이트 버퍼 기하변환 (warping) VOL 비트 스트림 Sprite VOP

Sprite Coding

MPEG-4 Visual Face animation

MPEG-4 Visual mesh coding

MPEG-4 응용 예 1

MPEG-4 응용 예 2

MPEG-4 응용 예 3