MPEG2(Image Processing Lab) 1.개요 2.특징 3. MPEG-2 알고리즘 4. MPEG-2 데이타 구조 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 1.개요 5~10 Mbps의 전송속도로 현 TV 품질화면 실현 1993년 美 차세대(Advanced) TV방송에서 채택 HDTV 품질위한 MPEG-3흡수 ISO에서 합의한 디지털TV방식 방송, 통신, 저장, 컴퓨터 등 모든 것을 통합하는 규격 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 2.특징 저장 미디어, 통신, 방송미디어에도 적용 TV품질 이상, HDTV 품질까지 확장 순차주사, 비월주사 영상모두 취급 화면보다 작은 해상도 디스플레이 가능(Scalability) MPEG-1비트열도 복호 가능 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 2.특징 Basic concept Interoperability 타 미디어(방송, 저장, 통신), 타 플랫폼(다른 컴퓨터)등과 정보교환 Scalability 부호화 비트열에서 취한 일부 비트열도 복호 가능 Extensibility 전송 부호화 비트열에 부가분만의 정보량을 추가하여 쉽게 비트율 증가 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 2.특징 MPEG-1과의 차이점 여러 가지 영상 포맷에 대응 (비월 주사 대응) 고화질 실현 툴의 제공(부호화 방식의 요소기술) Scalability 기능제공 확장된 트릭모드 지원 오류의 내성강화 프로파일(기능분류)과 레벨(영상크기 분류)에 의한 복호 기능 분류 MPEG2(Image Processing Lab)

2.특징 컴퓨터, 방송, 통신의 응용 예 분 야 응용 예 컴퓨터 방 송 통 신 디지털 저장매체(CD-ROM이나 하드디스크)를 이용한 고화질 디지털 영상의 제공,가라오케, 영화, 멀티미디어 시스템,하이퍼미디어 시스템 방 송 전파,케이블을 이용한 고품질 디지털 영상의 제공. TV프로그램 방송,영화 등 통 신 통신회선을 이용한 고품질 디지털 영상의 제공 영상회의,영상전화, 원격감시 등 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 2.특징 DSM(저장) 광디스크,VTR 통 신 방 송 핵심(CORE) H.262/MPEG-2 핵심(CORE) H.261/MPEG-2 핵심(CORE) H.261/MPEG-2 실시간/일방향 NTSC, HDTV이상 JPEG(포함) 하방 호환성 통합화 되지않음 공통기능:통신계,방송계,저장계 분야에 적용가능 H.261 MPEG-1 JBIG MH&MMR 가역 부호화 차분 계층 부호화 실시간/쌍방향 Scalability 특수기능:외부기능으로서 매체 혹은 고위계층에 준비하는 것을 상정한다 손실 대책 지연 대책 오류 대책 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 특징 기본구성은 H.261, MPEG-1 과 동일 여러 가지 영상포맷에 대응키 위해 정보원의 부호기, 복호기와 비디오 신호의 다중화 부호기, 복호기 부분이 다름 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 부 호 기 부호화 제어 비디오 입력 - DCT 양자화 양자화 변환 계수 (필드 DCT 있음) 역양자화기(Q-1) (필드 IDCT 있음) 쌍방향 움직임 보상용 영상 메모리 역DCT (T-1) + 1 예측메모리 1 1 2 평균 3 2 예측메모리 2 움직임 벡터(V) 4 (필드 구조가 있음) MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 복 호 기 양자화 특성 지정정보(qz) (필드 IDCT 있음) 역양자화기(Q-1) 역 DCT 양자화 변환 계수 + 프레임/필드 구조에 있어서의 I, P, B 픽처의 MB 타입 I,P B I,P (필드 구조가 있음) 1 예측메모리 1 1 2 평균 3 2 예측메모리 2 4 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 순차,비월 주사의 차이 순차주사 : 프레임 내 영상이 같은 시간에 샘플링 비월 주사: 다른 시간 샘플링 2장의 필드 영상으로 한 프레임구성 영상을 필드단위 까지 부호화 프레임,필드 구조 프레임구조 픽처구성은 MPEG-1과 같다 필드구조 최초 부호화 필드가 I 필드 일때 다른 필드는 I, P어느 쪽이든 가능 P, B픽처의 참조영상은 프레임 구조와 다름 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 프레임구조의 참조영상 P픽처 : 최근 복호된 I, P 픽처를 참조 영상으로 함 B픽처 : 미래, 과거의 I, P 픽처를 미래 한 장, 과거 한 장 참조함 P 필드 최근 복호 된 I, P필드 두 장 사용 제 2 필드가 P필드 때, I필드(제1필드)를 예측에 사용 B 필드 최근 복호된 미래, 과거의 I, P필드를 미래에서 2장, 과거에서 2장 참조. MPEG-1의 프레임구조에서 1장 참조. MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 프레임구조의 쌍방향 예측방법 압축 전 화면 압축 처리 압축 후 화면 1/60초 1/60초 1/30초 한 화 면 P프레임 B프레임 한 화 면 I프레임 한 화 면 반화면 기수라인 반화면 우수라인 필드화면구조 프레임화면구조 I프레임: DCT에 의한 압축 변환 B프레임: 쌍방향예측의한 압축 P프레임: 전방향예측의한 압축 MPEG2(Image Processing Lab)

3. MPEG-2의 알고리즘 압축 전 화면 압축 처리 정보의 내용 제1, 제2, 제3화면 모두 각 화소의 휘도와 색차값은 본래의 값 압축 처리 MPEG-2 에 의한 압축효과 화면번호 압축수법 압축률 제1화면 DCT,양자화 1/10~1/20 제2,3화면 움직임보상 1/2 제1,2,3화면 가변장부호화 2/3~1/2 합계 1/30~1/80 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 압축 후 화면 정보의 내용 각 화소의 휘도 · 색차 값의 본래 값이 아니라, 다음과 같은 압축처리 후의 정보. 제1화면 DCT 연산만으로 얻어진 압축영상 제2화면 제1화면으로부터의 차분 정보 제2화면으로부터의 차분 정보 제3화면 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 필드구조의 쌍방향 예측방법 1/60초 제6화면(반화면 우수라인) 제1화면 (반화면 기수라인) ④ 제5화면 P2 필드 제5화면 P3 필드 제6화면 제6화면 ③ ⑤ ⑥ 제3화면 제4화면 B1 필드 제3화면 B2 필드 제4화면 ② ① 제1화면 I1 필드 제1화면 P1 필드 제2화면 제2화면 기수 라인 화면군 압축 처리 우수 라인 화면군 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 압축처리의 내용과 압축효과 화면번호 압축 전의 정보 압축 후의 정보 압축수법 압축효과 제1화면 각 화소의 휘도와 색차값은 본래의 값 DCT연산 후 (I 1필드) DCT 1/10 ~1/20 제2화면 제1과의 차분 (P 1 필드) 순방향예측 1/2 제3화면 제1,2,5,6과의 차분(B1필드) 쌍방향예측 제4화면 제1,2,5,6과의 차분(B2필드) 제5화면 제1,2와의 차분 (P 2 필드) 제6화면 제2,5와의 차분 (P 3 필드) 제1 ~ 제6 공통 가변장부호화 2/3 ~ 합계 (압축효과) 1/30~ 1/80 MPEG2(Image Processing Lab)

3. MPEG-2의 알고리즘 압축 처리의 순서 필드구조의 쌍방향 예측방법 ① ② ③ ④ ⑤ ⑥ I1 필드를 DCT에 의해 생성 → 제 1 화면의 DCT에 의한 압축정보 ② I1 필드를 기반으로 P1 필드를 순방향예측에 의해 생성 → 제2화면의 제1화면과의 차분정보 ③ I1필드 P1필드로부터 P2필드를 순방향예측으로부터 생성→제 5 화면의 제1,제2화면과의 각각의 차분정보 ④ P1필드,P2필드로부터 P3필드를 순방향예측으로부터 생성→제6화면의 제2,제5화면과의 각각의 차분정보 ⑤ I1,P1,P2,P3으로부터 B1필드를 쌍방향예측에 의해 생성→제3화면의 제1,2,5,6화면과의 각각의 차분정보 ⑥ I1,P1,P2,P3으로부터 B2필드를 쌍방향예측에 의해 생성→제4화면의 제1,2,5,6화면과의 각각의 차분정보 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 프레임 예측,필드 예측 순방향, 역방향, 쌍방향 예측이 가능, 필드구조에선 프레임구조 예측이 불가능. Dual Prime  M=1 일때 (B프레임 사용 않을 때 예측효율 향상) MPEG-2의 예측 방식 예측모드 프레임구조 필드 구조 필드 예측 ○ (MV두개) ○ (MV한 개) 16 * 8 필드 예측 ○ (MV두 개) 프레임 예측 듀얼 프라임 예측 ○ (MV한 개와 DMV한 개) MV:Motion Vector DMV:Differentia Motion Vector 움직임 벡터의 개수는 MB 단위 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 프레임구조의 예측모드 움직임 벡터 MV 1로부터 얻어진 16X8의기수 라인의 매크로 블록 기수 라인, 우수 라인의 합성 움직임 벡터 (MV 1) 16 움직임 벡터 (MV) 8 16 16 16 16 16 16 움직임 벡터 (MV 2) 16 8 매크로블록 움직임 벡터 MV로부터 얻어진 16X16의 기수 라인의 매크로 블록 매크로블록 움직임 벡터 MV 2 로부터 얻어진 16X8의 우수 라인의 매크로 블록 (a) 필드 예측 (b) 프레임 예측 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 필드구조의 예측모드 16 8 우수 라인의 기수 라인, 합성 16 움직임 벡터 (MV 1) 움직임 벡터 (MV 1만 혹은 MV2만) 움직임 벡터 (MV 2) 매크로블록 매크로블록 (a) 필드 구조의 경우 필드 예측 (b) 16 X 8 필드 구조의 경우 필드 예측 16 평균치 움직임 벡터 (MV 1) 시간의 진행방향 움직임 벡터 (MV 2) 매크로블록 (c) 듀얼 프라임 예측 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 프레임DCT, 필드DCT DCT모드를 MB단위로 필드,프레임모드 중 하나로 절체 예측모드와는 독립적(프레임 예측에 필드DCT 선택가능) MPEG2(Image Processing Lab)

3. MPEG-2의 알고리즘 MPEG-2에 있어서의 두 가지 DCT 모드 프레임 DCT 8 8 8 8 8 8 MPEG-2에서는 8 * 8로 한다(sample*line) 8 8 8 Luminance macroblock structure in frame DCT coding 8 8 8 MPEG2(Image Processing Lab)

3. MPEG-2의 알고리즘 필드 DCT 8 8 8 Luminance macroblock structure in field DCT coding 8 8 기수라인의 좌반분 기수라인의 우반분 8 우수라인의 좌반분 우수라인의 우반분 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) DCT계수의 Scan 방법 Alternate 스캐닝(비월주사에 효과적)과 ZigZag 스캔닝 중 절체 사용 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 각종 색차 포맷에 의 대응 4:2:0의 영상은 보통 응용에 사용 4:2:2나 4:4:4는 스튜디오등의 업무용 Intra DC 의 정밀도 8비트 뿐 아니라 9/10/11 비트의 정밀도 선택 가능 높은 비트 율의 화질개선 정밀도는 픽처마다 바꿀 수 있다 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) Q 스케일 타입 선형스텝(MPEG-1)과 비선형스텝 스케일 타입은 픽처마다 바꿀수 있다 비선형 스텝은 스텝사이즈가 미세할 때 효과적 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 양자화 스케일 타입의 차이 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 인트라 VLC 포맷 MPEG1과 호환성이 있는 테이블과 인트라(화면내부호화)MB전용 테이블 픽처마다 사용되는 이차원 VLC 테이블은 선택가능 양자화 매트릭스 매트릭스 변경은 픽처마다 가능 휘도 색차 포맷과 양자화 매트릭스의 관계 휘도,색차 포맷 휘도 인트라용 휘도 인터용 색차 인트라용 색차 인터용 4:2:0 지정가 휘도 인트라용 사용 4:2:2 4:4:4 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 새로운 IDCT 불일치의 방지책 10비트 입력 휘도,색차 신호 를 화소당 10비트로 확장 사용 스케일러빌러티 기능 공간 스케일러빌러티 기본계층  저해상도의 영상군 부호화 , 통상의 MPEG-2 부호화 확대계층  저해상도화면의 화소로부터 고해상도의 고위계층 크기의 화면 재생 고위계층  고화질 영상군 고위계층영상군간 예측, 또는 보간 영상으로부터도 예측. 계층간은 독립적이서 비월, 순차 모두가능 MPEG2(Image Processing Lab)

3. MPEG-2의 알고리즘 공간 스케일러빌러티 고위계층 고위 고위 계층 계층 간의 간의 예측 예측 기본계층의 확대영상정보 고화질 영상을 저해상도 영상으로부터의 예측과 고화질 영상군 간의 예측으로 부호화 예측 기본계층의 확대영상정보 업 샘플 기본계층 기본 계층간의 예측 원 고화질 영상을 대상 으로 하지 않고 저해상도의 영상군을 부호화 기본 계층간의 예측 저해상도 디스플레이 : 기본계층 정보만으로 표시 고해상도 디스플레이 : 기본계층 정보와 고위계층 정보를 이용해 고해상도 표시 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 스케일러빌러티 기능 시간 스케일러빌러티 같은 공간해상도에서 1초당 프레임 주파수가 다른 것을 효율적으로 보낼 때 기본계층은 통상의 MPEG-2부호화 고위계층 I, B, P픽처사용 기본계층으로 예측가능 30, 60Hz순차주사영상 동시전송가능 비월주사, 순차주사의 조합가능 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 시간 스켈러빌러티 시간의 흐름 고위계층간 예측정보 t1 t2 t3 고위계층 시간 해상도가 높다 예:1/ 60 초 주기 고위계층에의 예측정보 기본계층 시간 해상도가 낮다 예:1/ 30 초 주기 기본계층에의 예측정보 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) SNR 스케일러빌러티 화질이 다른 두 개의 영상 시퀀스를 간단히 부,복호화 하여 효율적 전송 기본계층 MPEG-1이나 MPEG-2로 부호화 고위계층 기본계층에서의 부호화 데이터와 원 데이터의 재생화면과의 차분을 기본계층의 양자화 스텝 보다 작은 스텝으로 양자화해서 부호화 전송장애로 고위층의 데이터 보낼 수 없을 때 기본계층만으로 영상 재생(Graceful Degradation) 4:2:0 과 4:2:2 의 영상 동시방송 가능 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 고위계층 양자화 스텝 값이 작아진다. (선명 영상) 고위계층정보와 기본계층정보간의 차분 기본계층 양자화 스텝 값이 커진다 . (흐린 영상) MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 트릭모드의 지원 MPEG-1에 추가되는 슬라이스 인트라 MB만으로 구성가능한지를 나타내는 플래그  빨리 감기 되감기 등에 사용 오류내성의 강화 인트라 MB에 오류은닉을 위한 부가 정보인 MV를 추가. ATM 망 폭주로 셀 상실에 의한 영상정보가 손실되면 없어진 MB에 대해 주위 MB의 MV로써 손실영상 재생 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 프로파일과 레벨 프로파일 : 기능의 분류(신택스 차이)를 규정 레벨 : 양의 차이 (영상 크기) 규정 조합에 따라 11개 가장 많이 사용되는 클래스는 ITU-R권고 601의 영상에서는 MP@ML, HDTV 영상에서는 MP@HL로 예상 MPEG2(Image Processing Lab)

3. MPEG-2의 알고리즘 MPEG-2의 프로파일과 레벨 Simple Main SNR Spatial High * 전송속도(Mbps) 80 100 화소수/라인 1 920 라인 수/프레임 1 152 프레임/초 60 High-1440 * 전송속도(Mbps) 60 80 화소수/라인 1 440 라인 수/프레임 1 152 프레임/초 * : 가장 많이 이용될 것으로 예상되는 클래스 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 레벨 프로파일 Simple Main SNR Spatial High 전송속도(Mbps) 15 20 화소수/라인 720 라인 수/프레임 576 프레임/초 30 Low 전송속도(Mbps) 4 100 화소수/라인 352 1 920 라인 수/프레임 288 1 152 프레임/초 30 60 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 4:2:0 4:2:0, 과 4:2:2 B픽처. 스켈러빌러티 없음 스켈러빌러티 없음 SNR 스켈러빌러티 공간 , SNR 스켈러빌러티 공간 , SNR 스켈러빌러티 MPEG2(Image Processing Lab)

도표 중 ○ 는 복호기가 그 비트열을 복호할 수 있어야 함을 의미. 3. MPEG-2의 알고리즘 MPEG-2의 프로파일과 레벨간 비트열 복호기 HP @ HL HP@ H-14 ML Spatial@H-14 SNR@ LL MP@ H-14 MP@ML SP@ML HP@HL ○ HP@H-14 HP@ML Spatial@ SNR@ML SNR@LL 도표 중 ○ 는 복호기가 그 비트열을 복호할 수 있어야 함을 의미. MPEG2(Image Processing Lab)

도표 중 ○ 는 복호기가 그 비트열을 복호할 수 있어야 함을 의미. 3. MPEG-2의 알고리즘 MPEG-2의 프로파일과 레벨간 비트열 복호기 HP @ HL HP@ H-14 ML Spatial@H-14 SNR@ LL MP@ H-14 MP@ML SP@ML MP@HL ○ MP@H-14 MP@LL 도표 중 ○ 는 복호기가 그 비트열을 복호할 수 있어야 함을 의미. MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 시퀀스에서 블록층 까지 6개 계층 GOP층은 없어도 무관 슬라이스 층: 행간 걸치는 것 금지 시퀀스 헤더(Sequence Header) 직후에 시퀀스 확장부(Sequence Extension) 존재 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 픽처층의 화면구성 MPEG2(Image Processing Lab)

MPEG2(Image Processing Lab) 표7-7 189 MPEG2(Image Processing Lab)