멀티미디어 데이터 압축 & 복원: 영상 코딩 기법 (1) Lecture #7 멀티미디어 데이터 압축 & 복원: 영상 코딩 기법 (1)

강의 내용 하이브리드 코딩 기법 영상 코딩 기법 개요 이진 영상 코딩 기법 정지 영상 코딩 기법 통신용 동영상 코딩 기법 ITU-T G3/G4 JBIG / JBIG2 정지 영상 코딩 기법 JPEG / JPEG-2000 통신용 동영상 코딩 기법 H.261 / H.263 고품질 동영상 코딩 기법 MPEG

하이브리드 코딩 하이브리드 코딩(Hybrid Coding) 엔트로피 코딩 기법과 소스 코딩 기법을 결합 소스 코딩의 결과를 엔트로피 코딩의 입력을 사용 거의 모든 영상 코딩 기법은 하이브리드 코딩 기법을 적용 종 류: - JPEG - H.261 / H.263 - MPEG-1/2/4 - Wavelet image compression - Fractal image compression

영상 코딩 표준 기법 표준 기구 표준(권고) 번호 표준화 내용 표준화 시기 ITU-T T4, T6 1980, 1984 T.81 이진영상 부호화 1980, 1984 T.81 정지영상 부호화 / JPEG과의 공동작업 1992 T.82 이진영상 부호화/ JBIG과의 공동작업 1993 H.261 P*64kbps 통신용 영상 부호화 1990 H.262 고품질 영상 범용 부호화/MPEG-2와의 공동작업 1995 H.263 저속 통신용 영상 부호화 1995, 1998 ISO/IEC 10918-1(JPEG) 정지영상 부호화 11544(JBIG) 11172-2(MPEG-1) 저장 미디어용 영상 부호화 13818-2(MPEG-2) 고품질 영상 범용 부호화 1994 14496-2(MPEG-4) 영상 부호화 및 조작과 관련한 다양한 기능 제공 1999 MPEG-7 멀티미디어 정보를 검색하기 위한 표준화된 서술 방법 2001(예정)

이진영상 부호화 기법 (1) 이진 영상 부호화(Bi-level Image Coding) 기법 문서 이미지 및 Halftoning 이미지에 대한 코딩 기법 이미지의 각 픽셀이 이진 데이터(0/1)로 표현 반조영상(Halftone Image) : 0과 1의 일정한 패턴을 사용하여 흑백 영상(grayscale image)을 표현 팩시밀리 전송등에서 표준으로 적용

이진영상 부호화 기법 (2) 이진 영상 부호화(Bi-level Image Coding) 기법 ITU-T T4 / Group3 1-D/2-D Run Length Encoding / 전송 오류 복구 코드 지원 ITU-T T6/ Group4 ISDN 기반 / 전송 오류 복구 코드 제거 JBIG(Joint Bi-level Image coding Group) 픽셀 단위의 적응적 산술 코딩 / 점진적 전송 지원 JBIG2 무손실 압축 모드 및 손실 압축 모드 지원 모양 정보 부호화 기법 제공

JPEG (1) JPEG 개요 JPEG 압축 방식 Joint Photographic Expert Group 정지영상(color, gray scale images) 압축에 관한 국제 표준 15:1의 평균 압축률 / 최대 20:1 ~ 25:1 H.261과 함께 MPEG의 모태 JPEG 압축 방식 가역(무손실) 부호화 방식 공간적 예측 부호화 방식 비가역(손실) 부호화 방식 양자화 단계 포함 기본방식 : sequential DCT, Huffman coding 확장방식 : progressive DCT, Huffman 또는 Arithmetic coding

JPEG (2) JPEG 압축방식 JPEG 방식 가역방식 (Lossless) 비가역방식 (Lossy) 공간적(Spatial) 예측 방식 DCT 방식 기본 방식 (Baseline) 확장 방식 (Extended)

JPEG (4) JPEG 압축 과정 Input Image Compressed Image Color Transform (RGBYIQ) Input Image Image Partitioning (8x8 Macro block) Forward DCT Transform Quantization Zig-Zag Reordering Entropy Coding (Huffman Coding) Compressed Image Quantozation Table Huffman Coding Table

JPEG (5)

JPEG (6) Color Model 변환 RGB to (Y, Cb, Cr) Conversion

JPEG (7) 8x8 화소 블록 DCT QUANTI- ZER 테이블 휘도 신호용 양자화 테이블 색차 신호용 양자화 테이블 ENTROPY ENCODER 테이블 휘도 신호용 양자화 테이블 색차 신호용 양자화 테이블 COMPRESSED IMAGE DATA ENTROPY DECODER DEQUANTIZER IDCT 허프만 코드 테이블

JPEG (8) Discrete Cosine Transformation(DCT) Inverse DCT

JPEG (9) DCT Energy

JPEG (10) DCT Energy

JPEG (11) Quantization (양자화) reduce the number of bits per sample Example: 101101 = 45 (6 bits). q[u, v] = 4 --> Truncate to 4 bits: 1011 = 11. Quantization error is the main source of the Lossy Compression DC 성분과 AC 성분을 독립적으로 양자화 양자화 테이블을 이용하여 양자화

JPEG (12) Zig-Zag scanning 블록(8x8)

JPEG (13) Entropy Encoding DPCM on DC component RLE on AC components encoding the difference from the previous DC RLE on AC components VLC with Huffman or Arithmetic coding

Lossless JPEG JPEG : 무손실 압축 기법(Lossless Mode) 차분 기반의 예측 코딩 기법을 사용 원래 이미지를 손실없이 복원 : 양자화 과정을 제외 낮은 압축률: 1/2 정도 X-ray, 단층 촬영 사진 등 의학 , 과학 분야 등에 응용 무손실 JPEG 인코더 구성: pp 168, 그림 4.14 예측기(Predictor) : 그림 4.15, 그림 4.16 엔트로피 인코더 : 허프만 코딩 또는 Arithmetic 코딩 등 엔트로피 테이블

Sequential JPEG JPEG : 순차 기법(Sequential Mode) 압축할 이미지를 왼쪽에서 오른쪽으로, 위에서 아래로 순차적으로 스캔하여 압축 및 복원 8x8 Macro-block 단위의 DCT 변환 이미지 재생 시에 위에 아래로 디스플레이된다 순차 JPEG 인코더 : pp 170, 그림 4.16

Progressive JPEG (1) JPEG : 점진 기법(Progressive Mode) 압축할 이미지에 대해 여러 번의 스캔을 통해 압축 점진적인 이미지 복원 낮은 화질의 전체 모양을 개략적으로 보여 사용자가 이미지 전체를 파악 여러 번의 스캔을 통해 이미지 질을 점진적으로 개선 속도가 느린 네트워크에서 이미지 전송할 때에 사용 Interlaced Image 등

Progressive JPEG (2) JPEG : 점진 기법(Progressive Mode) 종 류: 스펙트럼 선택(Spectral Selection) 알고리즘 : 그림 4.17 저주파 성분  고주파 성분 연속 근사(Successive Approximation) 알고리즘 : 그림 4.18 주파수값의 MSB  LSB 혼합(Combined) 알고리즘 : 그림 4.19

Sequential & Progressive JPEG

Hierarchical JPEG (1) JPEG : 계층 기법(Hierarchical Mode) 피라미드형 압축(Pyramidal Encoding) 하나의 이미지에 대해여 여러 해상도로 압축 인접한 해상도의 이미지 사이에는 가로, 세로로 2배의 해상도 차이 높은 해상도의 이미지를 낮은 해상도의 출력 장치에 사용할 때에 적용 원래의 고해상도 이미지를 처리하는 것보다 시간이 적게 소모된다

Hierarchical JPEG (2) JPEG : 계층 기법의 압축과정 단계 1: down-sampling 단계 2: DCT 인코딩 또는 무손실 압축 단계 3: interpolation-based up-sampling 단계 4: 원래 이미지와 up-sampling 이미지 사이의 차분 기반 예측 인코딩 단계 5: 단계 3, 4 를 반복 수행

JPEG-2000 (1) 개 요 다양한 특성(자연영상, 인공영상, 의료영상, 문서 등)을 갖는 여러 형태의 영상들에 대한 새로운 부호화 방식 2000년 11월 최종 표준안 발표 이전의 JPEG 표준과 호환성을 유지하면서 더 좋은 화질을 제공하는 것이 목적

JPEG-2000 (2) 장점 및 특성 저 비트율 압축 CMYK, CIE방식까지 포함하여 256채널 표현가능 기존 JPEG은 고주파와 중간주파수에서 훌륭한 압축률을 수행하지만 저주파(0.25bpp 이하)에서는 수행이 불가능 JPEG2000은 저주파 비트율을 개선하여 네트워크 상에서 이미지 전송 어플리케이션에서 적용 가능 CMYK, CIE방식까지 포함하여 256채널 표현가능 다양한 프로파일 정보를 파일에 삽입 가능 통합형 무손실 압축과 손실 압축 큰 이미지의 압축 기존 JPEG 압축에 비해 64K 보다 더 큰 이미지를 타일링 할 수 있다

JPEG-2000 (3) 장점 및 특성 문서이미지의 압축 이미지와 텍스트가 혼합이 되어 사용이 되는 의학용 이미지, 팩시밀리 등에 사용 가능하다 화소의 정밀도와 해상도의 차이에 의한 점진적(Progressive) 전송(SNR/Resolution Scalability) Resolution Scalability SNR Scalability Progressive trasmission

JPEG-2000 (4) 장점 및 특성 관심영역 지정 및 처리(ROI : Region-Of-Interest) 전체영상에서 관심영역만을 지정 처리 관심영역에 더 많은 비트를 할당하여 더 선명한 화질을 제공 주의 영역지정 가능 잡음이 있는 환경에서의 전송(Error Resilience) 무선통신 채널과 같은 곳에서 기존 JPEG은 디코더에서 이미지 질을 결정하게 되어 에러 비트를 만나게 되면 이미지 질이 손상된다 JPEG2000은 코드 스트림이 디코더에서 실패한 것을 복구   ▷ VLC(Variable Length Coding)의 에러에 약한 점을 보완   ▷ Block 마다 resync mark를 표시하여 에러전파방지

JPEG-2000 (5) 웨이블렛(Wavelet) 압축 저 주파수를 이용하여 미디어 데이터의 근사(approximate) 정보를 코딩하고 고 주파수를 이용하여 상세(detail) 정보를 코딩하는 압축기법 서브밴드(Sub-band) 코딩 기법 근사 또는 주류 정보: 공간적인 상관관계가 높은 정보로서 큰 스케일의 저주파수 정보로 코딩 상세 또는 비주류 정보: 변화가 심하고 공간적으로 집중된 정보로서 작은 스케일의 고주파수 정보로 코딩 불필요한 고 주파수대의 상수를 0으로 만들고 0의 위치를 효율적으로 코딩하는 방법을 찾는 기법

JPEG-2000 (6) 웨이블렛 압축의 특징 차세대 압축 기술 DCT와 달리 비 블록기반 기술이다 압축비율이 높아도 블록 경계선이 나타나지 않는다 손실 압축으로서 압축률이 높다 대칭적인 압축기법 다운 샘플링(down sampling) 및 업(up) 샘플링에 의한 scalability가 좋다 주파수와 시간에 대한 정보를 동시에 코딩함으로써 영상 압축, 컴퓨터 비젼 등 다양한 분야에 이용

JPEG-2000 (7) DWT(Discrete Wavelet Transform) 2 개의 필터사용: 고 패스(high-pass) 필터 / 저 패스(low-pass) 필터 2차원 앞방향 DWT(2-Dimensional Forward DWT) - 그림 4.42 2차원 역방향 DWT(2-Dimensional Inverse DWT) - 그림 4.43

JPEG-2000 (8) 웨이블렛 압축 및 복원 과정 그림 4.44 참조 압축과정 앞방향 웨이블렛 변환 양자화 : DWT 상수값 중에 0에 가까운 값들은 0으로 둔다 인코딩 : Zero RLE / Embeded Zero Tree 복원 과정 : 압축과 반대 방향이며 역방향 웨이블렛 변환이 적용된다

JPEG-2000 (9) JPEG 2000 Coding 과정

JPEG-2000 (10) JPEG2000의 응용분야 서로 다른 특성을 갖는 다양한 형태의 정지영상에 하나의 통합된 부호를 부여하는 곳에서 적용 의료 영상 및 영상 저장 그래픽스 및 컴퓨터 합성영상 팩시밀리, 인쇄 및 출판영상 사진 및 미술품의 디지털 도서관 등