강의자료 3장 : 비디오 신호에 대한 기본적인 이해 멀티미디어 처리 강의자료 3장 : 비디오 신호에 대한 기본적인 이해

수업목표 및 내용 비디오 신호에 대한 기본적인 내용을 이해한다. 비디오 신호의 종류 아날로그 비디오와 디지털 비디오 색차신호의 부표본화 디지털 TV

3.1 비디오 신호의 종류 콤포지트(composite) 또는 복합비디오 신호 콤포넌트(component) S-Video 명도(luminance)+색상(Chrominance) 혼합 후 분리하는 경우 정보 손실 손실과 간섭(crosstalk)을 방지하기 위한 조정 작업 필요 콤포넌트(component) Y, Cr, Cb 의 색상 정보로 분리 (RGB,YUV,YIQ 방식) S-Video Cr, Cb 콤포지트 신호보다 우수한 화상

컴포넌트 비디오 신호 콤포지트 혹은 S-Video보다 한층 고화질을 전송하기 위하여 개발된 방법 색 신호를 R, G, B로 분리해서 전송 Y, R-Y, B-Y라고도 하며, Y는 휘도신호  R-Y와 B-Y는 두 개의 색차신호 DVD는 이 방식으로 비디오 신호를 표현해낸다. 최신의 DVD 플레이어가 지원을 하고 있으며 고가의 TV가 채용하고 있는 방식이다. 최고의 화질을 보장한다. [그림 3-1] 컴포넌트 비디오 신호 연결회선

컴포지트 비디오 신호 또는 복합 비디오 신호 컴포지트 비디오는 색 신호와 밝기 신호를 동시에 혼합되어 있는 신호 Composite 뜻 자체가 합성을 뜻하며 이처럼 서로 상이한 신호를 혼합해 표현하기 때문에 자연히 화질은 좋지 못하다. 이러한 신호는 대부분의 일반적인 VCR, CCD Camera, 그리고 TV등에서 광범위하게 지원된다. [그림 3-2] 컴포지트 비디오 신호 연결회선

S-비디오 (separated video) S-Video의 앞 글자 S는 세퍼레이트(Separate)의 약자로 즉 분리를 나타내고 분리되는 신호 성분은 휘도 정보를 색 신호와 분리해 표현해낸다. Y/C connection이라고도 하는데 Y는 휘도 정보 (밝기 정보,Luminance)를 나타내고 C는 색 정보 (chrominance)를 나타낸다. S-Video와 S-VHS의 혼동을 피하기 위해, S-VHS에서 S란 수퍼(super)를 뜻하며 이러한 수퍼 VHS는 일반 VHS (Video Home System)의 확장 포맷이라 할 수 있다. [S-비디오 신호 연결회선]

3.2 아날로그 비디오 - 주사방식 (scan) [그림 3-4] 공간축에서 바라본 주사 방식: (a) 순차주사방식; (b) 비월 주사방식 [그림 3-4] 공간축에서 바라본 주사 방식: (a) 순차주사방식; (b) 비월주사방식 (점선: 짝수필드, 직선 : 홀수필드)

주사방식 (scan) (a) 순차 주사방식 (b) 비월 주사방식 [그림 3-5] 시간축에서 바라본 주사방식

주사방식 (scan) - 비월주사 [그림 3-6] 비월주사에 의하여 각 프레임 당 생성된 두 개의 필드영상; (a) 비디오 프레임, (b) 필드 1, (c) 필드 2, (d) 필드 간 차이 영상

주사방식의 장단점 비교 주사방식 장 점 단 점 응용분야 비월주사 시간영역에서의 고해상도로 인한 빠른 움직임 표현에 유리 에지(edge)영역에서의 깜빡임 TV 순차주사 에지(edge)영역에서의 깜빡임 없음 시간영역에서의 저해상도로 인한 빠른 움직임 표현에 불리 컴퓨터 모니터

아날로그 TV 표준 [표 3-2] 아날로그 TV 방식들의 특징 방 식 Field/Line 종횡비 사용국가 NTSC 60/525 방  식 Field/Line 종횡비 사용국가 NTSC 60/525 4:3 미국, 한국, 일본, 케나다, 멕시코 등 PAL 50/625 유럽, 호주, 중국, 북한 등 SECAM 프랑스, 동유럽, 러시아, 아프리카 등

Bit Rate(uncompressed) 아날로그 TV 세가지 대표적 아날로그 TV 표준 특성 NTSC PAL SECAM Total lines/screen 525 625 Active lines/screen 480 575 Pixels/line 640 580 Bandwidth/channel 6 MHz 8 MHz Picture rate/second 29.97 25 Bit Rate(uncompressed) 221.2 400.2 Countries S. Korea U.S.A. Japan Canada German UK, Rest of Europe China, N. Korea France Russia French colonies

아날로그 TV - NTSC [그림 3-7] NTSC 방식의 수평주사선 신호

아날로그 TV - NTSC [그림 3-8] NTSC 신호의 스펙트럼

TV, 컴퓨터 모니터 기본원리 CRT TV와 컴퓨터의 Display에 사용 전자 빔(electron beam)을 스크린에 주사(project)함으로써, 화면을 형성 전자 빔에 의하여 표현된 점(dot or pixel)들은 매우 짧은 시간동안 원형을 밝게 유지하다 점차 흐려짐(fading) Flickering 현상 발생(빔이 스크린 아래 화면을 주사할 때, 윗 라인들의 이미지는 흐려지기 시작하는 현상)

TV, 컴퓨터 모니터 기본원리 그림 3-9: CRT TV/컴퓨터 모니터의 화면주사 원리: (a) CRT 모니터, (b) 래스터-스캔 원리, (c) 스캔 라인의 화소 형식

주사방식 (scan) - 비월주사 원리 525 line system 60 fields/sec refreshed 30 frames/sec refreshed 625 line system 50 fields/sec refreshed 25 frames/sec refreshed

TV, 컴퓨터 모니터 기본원리 [ 래스터-스캔 디스플레이 구조]

[그림 3-10] 화면 해상도: (a) 한 프레임에서 표시되는 라인들; (b) 디지털화된 공간 해상도

디스플레이 해상도 표준 표준 (standard) 해상도 (resolution) 색의 수 (number of colors) 한 프레임 저장용량 (bytes) VGA 640 x 480 x 8 256 307.2 KB XGA 640 x 480 x 16 1026 x 768 x 8 64 K 614.4 KB 786.432 KB SVGA 800 x 600 x 16 1024 x 768 x 8 1024 x 768 x 24 16 M 960 KB 2359.296 KB

전송속도 예제 3-1) [예제 3-1] 다음과 같은 디지털 영상을 64 kbps와 1.5 Mbps 대역폭을 가지는 채널을 통하여 전송할 때, 전송하는 시간을 계산해보자. 1) 640 x 480 x 8 VGA 영상 2) 1024 x 768 x 24 SVGA 영상

전송속도 예제 3-1) 풀이: VGA 영상의 사이즈 = 640 x 480 x 8 = 2.457600 Mbits          SVGA 영상의 사이즈 = 1024 x 768 x 24 = 18.874368 Mbits 64 kbps 채널 VGA의 경우 = 2.4576x10^6/(64x10^3) = 38.4 sec SVGA의 경우 = 18.874368 x 10^6 /(64x10^3) = 294.912 sec 1.5 Mbps 채널 VGA의 경우 = 2.4576x10^6/(1.5x10^6) = 1.6384 sec SVGA의 경우 = 18.874368 x 10^6 /(1.5x10^6) = 12.5829 sec

3.3 디지털 비디오 많은 멀티미디어 응용을 위해, 아날로그 비디오 신호는 디지털 형식으로 변환된다. 비디오를 디지털로 표현하는 방식의 장점 디지털 기기 메모리 등에 저장할 수 있고, 처리될 수 있으며,(잡음 제거, 편집 등) 다양한 멀티미디어 응용분야에 적용가능 직접접근, 비선형적인 비디오 편집이 쉽다. 영상 화질의 열화 없이 반복 저장 및 복사가 가능 부호화가 용이하고, 채널 잡음에 강하다.

디지털 비디오 [그림 3-11] 디지털 영상처리 시스템에서의 영상의 디지털화, 저장, 표시 블록도]

디지털 비디오 [NTSC 합성 칼라 신호는 RS-170 신호에 칼라 부반송파 신호를 추가한 신호]

영상의 디지털화 [그림 3-12] 비디오 신호의 디지털화 과정 블록도

비디오의 디지털화 (A/D Converter) [그림 3-13] 디지털화 과정: (a) A/D 변환기에 대한 블록도 (b) 각 부분에서의 파형

비디오의 디지털화 (A/D Converter) [그림 3-14] 양자화 과정에서의 양자화 에러

비디오 신호의 디지털화 (A/D Converter) [예제 3-2] 입력 아날로그 신호의 대역폭이 15 Hz ~ 10 KHz 일 때, A/D 변환기의 밴드통과 필터의 대역폭과 샘플러의 Sampling rate를 다음과 같은 조건일 경우 어떻게 되는지 결정하라.   i) 압축 없이 디지털 신호가 그냥 컴퓨터의 메모리에 저장될 경우   ii) 압축 없이 디지털 신호가 200 Hz ~ 3.4 KHz 대역폭을 가진 임의의 채널을 통하여 전달되어질 경우

비디오 신호의 디지털화 (A/D Converter) [풀이] (i) 나이키스트 샘플링 이론(nyquist sampling rate)에 의하여 샘플링 주파수는 적어도 2x10KHz = 20 KHz 또는 20 ksps 이상이여야 하고, 밴드통과 필터의 주파수 대역은 0~ 10 KHz가 되어야 한다. (ii) 채널의 대역폭이 3.4 kHz이므로, 샘플링 주파수는 2x3.4 KHz = 6.8 KHz 또는 6.8 ksps 이상이여야 하고, 밴드통과 필터의 주파수 대역은 0~3.4 kHz가 되어야 한다.  

디지털-아날로그 변환기(digital-to-analog converter) [그림 3-15] 디지털-아날로그 변환기, (a) 디지털-아날로그 변환기 블록도, (b) 각 단계에서의 신호

컬러신호 복호화 [그림 3-16] 컬러 신호 복호화(decoding) 과정

색차신호의 부표본화(Subsampling) TV 화면 등의 횡방향 라인에 포함되는 휘도정보 Y와 색차정보 Cb, Cr의 세가지 성분의 비율을 0:0:0로 나타내는 방법 사람의 시각 구조는 색차정보(Chrominance 정보)의 감소에 덜 민감하게 반응한다. 4:4:4, 4:2:2, 4:2:0

색차신호의 부표본화(Subsampling) 4:2:0, 4:2:2, 4:4:4 밝기 Y와 두 개의 색차 Cb, Cr신호의 Sampling 주파수의 비 인간의 눈이 색에 민감하지 않은 것을 이용하여 색 정보를 삭감하는 수단으로 사용 4:4:4 색정보를 삭감하지 않음 4:2:2 횡방향으로 색정보를 반으로 삭감한 것 4:2:0 횡방향,종방향으로 모두 반으로 색 정보를 삭감한 경우 (색정보는 밝기정보의 ¼이 됨)

4:4:4 디지털 형식 X : Cb, Cr 색차신호값 Cb, Cr이 영향을 미치는 범위 : Y 밝기값 Y [그림 3-17] MPEG-2의 4:4:4의 경우 밝기신호와 색차신호의 위치(X-Y 면)

4:2:2 디지털 형식 X : Cb, Cr 색차신호값 Cb, Cr이 영향을 미치는 범위 : Y 밝기값 Y [그림 3-18] MPEG-2의 4:2:2의 경우 밝기신호와 색차 신호의 위치(X-Y 면)]

[그림 3-19] 525-라인시스템(60 Hz)에서의 Y: 13.5 MHz, Cb, Cr: 6.75 MHz로 표본화 할 경우 4:2:2 디지털 형식 표본화 [그림 3-19] 525-라인시스템(60 Hz)에서의 Y: 13.5 MHz, Cb, Cr: 6.75 MHz로 표본화 할 경우

[그림 3-20] 625-라인시스템(50 Hz)에서의 Y: 13.5 MHz, Cb, Cr: 6.75 MHz로 표본화 할 경우 4:2:2 디지털 형식 표본화 [그림 3-20] 625-라인시스템(50 Hz)에서의 Y: 13.5 MHz, Cb, Cr: 6.75 MHz로 표본화 할 경우

4:2:2 디지털 형식 디지털 TV 표준을 위한 CCIR-601 권고 디지털 형식 Bandwidths, Y: 6 MHz, Cb, Cr: 3 MHz Y에 대한 6 Mhz의 bandlimiting filter가 필요하고, Cb, Cr에 대한 3 Mhz bandlimiting filter 필요 Y에 대한 최소 Nyquist sampling rate: 12 Mhz (12 Msps) Cb, Cr에 대하여 각각 6 Mhz sampling rate 표준 Sampling rate (525 and 625-line system) Y: 13.5 Mhz Cb, Cr: 6.75 Mhz

4:2:2 디지털 형식 [예제 3-3] 4:2:2 형식으로 디지털화하는 경우 525-라인 시스템과 625- 라인 시스템 각각에 대한 한 프레임영상을 저장하기 위한 메모리 용량과 Bit rate를 계산하시요. 또한 1.5 시간 동안 비디오 영상을 저장하기 위한 전체 메모리 용량을 계산하시요. 단 line sampling rate는 Y의 경우 13.5 MHz, Cb, Cr의 경우 6.75 MHz이다. [풀이] 525-line system: Y = 720 x 480, Cb = Cr = 360 x 480 Bit rate: 13.5 x 10^6 x 8 +2*(6.75 x 10^6 x 8) = 216 Mbps Memory per line: 720 x 8 + 2*(360 x 8) = 11520 bits or 1440 bytes Memory per frame: 11520 x 480 = 5.5296 Mbits or 691.2 kbytes Memory for 1.5 hours assuming 60 frames per second: 691.2 x 60 x 1.5 x 3600 kbytes = 223.9488 Gbytes

2) 625-라인 시스템 한 라인당 720 샘플이고, 전체 라인은 576 라인이 샘플 된다. 즉, Y = 720x576,  Cb=Cr=360x576 이다. Bit rate = 13.5 x 10^6x8+2(6.75x10^6x8)=216 Mbps 저장할 메모리   - 한 라인을 저장하기 위해서 필요한 메모리 용량            = 720x8+2(320x8)=11520 bits or 1440 bytes   - 한 프레임을 저장하기 위해서 필요한 메모리 용량            = 576x11520=6.63555 Mbits or 829.44 kbytes   - 1.5시간동안 비데오 신호를 저장할 메모리 용량( 25 frame/sec 가정) = 829.44 kbytes x 25 frame x 1.5 x 3600 sec = 111.974400 Gbytes           

4:2:0 디지털 형식 X : Cb, Cr 색차신호값 Cb, Cr이 영향을 미치는 범위 : Y 밝기값 Y [그림 3-21] MPEG-1의 4:2:0의 경우 밝기신호와 색차신호의 위치(X-Y 면)

[그림 3-22] 525-라인시스템(60 Hz)에서의 4:2:0 형식으로 표본화할 경우 공간 해상도 4:2:0 디지털 형식 [그림 3-22] 525-라인시스템(60 Hz)에서의 4:2:0 형식으로 표본화할 경우 공간 해상도

[그림 3-23] 625-라인시스템(50 Hz)에서의 4:2:0 형식으로 표본화할 경우 공간 해상도 4:2:0 디지털 형식 [그림 3-23] 625-라인시스템(50 Hz)에서의 4:2:0 형식으로 표본화할 경우 공간 해상도

SIF 디지털화 형식 SIF(Source Intermediate Format) 디지털 표준은 VCR과 같은 영상화질을 얻기 위해서 표준화된 디지털화 형식으로 4:2:0 디지털 표본화 영상 해상도의 반을 사용 SIF 형식은 저장용(storage)을 목적으로 표준화 되었기 때문에 순차주사만 사용 - 525-라인 시스템 : Y = 360 x 240,   Cb = Cr = 180 x 120   - 625-라인 시스템 : Y = 360 x 288,  Cb = Cr = 180 x 144

CIF 디지털화 형식 CIF(Common Intermediate Format) 디지털 표준 형식은 화상회의(videoconferencing) 시스템에 응용하기 위해서 정의된 표준형식 525-라인 시스템과 625-라인 시스템에 공통으로 적용되는 표준 4:1:1 디지털화 형식이라고 하기도 한다. QCIF:  Y = 176 x 144, Cb = Cr = 88 x 72 CIF: Y=352 x 288, Cb=Cr=176 x 144

홈쇼핑, 인터넷접속, 홈뱅킹, 전자투표등 양방향 방송 가능 아날로그 TV와 디지털 TV의 비교 [표 3-5] 아날로그 TV와 디지털 TV의 비교 구 분 아날로그 TV 디지털 TV SDTV HDTV 주사선수 525 개 704x480 1920 x 1080 등 해상도 약 330 선  700 선 이상 음질 2채널 FM 스테레오 5.1 멀티 채널 화면비 (가로:세로) 4:3 4:3 또는 16:9 16:9 부가기능 문자다중방송, VBI를 이용한 데이터방송 홈쇼핑, 인터넷접속, 홈뱅킹, 전자투표등 양방향 방송 가능

Reed Solomon + Trellis Coded Modulation 디지털 TV [표 3-6] 디지털 지상파 TV 방식 비교 구분 ATSC DVB-T ISDB-T 영상부호화 MPEG-2 음성부호화 Dolby AC-3 오류정정 Reed Solomon + Trellis Coded Modulation Reed Solomon + Convolutional 변조 8-VSB COFDM BST-COFDM 반송파 단일반송파 다중반송파 대역폭 6 MHz 6, 7, 8 MHz 서비스 국가 미국, 캐나다, 한국 유럽 다수국가 일본

HDTV 형식 HDTV(High Definition Television) 종횡비(aspect ratio)가 4:3 대신 16:9이다. Resolution: 1920x1152 pixels 까지 가능 디지털 형식 Studio applications: 4:2:2 digitization format Broadcast applications: 4:2:0 format The frame refresh rate 4:2:2 format: 50/60 Hz 4:2:0 format: 25/30 Hz

디지털 TV [그림 3-24] 디지털 지상파 TV 수신형태