제2장 이미지 및 그래픽.

Presentation on theme: "제2장 이미지 및 그래픽."— Presentation transcript:

1 제2장 이미지 및 그래픽

2 이미지 기초 비트맵 이미지(bitmap Images) 객체(object)를 2차원이나 3차원의 공간상에 표현함
평면상에서 사각형 영역을 정의하는 함수 I(r,c) r행 c열 위치의 빛의 색상 및 강도 흑백 이미지 : gray level로 표현 8 비트 gray level : 0은 검정, 255는 흰색 컬러이미지 : 컬러 모델(RGB, YIQ, HIS, CMY)에 따라 표현 래스터(raster) 스캔 방식으로 순차적으로 저장 장점: 색상의 점차적인 변화를 표현하는 데 유리하여 사진이나 사실적인 그림을 정교하게 표현하는 데 적합하고 디스플레이 속도가 빠름 단점: 데이터 양이 많고 확대/축소가 자유롭지 않음 그래픽스 이미지(graphics image) 벡터 방식으로 표현: 이미지의 선, 곡선, 원 등의 구성요소를 수학적으로 표현함 출력될 때 프레임 버퍼에 픽셀의 배열 형태로 표현 장점: 데이터량이 적고 확대/축소가 자유로움 단: 디스플레이 속도가 느리고 정교한 묘사에 제한이 있음

3 그래픽/이미지의 벡터 형식

4 색의 인식 ~ 빛(light): 전자기파(electromagnetic wave)
빛의 속도(speed of light) = 파장(wavelength) x 주파수(frequency) c = f

5 색의 인식 ~ 감지된 빛의 특성 색조(hue, color): 우세한 주파수(dominant frequency)
채도(purity, saturation): 포화도(백색과의 혼합정도), pastel 색은 덜 포화됨 명도, 휘도(brightness, luminance): 빛의 강도(intensity of light) 복사 에너지(radiant energy) 색채(chromaticity) = 색조(hue) + 채도(saturation) 명칭 Rood: hue luminosity purity Hurst: hue brightness purity Wundt: tone lightness purity Rigway: wave-length luminosity chroma Munsell: hue value chroma

6 색의 인식 컬러의 가법 및 감법 연산 가법(additive)연산 : R(ed), G(reen), B(lue) 3색의 조합으로 구성된 방사된 빛을 눈이 인지 R + G + B = 흰색 감법(subtractive)연산 : 반사된 빛을 인간의 눈이 인식함으로써, 색을 인식 Cyan : Red의 보색(complementary color=혼합하면 1(백색광)) Magenta : Green 의 보색 Yellow : Blue의 보색

7 가법 및 감법 컬러 혼합

8 감법 컬러 혼합 (Subtractive Color Mixing)

9 디더링(dithering) 디더링(dithering) : 멀리 떨어져서 보면 흑백 공간이 혼합되어 회색으로 보이는 현상
디더링 패턴 R,G,B 1비트씩 총 3 비트 컬러 시스템 디더링 사용 않으면 8색 2x2 디더링 패턴 사용하면 5x8 색상

10 이미지의 표현 컬러모델 : 컬러의 부호화를 규정하는 절차
알파채널(Alpha channels) : 투명도(transparency) 지정 채널 수(Number of Channels) : 각 픽셀당 정보의 수(예, RGB는 3채널, CMYK는 4채널) 채널 깊이(Channel Depth) : 채널당 할당하는 비트 수(예, 1, 2, 4, 8) 인터레이싱(Interlacing) : 한 픽셀의 R,G,B 값 저장하고 다음 픽셀의 R, G, B값 저장 (cf.) 모든 R 값, 모든 G 값, 모든 B 값 저장 인덱싱(Indexing) : 색상컬러를 색상 참조표의 인덱스로 표현 화소종횡비(pixel aspect ratio) : 픽셀들의 너비대 높이의 비 압축 : 무손실(lossless) 압축과 손실(lossy) 압축

11 이미지 파일 포맷 BMP MS 비트맵 이미지 표준 헤더 데이터 크기 압축정도 색상 테이블 정보

12 이미지 파일 포맷 GIF 컴퓨서브에서 인터넷 상의 온라인 이미지 전송 위해 만든 이미지 파일 포맷
JPEG과 함께 인터넷 표준 이미지 파일 포멧 다중 블록 데이터 구조를 갖고 있음 영상들 사이에 출력 지연 시간을 둘 수 있음 웹 브라우저에서 지원하는 확장자를 사용, 루프 반복 가능 파일이 다운로드되는 도중에라도 다운로드되는 만큼 재생 가능 -> 스트리밍 애니메이션 표 2.1 참조

13 컬러모델 컴퓨터가 컬러를 인식하게 하는 방법 RGB 모델
컬러가 Red, Green, Blue 의 3색의 강도(intensity)를 규정짓는 세쌍 숫자로 표현 (R + G + B) = 1(흰색) 컬러 CRT 의 R, G, B 전자총의 전압으로 쉽게 맵핑될 수 있기 때문에 비디오 디스플레이 드라이버에 편리한 모델 CMY(cyan, magenta, yellow) 모델 감법(subtractive) 모델[C, M, Y] = [1, 1, 1] – [R, G, B] 컬러프린터에 좋은 모델 YIQ(YUV, YCrCb) 모델 휘도(luminance)-색상(chrominance; color difference) YIQ(NTSC), YUV(PAL, SECAM) 흑백 TV와의 호환(Y 신호가 gray level 제공) HSV 모델 색조(hue), 채도(saturation), 밝기 값(intensity value) 영상처리에 좋은 모델 CIE color space Commission Internationale de l'Eclairage에 의한 규격 휘도(liminence, Y)와 두 색상값(chrominance value; x, y)

14 그림 2.5 RGB 컬러 모델 RGB모델 RGB cube Amount of RGB primaries needed to display spectral colors (1, 0, 0)

15 CMY 모델 감법(subtractive) 공간 Cyan(청록색) : Red의 보색(complementary color)
Magenta(심홍색) Green의 보색 Yellow(노랑색) : Blue의 보색 컬러 프린터에서 흰색 바탕에 색을 뿌릴 때 CMY와 RGB 변환 공식: [C, M, Y] = [1, 1, 1] – [R, G, B] CMY로 만들어 내는 8색 최소 팔레트(minimum palette of 8 colors) Red : Yellow + Magenta Green : Cyan + Yellow Blue : Magenta + Cyan Yellow : Yellow Cyan : Cyan Magenta : Magenta White : - Black : Yellow + Cyan + Magenta CMYK: C+M+Y가 best black을 만들지 못하므로 K(pure black) 추가

16 CIE(Commission Internationale de l'Eclairage) 모델
RGB -> XYZ 컬러 모델(1931) XYZ: CIE 표준 원색(CIE standard primaries) X: fx Y: fy (luminous-efficiency function) Z: fz C = XX + YY + ZZ (X, Y, Z: CIE primaries에 적용된 weights) (X + Y + Z)에 대하여 정규화된 값(normalized amount)을 구하면 x = X/(X + Y + Z) y = Y/(X + Y + Z) z = Z/(X + Y + Z) x + y + z = 1, z = 1 - x - y 모든 색상은 x, y, Y(luminance) 값만 알면 표현 가능, 나머지는 아래와 같이 계산 (x/y, z/y) X = (x/y)*Y Y = Y Z = ((1-x- y)/y)*Y = (z/y)*Y

17 CIE(Commission Internationale de l'Eclairage) 모델
CIE chromaticity diagram (illuminant C: x=0.31, y=0.316, Y=100.0) Amount of CIE primaries needed to display spectral colors

18 정신 물리학 (Psychophysics)
Spectral-response functions of each of the three types of cones on the human retina Luminous-efficiency function for the human eye R +G + B 

19 YIQ 모델(YUV, YCrCb) RGB와 YIQ (NTSC)와의 변환 관계
Y(luminance: CIE의 Y) = 0.30R G B I(chrominance: orange-cyan hue) = 0.60R G B Q(chrominance: green-magenta hue) = 0.21R G B R = 1.0Y I Q G = 1.0Y – 0.272I – 0.647Q B = 1.0Y – 1.108I – 1.705Q RGB와 YUV (PAL, SECAM)의 변환 관계 Y = 0.30R G B U = (B-Y) × 0.493 V = (R-Y) × 0.877 R = 1.0Y U V G = 1.0Y – 0.272U – 0.647V B = 1.0Y – U – 1.703V RGB와 YCrCb (MPEG)와 변환 관계 Cr = R-Y Cb = B-Y RGB의 CIE coordinates (illuminant C: x=0.31, y=0.316, Y=100.0) Red Green Blue x y

20 HSV (HSB) 모델

21 컬러 모델의 비교 컬러모델 내용 CIE color space
컬러모델 내용 CIE color space ·Commission Internationale de l'Ecairage 에 의한 규격 ·다른 컬러 모델 조정(calibration)의 참조 모델 RGB ·컬러가 Red, Green, Blue의 3색의 강도(intensity)를 규정짓는 세쌍 숫자로 표현 ·컬러 CRT 의 R, G, B 전자총의 전압으로 쉽게 맵핑될 수 있기 때문에 비디오 디스플레이 드라이버에 편리한 모델이다. HSV/HSB ·컬러를 색상(Hue), 채도(Saturation), 명도(Value/Brightness)로 표현 YIQ YUV YCrCb ·텔레비전 산업에서 사용되는 컬러모델로 YIQ는 NTSC, YUV는 PAL, SECAM에서 사용되며, YCbCr 은 MPEG에서 사용하는 컬러 모델이다. ·Y 는 휘도(luminance), IQ, UV, CrCb 는 비디오 신호의 색상 부분을 형성하며, chrominance 라 한다. CMYK ·프린팅에서의 컬러 모델 ·Cyan(청록색), Magenta(심홍색), Yellow는 red, green, blue의 보색이며, 종이 위의 임의의 색은 이 색들의 잉크의 배합으로 표현된다. ·실제적으로 잉크들은 순수하지 않고, 특정잉크(‘CMYK'의 K)가 더 나은 블랙과 그레이를 표현하기 위해 사용된다.

22 이미지 획득 이미지 획득용 하드웨어 : 이미지 스캐너, 디지털 카메라, 아날로그 카메라
이미지 획득 : 광원, 촬영부, A/D 변환기가 필요함 비디오 카메라 CCD(Charge Coupled Device): 센서와 CMOS 센서를 사용하는 반도체카메라가 많이 쓰임 비디오 카메라의 출력: 표준적인 비디오 신호임 프레임 그래버(frame grabber) 장치 비디오 카메라 출력 신호를 받아 A/D 변환 디지털 이미지로 변환하고 이를 내부의 메모리에 저장

23 RGB 컬러 비디오 카메라

24 그림 2.7 래스터 디스플레이 시스템 구조 이미지 출력 래스터 디스플레이

25 그림 2.8 래스터 스캔 래스터 디스플레이 시스템 구조

26 모니터 비디오 데이터가 디스플레이 되는 장치 메모리, 레지스터를 갖지 않는 수동적인 장치
컬러 모니터 스크린의 각 픽셀 : R, G, B 3색의 인(phosphor) 입자로 구성됨

27 비디오 카드 해상도 : 비디오 카드가 모니터 스크린에 디스플레이 할 수 있는 픽셀의 수
색심도(color depth) : 비디오 카드가 만들 수 있는 색상 수 비디오 모드 : 컴퓨터가 모니터에 이미지를 그릴 수 있는 방법으로 텍스트 모드와 그래픽 모드로 구분 속도 : 고속처리를 위해 동시에 읽고 쓸 수 있는 듀얼포트 RAM(dual port RAM)을 사용하며 별도의 비디오 처리 프로세서를 갖는 것이 보통

28 비디오 카드 모드 비디오 카드 모드 내용 Monochrome Display Adapter(MDA), 1981
IBM-PC 표준, 모노크롬, 텍스트 전용, 25 라인 × 80 컬럼 Color Graphics Adapter(CGA), 1981 컬러 그래픽, 320×200(4 컬러) 640×200 (2 컬러) Hercules Graphics Card(HGC), 1982 모노크롬 그래픽, 720×348 Enhanced Graphics Adapter(EGA), 1985 컬러그래픽, 64 컬러 팔레트, 640×480(16 컬러), 자체 Video BIOS 지원 Video Graphics Array(VGA), 1987 컬러그래픽, 640×480(16 컬러) 320×200(256 컬러), 아날로그 컬러 신호, own Video BIOS 지원 Super VGA(SVGA), 1989 컬러 그래픽, 800×600(16 컬러)* (*현재, 1024×768(24비트 컬러) 까지 지원)

29 이미지 전송 이미지 전송 요구사항 이미지 전송은 버스티(bursty) 하므로 네트워크는 버스티 데이터 전송을 수용해야 함
이미지 전송 요구사항 이미지 전송은 버스티(bursty) 하므로 네트워크는 버스티 데이터 전송을 수용해야 함 이미지전송은 신뢰성 있는 전달(reliable, connection-oriented transport)을 요구함 시간 종속성(time dependency)은 이미지에서의 주요한 특성이 아님 이미지 데이터 전송 원 이미지 데이터 전송 이미지 크기 = 공간 해상도 × 픽셀 양자화 크기 압축된 이미지 데이터(compressed image data) 전송 JPEG이나 MPEG 방법을 이용하여 압축 심볼 이미지 데이터(symbolic image data) 전송

30 그래픽스(Graphics) 2D 그래픽 : 모델로부터 필요한 기하학적 변환 등을 거쳐 디스플레이 장치의 뷰포트(viewport)에 출력 3D 그래픽 : 모델로부터 사실감 있는 그림을 만드는 과정을 흔히 렌더링(rendering)이라 하는 데, 물체의 원근, 음영, 질감 등의 표현을 위해 렌더링 과정을 수행함 그래픽스 소프트웨어 하드웨어 종속적인 패키지로부터, 응용 프로그램의 호환성을 위하여, 장치 독립적인 고급 패키지로 발전해 옴 법적 표준 (de jure) GKS (Graphical Kernel System) : 2D GKS-3D PHIGS (Programmer’s Hierarchical Interactive Graphics System) : 3D PHIGS+ : PHIGS + rendering SPHIGS (Simple PHIGS) 업계 표준 (de facto) Adobe사의 PostScript Silicin Graphics사의 OpenGL, MIT의 X Window System, PEX (PHIGS Extension to X) SRGP(Simple Raster Graphics Package) 윈도우즈에서의 그래픽스 구현 응용 프로그래머를 위해 하드웨어 독립적인 GDI(Graphics Device Interface) 제공 그래픽 속도가 중요한 응용을 위해, DirectDraw(2D 그래픽만 지원), Direct3D(3D 그래픽 지원), OpenGL을 제공함

31 윈도우즈 그래픽 지원 구조

32 대화형 그래픽스 시스템 프레임워크 컴퓨터 그래픽스 : 컴퓨터를 이용하여 실제 그림이나 수학적인 모델과 같은 고차원의 추상적인 그래픽들을 생성, 저장, 처리 대화형 그래픽스 시스템 : 사용자가 컴퓨터와의 상호작용을 할 수 있는 키보드, 마우스, 스캐너 등과 같은 장치를 이용하여 디스플레이 상에서 그래픽스의 내용, 포맷, 크기, 컬러 등을 제어할 수 있는 시스템 응용모델(application model) : 스크린 상에 그려질 데이터나 객체를 나타냄 응용 프로그램(application program) 화면에 그려질 데이터와 객체를 나타내는 응용모델 제작: 정보 저장 및 정보 획득, 사용자의 입력처리 그래픽스 시스템(graphics system) 상세 그래픽 기술(description)에 따라 그림 생성 사용자 입력을 응용 프로그램에게 전달함 입력 및 출력에 대한 변환기능 수행

33 윈도우(window)과 뷰포트(viewport) 개념
세그먼트, 구조 : 하나의 그룹으로 분류되어 레이블이 붙은 일단의 출력 요소

34 3차원 그래픽스의 개념 2D + 원근, 음영, 질감(texture) 처리 등 복잡한 고속 연산
면 단위로 처리되어 최종적으로 다면체 데이터 생성 처리 픽셀의 수: 프레임 당 면의 수 * 면 당 픽셀 수 * 프레임 수 3D 그래픽스 처리 모델링: 스크린 상에 그려질 객체와 데이터 생성 (CPU) 기하처리: 시점, 광원, 스크린 정의 , 투영 (CPU) 랜더링: 은면 제거,음영 및 색상 처리, 질감 처리 (3D 엑셀레이터)

35 3D 그래픽스 하드웨어 시스템구성의 예

36 3D 그래픽 개념 ~ 1) 3D에서 뷰잉(Viewing in 3D) : 기하 처리
① 투영양식 설정(specification of projection) : 3D를 2D로 원근 투영(perspective projection) 평행 투영(parallel projection) ② 뷰잉 매개변수 결정 : 뷰포트 위치 결정 ③ 3D 에서의 절단(clipping) ④ 투영과 디스플레이 : 투영된 것을 뷰포트로 변환 (cf.) 2D 뷰잉 세계 좌표계에 존재하는 물체들이 세계 좌표계의 윈도우로 절단되고 디스플레이를 위해 뷰포드로 매핑됨

37 3D 그래픽 개념 2) 은면(Hidden surface) 및 은선(Hidden edge) 제거 연산시간은 물체 수의 2배에 비례 Z 버퍼 방법 : 실제 픽셀의 값 (R, G, B) 외에 각 픽셀의 깊이 Z 값을 보존함 3) 음영(Shading) 및 색상 현실감 있는 물체의 그래픽을 위해 음영과 색상 패턴을 적용시킴 음영 모형 : 물체의 표면을 바라볼 때의 빛의 광도 계산 (면의 광학적 성질, 면의 상대적인 위치 및 광원에 대한 방향이 고려됨) 4) 텍스처링(Texturing) : 면에 재질감을 내는 것 텍셀(Texel; 텍스쳐 맵 데이터의 픽셀) 정보 + 음영처리된 픽셀정보  프레임 버퍼  디스플레이 point sample texturing, bilinear texturing 등

38 그래픽 표현 1) 곡선 및 곡면의 표현(모델링) 수학식 이용 : 정현파 곡선(y = sin x) 이용
사용자가 지정한 점들을 이어 만듦 베지어 곡선(Bezier curve) 스플라인 곡선(spline curve) 방식 곡면 표현방법 다각형 메쉬 곡면(polygon mesh surface) 매개변수 곡면(parametric surfaces) : 3차원 곡면 x(s,t) = r sin (s) cos(2t) y(s,t) = r sin (s) sin(2t) z(s,t) = r cos (s) cos(2t) 2차 곡면(second-order surfaces) : 구면 (x – a)2 + (y – b) 2 + (z – c) 2 – r 2 = 0 불규칙한 곡선과 면 재생 프랙탈(fractal) 기하학 이용 재귀적 과정을 무한히 반복 복잡한 곡선이나 면을 같은 모양을 갖는 선 또는 면들의 축소 또는 확대를 이용하고 이들을 조합한 형태로 표현함 2) 3차원 입체 표현(Solid Modeling ) 캡쳐에 의한 3D 모델링 다각형면 또는 곡면들을 모아서 근사법으로 그리는 방식 3D 입체를 2D 곡면의 회전으로 형성

39 프렉탈: Deterministic IFS(Iterated Function System) 예1

40 프랙탈: Deterministic IFS(Iterated Function System) 예2

41 프랙탈: Random IFS(Iterated Function System) 예3
for n=1 to numits /* 같은 확률로 1, 2, 3 중 하나 선택 */ k = int (3 * rnd – ) +1 /* affine transformation */ newx = a[k]*x + b[k]*y + e[k] newy = c[k]*x + d[k]*y + f[k] x = newx y = newy if n > 10 then pset (x,y) iterations next end w a b c d e f P 1 0.16 0.01 2 0.85 0.04 -0.04 1.6 3 0.2 -0.26 0.23 0.22 0.07 4 -0.15 0.28 0.26 0.24 0.44

42 기하 변환의 이해 1) 2차원 변환 2차원상의 어파인변환 (Affine transformation) : 한 점 p=(x , y ) 를 2차원 어파인 사상(Affine mapping, 2차원 어파인 변환식은 교재 표 2.4 참조)에 의해 p'=(x' , y') 로 바꾸어 주는 변환 2) 3차원상의 좌표변환 3차원 어파인 변환 : 3차원상의 한 점 p=(x, y, z)를 형태의 3차원 어파인 사상(3차원 어파인 변환식은 교재 표 2.5 참조) 에 의해 또 다른 한 점 p'=(x', y', z')로 바꾸어 줌 그래픽 파일 포맷: 표 2.6 참조

43 기하 변환의 이해 ~

44 기하 변환의 이해 ~

45 이미지 처리 이미지 개선 (enhancement) : 왜곡된 이미지를 처리하여 특정 응용에 적합한 이미지를 생성
이미지 복원 (restoration) : 원래의 이미지 대로 복원 이미지 분할 (segmentation) : 관심 있는 객체를 이미지로부터 분리 이미지 분석 (analysis) : 이미지로부터 유용한 정보를 추출 이미지 합성 (synthesis) : 새로운 이미지를 합성 이미지 인식 (recognition) : 이미지 안의 관심 있는 객체를 인식

46 이미지 개선 (Image Enhancement) ~
콘트라스트 개선(Contrast Enhancement) 콘트라스트 : 이미지의 특정 영역에서 그레이 레벨 값의 차이나 휘도의 차이를 말함 콘트라스트의 조정 g(x,y)= T[f(x,y)] 와 같은 선형 또는 비선형 변환 T(예, log 변환)를 통해 변경 히스토그램 h(g) (휘도 값 g를 갖는 픽셀들의 개수) 균일화(histogram equalization) 방법 공간 필터링(spacial filtering)을 통한 이미지 개선 공간 필터링 : 입력 이미지를 공간 필터에 통과시켜 출력된 이미지를 개선시킴 잡음이 있는 이미지 : 저주파 통과 필터(low pass filter)에 통과시켜 잡음의 영향을 줄임 이미지에 있는 세세한 자세함 : 고주파 통과 필터(high pass filter)에 통과시켜 더 강화(sharpening) 시킴 1/9 -1 8

47 이미지 개선 (Image Enhancement)
에지 개선(edge enhancement) 에지를 검출하고, 이를 분명하게(sharpening) 하는, 또는 낮은 콘트래스트를 갖는 에지를 보다 선명하게 보이게 하고자 하는 작업 에지 검출 방법 1차 미분 값을 이용하는 방법: 값(밝기 변화)이 큰 부분이 에지 f’(x) : f(x)의 증감상태 f’(x)=0 : 최소 또는 최대 값 2차 미분 값을 이용하는 방법 f’’ (x) : f(x)의 증감상태 f’’(x)=0 : 변곡점

48 이미지 분할(Segmentation), 분석(Analysis) 및 인식(Recognition)
1) 영상 분할의 단위 : 픽셀, 블록, 쿼드트리(quad tree) 등 2) 영역의 특징 픽셀별 분할의 경우 : 픽셀의 명도값, 색상값, 명암 그래디언트의 방향이나 크기 등 블록형태의 영역인 경우 : 블록내의 픽셀의 평균 휘도, 휘도의 분산, 2차원 직교변환 계수, 파워스펙트럼 등 3) 이미지 분할의 방법 입력 이미지에 대해 클러스터링을 이용하는 방법 특징공간에 있어 클러스터링을 이용하는 방법 입력 이미지의 에지를 이용하는 방법 무늬 해석 이미지 분석 (Analysis) : 이미지로부터 유용한 정보를 추출함 이미지 분석의 목적 : 이미지의 특징들을 수치화하여 이미지를 이해함 이미지 인식(Image Recognition) 이미지 내의 관심 있는 객체를 인식하는 작업

49 클러스터링 1 2 3 4 5 1 2 3 4 5 (a) Image array (b) difference<3 (c)
1 2 3 4 5 5 6 7 1 8 2 a b a (a) Image array (b) difference<3 (c) difference<8

50 이미지 인식 단계 디지털화 잡음억제 에지검출 에지연결 (픽셀집합) 특징추출 (중심, 면적 등) 템플릿 매칭