디지털 영상처리 목포과학대학 방사선과 오 태 석

디지털 영상처리의 시초 디지털 영상처리(digital image processing)는 1964년 미국의 캘리포니아에 있는 제트추진연구소에서 시작된 것으로 알려지고 있다. 달 표면을 찍은 위성 사진의 화질(image quality)을 개선하기 위해 디지털 컴퓨터를 사용하면서 디지털 영상처리라는 분야가 나타났으며 그 이후 이 분야는 통신, 방송, 출판, 그래픽스, 의학 및 과학분야 등에서 급속한 확장 및 이론의 개발·적용이 이루어졌다.

디지털 영상처리의 역사 - 1950년대 영상처리 이론 개발 및 군사적 연구 시작. - 1960년대 인공지능연구와 함께 미국을 중심으로 block world를 대상 으로 한 선화해석, 3차원 정보 추출 연구. - 1970년대 전반 실세계 물체 인식, 장면해석, 공업용 응용에 관한 연구 및 가전제품 응용 연구 시작 - 1970년대 후반 2차원 영상처리 범용장치 출현. 반도체 제조공정의 자동화를 중심으로 기술의 실용화. Structured Light, Stereo Image를 이용한 3차원 인식 연구출현. - 1980년대 실용화시대. VLSI를 이용한 전용프로세서 제작. 고속병력처리 시스템 개발. 동영상 이용. - 1990년대 영상의 표준화시대, PC 기반 각종 응용 소프트웨어 개발, 멀티미디어 및 네트워크 응용 시스템 개발

기술의 변화 추세 영상처리 기술의 변화 추세 - 환경변화 전용시스템 중심에서 PC중심의 일반화 - 사용주체 전문가 중심에서 일반 사용자 중심으로 - 응용분야 제한적 영역(공장자동화)에서 광범위적 영역 (인터넷 응용)으로 - 처리대상 흑백, 정지영상에서 컬러, 동영상으로 - 기술변화 신호처리 이론에서 생체이론 및 시각 특성을 고려한 지능형 처리로

영상처리 어플리케이션들 과학과 우주 - NASA 위성통신 : 데이터전송은 정전기와 태양에 의해 차단되며 영상의 질이 떨어진다. 재구성과 필터링의 기술들은 잡음을 제거하고, 영상의 잃어버린 부분을 복원시키는 기술 - 전자현미경 검사, 지진 관측, 의료진단 영 화 - 영상 합성   ① Forrest Gump에서 주인공 미국 대통령과의 악수        ② 소규모 단위 관중들을 복제  --> 많은 관중        ③ 전선줄, 얼굴의 주름, 원하지 않는 구경꾼의 제거        ④ 터미네이터의 오터바이 추락신 : 완전한 추락을 위해  선을 사용 :  선을 제거

종이 없는 사무실 Document Image Processing (DIP, 문서영상처리) : 문서의 ASCII 코드 텍스트화     --> 광학 문자인식( OCR : Optical Character Recognition )     - 병원에서의 자료( 수천의 의료 영상들, 보험 양식들, 수술기록들, 직원과 환자기록 )      - 은행 ( 영수증, 대부관계 어플리케이션, 구좌의 대차표 )     - 행정기관 ( 재산, 권리 증명서,  투표자 기록양식, 출생, 혼인, 사망 증명서 )

OA용 영상처리 - 사무자동화(Office automa- tion) 분야에서 영상을 처리하는 것으로 가장 일반적인 응용분야는 OCR (Optical Character Recognition)이다. - 대부분의 스캐너는 내부에 문자 인식용 S/W를 가지고 있으며 스캔한 문서의 영상을 해석하여 자동으로 문자를 입력하는 것이 가능하다. - 주로 흑백 이진 영상(binary image)이 취급대상이 된다. - CAD도면의 자동입력이나 우편번호를 인식하여 편지를 자동으로 분류하는 시스템 등이 상용화되어 있다. OCR에서의 자동 문자 분리의 예

의료산업 X-ray, 초음파 영상 Computed Tomography (CT) 또는 Computer-Aided Tomography (CAT )  : 척추, 머리, 골반과 같은 뼈의 상태를 진단  자기공명 영상기술 ( MRI , Magnetic Resonance Imaging ) : 척추와 심장 같은 얇은 조직을 볼 수 있게 해줌  Positron Emission Tomography (PET) : 신체의 화학적, 물리적 처리 과정을 측정  Magnetic Source Imaging (MSI) : 생각하고 운동하는 동안 두뇌에서 발생하는 극소의 전기신호를 감시 척추가 왼쪽으로 오른쪽으로 굽는 병인 척추 측곡의 검출 X-ray에 비해 장점 ( 방사능의 부작용 갖지 않는 할로겐 광선 사용,  저렴) 이 모든 영상들이 컴퓨터에 저장되어 있으면 의사들은 흥미가 있는 부분을 집중하여 볼 수 있도록 확장과 조작을 할 수 있다.

의료용 영상처리 - 이 그림은 사람의 머리를 단층촬영한 MRI(Magnetic Resonance Image)의 한 예를 보여주고 있다. - 연속적으로 획득한 MRI영상의 각 단면 영상을 해석하여 인간의 뇌나 생리조직을 분리하고 연속 단층 영상에서 이를 합성하면 인간 뇌의 3차원 형상을 얻는 것이 가능하다. - 이와 같이 영상처리는 의료용 시스템에서 중요한 역할을 담당하고 있다. X-ray영상 등에서 필요한 부분만을 부각하여 표현하기 위한 영상처리도 가능하다. MRI의 연속 단면 영상의 해석

위성사진의 처리 - 위성사진의 처리는 일반적으로 가시화를 증가시키기 위한 영상 복원(image restoration)분야 에서 많은 연구가 진행되었다. - 최근에는 군사용이나 해양, 기후 조사 등의 목적의 위성사진에서부터 지형의 3차원 형상을 자동으로 추출하거나 특정 위치 자동 발견 등에 대한 연구까지 빠르게 진행되고 있다. - 자원, 기상정보, 농업, 어업, 환경오염,도시계획 등의 많은 상업용 응용분야가 있다. 위성사진에서의 지형 인식

FA (factory automation)용 영상처리 - 자동화용 영상처리는 영상처리가 실용적으로 가장 잘 적용되는 분야 중의 하나이다. - 공장에서 부품결함의 자동 검출이나 마크의 인식, 반도체 웨이퍼의 결함검사나 조립을 위한 위치정합 등의 목적으로 이용되고 있다. - 이러한 분야의 영상처리를 머신비전(Machine vision)이라고도 한다. - 이 그림은 금속면의 결함을 자동으로 추출하여 불합격 여부를 판정하는 시스템의 한 예를 보여주고 있다. 공장자동화에서의 영상처리

영상처리응용 영상 모핑(morphing) 영상 워핑 하나의 영상에서 다른 영상으로의 변화 - 터미네이터2 T-1000의 변신 : 커다란 칼을 가진 물체, 리노늄 바닥으로 변형, 구치소 창살의 통과     - 광고 : 달리는 차를 달리는 호랑이로 변형     - 변형 : 검은 팬더곰에서 자신으로 영상 워핑      영상의 일부분을 변형 ( 배우의 키를 크게 하거나 작게 하거나 더욱 홀쭉하게 더욱 뚱뚱하게 )      - 기하학적인 변형에 의한 일그러짐의 복구 - 행방불명의 아이를 찾는데 사용

방송·영화에서의 영상처리 - 방송, 영화는 엔터테인먼트산업의 하나로 일찍부터 영상처리가 사용되어온 분야이다. - 방송, 영화는 엔터테인먼트산업의 하나로 일찍부터 영상처리가 사용되어온 분야이다. - 뉴스에서 일기예보는 영상처리가 사용된 전형적인 예이다. - 블루스크린(blue screen)에서 아나운서를 찍은 후, 아나운서 영상을 위성 영상에 겹쳐서 보여주는 기술은 방송에서 영상처리가 사용되는 한 예이다. - 이그림은 영화에서의 영상처리의 한 예를 보여준다. 컴퓨터 그래픽 기술과 영상처리 기술이 결합하여 환상적인 장면을 만드는 것이 가능하다. 영화에서의 영상처리

자동 영상 인덱싱 - 멀티미디어 시대를 맞이하여 인터넷을 통한 네트웍 환경이 일반화되었다. 누구나 저렴하게 인터넷을 통하여 원하는 정보를 얻어올 수 있다. - 비디오(video) 및 정지영상은 인터넷에서 정보와 오락을 위해 가장 일반적으로 사용되는 핵심 정보이다. - 영상 인덱싱(image indexing)은 인터넷에 있는 이미지데이터나 동영상을 뒤져 필요로 하는 정보를 포함하는 영상데이터를 자동으로 찾아오는 기술이다. 영상 인덱싱을 위해서는 영상이 담고 있는 내용인 콘텐츠를 자동으로 해석하는 기술이 필수적이다. - 이그림은 서로 유사한 내용을 가지는 영상을 인터넷에서 자동으로 탐색한 결과를 보여준다. 대부분의 영상은 배경에 하늘을 가지고 있는 풍경을 찍은 영상을 나타내고 있다. 유사한 특징을 가지는 영상들

고화질의 영상압축 및 통신 - 대량의 데이터를 가지는 영상정보를 효율적으로 전송하기 위해서는 영상 화질의 열화를 최소화하면서 고속으로 많은 데이터 양을 전송할 필요가 있다. - JPEG, MPEG-I, II, IV등의 영상 압축 및 전송에 대한 국제 표준화 규격이 이미 정해졌으며 이 표준을 따르는 많은 상업용 기기들이 판매되고 있다. - 좀더 효율적으로 고용량의 영상데이터를 압축하는 알고리즘의 개발에 대한 연구가 폭넓게 진행되고 있으며 Wavelet, DCT, Motion분석, Object기반 영상압축 등의 기술이 발표되고 있고, - 이러한 연구분야는 영상처리의 중요한 응용분야를 차지하고 있다.이그림은 영상압축의 가장 기본인 DCT(Discrete Cosine Transform)를 이용한 영상압축과 복원에 대한 예를 보여주고 있다. DCT를 이용한 영상압축과 복원

다른 영상처리 어플리케이션 사진관의 영상편집, 지도제작 원격탐사기술과 영상처리기술의 결합 지도제작  원격탐사기술과 영상처리기술의 결합 해양 오염 영향 및 감시, 수자원 관리, 산의 눈사태 쿠웨이트 석유지역에 가한 이라크의 공격에 의한 피해 정도의 산출 날씨의 패턴을 연구  => 일기예보 등

머신비젼 ( machine vision ) 획득한 영상 데이터가 제조공정을 제어할 수 있도록 처리하는 산업기술 초기용도 : 검사와 조립라인들의 자동화 전기 기판의 인쇄 회로의 결함 점검 기계  포드 자동차 회사 : 54개의 문짝을 식별 ( 오류율 0.03%, 수작업검사 : 15-30%) 주류회사 : 빈 병에 불순물이 들어있는지 판별 방범회사 : 도둑이 들어오는지 화면제어

법 집행 FBI 는 케네디 대통령의 암살시 찍은 수천장의 필름 프레임들에서 특징을 강화시키고 연구하는데 영상처리 기술을 사용 지문검사( 지문데이터는 영상분석 시스템에 의해 기존의 지문 데이터 베이스와 비교) 지문분석 : 제한구역, 컴퓨터 시스템에 접근할 권한 없는 사람에 대한 출입 방지를 위한 보안 시스템 경찰서 영상편집 소프트웨어 : 머리카락의 색, 머리의 길이, 수염의 첨가하여 얼굴영상을 변화( 용의자 식별)

인간의 시각계 눈-두뇌 기관의 여러 특성과 한계를 이해하는 것이 디지털 영상처리 작업의 유효성 확대에 도움 각막(cornea) 광선의 초기 초점 형성, 안구의 보호막    홍채(iris)   빛의 량 조절기능, 낮에 작게, 밤에 크게 수정체(lens) 상을 망막에 맺게 하는 볼록 렌즈 역할, 초점길이 조절 가능 망막(retina)   영상 감지 기관, 간상체와 원추체로 분포 황반(fovea) 가장 깊이 들어간곳을 중심와라 한다. 그림. 눈의 구조

감각기관 (photoreceptor) 간상체 (rod) 망막에서 가장 풍부하게 존재하고 빛의 밝기에 민감 색광 스펙트럼의 넓은 영역에 반응하므로 색상을 분별 불가 밤과 같이 빛이 적을 때 주로 이용 (약 1억개) 그림. 간상체에 대한 응답곡선

감각기관(photoreceptor) 원추체(cone) 숫자에 있어서 간상체보다 적게 존재하며 빛의 밝기에 둔감 (약 600만개) 낮과 같이 밝은 상황에서 이용 세 가지 각각의 원추체는 색광에 따라 서로 다른 고유의 스펙트럼 영역에 반응 안구와 뇌가 삼색 분해 통하여 색을 구분 그림. 원추체에 대한 응답곡선

감각기관(photoreceptor) 간상체와 원추체의 분포 원추체 : 망막의 중심와 부분에 집중 분포 영상의 정면 부위에 대한 색상 인지 최상 주위의 색상 인지 둔감 어두운 곳에서의 색상 인지 곤란 간상체: 중심와에는 부재, 중심와 근방에 집중되어 분포하나 전반적으로 분포 어두운 곳에서 정면 주변의 세부 밝기 인지 양호

눈에서의 영상처리 그림. 영상의 처리 및 인식 과정 모델

Weber의 법칙 안구에 들어온 빛의 밝기와 인지된 밝기간의 관계는 선형이 아님. 어두운 영역에서 약간의 밝기 변화는 밝은 영역에서의 동일한 약간의 변화보다 더 잘 인지한다 밝기 응답은 영상의 밝은 영역에서보다는 어두운 영역에서 밝기의 변 화에 더 민감 하다 그림. 눈의 대수학적 명암도 반응

Weber의 법칙 그림. 동일 명암도일 때의 회색 음영단계 그림. Logarithm적 명암도일 때의 회색 음영단계

그림. 서로 다른 명도를 가지는 Bar들의 실제 명암도와 인지 명암도 측면억제(lateral inhibition) 동시대비와 mach band 효과 그림. 동시적 대비 그림. 서로 다른 명도를 가지는 Bar들의 실제 명암도와 인지 명암도

컬러영상정보를 인지하는 방법 3가지 지각 변수 색상 (hue) 채도 (saturation) 명도 (brightness)

색상(hue) - 우리가 컬러라는 단어의 사용은 보통 색상을 의미 - 색상 : 색깔의 식별        다양한 파장이 관측자에게 쬐어줌으로써 받아들여지는 컬러에 대한 느낌이다.       -   청색 : 430과 480나노미터 파장 중에서 가장 느낌이 강력하다.  -  노랑색 : 570-600 나노미터  -   적색 : 610 나노미터 이상으로 분류됨  -   흑색, 회색, 백색은 색깔을 가진다고 하지만 색상은 없다.

채도 (saturation) - 채도 : 백색으로 희석되지 않은 색깔의 정도     순수한 색상에 첨가되는 자연 색깔의 양이 증가할 수 록  채도는 감소한다. -  채도는 색깔이 얼마나 순수한가를 의미하기도 한다.       - 채도가 약한 색깔은 색이 바래거나 희미해져 보이며, 채도가 강한 색깔은 뚜렷하고 활기가 넘쳐 보임 - 붉은색은 채도가 가장 높은 색인 반면에  분홍색은 채도가 떨어진다. - 순수한 색깔은 100% 채도를 가지며 백색이 전혀 섞이지 않은 것 이다

명도 (brightness) - 명도 : 빛이 물체에 반사되어 느껴지는 강도로 이것은 백색에서부터 회색을 거쳐 흑색까지의 모든 범위를 의미함 이러한 범위를 명암도(그레이 레벨)라 함 - 대비(contrast) : 영상의 어두운 영역으로부터 가장 밝은 영역의 범위 - 높은 대비를 갖는 영상 : 어두운 영역과 밝은 영역의 범위가 크다. 영상의 대비가 증가하면 관찰자는 더욱 상세하게 볼 수 있다.

RGB 컬러 모델 검정색 :원점 입방체의 반대쪽 : 흰색 명암도 : 검정색에서 흰색으로 이어지는 선을 따라 표현됨 입방체의 반대쪽  : 흰색 명암도 : 검정색에서 흰색으로 이어지는 선을 따라 표현됨 24비트 컬러 그래픽스시스템 : 빨강색 ( 255 , 0 , 0 ) 컬러입방체 : 빨강색 ( 1 , 0 , 0 ) 명암도 = 0.299R + 0.587G + 0.114B ==> 흑백 프린터 하드카피 [ NTSC (TV방송 규격 심의회) 표준 ] 명암도 = 0.333R + 0.333G + 0.333B( RGB --> HSI 컬러공간으로의 변환에 사용)

CMY / CMYK 모델 CMY 컬러 스페이스 : 청록색(cyan), 자홍색(magenta), 노랑색(Yellow)          RGB 컬러공간과는 반대의 공간 CMYK : 프린팅 업계에서 청록,자홍,노랑 이외에 검정색(BlacK)을 추가    (청록, 자홍, 노랑은 빨강, 초록, 파랑색의 각각의 보색) ▶ RGB ---> CMY 변환   C = 1 - R   M = 1 - G   Y = 1 - B  ▶ CMY  --> RGB 변환    R = 1 - C    G = 1 - M    B = 1 - Y

HSI 모델 HSI : Horizontal Situation Indicator (평면 상황표사기) 색상, 채도, 명도 모델 원통 모양의 좌표계로의 모형화 (이중 원뿔 모형을 사용) 색상 : 0도에서 360도 의 범위를 갖는 각도 채도 : 0에서 1까지의 범위를 가지는 반지름에 해당 명도 : Z축에 해당 (0일때 검정색, 1일때는 흰색)   S = 0 일 때, 컬러는 명도 I의 명암도를 가짐  S = 1 일 때, 컬러는 원뿔기반의 모형의 꼭대기 가장자리에 위치 채도가 강할수록 그 컬러는 흰색/회색/ 검정색 이 된다.

디지털 영상처리 - 디지털 영상처리란 사진정보(아날로그정보)를 “디지털정보”로 전환한 후, “디지털 컴퓨터”에서 처리한다는 의미이다. - 디지털 영상 분석이란 디지털 영상 분석(digital image analysis)이란 디지털 영상 안에 담긴 내용(content)을 묘사하고 인식하기 위한 작업을 의미한다. - 디지털 영상 분석 시스템의 입력은 디지털 영상이며 출력은 상징적 영상묘사(symbolic image description)이다. 이러한 영상분석 기술은 인간의 눈(eye)의 기능을 모방한다. 컴퓨터비전(computer vision)이라고도 알려진 이 기술은 다름아닌 영상 분석의 측면에 대한 디지털 영상 연구이다.

영상처리 방법 광원 물체 영상 카메라 디지타이저 디지털 신호 광학적 영상형식 아날로그 영상형식 전기 신호 디지털 영상형식 물체에서 반사된 빛 영상 카메라 디지타이저 디지털 신호 광학적 영상형식 아날로그 영상형식 전기 신호 디지털 영상형식

디지털 영상의 종류 - 디지털 영상 수평과 수직으로 구성되는 2개의 좌표축 x 와 y에 의하여 표현되는 2차원 정보 - 디지털 영상 수평과 수직으로 구성되는 2개의 좌표축 x 와 y에 의하여 표현되는 2차원 정보 - 이진 영상    각 화소가 0 ( 어두운 부분)과 1( 밝은 부분)의 값만 갖는 영상 - 그레이 영상     빛의 세기를 더 세밀히 양자화하기 위해 픽셀당 여러비트를 사용하여 얻은 영상 픽셀당 8비트를 할당하면 0(검은색)에서 255(흰색) 까지의 값을 가질 수 있음

디지털 영상의 종류 - 컬러영상    R, G, B 각 8비트  > 2^8 * 2^8 * 2^8 =16,777,216 ≒ 약 1680만 색 이것은 인간이 눈으로 구분할 수 있는 충분한 개수이므로 R,G,B에 8비트를 할당한 24비트 컬러영상을 실제 컬러영상(true color image) - 의사(모조) 컬러 ( pseudo color ) 표현   인간 관찰자의 영상해석을 돕기 위해 관심 영역의 명도를 강조하기 위해 때때로 쓰이는 유용한 기법

정지영상의 데이터 양 = (수평방향 픽셀 수) * ( 직방향의 픽셀 수) * (픽셀당 비트 수) 디지털 정지영상의 데이터 양 정지영상의 데이터 양 = (수평방향 픽셀 수) * ( 직방향의 픽셀 수) * (픽셀당 비트 수)  예) - 512*512 8비트 그레이 영상의 크기   512 * 512 * 8 =2097152 비트 = 256KB ( 텍스트 문서 100 페이지 분량)      -  R,G,B 각 8비트를 갖는 컬러영상의 경우       512* 512 *(8 * 3) = 6291456 비트 = 786KB

동영상 데이터 양 = (수평방향 픽셀 수) * (수직방향의 픽셀 수) * 디지털 동영상의 데이터 양 동영상 데이터 양 = (수평방향 픽셀 수) * (수직방향의 픽셀 수) * (픽셀당 비트 수) * (초당 프레임 수)    512*512 8비트 그레이 영상을 초당 10개 처리할 때 1분동안 처리하는 데이터 량   ==>  512 * 512 * 8 *10*60 =150MB ( 텍스트 문서 약 60,000 페이지 분량)

디지털 영상의 파일 저장 형식 - 필요성 : 영상처리 장치 사이의 영상 데이터 호환 - 필요성 : 영상처리 장치 사이의 영상 데이터 호환       서로 다른 장치간에 영상정보를 공유, 교환하기 위해 상호간에 약속 된 표준 이 필요 - BMP 파일 형식   마이크로소프트사의 페인트블러쉬에서 지원하는 방식  간단한 런의 길이 압축을 제공하지만 대부분 압축되지 않는 형식을 사용하므로, 압축을 풀 필요가 없어 데이터의 입출력 속도가 빠르며 이용하기가 편리하지만 파일의 크기가 커진다. - PCX 파일 형식    흑백과 컬러를  지원,  헤더는 128바이트이며 데이터는 라인 단위로 런 길이 코딩 (run length coding)을 한다.

디지털 영상의 파일 저장 형식 - GIF  파일 형식 GIF ( Graphics Interchange Format )는 미국의 통신 네트워크인 컴퓨터서버에서 1987년에 데이터 전송 및 화상 압축과 복구 등을 위하여 규정한 방식. LZW ( Lempel Ziv Welch ) 압축방식을 사용하여 압축율과 빠른 실행 속도를 가진다. - TIFF (Tagged Image File Format ) 파일 형식 어떤  형식의 영상이라도 기술할 수 있고, 저장 형식의 확장이 가능. TIFF 파일은 2^32 까지의 바이트들의 연속으로 이루어지며 각각의 바이트들은 태그이거나 데이터이다. 단일한 표준 파일 형식을 갖지 못해 업체간에 서로 다른 태그를 사용 고정 파일 형식에 비하여 복잡하고 구현이 어렵다.

디지털 영상의 파일 저장 형식 - JPEG ( Joint Photographic Expert Group )   하나의 무손실 방법과 세가지 손실 압축 방법이 있음  압축율이 보다 큰 기법들은 무손실 JPEG 방법보다는 손실 JPEG 방법을 사용하므로  무손실 JPEG 의 구현은 거의 존재하지 않음 인간의 비젼 시스템 한계의 장점을 취함 (인간의 눈은 컬러 영상에서의 조그만 변화보다는 밝기의 조그만 변화를 인지하므로 JPEG이 어느 정도 컬러상 정보를 제거할 수 있게 함) 효율적인 압축율 (1/20) 고주파 자료가 여과되므로, 모난 에지들로 구성된 영상에서는 잘 수행되지 않음

비트맵 방식의 그림 - 비트맵 방식은 픽셀이라고 부르는 작은 점(화소)들을 이차원으로 정렬해서 그림을 표현. - 비트맵 방식은 픽셀이라고 부르는 작은 점(화소)들을 이차원으로 정렬해서 그림을 표현. - 각각의 픽셀은 숫자로 표현되는 고유의 색을 가지고 있습니다. 8비트 그림은 색깔을 나타내는 데 8자리의 이진수를 사용. - 따라서 각 픽셀은 이 방법으로 만들 수 있는 256(28)가지의 색깔 중에 하나를 표시합니다. 16비트와 24비트 그림은 8비트 그림보다 다양하게 색깔을 표현할 수 있으므로 더욱 정확한 색깔의 표현이 가능. - 그림을 확대하면 그림을 구성하는 픽셀을 뚜렷하게 확인. 8배로 확대한 비트맵 방식의 그림

벡터 방식의 그림 - 벡터 방식은 시작점과 끝점을 지정하여 두 점 사이를 직선 또는 곡선으로 이어서 그림을 그린다. - 벡터 방식은 시작점과 끝점을 지정하여 두 점 사이를 직선 또는 곡선으로 이어서 그림을 그린다. - 벡터 방식은 그림 자체보다 그 그림에 대한 묘사를 저장했다고 할 수 있다. - 예를 들어 원은 픽셀의 정렬로 저장되는 것이 아니라 그것의 중심 좌표나 반지름, 두께, 곡선, 원을 채우는 색깔 정보로 기술. - 그림을 확대 또는 축소하거나 회전시켜도 선의 방향과 길이 등의 정보를 컴퓨터가 다시 계산하여 화면에 표시하므로, 그림의 테두리가 깨끗하게 유지되는 장점. 벡터 방식의 그림 예제

영상처리 영상처리기술 영상을 더욱 높은 질의 영상으로 만들거나 일그러뜨리고, 영상의 두드러진 특징들을 더욱 두드러지게 하고, 다른 영상의 일부분으로부터 새로운 영상을 만들어내고, 영상을 획득하는 동안이나 획득한 후에 변질된 영상을 복원시키는 등의 기술  컴퓨터 그래픽스란 ? 컴퓨터 그래픽스와는 자매기술이지만 컴퓨터 그래픽스는 합성영상을 생성하는 것

영상처리 알고리듬의 4가지 분류 1. 포인트 처리 화소의 원래 값이나 위치에 기반한 화소값을 변경 2. 영역처리  1. 포인트 처리     화소의 원래 값이나 위치에 기반한 화소값을 변경    2. 영역처리     화소의 원래값과 이웃하는 화소의 값을 기반으로 하여 화소값 변경  3. 기하학적 처리     화소들의 위치나 배열을 변화시킨다.  4. 프레임 처리     두 개 이상의 영상들에 대한 연산을 기반으로 하여 화소값들을 생성

영상의 취득 - 디지털 영상처리를 위해서는 먼저 디지털 형태로 표현된 영상데이터를 얻어야 한다. - 디지털 영상처리를 위해서는 먼저 디지털 형태로 표현된 영상데이터를 얻어야 한다. - 디지털 영상데이터를 얻기 위해서는 사진을 스캔 하거나, 디지털 카메라나 캠코더를 이용하여 영상을 찍은 후 컴퓨터로 전송하거나, 아날로그 카메라를 통해 입력된 영상데이터를 A/D변환 보드를 통해 컴퓨터로 전송해야 한다. 영상데이터용 A/D변환기를 프레임 취득기 (Frame Grabber)라고 한다. - 영상획득 소자 : 전하결합소자장치(Charge Couple Device:CCD)  밀폐된 공간에 있는 집광장치들의 배열로 입사되는 광자 에너지의 패턴을 이산적인 아날로그 신호로 변환 . 캠코더, 스캐너의 핵심

디지털 영상 생성 밝기의 불연속점으로 구성 디지털 영상 생성과정 - 샘플링 : 명도에 대한 별개의 점들로 분리 - 샘플링 : 명도에 대한 별개의 점들로 분리       임의의 위치에서의 연속영상의 강도(intensity)를 추출 -  양자화:추출된 각 샘플에 대해 디지털 명도 값을 결정    - 화소 (Pixel): 양자화된 샘플

디지털 영상의 내부 - 이 그림은 전형적인 디지털 영상을 보여준다. 가로 및 세로의 크기가 M 및 N픽셀(pixel, 화소)로 이루어져 있다. - 저장된 영상데이터는 2차원 배열(array) 형태를 이루며 많은 경우 M과 N이 같다. M, N의 전형적인 값은 128, 256, 512, 1024 등이며 공장 자동화용 영상에서는 M×N이 640×480인 경우가 빈번하다. 디지털 영상데이터

디지털 영상의 내부 - 영상데이터의 값은 흑백영상인 경우 각 픽셀이 0~255의 값을 가지게 되며 각 값들은 픽셀의 밝기값을 표현한다. - 가장 어두운 픽셀은 0의 값을 가지며 255는 가장 밝은 데이터값을 표현한다. 밝기를 가지는 이러한 픽셀들이 모여 한 장의 그림을 구성하게 된다. - 각 픽셀 당 8비트(28=256)의 데이터를 가지므로 흑백영상 한 장의 크기는 M×N×8비트(bit)가 된다. - 컬러영상의 경우 단위 픽셀은 색을 표현하기 위해 각각 256단계의 R,G, B데이터를 가진다. 따라서, 한 장의 컬러영상 크기는 M×N×8×3비트가 된다.

디지털 영상의 내부 - 이 그림은 실제 흑백영상의 예이다. 이 영상의 내부는 0~255사이의 값을 가지는 2차원 배열로 이루어져 있다. - 작은 사각영역은 동전의 경계부에서 밝기를 나타내는 정수값으로 이루어져 있음을 알 수 있다. 흑백영상의 예와 내부값

해상도 원장면의 요소를 분해하여 디지털 영상화하는 능력 종류 - 공간해상도 (spatial resolution) 얼마나 많은 화소가 디지털 영상에 포함되는가 영상에 더 많은 화소가 존재한다는 것은 더 큰 공간 해상도를 의미 화소의 수는 영상을 얼마나 세밀하게 샘플링 하였는가에 좌우 - 밝기해상도 (intensity resolution) 디지털 화소의 밝기가 얼마나 정확하게 원영상의 명암도를 표현 수 있는가 - 프레임률 : 시간 해상도. 동영상에서 중요한 역할

공간주파수(spatial frequency) 저주파 영역과 고주파 영역의 비교 그림. 공간 주파수가 변화하는 장면

공간주파수(spatial frequency) 샘플링이론 Nyquist 샘플링 이론 영상내 가장 높은 공간 주파수의 2배 이상 비율로 샘플링 가장 세밀한 세부항목에 최소한 두 개 이상의 샘플이 존재하도록 샘플링 Under Sampling 샘플링 이론에 의해 요구되는 비율보다 낮게 샘플링 높은 주파수를 갖는 세부항목이 디지털 영상에서는 상실됨 본래의 영상을 적절하게 표현하기에 부족한 화소를 갖게 됨 Over Sampling 샘플링 이론에서보다 더 높은 비율로 샘플링 과다한 화소가 생성 과다한 화소는 공간 주파수에 아무런 영향도 주지를 못함 디지털 영상으로부터 얻어지는 몇몇 특징의 정밀도를 향상

공간해상도의 변화 mXn의 영상을 1/k으로 축소한 해상도로 구하는 방법 kXk개의 화소를 한 화소값으로 표현 - 그림(a) : 6X8의 원영상 - 그림(b) : 6X8의 영상을 1/2으로 축소 3X4 - 그림(c) : 3X4의 영상을 2배 확대영상 12X16 10 30 50 70 13 35 46 58 22 44 76 56 10 20 30 40 50 60 70 80 11 22 33 44 55 66 77 88 13 24 35 36 46 47 58 15 26 23 76 37 48 45 65 56 34 67 78 89 99 10 30 50 70 13 35 46 58 22 44 76 56 그림 (a) 원영상 그림 (b) ½ 샘플된 영상 그림 (C) (b)의 2배 확대 영상

조망 기하학(viewing geometry) 영상의 실제 크기와 그것을 바라보는 관찰자와의 거리에 따라 공간 주파수가 변동 영상과 관찰자의 거리가 두 배가 되거나 영상의 크기가 반으로 줄어듬에 따라 공간 해상도는 반으로 줄어 듬

밝기 해상도(brightness resolution) 디지털 화소의 밝기 값이 얼마나 정확하게 본래의 영상이 갖고 있는 명암도(intensity)를 표현할 수 있느냐 하는 문제 명암도:물리적 장면으로부터 실제로 반사되거나 투과된 빛 에너지의 크기나 양. 밝기 : 취득, 샘플링, 표시 및 (눈으로)관측된 다음 측정된 명암도 양자화 할 때 얼마나 많은 비트를 사용하느냐에 의존

컬러 해상도(color resolution) 칼라 영상 샘플링, 양자화 그리고 공간 및 명도 해상도의 개념이 동일하게 사용 단일 명도 값 대신에 세 개의 명도 요소를 사용해서 양자화 된 화소 명암도 영상에 대한 처리 기법을 각 칼라 요소에 각각 적용함 RGB 칼라 공간 기본 구성 색 빨강(red), 초록(green), 파랑(blue)으로 구성 칼라 CRT 모니터와 컴퓨터 그래픽 시스템에서 주로 사용 CMY 칼라 공간 칼라 영상을 인쇄하는데 주로 사용 기본 구성 색 : 청록색(cyan), 자홍색(magenta), 노랑색(yellow) 감산에 의해 색이 생성되는 특성을 가짐 HSB 칼라 공간 특정 어플리케이션을 위해 사용 색상(hue), 채도(saturation), 명도(brightness) 로 구성 기본 구성 인간의 색깔 인지에 대한 인지변수를 사용

양자화 효과 화소값 n비트(2n 명암도)를 k비트(2k 명암도)로 표현하는 방법 (n≥k) 영상 내의 모든 화소값의 상위 비트만으로 표현. 출력 값= 원영상의 비트 값 & 마스킹 값 예제 : 화소값 8비트(256 명암도)를 3비트(8 명암도)로 표현하는 방법 원 화소의 값 b7 b6 b5 b4 b3 b2 b1 b0 마스킹 값 1 양자화된 값

비트-평면 (bit-plane) 전체 화소의 명도에 특정 비트의 기여가 있냐 없냐를 표현 최상위 비트의 비트-평면 : 영상의 전체적인 구성을 표현 하위 비트의 비트-평면 : 디지털 영상의 미세한 변화를 표현 출력 값= 원영상의 비트 값 & 마스킹 값 예제 : 화소값 8비트(256 명암도)중 b7의 비트평면을 구하는 방법 원 화소의 값 b7 b6 b5 b4 b3 b2 b1 b0 마스킥 값 1 양자화된 값

B(n)의 비트평면영상 (a) 8비트 영상의 비트평면 7 (b) 8비트 영상의 비트평면 6 (c) 8비트 영상의 비트평면 5 (d) 8비트 영상의 비트평면 4 (e) 8비트 영상의 비트평면 3 (f) 8비트 영상의 비트평면 2

화소 단위 처리-단일영상 화소 단위 더하기 각 화소의 명도를 높여줌 Out(x,y) = In(x,y) + c (c:임의의 상수값) 화소 단위 빼기 각 화소의 명도를 낮게함 Out(x,y) = In(x,y) - c (c:임의의 상수값) 화소 단위 곱하기 각 화소의 명도를 조절하여 영상을 부각. 어두운 곳은 더 어둡게 밝은 곳은 더 밝게함. Out(x,y) = In(x,y) X c (c:임의의 상수값) 화소 단위 나누기 각 화소의 명도를 조절. 결과값이 작게 나오므로 이미지의 밝기를 향상시켜 분석. Out(x,y) = In(x,y) / c (c:임의의 상수값)

밝기(명도) 히스토그램 (brightness histogram) 영상의 화소들이 갖는 명암 등급에 대한 분포를 나타내는 그래프 영상의 명도 특성을 간결하게 표현해 줌. 영상의 전체적인 밝고 어둠과, 명도 대비에 대한 정보 제공 - x축 : 영상의 화소들이 가질 수 있는 명도 값 - y축 : 각 명도 값을 갖는 화소의 수를 표시 2 3 1 6 4 5 밝기값 1 2 3 4 5 6 … 255 빈도 그림 (b) 각 밝기 값의 출현빈도 그림 (a) 4x4 영상 그림 (c) 히스토그램

밝기 보정 그림 (a) 노출이 잘못된 원영상 그림 (b) (a) 영상의 히스토그램 그림 (d) (c) 영상의 히스토그램

밝기 보정 전체 영상 또는 부분 영상이 너무 밝거나, 어두울 경우 영상의 밝기 조정. 화소단위 더하기와 화소단위 빼기로 보정. (histogram sliding) 그림 (a) 너무 밝은 영상 그림 (b) (a) 영상의 히스토그램 그림 (c) 너무 어두운 영상 그림 (d) (c) 영상의 히스토그램

히스토그램 평활화(equalization) 명암값의 분포가 한쪽으로 치우치거나 고르지 못한 영상을 명암값의 분포가 고르게 만들어 주는 방법 대비의 균형 일정한 분포를 가진 히스토그램을 생성하는 것이 목적 어두운 영상은 밝아지고 밝은 영상은 어두워져 적당한 명도값을 유지. 구현 히스토그램을 이용한 명도값의 빈도수를 계산 구한 히스토그램을 이용하여 누적 히스토그램을 구하고 정규화 K(i) = gmax/n *H(i) k(i):정규화된 값, gmax:명도의 최대값, H(i):축적 히스토그램 정규화된 누적 히스토그램을 그레이 스케일 사상 함수로 이용하여 그레이 레벨 값을 매핑

평활화와 펼침 그림 (a) 원영상 그림 (b) 평활화(equalization) 그림 (c) 펼침(stretching)

대비(contrast)와 동적 범위 표시 대비 (Contrast) 영상의 가장 어두운 영역으로부터 가장 밝은 영역의 범위 직관적으로, 영상이 얼마나 선명한지 또는 바랬는지를 나타내는 것 저대비 영상 화소들이 히스토그램에서 좁은 범위의 명암 등급에 집중 고대비 영상 히스토그램의 양 바깥쪽에 집중되어 마치 두 개의 기둥 모양을 형성 동적 범위 (dynamic range) 영상에 사용된 명암 등급의 범위 작은 동적 범위 저대비를 갖는다는 것을 의미 큰 동적 범위 영상에 사용된 명암 등급의 범위가 넓다는 것을 의미

대비와 동적범위

화소 단위 처리-복수영상: OR + = 영상 덧셈 한 영상과 다른 영상을 더하는 operation O(x,y) = I1(x,y)+I2(x,y) + =

화소 단위 처리-복수영상: AND X = 영상 곱셈 한 영상과 다른 영상(MASK)을 곱하는 operation O(x,y) = I1(x,y) X I2(x,y) X =

기하학적 변환 처리 평행이동 원하는 위치만큼 영상을 상하좌우 이동 (x,y) 위치를 x방향으로 x0, y 방향으로 y0 만큼 이동 원영상 결과영상

기하학적 변환 처리 좌우교환 영상 내 한 수직선을 중심으로 좌측 화소와 우측 화소를 서로 교환 x=x0 인 수직선을 중심으로 좌우 교환 원영상 결과영상

기하학적 변환 처리 상하교환 영상 내 한 수직선을 중심으로 상하 화소를 교환 y=y0 인 수직선을 중심으로 상하 교환 원영상 영상 내 한 수직선을 중심으로 상하 화소를 교환 y=y0 인 수직선을 중심으로 상하 교환 원영상 결과영상

기하학적 변환 처리 영상회전 영상을 만큼 오른쪽으로 이동할 경우 원영상 결과영상

영상 압축의 목적과 종류 Compression 의 목적 디지털 영상 데이터의 양을 감소시키기 위한 조작 Image storage Image transport Image 분류에 따른 압축 Still picture compression Moving picture compression 손실의 유무에 따른 압축 Lossless compression - 데이터 손실이나 에러 없이 원 형태 복구 - Text document, medical diagnostic image 에 주로 사용 - Run-Length Coding  압축코드와 반복횟수를 보냄으로써 압축 Lossy compression - 디지털 영상 데이터의 일부 손실 발생 - 완벽한 복구는 불가능, 시각적인 화질은 보장 - 응용분야에 따라 10:1 ~ 100:1의 압축 가능

프레임율 (frame rate) 동영상을 획득하고 표시하기 위한 샘플링 간격 동영상의 획득에 있어 매우 중요한 해상도 특성을 제공 높은 프레임 율은 동영상에서 보다 더 정확한 움직임을 묘사 영화는 초당 24 프레임을 사용하고, 텔레비젼은 초당 30 프레임을 사용 동영상에 대한 시간 해상도. 샘플링 이론 공간 해상도에서와 마찬가지로 샘플링 이론이 적용 샘플링 율은 연속되는 영상에서 가장 빠르게 움직이는 것의 속도보다 최소한 두 배 이상이 되어야 함

프레임율 (frame rate) 동영상을 획득하고 표시하기 위한 샘플링 간격 동영상의 획득에 있어 매우 중요한 해상도 특성을 제공 높은 프레임 율은 동영상에서 보다 더 정확한 움직임을 묘사 영화는 초당 24 프레임을 사용하고, 텔레비젼은 초당 30 프레임을 사용 동영상에 대한 시간 해상도. 샘플링 이론 공간 해상도에서와 마찬가지로 샘플링 이론이 적용 샘플링 율은 연속되는 영상에서 가장 빠르게 움직이는 것의 속도보다 최소한 두 배 이상이 되어야 함

영상 디스플레이 영상을 화면에 표시하는 경우에 있어 프레임 율 얼마나 자주 화면상에 영상을 갱신할 것이냐 하는 문제와 관련 주사 방식 화면에 영상을 주사하는 방식 비월주사 (interlaced scan) 영상의 홀수 라인을 먼저 주사하고 이어서 짝수 라인을 주사 보는 사람으로 하여금 새로운 프레임이 표시되는 듯한 느낌을 줌 전체적으로 영상의 깜박임없이 화면이 갱신 표준 상업용 텔레비젼 모니터 시스템 (초당 30 프레임) 점진주사 (Progressive scan) 전체 영상을 단일 주사선에 따라 주사하는 방식 프레임 율은 비월주사를 사용하는 장비의 두 배 이상이 되어야 함 (보통 초당 72 프레임의 프레임 율) 점진주사 방식의 모니터를 사용하는 시스템

비월주사와 점진주사 영상 디스플레이

디지털 영상처리의 특징 (1) 정확성 영상정보는 디지털 데이터로 전환 후 컴퓨터가 처리하기 때문에 정확한 데이터의 처리가 가능하다. (2) 재현성 정해진 알고리즘을 이용하여 컴퓨터가 처리하기 때문에 동일한 프로그램은 반복 실행하여도 같은 결과가 얻어진다. (3) 제어가능성 디지털로 전환된 데이터에 대해 사용자가 원하는 대로의 처리가 가능하다. 필요한 파라미터를 직접 설정하고 조정하는 것이 용이하다. 또한, 프로그램을 통해 데이터를 처리 하기 때문에 프로그램을 변경하여 다양한 처리를 가능하게 할 수 있다.

디지털 영상처리의 특징 (4) 과도한 데이터량 - 공장자동화용 영상 한 장의 경우 640×480 = 307 Kbyte를 가진 경우가 많다. 이러한 영상을 초당 20프레임 이상 처리하기 위해서는 1초에 6.4 Mbyte이상의 데이터를 처리하여야 한다. - 물론 컬러영상의 경우 데이터의 양은 크게 늘어난다. 디지털 영상데이터는 과도한 데이터량을 가지기 때문에 이 데이터를 처리하기 위해서는 많은 시간이 필요하다. - FA용 영상의 경우 단위 프레임에 307,200개의 화소를 가지기 때문에 각 화소의 처리에 1/1000초가 걸린다고 하여도 프레임당 307초의 시간이 필요하다. - 영상처리를 위해서 빠른 속도의 컴퓨터가 필요한 이유가 여기에 있다.

영상데이터의 흐름 - 영상데이터 취득의 전형적인 예는 공장자동화용 FA카메라나 감시용 카메라를 통해 찍은 아날로그 영상데이터가 PC에 장착된 Analog-to-Digital 변환기인 프레임 그레버를 통해 디지털 데이터로 변환되어 PC에서 다룰 수 있는 정보로 입력되는 것이다. - FA카메라 대신 아날로그 캠코더의 출력 영상이 프레임 그레버로 입력될 수도 있다. FA카메라나 캠코더는 고가이므로 값이 싼 화상처리를 위해서 PC용 화상카메라를 사용할 수도 있다. 화상캠코더는 프레임 그레버 없이 PC의 포트(예를 들면 USB포트)를 통해 직접 디지털 영상데이터를 입력 받게 해준다. 그 외, 스캐너를 통한 사진입력을 사용하거나 디지털 카메라를 사용하여 영상을 직접 입력하는 것도 가능하다.

영상데이터의 흐름

디지털 영상처리 과정

이미지 표현 (Image Representation)

이미지 표현 (Image Representation)

프레임 취득기 (Frame Grabber)

Image format

Look up Table에 의한 Color 영상의 표현

Image Class의 종류

Stereo Camera 에 의한 3차원 계측

영상의 편집 및 처리 - 영상획득장치에 의해 컴퓨터로 전송된 영상데이터는 디지털 영상데이터로 전환되어 PC에서 가공된다. 디지털 영상편집을 위한 상업용 도구들로 유명한 것들로는 Adobe사의 PhotoShop과 JASC사의 PaintShop 등이 있다. - 입력된 영상들은 사용 용도에 맞게 PC에서 처리되며 전자출판을 위한 영상처리 및 편집, 자동화 검사를 위한 영상분석 및 인식처리, 방송을 위한 영상가공, 그래픽스, 게임등의 다양한 목적에 맞게 편집되고 처리된다.

처리결과의 출력 - PC에서 영상편집이 완료된 후, 영상데이터 결과는 모니터나 프린트 등의 출력장치를 통해 사용자가 알아볼 수 있도록 출력된다. - 모니터에 화면 출력되거나, 잉크젯이나 레이저 프린트를 통해 종이에 인쇄할 수도 있다. - CD에 저장하거나 원격지에서 재사용을 위해 전송할 수도 있다.