제10장 컴퓨터비전 (Computer Vision)

Presentation on theme: "제10장 컴퓨터비전 (Computer Vision)"— Presentation transcript:

1 제10장 컴퓨터비전 (Computer Vision)
인공지능시스템 (Artificial Intelligent) 제10장 컴퓨터비전 (Computer Vision) Slide 1 (of 22)

2 비젼 기술(Vision Technology)란?
비젼기술 : 컴퓨터비전, 화상처리, 머신비전, 로봇비전 등 비젼기술의 목표: 화상처리를 근거로 하여 인간의 시각능력에 유사한 지적기계를 만들어 가고자 함 컴퓨터비전: 일반적으로 컴퓨터에 의하여 많은 계산을 하여, 화상처리를 활용하고자 하는 분야 화상처리: 기존의 1차원적인 전기적 신호처리에 대비하여, 2차원적인 정보에 대한 다양한 컴퓨터 또는 회로적 처리를 수행하는 기술분야를 총칭 머신비젼: 1) 기계에 시각을 부여하고자 하는 분야로 다량의 컴퓨터계산에 의존하기 보다는 현장에 자동기계를 투입하는 목적으로 진행되고 있으므로, 신속한 결과를 내기 위한 비전분야 2)기계를 사용하고자 하는 공장내의 공정에 대한 이해와 대상이 되는 부품이나 제품에 대한 이해를 바탕으로 하여, 화상처리기술을 응용하여 원하는 자동기계의 목적을 달성하고자 하는 기술 Slide 2 (of 22)

3 컴퓨터 영상처리 Computer imaging : 컴퓨터에 의한 시각 정보를 획득하여 처리
- computer vision : computer 사용 목적 - image processing : 인간 전달 목적 → 신호처리 분야로써 전자공학으로부터 발전 Slide 3 (of 22)

4 컴퓨터 비젼 컴퓨터에 의하여 조사되고, 조작되는 영상 → 컴퓨터 위주의 처리
주 관심 분야 : 영상 해석→ 특징 추출 → 패턴 분류(패턴 인식) 응용 분야 : 공장 자동화 자동식별 시스템 : 지문 인식 , DNA 해석, 안면 인식 목표물 추적 의료 진단 시스템 지능형 교통 시스템(ITS) 및 일기예보 등 Slide 4 (of 22)

5 영상 처리(Image Processing)
인간에 의하여 조사되고, 조작되는 영상 → 인간 위주의 처리 주 관심 분야 → 영상 복원(image restoration) : 영상 자체 개선 ; 잡음제거 → 영상 강화(image enhancement) : 인간 시각적 효과 개선 → 영상 압축(image compression) : 영상 데이터 량 감소 이미지 개선 (색대비 향상) Slide 5 (of 22)

6 컴퓨터 영상처리   영상처리  영상처리는 그림을 다루는 학문이다. 이 기술은 영상을 더욱 높은 질의 영상으로 만들거나 일그러뜨리고, 영상의 두드러진 특징들을 더욱 두드러지게하고, 다른 영상의 일부분으로부터 새로운 영상을 만들어 내고, 영상을 획득하는 동안이나 획득한 후에 변질된 영상을 복원시키는 등의 기술들이다. 영상처리와 컴퓨터 그래픽스의 차이점  컴퓨터 그래픽스는 합성 영상을 생성하는 것이다. 영상처리는 이미 획득하였거나 만들어진 영상을 조작하는 것이다. 컴퓨터 그래픽스는 2차원과 3차원 물체를 가지고 작업을 한다. 영상처리에서 전형적으로 다루어지는 것은 흔히 2차원 데이터로 제한된다. 의학 진단 산업 분야에서의 어플리케이션들은 3차원 데이터에 대한 영상처리를 수행한다. 볼륨 가시화(Volume visualization)와 모핑(morphing)과 같은 몇몇 기술의 출현으로 컴퓨터 그래픽스와 영상처리를 구분하는 선이 더욱 불분명해졌다. 영상처리 기술 사용의 증대   컴퓨터 가격은 점차적으로 감소하고 CPU와 그래픽 성능은 증가하면서 영상처리에 대한 접근 가능성이 증가하였다. 그 결과 예술가에서부터 내과 의사에 이르기까지 다양한 분야의 전문가들이 영상처리 기술에 대해 알지는 못해도 이 기술들을 사용하고자 시도하고 있다. Slide 6 (of 22)

7 컴퓨터 영상처리 의 역사 영상처리(Image Processing)기술: 이 기술은 1920년대부터 개발되기 시작한 것으로, 초기에는 화상전송에 관련되어 기술의 개발이 시작되었다. 1920년대에 미국과 유럽간에 신문용 사진 전송에 화상처리기술을 이용하여, 사진 한장 전송에 1주일이 소요되던 것을 영상처리기술을 이용하여 3시간이하로 줄인 것이 그 실용화의 시초임 1964년에 미국의 JPL(Jet Propulsion Laboratory)은 우주선에서 보내온 화상의 개선을 시도하면서 많은 대학들과의 관련연구의 활성화 시대를 열었다. 의료분야: 1980년대 이후에는 컴퓨터단층촬영(CT: Computer Tomography)기술과 관련하여 CT의 발명자인 하운스필드박사는 1979년 노벨상을 수상. 최근의 핵자기공명촬영(MRI: Magnetic Resonance Imaging )은 선명한 인체내부의 단면화상을 취득가능한 수준의 기술을 보여주고 있음 다른 응용분야: 축산분야에서의 X선 화상의 이용, 측량분야에서의 정밀지형관측, 고고학 분야에서의 부장품 탐사, 생물학 분야에서 현미경을 통해 취득한 화상속의 세포분리등에도 영상처리 기술이 폭 넓게 사용되고 있음 Slide 7 (of 22)

8 컴퓨터 영상처리의 활용 분야 (1) 영화 분야(1)
  헐리우드가 특수 효과를 내고 프레임을 수정하기 위해 컴퓨터를 사용한 실험을 하고 있기는 하지만, 필름을 만드는 데 컴퓨터를 사용하는 일은 최근 몇 년 동안에 급속도로 증가하고 있다. 컴퓨터들은 어떤 종류의 영상을 다른 영상으로 바꾸고, 프레임에서 원하지 않는 물체가 있으면 제거하고, 다른 프레임의 부분, 부분들을 합성하여 새로운 프레임을 생성한다.   영화 "The Babe"에서, 컴퓨터 효과로 오른손 잡이인 John Goodman을 왼손잡이로 만들었고, 영상 합성으로 Babe Ruth가 경기하고 있는 경기장의 관람석에 한 층을 더 올렸다. 비록 그 영화의 필름에는 단층의 스타디움에 1,000명의 관객만이 있지만, 영상처리를 통하여 더욱 많은 관객이 있는 것으로 보이게 한 것이다. 영상합성 영상 합성은 영화 "Forrest Gump"에서도 사용되었다. 주인공이 많은 미국의 대통령들이 등장하는 다양한 역사 필름 조각들에 추가되었다. 영상 합성은 또한 이 영화에서 소규모 단위의 관중들을 계속해서 복사하는 방법으로 많은 관중을 만드는 데 사용하였다.   영화들은 흔히 보는 각도에 따라 달라 보이며 나중에 디지털 기술에 의해 도욱 보기 좋게 정리된다. 보기 흉한 전선줄이나, 얼굴의 잔주름 또는 원하지 않는 구경꾼들을 프레임에서 제거할 수 있다. 영화 "Terminator 2"에서 오토바이가 안전하게 떨어지도록 하기위해 줄을 매달았다가, 나중에 컴퓨터로 그 줄을 제거 하였다. 모핑(Morphing) 헐리우드에서 새롭게 사용된 영상처리 기법중의 하나가 모핑이다. 모핑은 변형(metamorphosis)이라는 단어에서 유래된 것인데, 하나의 영상을 다른 영상으로 변화시키는 것이다. 모핑은 "Terminator 2"에서 합금체 로봇인 T-1000의 외형 변화에서 사용되었고, 마이클 잭슨의 뮤직비디오 "Black or White"에서 댄서와 마이클 잭슨의 얼굴을 변화시키는데 사용되었다. Slide 8 (of 22)

9 컴퓨터 영상처리의 활용 분야 (2) 영화 분야(2) 영상 워핑
영상 워핑은 기괴한 변형에 항상 사용되는 것은 아니다. 이것은 배우를 더욱 키가 크게 하거나, 작게 하거나 아니면 홀쭉하게 하거나, 뚱뚱하게 만들어서 실생활을 변경시키는 데 사용할 수 있다. 이것은 코의 크기를 줄이거나 다른 물리적인 특징들을 변경시킬 수 있다.   영상 워핑은 인공위성이나 다른 우주계획의 일원으로부터 보내져 온 일그러진 영상을 올바르게 만드는 데 처음 사용하였다. 일그러짐 현상은 렌즈의 변형이나 평평한 판에 의해서보다는 구체 모양으로 된 다른 부품들 때문에 발생한다. 기하학적 변형에 의한 영상 워핑은 이러한 일그러짐을 복구시키는 데 사용되며, 척도와 우주공간의 관계를 좀더 정확히 판단하도록 해준다.   영상 워핑은 행방불명된 아이를 찾는데도 사용된다. 미아와 유괴된 아동들을 위한 기구인 The National Center for Missing and Exploited Children은 아이들이 사라진 이후에 아이들의 연령에 맞는 사진을 만들어 주는 소프트웨어를 사용한다. 그 사진은 그 아이의 사진에 그 아이보다 나이가 많은 형제나 친척의 사진을 합병시키고, 그 나이에 맞는 머리카락과 옷을 입혀 합성된다. 이러한 기술은 유괴된 후 몇 년이 지나도 그 아이의 현재 모습을 닮은 사진을 센터가 제공할 수 있게 해준다. Slide 9 (of 22)

10 컴퓨터 영상처리의 활용 분야 (3) 종이없는 사무실
  요즘의 경향은 종이없는 사무실을 추구하고 있다. 모든 문서들이 디지털화되어 저장되어있고 CRT나 다른 출력 장치로 복원하여 볼 수 있게 되는 것이 가장 이상적이다. 이것은 Document Image Processing(DIP;문서 영상처리)에 의해 이루어 진다. DIP 시스템들은 문서들을 ASCII 텍스트로 보관할 수 있다. 이것은 문서들의 텍스트에 가지고 있는 특별한 내용을 찾을 수 있게 해준다. 이렇게 하기 위해서는 하얀 문서에 검은색으로 칠해져 있는 것을 텍스트로 변환하여야 한다. 이러한 일은 광학 문자 인식(OCR;Optical Character Recognition)으로 이루어 질 수 있다. OCR은 영상처리로 분류되지는 않지만 영상 분석이라는 유사한 분야의 과학이다.   수천개의 문서들을 보관해야만 하는 많은 회사들은 DIP를 사용하고 있다. 은행들은 처리된 영수증, 대부 관계 업무 그리고 구좌의 대차표를 기록하기 위해 DIP를 사용하고 있다. 그리고 행정 기관과 병원에서도 수많은 증명서와 양식들 그리고 의료 영상들을 보관하기 위해 DIP를 사용한다. Slide 10 (of 22)

11 컴퓨터 영상처리의 활용 분야 (4) 법(Law) 분야
FBI는 John F. Kennedy 암살 사건시 찍은 수천장의 필름 프레임들에서 관련된 특징들을 강화 시키고 연구하는 데 영상처리 기술들을 사용하였다. 경찰에서는 저화질의 지문 영상을 복구하는데 컴퓨터를 사용하고 있으며, 지문들은 영상 분석 시스템에 입력되어져 기존의 지문 데이터 베이스와 비교하는 데 사용될 수 있다. 지문 분석은 또한 제한 구역이나 컴퓨터 시스템에 접근할 권한이 없는 사람에 대한 출입을 방지하기 위한 보안 시스템으로 사용될 수 있다. 경찰에서는 또한 영상 편집 소프트웨어를 사용하여 범인들의 머리카락의 색을 바꾸거나 머리의 길이를 바꾸고, 수염을 첨가하여 얼굴 영상을 변화시킬 수 있다. Slide 11 (of 22)

12 산업용 영상처리(머신 비젼)의 필요성 머신비전: 산업현장의 특성을 반영한 것으로, 컴퓨터에 의한 다양한 처리에 중점을 두기보다는 조명의 접근방식이나 구현방법, 주변환경을 정비하는 등에 대한 연구에 집중 하여, 컴퓨터에 의한 계산시간을 최대한으로 줄여서, 생산속도를 높이는 방향으로 노력을 기울이는 분야를 의미 사람이 취득하는 정보의 90%는 눈을 통하여 얻어진다고 하듯이, 인간의 정보취득 및 처리과정에 있어서 시각정보는 매우 중요 각종 기계에 있어서도 자동화가 진전될수록 비전기술로의 의존도는 높아짐 머신비전과 관련하여 세계적으로 가장 광범위한 산업적 통계자료를 가지고 있는 기관은 미국의 자동화상협회(AIA: Automated Imaging Association)으로 AIA의 1999년 통계자료에 따르면 1999년에 세계시장규모는 50억$에 이르고 Market Share는 북아메리카가 34%, 일본 31%, EU가 24%를 점하고 기타가 11% 차지 1996년경에 머신비전의 시장규모는 대표적인 자동화장비요소인 PLC의 시장을 추월한 바 있음 Slide 12 (of 22)

13 산업용 영상처리(머신 비젼)의 산업에의 응용분야
(1) 제어 로봇의 동작을 지시하고 조정하는데 사용되는 분야로서 무인반송차(AGV: Automated Guiding Vehicle)의 위치를 보정하는 작업, 용접용 로봇이 들고 있는 용접봉의 용접위치를 변경하는 작업, 페인팅로봇에게 페인팅할 위치를 지정하여 주는 작업등 (2) 계측 물체의 길이를 측정한다거나, 구멍의 지름을 측정하는 것, 그리고 IC 리드사이의 피치를 측정하는 것 등 (3) 검사 가장 광범위하게 활용되는 분야. 구멍의 존재여부를 감별하는 단순검사로부터, Wafer표면의 흠집유무의 판단, 이물의 검사, 라벨이 원하는 위치에 부착되어 있는지의 감별, 그리고, 제품의 색깔상태의 확인작업등 (4) 인식 및 자료입력 Barcode의 인식이나 Wafer ID의 인식등과 같은 인식용 비전 시스템이 이에 속한다. 또한, 가공된 물체의 3차원 형상 측정이나 CAD도면을 읽어서 상당하는 회로도를 만들어내는 작업등 Slide 13 (of 22)

14 컴퓨터 영상 시스템 하드웨어 구성 Slide 14 (of 22)

15 산업용 영상처리(머신 비젼) 시스템 처리 과정 I
화상형성 및 취득(Image Formation & Acquisition) - 먼저 카메라밖의 실세계를 렌즈와 카메라를 통하여 Digital화상으로 바꾸는 과정 - 영상들은 숫자들의 2차원 배열로 컴퓨터에 저장된다. 이 숫자들은 컬러 또는 명암도 등급, 광도, 색차 등등의 서로 다른 정보와 대응된다. - 우리가 컴퓨터로 어떤 영상을 처리하기 전에, 우리는 그 영상을 디지털 형태로 만들 필요가있다. 연속적인 형태로 되어 있는 그림을 디지털 형태로 변환하기 위해서는 디지타이저가 필요하다. 가장 흔히 사용되는 디지타이저들로 스캐너와 디지털 카메라가 있다. 디지타이저의 두 가지 기능은 샘플링과 양자화이다. - 샘플링은 하나의 영상을 표현하기 위하여 동등한 공간 크기로 데이터 포인터들을 획득한다. 이 데이터 포인터들이 컴퓨터에 저장되려면, 이진 형태로 변환되어야만 한다. 양자화는 각 값에 이진수를 할당한다 Slide 15 (of 22)

16 화상 취득 (Image Acquisition) 의 예
- 컴퓨터에 저장시키는 한 영상의 공간 해상도의 차이에 따른 영상의 질 512*512 256*256 32*32 16*16 Slide 16 (of 22)

17 산업용 영상처리(머신 비젼) 시스템 처리 과정 II
(2) 화상처리(Image Processing) 컴퓨터를 이용하여 화상(Digital Image)에 계산적인 처리기법을 수행하여, 원하는 특징적인 모습이 두드러지도록 다른 모습의 화상을 만들어내거나 바꾸는 과정 학문적으로 다양한 연구들이 이루어져 화질을 개선하거나, 특별한 결과적 화상을 도출하는 다양한 알고리즘들이 개발되고 있음. 학문적인 연구의 주요영역임, 화상의 크기는 256KB가 일반적이기 때문에, 간단한 계산과정을 거친다고 하여도 계산량이 수백만회에 이르게 되기 때문에, 생산현장에서 사용할 경우에는 가장 간단한 방식의 알고리즘을 채택할 필요가 있음. 화상처리 Edge Detection Threshold Slide 17 (of 22)

18 산업용 영상처리(머신 비젼) 시스템 처리 과정 III
(3) 화상해석(Image Analysis) 화상처리 결과를 분석하고 이용하여 최종적인 정보를 취득하는 과정. 얻어진 화상특징들을 분석하여 부품의 양부를 판정한다거나, 바코드의 의미를 판단하는 등의 실제적인 결과를 도출해내는 과정임. 이 과정은 응용에 따라서 알고리즘이 설계될 수 밖에 없어서, 다양한 경험을 요구 하게 되며, 특히 제조공정에 대한 생산기술적인 이해를 전제하게 됨. 사람의 눈과 뇌에 의한 다양한 처리능력과는 달리, 비전기술은 시스템을 만든 사람의 컴퓨터 프로그램에 의하여 매우 제한적인 능력을 보유하게 됨. Slide 18 (of 22)

19 사람의 눈과 머신 비젼과의 차이점 구분 사람의 눈 기계의 눈 유연성 입력에 따라 자유자재의 대응이 가능 정해진 물체만 인지가능
능력 주관적 판단에 의하여 미묘한 차이도 쉽게 인지가능 미리 정해진 능력내에서만 처리가능 색의 처리 무한 대로 차이를 구분 수치화 불가능 R,G,B를 정해진 등급만큼 수치화해서 구별가능 민감성 조명상태에 적응가능 밝고 어두운 정도의 구별에 한계 조명상태에 민감 밝고 어두운 정도의 구별능력 우수 응담속도 약 0.1초 단위의 속도로 응답 구성된 시스템 및 처리내용에 달라짐 3-D 3차원 작업을 용이하고 신속하게 처리 느리며, 제한적인 처리만 가능 파장특정 nm범위만 대응가능 모든 종류의 빛에 대응 가능 Slide 19 (of 22)

20 문서인식 시스템 '문서인식 시스템'이란 말 그대로 책, 잡지, 신문 등의 기존 인쇄 자료들을 사람이 직접 입력하지 않고 스캐너를 통해 이미지 형태로 읽어 들여 데이터의 내용을 분석, 그림영역과 글자영역으로 구분한 후 글자 영역의 문자들을 일반 문서편집기에서 수정, 편집이 가능한 텍스트(Text)의 형태로 변환하여 주는 자동입력 시스템을 말합니다                                                                                                 문자인식 인식결과를 워드프로그램에 불러들인 상태 스캐너를 통하여 이미지를 불러들인 상태 Slide 20 (of 22)

21 지문인식 시스템 (1) 지문은 종생불변하고 만인 부동한 특성이 검증되었으며, 그 사용상의 편리함으로 인해 가장 보편화  되고 있는 Identification System과 같이 방대한 양의 기존에 구축된 데이터베이스에서 하나의 지문을 입력하여 그 지문에 가장 가까이 일치하는 후보를 골라내는 조회시스템 지문인식은 크게 두 단계의 포로세싱을 거친다.  입력된 지문영상으로부터 특이점을 추출하는 추출 단계와 추출된 특이점을 비교하는 매칭단계로 구분 Slide 21 (of 22)

22 지문인식 시스템 (2) 다음 그림은 동일인의 지문을 2회에 걸쳐 입력받고 그 특이점을 비교한 결과임
                                                                                                                   위의 그림중 파란색으로 표시된 부분들이 서로 일치함을 나타내는 부분이다.  일반적으로 매칭  알고리즘은 특이점간의 기하적으로 구성된 그래프 패턴의 비교로 이루어 진다.  각각의 일부여부는 점수로 선출되며, 산출된 점수가 적정 기준을 초과할 경우 이를 동일인으로 인식하게 된다.     Slide 22 (of 22)