이미지 및 동영상에 포함된 텍스트 정보 추출에 기반한 지능적 시각 응용시스템 구현에 관한 연구 이미지 및 동영상에 포함된 텍스트 정보 추출에 기반한 지능적 시각 응용시스템 구현에 관한 연구 뇌신경정보학 2단계 자유공모과제 (M10107000009-01A220000500) 연구책임자: 최영우 숙명여자대학교 컴퓨터과학과

차 례 연구 배경 연구 목표 어려움/가능성 관련 연구 추진 계획 연구 내용 기대성과/활용방안

연구 배경(1) 텍스트 정보는 가장 기본적이며 중요한 정보 텍스트 종류 지식 표현 및 습득의 기본 이미지 내용을 함축적, 구체적으로 표현 다른 객체보다 특징이 분명하여 빠른 추출이 가능하고 산업성이 높음 텍스트 종류 문서(Document) 텍스트 그래픽(Graphic) 텍스트: 인위적으로 삽입한 자막 헤드라인, 이름, 시간, 스포츠 점수 등 장면(Scene) 텍스트: 자연스럽게 포함된 이미지의 일부 간판, 안내 표지판, 광고, 화물/물건 코드, 차량 번호 등

연구 배경(2) 그 동안 수동적, 이미지 위주의 정형화된 문서/그래픽 텍스트 정보 추출 OCR, 문서 인식시스템 이미지/비디오 검색시스템 앞으로 능동적, 동영상에서의 다양한 장면 텍스트 정보 추출 이동 로봇시스템 시각장애인/환자 보조시스템 차량 자동주행시스템, 차량 번호판조회시스템 공장/창고자동화: 무인 분류/이동 비디오 검색시스템

장면 텍스트 예

연구 목표 이미지/동영상에 포함된 다양한 종류의 장면 텍스트를 빠르고 정확하게 추출 지능적 시각 응용시스템에 적용 다양한 종류: 폰트 종류, 위치, 방향, 크기, 색, 배경에 무관 빠르고 정확한 추출: 사용자의 불편함을 최소화 시키는 관점에서의 기준 설정 지능적 시각 응용시스템에 적용 이동 로봇시스템 시각장애인/환자 보조시스템 차량 자동주행시스템

어려움 및 가능성 어려움 객체 추출 및 인식 관점: 장면 텍스트 실시간 처리 필요 가능성 객체 추출 및 인식 관점 자유로운 위치, 크기, 색, 간격, 다양한 폰트 등 기울어짐, 원근감 존재 조명, 기상 여건, 시간대에 따른 이미지 수준의 차이 실시간 처리 필요 가능성 객체 추출 및 인식 관점 다른 객체에 비해 비교적 강한 규칙성(특징) 존재 꾸준한 문자인식 기술 개발 결과 활용 가능 하드웨어 기술과 처리 기술의 지속적인 발전

Thresholding, Region growing Texture 정보, Wavelet, 신경회로망 이용 관련 연구 연구자 대 상 방 법 제약 조건 김희승[2000] 디지털 카메라 이미지 몰포로지, 공간적 변화 이용 적절한 조명, 기울지 않은 텍스트 Lee, Kankanhalli[95] 화물 콘테이너 명도 이미지 Thresholding, Region growing 수평방향, 고립된 콘테이너 코드 텍스트 Smith, Kanade[95] 비디오 이미지 자막 에지 정보 수평방향 텍스트 A. K. Jain[95] CD/책 표지 이미지 색 정보, 공간 편차 정보 수평방향, 균일한 색, 제한된 크기의 텍스트 A. K. Jain [98] CD/책 표지, 비디오 이미지 색 정보 Doermann[98] 비디오 이미지 Texture 정보, Wavelet, 신경회로망 이용

추진 계획 1차년: 텍스트 영역 추출 2차년: 텍스트 영역 확정 및 질 개선 3차년: 응용시스템 구현 다양한 동영상 데이터 수집 색 이미지, 명도 이미지 분석 검증 방법 개발 2차년: 텍스트 영역 확정 및 질 개선 후보영역 병합/여과 방법 개발 이미지 개선 방법 개발 3차년: 응용시스템 구현 텍스트 인식 시스템 구현, 보완

연구 내용: 1차년 텍스트 영역 추출 응용 환경을 고려한 동영상 데이터 수집 색 이미지 분석: 텍스트의 색 연속성 이용 이미지 샘플링 방법 개발 색 이미지 분석: 텍스트의 색 연속성 이용 색 줄임: Bit-dropping, 색 묶음(Clustering) 수행 각각의 색 이미지에서의 연결요소 추출 연결요소 제거 및 병합 방법 개발 명도 이미지 분석: 텍스트 영역의 공간 주파수 특징 이용 이미지 향상 수행, 에지 검출 긴 선 추출 및 제거, 텍스트 영역 강조 방법 개발 검증 영역 특징 추출, 신경회로망 분류 방법 이용

색 이미지 분석 예 색 이미지 색 줄임 i 번째 색 분석 후보영역 선정 (9개 색) (4개 색)

명도 이미지 분석 예 명도 이미지 긴 선 추출/제거 에지 추출 텍스트 영역 강조

연구 내용: 2차년 텍스트 영역 확정 및 질(質) 개선 후보 영역 병합/여과 방법 개발 이미지 개선 방법 개발 색 이미지와 명도 이미지에서 선택한 후보 영역의 상호 보완 및 검증 연구 병렬(Parallel) 및 순차적(Serial) 병합/여과 방법 개발 응용 환경의 요구(처리시간, 정확성)에 따라 선택적 적용 이미지 개선 방법 개발 성공적인 인식을 위해서는 이미지 개선 과정이 필수임 획 정보를 고려한 고급 이진화 방법 개발 기울어짐, 원근 보정 방법 개발 잡영 제거 필터 개발

연구 내용: 3차년 응용시스템 구현 텍스트 인식 시스템 구현, 보완 상용 OCR 결합, 성능 평가 후처리(폰트 정보, 영역 지식 표현 등) 기술을 이용한 인식 성능 개선 시스템 구현, 보완 프로그램 소형화, 최적화 수행 현장 시연 및 문제점 보완

기대성과/활용방안 기대성과 활용방안 고난도 기술의 개발: 텍스트 추출의 최종 단계 기술 지능적인 시각 기반 응용분야의 확대 및 활용 연구 인력 양성 활용방안 응용시스템 구축 시각기반 이동 로봇시스템 시각장애인/환자 보조시스템 차량 자동주행시스템 산업체 협력: 연구개발 2차년 후반기 예정