자동차 사고 용의 차량 번호판 인식 시스템 개발 2013. 12. 02 디지털정보융합학과 심영복.

Presentation on theme: "자동차 사고 용의 차량 번호판 인식 시스템 개발 2013. 12. 02 디지털정보융합학과 심영복."— Presentation transcript:

1 자동차 사고 용의 차량 번호판 인식 시스템 개발 디지털정보융합학과 심영복

2 ㅊ I 프로젝트 개요 II 웹캠 이미지 캡쳐 III 문자 인식 기능 적용 IV 프로젝트 방향 및 범위

3 프로젝트 개요 I 방법 CCTV를 통한 도난, 범죄 차량 감지 및 신고에 활용
식별된 번호판을 관할 경찰서에 전송 관할 경찰서의 용의 차량 검색 서버 전송된 번호판이 신고된 차량인지 여부 판단 신고된 번호판일 경우 차량 정보와 위치 정보(CCTV 설치 위치) 출력 인근 근무 경찰에게 정보 전송하여 차량 검거에 활용

4 웹캠 이미지 캡쳐 II 하드웨어 소프트웨어 CCTV의 디지털 카메라 (웹캠으로 대체) 영상 분석 PC
차량 번호판 위치 및 번호 인식

5 II 웹캠 이미지 캡쳐 웹캠 영상을 이미지로 캡쳐 웹캠 영상 50ms 마다 웹캠 영상을 이미지로 캡쳐

6 III 차량 번호판 문자 인식 번호판 영역 추출 과정

7 차량 번호판 문자 인식 III 번호판 영역 추출 과정 해상도별로 전처리를 하기 위해 고해상도와 저해상도 이미지를 분류
640x480를 기준으로 분류 저해상도 이미지는 침식연산을 수행하게 되면 픽셀정보를 상당히 손실하게 되므로 Top-Hat연산을 수행하지 않음 전처리 과정에서는 입력받은 이미지를 그레이 변환 수행 고해상도 이미지는 노이즈를 제거하기 위해 가우시안 필터를 수행 후에 7x7크기의 커널을 만든 후 침식연산을 두 번 수행 원본이미지와 침식연산을 한 이미지를 Top-Hat연산을 수행하여 텍스쳐 정보를 얻음 이진화를 수행 blob레이블링을 이용하여 차량 번호판 부분을 추출 레이블링을 이용하여 후보들을 검출한 후에 조건에 맞는 필터링을 하여 번호판 부분만 추출 추출된 번호판 이미지에서 번호를 검출하기 위해 다시 레이블링을 수행 각각 검출된 문자영역을 템플릿매칭을 이용하여 어떤 문자를 나타내는지 알아내여 결과를 출력

8 III 차량 번호판 문자 인식 Gray (1) OpenCV의 cvCvtColor(m_pImage, orgImage, CV_BGR2GRAY) 함수를 이용 Gray는 이미지를 처리할 때 이진화 작업과 번호검출을 더 명확히 하기 위해 사용

9 차량 번호판 문자 인식 III 가우시안 필터 (2)
OpenCV의 cvSmooth(orgImage, tempImage, CV_GAUSSIAN, 5, 5) 를 이용 (5x5크기의 커널로 가우시안필터를 수행) 주변에 노이즈제거를 위해 사용

10 차량 번호판 문자 인식 III 침식연산과 Top-Hat연산 (3) 침식연산 침식연산
OpenCV의 cvErode와 cvSub를 이용하여 이미지를 침식연산 수행 그 후에 가우시안필터 전의 이미지와 침식연산 후의 이미지를 뺀다. Top-Hat연산 번호부분 같은 복잡한 부분을 제외한 나머지 배경들은 대부분 경계만 남고 제거 침식연산 침식연산

11 III 차량 번호판 문자 인식 이진화 (4) Top-Hat연산 후의 결과를 threshold=128의 값을 갖고 이진화를 수행

12 차량 번호판 문자 인식 III 레이블링 및 후보선택 (5) 레이블링결과 레이블링결과 이진화 한 이미지를 레이블링
여러 기준으로 후보를 검출 가로가 세로보다 긴 것 가로/세로의 비가 2.0이상 5.5이하인 것 가로의 길이가 전체의 20%이상 세로의 길이가 전체의 10%이상 후보로 검출된 부분을 두 번째 이미지와 같이 추출 레이블링결과 레이블링결과

13 차량 번호판 문자 인식 III 번호 추출 (6) BlobLabeling을 이용하여 번호 부분을 다시 한번 레이블링
세로가 가로보다 긴 것 세로와 가로의 비가 1.3이상 4이하인 것만 검출

14 차량 번호판 문자 인식 III 템플릿 매칭 (7) 결과값 정렬 (8)
레이블링된 문자부분을 저장되어있는 아래의 템플릿들과 비교하여 매칭률이 50% 이상이면서 가장 높은 숫자를 매칭 숫자로 결정 결과값 정렬 (8) 인식된 숫자들을 각 자리에 맞도록 버블정렬 레이블링을 수행하면 좌측 상단부터 우측하단 순서대로 레이블링을 하기 때문에 번호판이 기울어져 있을 경우 인식되는 순서가 원하는대로 안될 수 있음 플릿매칭을 하여 값을 저장할때에 해당 숫자의 x좌표를 함께 저장하여 결과를 출력하기 전에 x좌표를 이용하여 버블정렬

15 III 차량 번호판 문자 인식 수행 예

16 III 용의 차량 검색 수행 예

17 감사합니다