다중 카메라 기법 및 3차원 모델링을 통한 신발 분류 시스템

Presentation on theme: "다중 카메라 기법 및 3차원 모델링을 통한 신발 분류 시스템"— Presentation transcript:

1 다중 카메라 기법 및 3차원 모델링을 통한 신발 분류 시스템
주관기관 : ㈜ 영창 신기술 위탁기관 : 부산대학교 신경회로망 및 실세계 응용 연구실 2002.

2 차 례 기술 개발 목표 및 효과 전체 시스템 개발 구성 및 흐름도 세부 개발 내용 – Part I, II
차 례 기술 개발 목표 및 효과 전체 시스템 개발 구성 및 흐름도 세부 개발 내용 – Part I, II 기술 개발 결과 및 평가 향후 연구 과제

3 기술 개발 목표 및 효과 기술 개발 목표 기술 개발 효과 신발 Outsole 길이의 자동 계측 및 분류 시스템 개발
자동 계측에 의한 일관성 및 신뢰성 증대 통계적 데이터 관리에 의한 품질 관리 인건비 절감 및 작업 환경 개선 신발제조 기술에서의 가격 경쟁력 확보

4 Part I Part II 기술 개발 구성 제품 계측 시스템 및 기법 관련 조사 다중 카메라로부터의 영상 획득부 구현
밑창 길이 측정 구현 Part II 밑창 길이 보정 구현 문자 인식부 구현 밑창 분류 및 통계 DB 구축 [ Part 1 ] 제품 계측 시스템 및 기법 관련 조사 고속 영상처리를 위한 Frame Grabber 및 DSP board 선정 및 테스트 고해상도 영상 획득을 위한 CCD Camera 선정 및 테스트 다중 카메라로부터의 영상 획득부 구현 고속 정밀 계측을 위한 영상 데이터 송수신 처리 2-4 개의 Camera 동시 영상 획득 및 Switching 처리 밑창 길이 측정 구현 상대 길이 측정 눈금 블록 코드 개발 측면 인식에 의한 신발 감지 기법 개발 밑창 상단(앞부분), 하단(뒷부분) 분할 측정 및 통합 기법 [ Part 2 ] 밑창 길이 보정 구현 곡률 계산에 의한 신발의 휘어짐 보정 수행 길이 측정 오차 및 속도에 대한 Trade-off 발생 문자 인식부 구현 밑창 치수 측정 블록 코드 개발 밑창에서 블록 코드부 추출 및 인식 밑창 분류 및 통계 DB 구축 측정된 치수에 의한 오차 판단 및 분류 치수 인식에 따른 통계 DB 구축 및 활용 방안 모색

5 시스템 개발 흐름도 I

6 시스템 개발 흐름도 II

7 시스템 개발 내용 Part I ▶ 1. 신발 밑창 측정 구조 2. 밑창 감지 및 영상 획득 3. 윗면 길이 측정

8 [ 시스템 개발 내용 ] 신발 밑창 측정 구조 신발 밑창 기본 구조
[ 시스템 개발 내용 ] 신발 밑창 측정 구조 신발 밑창 기본 구조 측면 윗면 기본 길이

9 [시스템 개발 내용 ] 신발 밑창 측정 구조 신발 밑창 측정 구조
[시스템 개발 내용 ] 신발 밑창 측정 구조 신발 밑창 측정 구조 신발 상단부를 바닥에 밀착시킨 상태의 길이로 측정 측면 윗면 실제 측정 길이 기본 길이 보정 길이

10 [시스템 개발 내용 ] 신발 밑창 측정 구조 신발 밑창의 투입 구조
[시스템 개발 내용 ] 신발 밑창 측정 구조 신발 밑창의 투입 구조 가이드 라인에 밀착 밑창의 안쪽면이 컨베이어 벨트의 주행방향과 수평이 되도록 가이드(Guide)에 밀착시킨 상태로 투입 오른쪽 밑창은 왼쪽 가이드에, 왼쪽 밑창은 오른쪽 가이드에 각각 밀착 < 오른쪽 밑창 > < 왼쪽 밑창 > 가이드 라인에 밀착

11 [시스템 개발 내용 ] 밑창 감지 및 영상 획득 Vision Sensor
물체 없음 → 물체 탐지 신호①, 물체 탐지 → 물체 미탐지 신호② 구분 전송 가능 연속 신호 응답 빠른 응답 시간 필요 수직 면 감지 기능 Vision Sensor Camera를 이용 수직 검출 표시자로 탐지 측면 보정 기능 병렬 수행 신호 ① 신호 ②

12 [시스템 개발 내용 ] 윗면 길이 측정 정밀계측을 위한 분할 길이 측정
[시스템 개발 내용 ] 윗면 길이 측정 정밀계측을 위한 분할 길이 측정 A. 전체 측정방법 B. 분할 측정방법 분할 측정 기법으로 정밀도 향상 효과 정밀도 : A ( 1 pixel = 1 mm 오차), B ( 1 pixel = 0.4 mm 오차) 분할 측정 기법의 구현을 위한 상대 길이 측정 방식 눈금 블록 코드 이용

13 [시스템 개발 내용 ] 측면 길이 보정 측면 길이 보정 방법
[시스템 개발 내용 ] 측면 길이 보정 측면 길이 보정 방법 비례근사법 밑창 측면 치수를 각각 정의 이를 비례식에 의해 계산 보정해야 할 길이를 근사 신경회로망 비례근사법은 실시간으로 길이를 계산해야 하기 때문에 시간이 많이 걸리고 정의된 치수를 계산하기가 까다롭다. 반면 신경회로망은 측면 영상을 이용하여 미리 학습해두기 때문에 실시간으로 빠른 보정 길이를 산출할 수 있다. ( 여기서 사용한 신경망은 퍼지 이론은 LVQ 신경망에 접목한 FLVQ 알고리즘이다.) 밑창 측면 영상을 보정 길이별로 분류 미리 신경회로망으로 학습 실시간으로 빠른 보정 길이 산출

14 [시스템 개발 내용 ] 측면 길이 보정 비례근사법 이용
[시스템 개발 내용 ] 측면 길이 보정 비례근사법 이용 측면 치수 정의 각각의 측면 치수 계산 Sp 이미지상의 기준 가로 픽셀 크기 - 프로그램에서 픽셀 길이 측정 Op 이미지상의 밑창 부분 가로 픽셀 크기 Ep 이미자상의 밑창 아래 곡선 부분 측정 픽셀 크기 - 프로그램에서 곡선 길이 측정 S’m Sp에 대응하는 기준선 길이 (mm) - 개발자 정의 : 100 mm ( 10cm ) 로 정의 O’m Op에 대응하는 밑창 투영 가로 길이(mm) 이 길이는 물체가 측면판에 투영된 길이이다. 프로그램에서 비례식으로 구함 Fm 카메라에서 측면판까지의 실제 거리(mm) - 개발자 정의 : ? mm ( 미확정 ) Am 밑창(상단)의 경계부분 Y값과 가시화면의 아래쪽 경계영역까지의 실제거리 (mm) - 10mm 간격의 눈금을 이용하여 프로그램에서 측정 Bm 카메라와 가시화면 아래쪽 경계영역까지의 실제거리(mm) Om O’m이 원급법으로 보정된 실제 가로 길이(mm) - 프로그램에서 비례식으로 구함 Sp 측정 이미지상의 기준 가로 픽셀 크기 측면 가로 길이 측정 기준선의 픽셀길이 프로그램에서 픽셀 길이 측정 Op 측정 이미지상의 밑창 부분 가로 픽셀 크기 왼쪽 좌표는 밑창의 밑면이 바닥에 닿는 지점의 x 값( xl )이고 오른쪽 좌표는 밑창의 끝부분에 해당하는 x값(xr)이다. 즉, Op = xr - xl 곡선 길이(Ep) 및 곡면 보정 비율의 측정 곡선 길이(Ep)의 측정 측면 밑창 이미지의 경계선을 추출 아래쪽 경계선에 대하여 볼록 다각형 형태의 convex hall을 구하여 픽셀 길이 측정 곡면 보정 비율 : Ep/Op S’m의 정의 측면 가로 길이 측정 기준선 정의 Sp에 대응하는 기준선 길이(mm) 개발자 정의 : 100mm ( 10 Cm) O’m의 측정 Op에 대응하는 밑창 투영 가로 길이 이 길이는 물체가 측면판에 투영된 길이로서 카메라의 원급법에 의하여 실제 길이보다 좀 더 크게 확대 투영된 길이이다. 프로그램에서 Sp, Op, S’m의 값을 이용하여 비례식으로 측정 Sp : Op = S’m : O’m O’m = (Op S’m) / Sp Fm의 정의 카메라에서 측면판까지의 실제 거리( mm) 개발자 정의 : ? (미확정) Am의 측정 밑창(상단)의 경계부분 y좌표값과 가시화면의 아래쪽 경계 영역까지의 실제 거리(mm) 프로그램에서 측정 눈금이 10mm 간격으로 되어 있으므로 이를 이용하여 y좌표값의 높이를 구하여 이를 실제 거리로 변환 Bm의 정의 가시화면의 아래쪽 경계 영역과 카메라 사이의 실제 거리(mm) 개발자 정의 : ? mm (미확정) Om의 측정 O’m이 원급법으로 보정된 실제 가로 길이(mm) O’m : Om = Fm : (Am+Bm) Om = O’m (Am+Bm) / Fm 실제 곡면 보정 길이(Rm)의 측정 Om이 곡면 보정 비율(Ep/Op)로 보정된 길이 Rm = Om ( Ep/Op ) 최종 측면 보정 길이(Xm)의 측정 Xm = Rm – Om = Om ( Ep/Op – 1 ) 최종 측정 길이 윗부분 밑창 측정 길이 + 보정 길이 (예) mm + 0.8mm = mm 비례근사에 의한 측면 길이 보정

15 [시스템 개발 내용 ] 측면 길이 보정 신경회로망 이용
[시스템 개발 내용 ] 측면 길이 보정 신경회로망 이용 측면 학습 이미지 FLVQ 신경회로망 학습 보정길이 산출

16 [시스템 개발 내용 ] 밑창 분류 및 품질 관리 오차 계산 및 분류
[시스템 개발 내용 ] 밑창 분류 및 품질 관리 오차 계산 및 분류 오차 계산 오차 E = P – Q P : 밑창 영상 측정 길이 Q : 밑창 치수 문자 인식 길이 (예) E = 349.6mm mm = 1.1mm ( 양품!! ) 분류 기준 양품 : mm < E < mm ( 3mm ) 하품 : mm < E < -1.5 mm (4.3 mm) 상품 : +1.5 mm < E < +5.8 mm (4.3mm) 불량 : E < -5.8 mm or +5.8mm < E 기준 치수 Q 양 품 상 품 하 품 불 량 – 5.8 mm –1.5 mm mm mm

17 [시스템 개발 내용 ] 밑창 분류 및 품질 관리 통계 DB 구축 및 품질 관리
SQL Query를 통한 기간별, 모델별 검색 월별/주별/일별 오차 통계 분석 모델별 불량률 산출 분석 사 용 자 품질관리

18 평가 모델 시 스 템 개발결과 및 평 가 처리 속도 측정 오차 분류 오차 총괄 평가

19 시스템 개발 결과 및 평가 – 평가 모델 평가 모델 모델별 17종 분류 성별 남성/여성용 측정 치수별 11종 분류
개수별 356 pcs 분류

20 시스템 개발 결과 및 평가 – 처리 속도

21 시스템 개발 결과 및 평가 – 측정 오차

22 시스템 개발 결과 및 평가 – 분류 오차 양 품 상 품 하 품 불 량
– 5.8 mm –1.5 mm mm mm

23 시스템 개발 결과 및 평가 – 총괄 평가 처리 속도 측정 오차 분류 오차 1 pcs당 2초 이내 처리 : 속도 개선 필요
90% 이상의 정확도 및 신뢰도 달성 측정 오차 (1) 신뢰도 0.2 mm : / ( ) = ( 87 % ) 0.5 mm : / ( ) = ( 93 % ) 1 mm : / ( ) = ( 97 % ) 2 mm : / ( ) = ( 99 % ) (2) 정확도 0.2 mm : / 367 = ( 83 % ) 0.5 mm : / 367 = ( 91 % ) 1 mm : / 367 = ( 95 % ) 2 mm : / 367 = ( 99 % ) 실험을 통해 신발의 밑창(Outsole) 부분을 편차 0.2mm∼2mm로 측정/평가하고 이를 바탕으로 상품,양품,하품,불량으로 분류해 본 결과, 신뢰도 및 정확도 면에서 0.2mm 편차내에서는 90%를 약간 미치지 못하는 결과를 보였으나, 0.5mm, 1mm 편차에 대한 실험을 통해서 90%이상을 기록할 수 있었다. 또한 편차 2mm에 대해서는 99%의 높은 신뢰도와 정확도를 나타내고 있으며 이를 통해 살펴볼 때 본 시스템의 유효성 및 실용성을 입증할 수 있다. 그리고 이를 바탕으로 실제적인 신발 밑창 모델에 대한 분류를 실험한 결과 약 10%의 불량률을 나타냈으며 이 불량률에 기인한 인건비용 및 품질관리에 본 시스템을 효과적으로 적용할 수 있음을 알 수 있다. 약 10%의 불량률 : 본 시스템 개발의 필요성 확인 분류 오차

24 향후 연구 과제 저가 장비 개발 밑창 제품 변동에 따른 적응적 학습능력 배양 다양한 밑창 색깔 처리

25 The End