제 9 장 자율주행차량.

Presentation on theme: "제 9 장 자율주행차량."— Presentation transcript:

1 제 9 장 자율주행차량

2 자율주행차의 정의 및 작동원리는? 운전자 없이 탑승객을 목적지까지 빠르게 안전하게 이동시켜주는 자동 운전 수단

3 Google driver-free cars
GOOGLE SELF-DRIVING CARS

4 자율주행차의 정의 ? Ability of a car to get from point A to point B without human interaction

5 자율주행차의 동작 원리 ? Ultra-precise GPS fixes Scanner Google translate
Lane departure warning Lane keep assist Blind spot detection

6 왜 자율주행차량 개발에 몰두하는가? 구글, 애플, 삼성전자, LG전자 등 글로벌 메이커가 모두 참가
현재 자동차의 약 30%가 전기전자부품, 향후 2020년 40% 이상으로 상승 향후 자동차는 단순한 이동수단에서 움직이는 생활공간, 움직이는 가전제품, 움직이는 로봇, 결국 사물인터넷으로 발전 향후 자동차는 친환경, 고안전, 고효율 중심의 자율주행차량으로 변신 이제는 모터쇼보다 세계가전전시회(CES) 같은 전시회에서 주목 받는 차세대 제품 형태로 변모하고 있음

7 자율주행차와 환경변화 자율주행 자동차 기술적 환경변화 정책적 환경변화 사회적 환경변화 경제적 환경변화 [현재]
레이더, 카메라 기반 지능형 자동차 (사고예방, 주행지원 등) [미래] 외부와 소통하는 자동차 (자율주행, 군집주행 등) 정책적 환경변화 스마트카 관련 안전규제, 인센티브 강화 중 - 범국가적 정부정책과 추진전략 수립/지원 자율주행 자동차 사회적 환경변화 [현재] 기계 중심 자동차 (차체안전, 고연비 등) [미래] 인간 중심 자동차 (스마트, 커넥티드 등) 경제적 환경변화 관련 업종간 융복합 및 합종연횡 가속 중 - 자동차-ICT-ITS 업종 협력 모델 발굴 → 고수익 사업모델 창출, 미래시장 선점

8 국내외 자율주행차량 기술수준은? 센서, 카메라, 라이다(LiDAR) 기술 등 주변을 인식하는 원천기술 확보 실패, 해외 수입에 의존하는 실정 실증 도로 운행이 가능한 관련법 지원을 하고 있으나 아직은 선언적 의미에 그치고 있음

9 국내외 자율주행차량 기술수준은? <자료 : 조선비즈 (2016년 2월 22일)>

10 국내외 기술 현황 기업 기술 현황 Google Audi 현대자동차
자율주행 무인차량을 위해 Stanford, CMU 등 대학에 있는 핵심 연구원들을 영입 Audi 전후방에 총 12개의 센서를 이용, 원격조정으로 자율 주차할 수 있는 기술 보유 현대자동차 자율주행 부품 및 시스템 양상 체계를 위해 융합시스템연구팀을 신설 LIDAR : LMS, HDL, XT, ISF Camera : PGF Radar : ARS LMS : SICK LMS LIDAR HDL : Velodyne LIDAR ARS : Continental ARS 300 Radar PGF : Point Gray Firefly (High dynamic range camera) XT : IBEO Alasca XT LIDAR ISF : Continental ISF 172 LIDAR 알고리즘 : Tracking system architecture Fusion Layer : Predict and update the object hypothesis (movement observation) Sensor Layer : Extract validate Features 사용자의 편의성 및 안정성과 자율 주행 기술 분야의 선점을 위한 환경 인식 위한 물체 인식 기술 개발 CMU에서 제작한 자율주행 자동차를 위한 센서 위치 및 알고리즘 구조도

11 국내외 자율주행차량 운행 규정 및 실험은? 미국, 캐나다 등은 이미 자율주행차량 운행기준을 규정하고 미국 미시간주에 완전한 자율주행차량 시험이 가능한 실험도시 M시티를 작년에 완성, 운영 중 미국은 2013년부터 캘리포니아 등 5개 주에서 자율주행 실험 면허 발급 실험 중, 일본의 경우도 2013년부터 나고야 등에서 실험 중, 독일도 지난 2015년부터 일부 고속도로에서 실험 중 선진국도 자율주행차량 사고로 인한 보험처리 등 관련법은 아직도 진행 중 국내는 경부고속도로 등 5개 지역에 시험운행을 위한 임시 허가 영역을 설정(경부고속 서울요금소~신갈분기점~영동고속~호법분기점(41Km), 수원, 용인, 고양, 광주 등 수도권 5개 구간 319Km 지정) 관련법은 아직 진행 중. 실험도시 K시티도 3년 후 완성 예정

12 구글카 사고, 시사하는 바가 크다. 지난 6년간 330만KM 주행 중 발생한 17건의 사고 중 구글카 책임 인정은 첫 사례임
<자료 : 중앙일보 (2016년 3월 2일)>

13 자율주행차량의 한계와 가능성은? 아직은 기술적 한계와 관련법 미비로 실용화에 한계
현재의 자율주행차량은 폭설, 폭우 등 악조건에서의 운전이 불가능하고 사거리에서의 수신호 및 보행자와 운전자의 신호인 ‘아이 콘텍트(Eye Contact)’ 등 핵심적인 신호체계 인식이 불가능함 탑승자나 보행자 우선의 윤리적 판단은 더욱 중요한 사안임 (향후 인공지능(AI) 탑재 시 더욱 심각한 문제임) 모든 차종이 자율주행차량인 경우는 모르지만 일반 운전과 자율주행 혼재 사용은 더욱 큰 문제일 것임 우선 고령자용 자동차와 능동식 안전장치를 통한 예방 장치 탑재가 중요한 실적일 것임

14 상용화 언제 되는가? <벤츠 컨셉트모델 F015 럭셔리 인 모션의 시승 행사(2015년 3월 16일)>

15 상용화 언제 되는가? 이미 구글, BMW, 벤츠 등은 실제 도로에서 실험 중. 누적 주행거리도 상당수가 되어 실용 데이터 확보에 성공 역시 문제는 기후 악조건에 따른 인식의 한계와 다양한 조건이 있는 혼잡 도로에서의 일반 주행 조건임 글로벌 메이커들이 수년 이내에 상용화를 자신하고 있으나 2020년 정도 시속 30~40Km 정도로 한산한 실버타운이나 관광지역 등에서 일부 운영될 것으로 판단됨 실제 도심지 혼잡 도로의 경우 보행자, 자전거, 오토바이, 자동차 등 각종 혼잡조건에서는 실제 운행이 어려울 것으로 판단되어 상당한 시간이 요구됨 사고 발생 시 보험처리 등 일상생활에서의 판단기준 차이도 고민되는 부분임

16 향후 해결과제는? 각종 악조건에서의 운행 가능여부 혼잡도가 극한치에 달한 경우에서의 운행 가능 여부
자동차 해킹이나 프로그램 오류에 위한 사고 발생 여부는 가장 핵심적인 해결과제일 것임 - 이미 미국 등에서의 자동차 해킹과 독일에서의 스마트키 해킹 등으로 각종 위험요소가 당장 등장하고 있음 지난 130년의 법적 제도적 기반을 넘는 새로운 기준 마련이 쉽지 않을 것임 사고 발생 시 보험처리 등도 해결하여야 함

17 미래 자동차 - 자율주행, 사물인터넷, 친환경이 어우러진 융합 모델
향후의 자동차는 내연기관차, 하이브리드차, 전기차로 점차 변환되면서 향후에는 연료전지차로 갈 것으로 예상 전기전자장치의 비율은 60% 이상으로 상승 예상 스마트폰이 자동차에 접목되면서 스마트카로 변신 예상 스마트카, 지능형 교통 인프라, 자율 주행 적용 등이 조합된 융합형 통합 시스템으로 진화 예상 고령자용 차량 개발, 예방형 능동식 안전장치 및 편의장치 탑재 등 으로 진화 예상.

18 연구개발 목표 및 내용 ■ 고령자 및 장애인을 위한 특수차량용 ITS
정보시스템 GPS RFID tag (((( □ 제한 영역 내 이동로봇/지능형휠체어 자율주행 지원 Navigation 체계 구축 □ 무선통신 기반 On-Demand 교통정보 분배 □ 센서 융합기반 실내∙외 환경 인지 시스템 구축

19 연구개발 목표 및 내용(Cont’d) 환경지도 구축 특징점 추출 User Interface GPS Data Processing
주변 장애물인식을 위한 융합센서 Data Processing RFID tag reader

20 연구개발 목표 및 내용(Cont’d) 이동로봇/지능형휠체어 자율주행 지원 ITS 구축
□ 이동로봇/지능형휠체어 자율주행 지원 Navigation 체계 구축 ○ 3차원 실내 공간의 출입구, 승강기, 계단 정보 ○ 전자태그 부착 위치 ○ 노면의 정보 및 고정 장애물에 대한 표시 등 세부적인 부분을 포함 ○ 불변특징점 추출을 통한 실시간 국부 특징지도 구축 ○ 계층구조 기반의 전역 위상지도(Global topological mapping) ○ RFID tag(coarse location)와 비전센서(Fine location)의 융합에 의한 자율주행 □ 무선통신 기반 On-Demand 교통 정보분배 ○ 건물(연구소, 병원, 사무실) 정보 전송 시스템 구축 (진료 대기시간, 진료실 방문순서, 도서관 이용 정보, 수업 관련 정보)  ○ 실내･외 통신 체계 판단 ○ RFID tag, Land mark 효율적 배치 방법

21 연구개발 목표 및 내용(Cont’d) 센서 융합기반 실내∙외 환경 인지 시스템 구축 □ 센서융합에 의한 장애물 인식
센서 융합기반 실내∙외 환경 인지 시스템 구축 □ 실시간 특징점 추출 및 매칭 기술 ○ 장애물, 지표 특징 추출 ○ 공간/위치 인식 불변 특징점 추출 ○ 특징점 매칭 기술을 이용한 공간 인지 □ 센서융합에 의한 장애물 인식 ○ LRF, 초음파 센서 융합 ○ 장애요소 구별 및 회피주행 □ 실외 환경 인식 기술 ○ 시각 센서에 의한 도로의 차선, 연석, 장애인용 보도블럭 인식 ○ GPS위치정보와 카메라에 의한 환경정보를 특수차량용 환경지도와 매칭 ○ 장애물 인식, 장애요소 분류 및 회피주행 □ 주변 환경인식 모듈 개발 ○ 자율주행 휠체어를 위한 환경 인식 모듈 ○ 카메라, 초음파, LRF 융합센서 개발

22 연구개발 목표 및 내용(Cont’d) U-Robot 기반 지능형 자율 주행 휠체어 □ 계단승월 휠체어 개발 □ 자가충전 시스템
○ 계단 극복용 구동모듈 및 캐터필러 구동장치 메커니즘 설계 기술 개발 ○ 노면 상태 극복을 위한 전력 제어 시스템 연구 ○ 자세제어 메커니즘 설계 및 안정성 평가 기술 개발 □ 자가충전 시스템 ○ 배터리 잔류량에 따른 충전 알람 및 자가 충전 시스템 개발 ○ 휠체어-충전 장치 도킹 메커니즘의 개발 □ 고령자/장애인을 위한 스마트 인터페이스 개발 ○ 사용자(고령자, 장애인 ) 행동 특성 분석 ○ 장애 유형별 휠체어 조작 사용자 인터페이스

23 자동 주차 차량에 부착된 카메라와 센서를 이용하여 자동으로 주차공간을 계산하고 주차 궤적을 산출함
평행주차 후진주차 Soongsil Univ. Computer Vision Lab.

24 자동주차 (BMW) 완전 자동 무인 주차 Soongsil Univ. Computer Vision Lab.
초음파 센서 2개(우측 2개)를 이용하여 측면 스캔 주차 공간의 위치와 크기를 계산하여 주차 Auto Park 버튼 하나로 평행 주차 가능 리모콘을 이용하여 무인 전진 주차 가능 Soongsil Univ. Computer Vision Lab.

25 자동주차 (Volvo) 완전 자동 무인 주차 자동 유인 주차 Soongsil Univ. Computer Vision Lab.
초음파 센서 4개(우측 4개)를 이용하여 측면 스캔 주차 공간의 위치와 크기를 계산하여 주차 평행주차만 가능 자동 유인 주차 궤적을 모니터에서 조정하여 주차 공간의 위치를 입력 사용자가 설정한 궤적을 이용하여 자동 주차 Soongsil Univ. Computer Vision Lab.

26 자동주차 (Toyota) 자동 유인 주차 Soongsil Univ. Computer Vision Lab.
Prius Hybrid에 적용 차 후방에 카메라와 센서를 부착 하여 자동 주차 주차방향 위치등을 사용자가 모니터를 통해 입력 후진 주차만 가능 Lexus의 LS460 시리즈 적용된 것은 평행, 후진 주차 모두 가능 Soongsil Univ. Computer Vision Lab.

27 자동주차 (Hyundai) 자동 유인 주차 (PAS) Soongsil Univ. Computer Vision Lab.
클릭에 적용하여 KINTEX 모터쇼에서 데모 차 후방에 카메라와 센서를 이용하여 자동 주차 주차 궤적을 사용자가 수동으로 입력하여야 함 후진 주차, 평행 주차 가능 Soongsil Univ. Computer Vision Lab.

28 자동주차 - 요소기술 주차 공간 정보 추출 차량 이동 궤도 측정
차량 측면에 초음파 센서를 장치하고 이를 통해 주행중 스캔된 Depth Map를 처리하여 공간 영역 정보 산출 차량 이동 궤도 측정 차량 Kinematic 모델과 원 접선에 기반한 차량 이동 궤적 산출 모델을 Neuro-Fuzzy Controller에 적용하여 조향각 추출 TGP : Trajectories for Garage Parking TPP : Trajectories for Parallel Parking FGPC : Fuzzy Garage Parking Control FPPC : Fuzzy Parallel Parking Control

29 Soongsil Univ. Computer Vision Lab.
주차 공간 추출 (공간 영역 지도 생성) 주차 공간 추출 초음파센서를 사용하여 거리정보를 실시간 스캔 스캔한 정보를 처리하여 공간 영역 지도 생성 주차 가능한 공간 여부를 판단 Depth Map 공간영역지도 Outliners ADC Smoothing Corner Detection Line Fitting TGP : Trajectories for Garage Parking TPP : Trajectories for Parallel Parking 주차공간추출 Soongsil Univ. Computer Vision Lab.

30 Soongsil Univ. Computer Vision Lab.
주차 공간 추출 (주차 가능 여부 판단) *depth : Max Distance – Min Distance *width : s = v/t (등속도 운동) depth가 임계치값을 넘을경우 start point와 end point로 설정하여 시간(t) 계산 end point Min Distance Max Distance start point *평행주차 : width > 차 길이 & depth > 차 폭 *후진주차 : width > 차 폭 & depth > 차 길이 왼쪽 그림 차량이 진행방향으로 진행하면서 초음파 센서를 이용하여 실시간(초당 10번)으로 거리정보를 스캐닝 하여 2차원 공간에 가상 모델을 만듦 오른쪽 그림 왼쪽그림에서 만든 2차원 가상 공간의 예로 확보된 공간이 평행주차가 가능한지 후진주차가 가능한지 계산함 진행방향 차폭 Soongsil Univ. Computer Vision Lab.

31 Soongsil Univ. Computer Vision Lab.
차량 이동 (주차 궤적 산출) 각각 변수들의 내용은 Autonomous Fuzzy Parking Control of Car-Like Mobile Robot논문의 454페이지 오른쪽 다단 첫머리에 있음 후진 주차 궤적 산출 전진 주차 궤적 산출 Soongsil Univ. Computer Vision Lab.

32 차량 이동 (주차 궤적 산출) 후진 평행 주차 궤적 산출 전진 평행 주차 궤적 산출
앞에 전진 후진 주차에 대한 변수를 그대로 이용하여 각각 위에 쓰여 있는 식에 의해 변환 후 궤적 산출 전진 평행 주차 궤적 산출

33 차선검출 - Motivation 사고 방지 효과 차선을 검출하여 경보
운전자의 상태에 따른 주의력 회복 차선이탈사고로부터 운전자를 보호 차선을 검출하여 경보 LDWS(Lane Departure Warning System) LKAS(Lane Keeping Assistance System) Soongsil Univ. Computer Vision Lab.

34 What is LDWS 차선이탈 경고 시스템 LDWS(Lane Departure Warning System)
운전자에게 차선 이탈을 경고하는 시스템 차량에 영상센서를 부착, 도로의 차선을 인식 효과음 및 스티어링휠의 진동으로 경고 Soongsil Univ. Computer Vision Lab.

35 What is LKAS 차선유지 보조 시스템 LKAS(Lane Keeping Assistance System)
운전자에게 차선 이탈을 경고 및 강제적 자동 조향을 통하여 이탈을 방지하는 시스템 LDWS와 같이 차량에 영상센서 부착후 차선 감지 차선이탈 시 조향을 강제적으로 변경 Honda Motors의 LKAS Soongsil Univ. Computer Vision Lab.

36 기술동향 Soongsil Univ. Computer Vision Lab. 해외 기업 동향 LDWS 개발 LKAS 개발
AutoCommute의 LDS – 차 지붕에 영상센서 장착 후 차선검출 Conekt의 LDWS 모듈 – 카메라를 이용 차선 검출 이탈 시 영상과 소리로 표현 SAY ( Secunity Group Usa) 의 LDW – 카메라 기반, 소리로만 표현 Ibeo의 laser scanners – 레이저센서를 이용 차선검출 LKAS 개발 닛산 및 혼다 자동차 개발 현재 시판 중 – 내수 및 유럽형모델에 출시 자동차의 적용 예 아우디 - Lane assist – 차선 이탈 시 스티어링휠의 진동 메르세데스-벤츠 - LDS – 차선 이탈 시 경보 음 폴크스바겐, 인피니티 - LDWS탑재 – 차선 이탈 시 경보 음 렉서스 - 스테레오 카메라와 센서를 조합, 차선 이탈시 경보와 스티어링휠의 진동 GM – 차선 이탈 시 대쉬보드를 통하여 경보 미쯔비시 – LDWS 2000년 상용화 닛산 – LKAS 2001년 상용화, LDW, LDP 혼다 – 레전드 및 어큐라, 어큐리에 LKAS탑재 인피니티 – M45, FX SUV LDWS탑재 Soongsil Univ. Computer Vision Lab.

37 기술동향 – 상용화된 LDWS와 LKAS의 예
㈜PLK의 Roadscope Conekt의 LDWS 모듈 SAY ( Secunity Group Usa) 의 LDW NISSAN의 LDW와 LDP 모듈 Soongsil Univ. Computer Vision Lab.

38 Soongsil Univ. Computer Vision Lab.
영상센서를 이용한 차선 추적 영상센서를 이용한 차선 추적 1개의 카메라를 이용한 추적방법 Honda Motors의 영상센서 획득된 영상 Soongsil Univ. Computer Vision Lab.

39 Soongsil Univ. Computer Vision Lab.
차선의 예측 단계 1/2 차선의 예측 단계 참조 선을 배치 차선 검출을 위하여 3개의 참조 선을 배치 Soongsil Univ. Computer Vision Lab.

40 Soongsil Univ. Computer Vision Lab.
차선의 예측 단계 2/2 탐색영역 설정 및 검출 차선의 넓이로 초기화 Kalman Filter 알고리즘을 이용하여 탐색영역의 위치 예측 Soongsil Univ. Computer Vision Lab.

41 Soongsil Univ. Computer Vision Lab.
차선검출단계 1/3 차선 검출 단계 탐색 영역 내에서 검출 수행 줄 단위 검출 영역 단위 검출 Soongsil Univ. Computer Vision Lab.

42 Soongsil Univ. Computer Vision Lab.
차선검출단계 2/3 줄 단위 검출방법 선택 영역 내 줄 단위 동적 임계값 적용 각 화소를 3가지 유형으로 분류 Black cell (차선) White cell (도로) Gray cell (미확인) 임계방법을 적용하여 각 줄을 HLM 또는 NHLM 줄로 분류 Soongsil Univ. Computer Vision Lab.

43 Soongsil Univ. Computer Vision Lab.
차선검출단계 3/3 영역 단위 검출방법 HLM줄에 대하여 중심 화소 검출 검출된 중심 화소 연결하여 차선 검출 X Soongsil Univ. Computer Vision Lab.

44 Soongsil Univ. Computer Vision Lab.
재검출 단계 재검출 단계 차선이 검출되지 않을 경우 처리 차선 위에 차가 있는 경우 도로 위에 그림자나 장애물이 있는 경우 차선이 끈 어진 경우 프레임간의 Kalman Filter 계산을 통한 차선 예측 차선 인식 불가 원인 Soongsil Univ. Computer Vision Lab.

45 차선 이탈 검출 1/2 차선 이탈 검출 검출된 차선 위치를 기준 차로의 중앙과 차선의 폭을 검출 차로의 중앙을 인식하여 검출

46 차량의 위치와 카메라의 위치의 상관관계 계산 차선 이탈 검출 2/2 세로 참조선 3개 이용 차선 이탈 검출 차선 검출

47 번호판 인식 Soongsil Univ. Computer Vision Lab.

48 번호판 인식 Soongsil Univ. Computer Vision Lab.

49 번호판 인식 Soongsil Univ. Computer Vision Lab.
Vertical Filter 적용 후 Horizon Filter 적용해서 번호판 추출 Soongsil Univ. Computer Vision Lab.

50 번호판 인식 Soongsil Univ. Computer Vision Lab. 번호판 부분 그레이화 번호판 부분 이진화
배경에서 번호판 부분 추출 번호판 부분 그레이화 번호판 부분 이진화 영역별 추출 Soongsil Univ. Computer Vision Lab.

51 번호판 인식 Soongsil Univ. Computer Vision Lab.

52 자율운행차량 다큐 프로그램 Soongsil Univ. Computer Vision Lab.