Development of Multi-Sensor Fusion Platform for Context-aware Smart Car and Local Suppliers Support Project

(1)

2016년 12월 16ZC3300-01-7103P

50 상황인지 스마트카 퓨전 플랫폼 개발 및 지역

부품업체 지원사업

Development of Multi-Sensor Fusion Platform for Context-aware Smart

Car and Local Suppliers Support Project

(2)

(3)

인 사 말 씀

최근 들어 자동차 업계는 기존의 자동차에 정보통신기술(ICT)을 접목, 차량 내·외부 상 황에 맞는 실시간 정보를 수집해 안전한 주행과 편리한 기능을 제공하는 자동차인 스마트카 가 현실화 되고 있는 추세입니다. IT 업계는 이같은 스마트카의 핵심 기능으로 차량 스스로 주변환경을 인식, 위험을 판단하고 주행경로를 계획하는 등 운전자의 주행조작을 최소화해 안전한 주행이 가능하도록 하는 자율주행 기술에 주목하고 있습니다. 또한 소비자의 안전성 과 편리성에 대한 다양한 요구사항을 반영하고 선진국에서 진행되고 있는 새로운 안전 관련 규제 강화에 대응하며, 화석 에너지의 수급 문제 및 지구의 온난화등의 환경 문제에도 대처 를 해야 합니다. 이에 따라 자동차 선진국들의 완성차 제조사와 자동차 부품회사들은 2000 년대 초반부터 자동차의 안전성 및 편리성 향상을 위한 첨단 안전시스템의 연구를 시작하여 주변상황인지 를 위한 레이더, Lidar, 비전 등의 스마트 센서 개발 및 각 센서 정보를 활용한 차량 전방 위의 정적/동적 장애물을 감지하는 시스템, 다양한 센서의 정보를 융합하여 정확한 상황인 지 및 판단기능을 수행하는 센서 융합 신호처리 시스템, 상황 판단에 따른 빠르고 정확한 응답성을 보장하는 제어 시스템등과 차량간 또는 차량과 도로 인프라간의 정보공유를 위한 V2X 시스템 등을 꾸준히 개발 해오고 있습니다. 이 중 이미 많은 기술들은 최근 상용화되어 고급 자동차에 적용되어 차량의 안전성을 향 상시키고, 전반적인 자동차 산업의 부가가치 증대 효과를 가져 오고 있습니다. 하지만, 현 재 개발 되었거나 혹은 개발 완성 단계인 많은 센서와 시스템은 상당히 고가이며, 제한적인 성능과 응용별로 별도의 센서를 직결하여 활용함에 따라 복잡도 증가 등의 시장의 확대, 보 급화에 많은 문제점을 내포하고 있습니다. 이들 기술에 대해 지속적인 연구개발을 통하여 관련 기술의 완성도를 높이고 소형화 하 며 신뢰성 있는 제품을 생산하고 대량 생산이 용이하도록 표준화 체계를 준수함으로써 보다 저렴한 가격대의 제품이 출시되어 고급차뿐만 아니라 모든 종류의 자동차에 장착이 될 수 있도록 하여 전반적인 차량의 안전성을 항샹시킴으로써 교통 사고로 인한 사외적 비용을 줄

(4)

인 수 있을 것으로 전망됩니다. 국내 지능형 자동차를 위한 핵심 부품은 아직 전량 수입에 의존하고 있는 상황이며 급변 하고 있는 자동차 산업의 글로벌 경쟁력을 확보 하기 위해서는 완성차 업체뿐만 아니라 전 장부품 업체도 기반 기술인 스마트센서, 상황 인지/판단 시스템 및 제어시스템의 진보된 기 술 개발이 시급히 요구되고 있습니다. 또한 현재 개발 중인 개별 센서의 성능 향상뿐만 아 니라 융복합화되는 전장 시스템의 높아진 성능수준을 충족 하기 위하여 센서의 융합, 시스 템의 융합뿐만 아니라 정보의 융합을 기반으로 신뢰성을 높이고 성능을 향상시키며 가격 경 쟁력이 있는 기술력 확보가 요구됩니다. 이에 본 연구에서는 가까운 미래에 자율 주행이 가능하고, 차량내에서도 다양한 인포테 인먼트 서비스 활용이 가능한 지능형 자동차를 위하여 스마트 센서 모듈, 센서 융합 모듈, 정보 융합을 통한 상황인지 및 판단 기술, 차량 안전 제어시스템을 개발하여 안전 운전 지 원을 위한 응용기술을 선도하며 다중 센서 퓨전 플랫폼 개발과 보급을 통해 국내 미래 지능 형 자동차 산업 및 IT 융합 산업 분야에서 해당 기술을 활용할 수 있도록 지원함으로써 국 내 업체들의 국제 경쟁력을 제고함은 물론 미래 지능형 자동차의 글로벌 플랫폼 기술로 활 용될 것으로 기대됩니다. 끝으로 연구 수행에 많은 도움을 주신 미래창조과학부와 대구광역시, 학계 그리고 관련 분야 여러분께 깊이 감사 드리며 본 연구에 참여한 연구원들의 노고를 치하하는 바입니다.

2016년 12월

한국전자통신연구원 원 장 이 상 훈

(5)

제 출 문

본 연구 보고서는 주요 사업인 "상황인지 스마트카 퓨전 플랫폼 개발 및 지역 부품업체 지원사업"의 결과로서, 본 과제에 참여한 아래의 연구팀이 작성한 것입니다.

2016 년 12 월

사업책임자 : 책임연구원 이수인 (ETRI)

과제책임자 : 책임연구원 박미룡 (ETRI)

연구참여자 : 책임연구원 김기석 (ETRI)

책임연구원 김대식 (ETRI)

책임연구원 김종덕 (ETRI)

선임연구원 박종일 (ETRI)

선임연구원 서동욱 (ETRI)

선임연구원 신동승 (ETRI)

선임연구원 이은령 (ETRI)

선임연구원 이재호 (ETRI)

선임연구원 조진희 (ETRI)

선임연구원 채석민 (ETRI)

연 구 원 마수드 (ETRI)

연 구 원 정소희 (ETRI)

책임연구원 정윤수 (ETRI)

책임연구원 김광용 (ETRI)

책임연구원 김두식 (ETRI)

선임연구원 백장운 (ETRI)

(6)

선임연구원 이종택 (ETRI)

선임연구원 최윤원 (ETRI)

선임연구원 한병길 (ETRI)

책임연구원 장길현 (이래오토모티브시스템)

책임연구원 박상준 (이래오토모티브시스템)

선임연구원 신주석 (이래오토모티브시스템)

책임연구원 김현규 ((주)토핀스)

선임연구원 박전구 ((주)토핀스)

연 구 원 강 일 ((주)토핀스)

연 구 원 김정현 ((주)토핀스)

책임연구원 이동권 (경창산업㈜)

선임연구원 김정현 (경창산업㈜)

선임연구원 박태훈 (경창산업㈜)

수석연구원 김병량 ((주)에이텍티앤)

책임연구원 김성식 ((주)에이텍티앤)

선임연구원 백동석 ((주)에이텍티앤)

수석연구원 윤종록 (영진하이텍)

책임연구원 정제용 (영진하이텍)

책임연구원 정홍종 (㈜ 웨이티즈)

책임연구원 권순일 (㈜ 웨이티즈)

선임연구원 오수택 (㈜ 웨이티즈)

(7)

요 약 문

Ⅰ. 제 목

상황인지 스마트카 퓨전 플랫폼 개발 및 지역 부품업체 지원사업

Ⅱ. 연구 목적 및 중요성

가. 연구 개발의 목적 상황인지 스마트카 퓨전 플랫폼 개발 및 지역 부품업체 지원사업은 상황인지 스마트 센서 모듈 고도화 개발, 이종 센서 퓨전 기술 개발, 기업체 수요 반영 센서 퓨전 차량 안전 시스템 개발을 통해, 스마트카 및 자율주행 차량에서 실시간 주변 상황을 인지할 수 있는 센서 퓨전 플랫폼 기술 개발 및 지역 부품업체의 수요가 반영된 차량 안전시스템 개발 지원을 통한 기술경쟁력 제고하기 위한 목적을 가지고 추진하였다. 또한 지능형자동차 산업의 고부가가치화 및 경쟁력 강화를 위한 차량용 임베디드 SW 산업 육성, 차세대 국가 성장동력사업으로 지능형자동차부품산업을 집중 육성할 대구․경북 지역을 기반으로, 지역 IT 및 자동차 관련 연구기관과 자동차 부품 업체들과의 공동 참여 및 협력을 통해 차량용 상황인지 스마트센서 핵심 부품 및 센서 모듈화 기술, 신호처리 기술, SW 플랫폼 기술 확보를 하고, 이를 바탕으로 미래 스마트카를 위한 차별화된 차량 편의장치 및 안전시스템 개발 등을 상용화를 추진하기 위해 추진하였다.

(8)

나. 연구개발의 중요성 최근 자동차업계는 급속하게 강화되고 있는 환경, 안전규제, 에너지 문제, 소비자의 편의성과 안전성 요구에 따라 급격한 환경적 변화를 겪고 있으며 이에 미래 자동차 산업의 유망한 분야로 친환경차량과 안전 및 편의성이 강조되는 지능형자동차가 채택되었다. 이러한 변화의 결과로 최근까지 급격히 발전되어 온 IT기술들을 자동차에 적용하게 되었고 지능형자동차 산업의 구조도 자동차의 네트워크화, 스마트화가 진행되면서 자동차기업과 IT기업 간 협업이 되고 있다, 미래의 자동차는 친환경과 자율주행 등을 화두로 급변하고 있고, 사물인터넷의 확대로 자동차에서 차지하고 있는 '전기전자부품'의 비율이 증가할 것으로 보인다. 미국 시장조사업체 스트래티지 애널리틱스(SA)에 따르면 자동차 전장부품 시장 규모는 지난해 2390억달러(282조원)에서 2020년 3033억달러(358조원)로 27% 가량 급성장할 것으로 전망했다. 자율주행 자동차의 핵심은 센서와 제어기 및 액추에이터로 구성되며 특히 인간을 뛰어넘을 센서 개발과 더불어 개별 센서의 퓨전(융합)을 통한 세밀한 주변 상황인지 기술이 시장을 지배하는 관건이다. 따라서, 스마트 카를 위한 스마트센서의 고도화된 개발 및 자동차 전자장치의 다양화, 복잡화 및 모듈화 추세에 맞추어 IT 기술, 특히 센서 신호처리 기술의 융합이 필요하다. 전 세계적으로 자동차의 안전성 및 편의성을 향상시키기 위한 첨단 안전시스템 개발이 자동차 업계의 주요 이슈가 되고 있으며 이를 위한 기술 개발 및 상용화가 진행되고 있다. 세계 자동차 선진국의 자동차 제조사 및 자동차 부품회사에서는 2000년대 초반부터 시작된 자동차의 안전성 및 편의성을 향상시키기 위한 첨단 안전시스템 프로젝트 연구 결과를 기반으로, 주변환경인지를 위한 레이더, Lidar, 비전, GPS 등의 스마트 센서 개발 및 각 센서 정보를 활용한 차량의 전후방, 측면의 정적/동적 장애물을 감지하는 시스템, 각 센서의 정보를 융합한 센서 융합

(9)

신호처리 시스템, 차량 센싱정보를 통한 차량 제어, 자율주행 시스템의 개발을 추진하고 있다. 아직까지 국내의 대부분의 스마트카 핵심 기술은 전량 수입에 의존하고 있는 상황이어서 미래 상황인지 스마트자동차 산업의 경쟁력 확보를 위해 완성차 업체 및 전장부품 업체의 애로 기술인 상황인지 스마트센서 개발이 시급히 요구된다. 현재 개발 중인 대부분의 센서는 단위 센서 자체의 인지능력 향상에 치중하고 있으며, 이종 상황인지 스마트 센서간의 데이터를 융합하여 보다 정확하게 장애물의 위치정보를 선별하고 가장 위협적인 장애물을 판단한 후 신뢰성 있는 인식 결과를 제공하는 다중 스마트센서 융합 기술 확보가 필요하다. 따라서 본 과제에서 추진하는 상황인지 스마트카를 위한 다중센서 플랫폼 기술은 자동차 산업이 국가의 큰 핵심 기간산업임에도 불구하고 선진국대비 지능형자동차 관련 기술 개발이 늦은 현재 상황에서 국내 자동차 산업을 도약시킬 수 있는 기술로, 향후 국가 기술 및 대외 시장 경쟁력 확보를 위하여 매우 중요하다고 볼 수 있다.

Ⅲ. 연구내용 및 범위

본 과제는 2016년부터 2018년까지 3년간 진행되며 최종 목표는 다음과 같다.  스마트카 및 자율주행 차량에서 실시간 주변 상황을 인지할 수 있는 센서 퓨전 플랫폼 기술 개발 및 지역 부품업체의 수요가 반영된 차량 안전시스템 개발 지원을 통한 기술경쟁력 제고  상황인지 스마트 센서 모듈 고도화 개발  실시간 주변상황 인지 이종 센서 퓨전 기술 개발  기업체 수요 반영 차량 안전응용 서비스 개발

(10)

연도별 내용 및 범위는 다음과 같다. 가. 1차년도 (2016년) : 스마트센서 고도화 및 센서퓨전 기술 설계  스마트 센서(비전, 레이다) 고도화/상용화 개발  이종 센서퓨전 통합 신호처리 기술개발  기업 수요반영 센서퓨전 안전시스템 요구사항 분석 및 설계  기업 수요반영 센서퓨전 안전시스템 프로토타입 개발 나. 2차년도(2017년) : 이종센서 퓨전 모듈 개발  스마트 센서(비전, 레이다) 고도화/상용화 개발  이종 비전 센서 신호처리 모듈 개발  비전/Radar 센서퓨전 통합 신호처리 모듈 개발  센서퓨전 엔진 SW 플랫폼 개발  기업체 수요 반영 센서 퓨전 안전시스템 개발 다. 3차년도(2018년) : 이종센서 퓨전 모듈 적용 차량 안전시스템 주행시험장 시험  스마트 센서(비전, 레이다) 상용화 개발  이종 비전 신호처리 모듈 주행시험  비전/Radar 센서퓨전 통합 신호처리 모듈 주행시험  센서퓨전 엔진 SW 플랫폼 통합시험  기업체 수요 반영 센서 퓨전 차량 안전시스템 주행시험장 실차시험 및 제품 성능 검증 지원

(11)

Ⅳ. 연구결과

본 과제의 연구 결과는 다음과 같다.

 차량용 Radar 센서 모듈 고도화 개발  차량용 야간 카메라 모듈 개발

 Ethernet 기반 차량용 Radar GUI 개발  차량 통신(V2X)용 게이트웨이 개발  주야간 카메라 신호처리 모듈 개발  주행환경인식 멀티센서 퓨전 플랫폼 요구사항 정의 및 설계  차량 안전시스템용 신호처리 모듈 개발

Ⅴ. 기대성과 및 건의

가. 기술적 측면  자동차IT 융합 기술 개발을 통해 자동차 전장 부문의 핵심기술을 확보하고 산업전반의 기술력 제고, 한국형 기술 개발 도모  차량용 상황인지 스마트센서 핵심 부품 기술 국산화 및 플랫폼 검증 기술 확보  미래 스마트카를 위한 상황인지 스마트 센서 기술 확보 및 기술 축적을 통한 차별화된 차량 편의장치 및 안전시스템 개발 가능  센서 모듈화 기술, 신호처리 기술, SW 플랫폼 기술 확보를 통한 기업체에서의 다양한 응용시장에 접근할 수 있는 기술적 인프라 제공  차세대 차량주행 안전시스템을 위한 상황인지 스마트센서 기술의 국내외 IPR 확보 및 기술 보호

(12)

나. 경제 산업적 측면  차량용 상황인지 스마트센서 핵심 부품 기술 확보로 미래 지능형자동차 산업의 경쟁력 향상  대구광역시에서 추진하고 있는“지능형자동차부품 혁신클러스터”와의 연계를 통한 업체 경쟁력 확보, 고용 창출 및 자동차산업의 고부가가치화  근거리와 장거리 및 사각지역을 동시에 지원하는 상황인지 다중 스마트센서 기술을 활용할 경우 자동차/보안/로봇 등의 관련 산업의 국가 경쟁력 확보 및 다양한 신규시장 창출 가능  차량용 상황인지 스마트센서 핵심 부품의 국산화 및 세계 시장 진출 촉진  지역 기업체 포함 국내외 중소/중견/대기업 연계 과제 수행을 통한 상생 산업 생태계 구축 지원

(13)

ABSTRACT

Ⅰ. TITLE

Development of Multi-Sensor Fusion Platform for Context-aware Smart Car and Local Suppliers Support Project

Ⅱ. THE OBJECTIVES

A. Purpose

The project " Development of Multi-Sensor Fusion Platform for Context-aware Smart Car and Local Suppliers Support Project " aims at enhancement of national technology competition power by building of foundational framework of sensor fusion platform and requirements of local suppliers to meet distributed and complex intelligent future vehicle electronics for early acquisition of fundamental technology leadership and systems for the promotion of commercializing of related technology products.

The technology leadership and promotion will be built upon strategical alliance and cooperation with local industries and participation of such companies based in Daegu-Gyeongbuk region. In this industrial region, in cooperation with vehicle-IT convergence industry, intelligent vehicle part industry is intensively fostered as one of nationwide strategic plan for next generation growth motive

(14)

to move toward higher value-addition of automotive industries and fortification of competition power with promotion of embedded software industry for automotive domain.

B. Importance

Recently, automotive industries are undergoing steep environmental changes according as the increasing requirements in environmental, safety, energy, end-user comfort issues the regarding law enforcement is aggressively being tightened. As the result of these recent changes, the all latest IT achievements are adapted to vehicles and the intelligent automotive industries are being reorganized based on cowork of OEM and IT companys in network of vehicles, smart functions and etc.

The topic of future vehicle has changed to green vehicle and auto-driving vehicle and the portion of electronics components in vehicle will be increased.

The strategy analytics (SA) predicts the market volume of car components will grow by 27%, from 239 billion dollars in 20165 to 303 billion dollars in 2020. Auto-driving vehicle consist of sensors, actuators and controllers. Smart sensors and context-aware technology with sensor fusion are key points to preoccupy market for auto-driving vehicle.

As the environmental regulations are being strengthened globally, the regulations over vehicle safety concerning environments are also being reinforced. To cope with the regulations and restrictions related to vehicle, incorporation of the electronic device are increasing. The inherent complexity increase in automotive electronics brought about frequent failures of electronic devices so that 30~40% of quality assurance cost of North American automotive industry which approximates 10 billions of dollars were spent in processing electronics and

(15)

software.

As increasing Vehicle-IT Convergence, key car makers and suppliers, lots of academic researcher are interested in advanced driver assistance system installed several sensor and they have paid attention to vision sensor, radar sensor and lidar sensor and other smart sensor. They have learned for several different sensors to be fused for enhancing the performance and detection rate with the experience of some project related vehicle safety system and vehicle environment. With the result of this project, they designed sensor signal fusing concept, developed vehicle control system based on this sensor fusion information and have adapted this technology in commercial vehicle step by step.

For there are few domestic companies known to have their own technology base for smart sensor module, multi-sensor fusing technology and Advanced Driver Assistance System based on the sensor fusion. It is essential to acquire and secure such technology base conforming to multi-sensor fusing technology.

Finally, the embedded software platform technology for the future intelligent vehicle will serve as the cornerstone for the promotion of national automotive industry which is the key industry area but in terms of technology revolution, falling quite much behind compared to advanced countries as well as being crucial for future national technology base and global marketing competence power.

Ⅲ. THE CONTENTS AND SCOPE OF THE STUDY

This project has been under development since 2016 and will be carried out by 2018 for 3 years. The goals are expressed as follows.

(16)

auto-driving vehicle and safety system reflected requirements of local suppliers

 The development and enhancement of smart sensor module for

context-aware smart vehicle

 The development of context-aware smart sensor fusion technology

 The development of safety systems for context-aware smart vehicle

The years by contents and extent is listed as follows.

A. 1st Phase (2016): Development and enhancement of prototype for smart sensor module based on multi-sensor fusion

 Development and enhancement of smart sensor module such as camera and radar

 Development of multi sensor fusion signal processing technology

 Definition and Design of the requirement for safety system reflected requirements of local suppliers

 Development of prototype of the safety system for context-aware smart vehicle

B. 2nd Phase (2017): Development of multi-sensor fusion module for context-aware smart vehicle

 Development and enhancement of smart sensor module such as camera and radar

(17)

 Development of different kinds of camera signal processing module  Development of camera-radar sensor fusion signal processing module  Development of engine for sensor fusion SW platform

 Development of the safety system for context-aware smart vehicle

C. 3rd Phase (2018): Test vehicle with multis-sensor fusion technology at Advanced Proving Ground and the Proposal of the Test Bed for ADAS Vehicle

 Commercialization of Smart sensor such as camera and radar  Driving Test of different kinds of camera fusion module

 Driving Test of camera-radar sensor fusion signal processing module  Integration Test of engine for sensor fusion SW platform

 Driving Test and Validation of performance of safety system for context-aware smart vehicle

Ⅳ. RESULTS

The research result includes following achievements:

 Development and Enhancement of radar sensor module for side/rear monitoring

 Development of Night camera.

 Development of radar GUI based on Ethernet  Development of V2X Gateway

 Development of Day-Night camera Signal processing module

(18)

platform

 Development of signal processing module for vehicle safety system

Ⅴ. EXPECTED RESULT & PROPOSITION

A. Technical Aspect

 Acquisition of embedded technology for intelligent vehicle with vehicle-IT fusion

 Acquisition of Verification and Validation technology for intelligent vehicle with vehicle-IT fusion

 Reduction the development cost by localization of smart sensor for context-aware smart vehicle and Elimination of the dependency on offshore technologies

 Providing technological infrastructure to supplier and IT company by acquisition of sensor module technology, signal processing technology, and SW platform technology

 Leading the technology of smart sensor and multi-sensor fusion SW platform development for next-generation vehicle safety system and Acquisition of IPR by international standardization activities and securing of acquired technologies



(19)

 Enhancement of competitive power of intelligent vehicle business by acquisition of key technology for context-aware smart sensor.

 Acquisition of competitive power and job creation in connection with "Innovation cluster of intelligent vehicle parts" promoted in Daegu  Creating new business and acquisition of competitive power of intelligent

vehicle/security/robot using context-aware multi-sensor smart sensor fusion technology

 Localization of key automotive components for context-aware smart sensor and promotion of exportation

(20)

List of Figures

<Figure 1-3-1. ADAS market trends> ... 15

<Figure 1-3-2. Value changes of ADAS installed vehicle> ... 15

<Figure 1-3-3. Value chain of ADAS sensor> ... 16

<Figure 1-3-4. AEB system test> ... 17

<Figure 1-3-5. Lane departure avoidance system and Vehicle Dynamic Control, Electronic Stability Program> ...

17

<Figure 1-3-6. Application for ADAS syste, based on Radar> ... 18

<Figure 1-3-7. Volvo BSD System> ... 19

<Figure 1-3-8. Radar-applicable domain by Frequency> ... 20

<Figure 1-3-9. Current state of Vehicle Radar Frequency Assignment> ... 21

<Figure 1-3-10. Radar Product of Bosch> ... 22

<Figure 1-3-11. Main Commercial Product for radar> ... 22

<Figure 1-3-12. Comparison of algorithm to compute high resolution detection distance> ...

23

<Figure 1-3-13. High radar image technology with resolution enhancement

algorithm> ... 24

<Figure 1-3-14. Current state of Lidar sensor> ... 25

<Figure 1-3-15. Segmentation using 3D Lidar> ... 26

<Figure 1-3-16. Object recognition and environment modeling with 3D Lidar by google> ...

27

<Figure 1-3-17. Radar-Vision integrated Sensor of Delphi> ... 28

<Figure 1-3-18. Mobileye EyeQ2 and EyeQ3> ... 29

<Figure 1-3-19. RACAM fusion module of Delphi> ... 30

(23)

<Figure 1-3-21. Tri-focal camera fusion Module> ... 31

<Figure 1-3-22. Integrated Module by AUDI> ... 31

<Figure 1-3-23. Integrated Module by Rinspeed> ... 31

<Figure 1-3-24. Integrated DCU by AUDI> ... 32

<Figure 1-3-25. PX Platform of NVIDIA> ... 32

<Figure 1-3-26. Vehicle Safety System using V2V> ... 33

<Figure 1-3-27. Digital Map of auto-driving vehicle> ... 34

<Figure 1-3-28. Radar MMIC Chip using HEMT technology> ... 35

<Figure 1-3-29. 77 GHz GaAs Transceiver Chip for Radar in Automotive> ... 36

<Figure 1-3-30. Frequency distribution of radar for vehicle> ... 36

<Figure 1-3-31. Commercial Radar> ... 37

<Figure 1-3-32. Single Photo-detector for 3D Lidar of ETRI> ... 38

<Figure 1-3-33. Lidar Sensor System of ETRI> ... 39

<Figure 1-3-34. Optical technology for 3D Lidar> ... 39

<Figure 1-3-35. Lidar Sensor Technology of KETI for Short range> ... 40

<Figure 1-3-36. Vehicle and Pedestrian Detection in ETRI> ... 40

<Figure 1-3-37. World Modeling using 2D LRF and Image Device> ... 41

<Figure 1-3-38. Application Domain of smart sensor for vehicle> ... 41

<Figure 1-3-39. ADAS Technology> ... 42

<Figure 1-3-40. Guideline and main technology for auto-driving vehicle> ... 43

<Figure 1-3-41. Development of 77GHz Radar by Mando> ... 44

<Figure 1-3-42. Stereo camera sensor module and single camera sensor module by LG> ...

44

<Figure 1-3-43. Tucson by Hyundai> ... 45

<Figure 1-3-44. KATRI testbed> ... 47

(24)

<Figure 1-3-45. KIAPI(KOREA INTELLIGENT AUTOMOTIVE PARTS PROMOTION INSTITUTE) testbed based on ITS> ...

49

<Figure 1-3-47. AUDI Auto-driving model of CES 2015> ... 59

<Figure 1-4-1. Development hierarchy > ... 63

<Figure 2-2-1. Sensors for vehicles of BENZ company> ... 87

<Figure 2-2-2. Radar for forward detection of BENZ company> ... 87

<Figure 2-2-3. Honda sensing conept> ... 88

<Figure 2-2-4. System architecture for automotive radar sensor> ... 91

<Figure 2-2-5. FEM architecture for automotive radar sensor> ... 92

<Figure 2-2-6. BEM architecture for automotive radar sensor> ... 93

<Figure 2-2-7. Radar signal processing software module architecture> ... 93

<Figure 2-2-8. Layout of antenna for monopulse radar sensor> ... 94

<Figure 2-2-9. Design model of TX antenna for 77GHz automotive radar sensor> . 96

<Figure 2-2-10. Developed SRR antenna prototype> ... 97

<Figure 2-2-11. Measurement results of SRR antenna prototype fabricated ISU> . 97

<Figure 2-2-12. Measurement results of SRR antenna prototype fabricated EOS> . 98

<Figure 2-2-13. Fabricated MRR antenna prototype> ... 98

<Figure 2-2-14. Measurement results of MRR antenna prototype(1st fabrication)> 99

<Figure 2-2-15. Measurement results of MRR antenna prototype(2nd fabrication

after permittivity compensation method)> ...

9 9

<Figure 2-2-16. Designed antenna for monopulse radar> ... 99

<Figure 2-2-17. Prototype antenna for monopulse radar> ... 100 <Figure 2-2-18. Measurement of MRR antenna for monopulse radar> ... 101 <Figure 2-2-19. Measurement of SRR antenna for monopulse radar> ... 101 <Figure 2-2-20. Measurement of Rx antenna for monopulse radar> ... 102

(25)

<Figure 2-2-21. Design of feed line for DBF Rx antennas> ... 102 <Figure 2-2-22. Designed antenna for DBF radar> ... 103 <Figure 2-2-23. Reflection characteristics of antennas for DBF radar> ... 104 <Figure 2-2-24. E-plane radiation patterns of antennas for DBF radar> ... 105 <Figure 2-2-25. Developed FEM for automotive radar> ... 106 <Figure 2-2-26. Developed BEM for automotive radar> ... 107 <Figure 2-2-27. Fast ramp waveform> ... 108 <Figure 2-2-28. Flow of waveform parameter setup and its usage> ... 109 <Figure 2-2-29. Result of discrete fourier transform> ... 109 <Figure 2-2-30. Hann window> ... 110 <Figure 2-2-31. Hamming window> ... 110 <Figure 2-2-32. Process flow of pulse integration> ... 111 <Figure 2-2-33. Structure of beam forming> ... 111 <Figure 2-2-34. Extended Kalman Filter model> ... 112 <Figure 2-2-35. Snapshot of Radar GUI program> ... 113 <Figure 2-2-36. Setup vehicles for test> ... 114 <Figure 2-2-37. Test result of multimode waveform transmissions> ... 114 <Figure 2-2-38. Test result of FFT windowing function> ... 115 <Figure 2-2-39. Test result of pulse integration function> ... 115 <Figure 2-2-40. Power spectrum estimation of conventional beamforming> ... 116 <Figure 2-2-41. Test result of tracking module> ... 117 <Figure 2-2-42. Vehicle related sensor> ... 118 <Figure 2-2-43. Market for FIR camera> ... 119 <Figure 2-2-44. Block Diagram for Night camera signal processing Module> ... 121 <Figure 2-2-45. Night camera signal processing Module> ... 121 <Figure 2-3-1. General ADAS Platform> ... 126

(26)

<Figure 2-3-2. Components of multi-sensor Fusion Platform> ... 132 <Figure 2-3-3. JETSOX TX1 DEVELOPER KIT> ... 133 <Figure 2-3-4. Fusion Signal Processing Platform for context-awareness > ... 134 <Figure 2-3-5. Result of context-aware signal processing of Vision-radar

fusion> ... 135

<Figure 2-3-6. Decision module of multi-sensor Fusion Platform> ... 135 <Figure 2-3-7. User cases for decision module of multi-sensor Fusion Platform> 137 <Figure 2-3-8. Communication module of multi-sensor Fusion Platform> ... 138 <Figure 2-3-9. Configuration module of multi-sensor Fusion Platform> ... 139 <Figure 2-3-10. Concept of communications between V2X gateways> ... 140 <Figure 2-3-11. Architecture of V2X gateway> ... 141 <Figure 2-3-12. Test environment of V2X gateway hardware> ... 142 <Figure 2-3-13. IEEE 1609 protocol stack for V2X gateway> ... 143 <Figure 2-3-14. Development and Test enviroment for V2X communication

software, and transmitted BSM> ... 144

<Figure 2-3-15. Needs for Day-Night Fusion Pedestrian Detection> ... 145 <Figure 2-3-16. Screenshot of Detection based on colored ACF> ... 148 <Figure 2-3-17. Gray-ACF and TIR-ACF> ... 149 <Figure 2-3-18. Thermal losses of Infra rays> ... 154 <Figure 2-3-19. Comparison of grayscale data and temperature data> ... 154 <Figure 2-3-20. Comparison of data distribution when radiance data change to

temperature data> ... 155

<Figure 2-3-21. Example of FIR Images (b) Pedestrian (c) Background> ... 155 <Figure 2-3-22. Place for Database recording> ... 156 <Figure 2-3-23. Devices for Database recording> ... 157 <Figure 2-3-24. Screenshot of seasonal FIR Temperature data> ... 158 <Figure 2-3-25. Histogram of seasonal FIR Temperature data> ... 159

(27)

<Figure 2-3-26. Comparison of FIR image and grayscale image> ... 160

<Figure 2-3-27. Performance Comparison of Gray-ACF and TIR-ACF> ... 163

<Figure 2-3-28. Long distance pedestrian algorithm based on temperature> ... 164

<Figure 2-3-29. DST probability section> ... 165

<Figure 2-3-30. result for CCD, IR, CCD-IR fusion pedestrian detection> 166

<Figure 2-3-31. Performance comparison for CCD, IR, CCD-IR fusion pedestrian detection> ...

167

<Figure 2-3-32. Enhancement result of normalization> ... 168

<Figure 2-3-33. Original LUV channel(left 과 Modified LUV channel(right)> .... 169

<Figure 2-3-34. Enhancement result of modification of LUV channel> ... 169

<Figure 2-4-1. Frontal safety system architecture> ... 172

<Figure 2-4-2. Camera installation location> ... 172

<Figure 2-4-3. Forward vehicle detection algorithm> ... 173

<Figure 2-4-4. Cascade Classifier> ... 174

<Figure 2-4-5. Vehicle detection processes> ... 174

<Figure 2-4-6. Front vehicle detection result> ... 175

<Figure 2-4-7. Distance estimation method> ... 177

<Figure 2-4-8. Comparison with Mobileye in TTC results> ... 179

<Figure 2-4-9. Front camera structure> ... 179

<Figure 2-4-10 Board and apparatus production result> ... 180

<Figure 2-4-11. Side rear vehicle safety system overview> ... 180

<Figure 2-4-12. Vehicle side rear safety system architecture> ... 182

<Figure 2-4-13. Camera installation location> ... 182

<Figure 2-4-14. Side rear vehicle detection algorithm> ... 183

<Figure 2-4-15 Modified Census Transform> ... 184

(28)

<Figure 2-4-17. Front side rear detection result> ... 187 <Figure 2-4-18. Video matching algorithm operation structure> ... 188 <Figure 2-4-19. Video matching result> ... 188 <Figure 2-4-20. Board and apparatus production result> ... 189 <Figure 2-4-21. Driving environment recognition system architecture> ... 191 <Figure 2-4-22. A learning example of MCT pixel classifier> ... 192 <Figure 2-4-23. Cascade classifier structure of the proposed algorithm> ... 193 <Figure 2-4-24. Detection result of the proposed algorithm> ... 193 <Figure 2-4-25. Artwork design> ... 194 <Figure 2-4-26. PCB Manufacturing> ... 195 <Figure 2-4-27. Result of PCB case production> ... 195 <Figure 2-4-28. Processing flow of video and sound output> ... 196 <Figure 2-4-29. BSD warning screen on the embedded system> ... 196 <Figure 2-4-30. Flowchart of driver authentication software> ... 197 <Figure 2-4-31. System structure of driver authentication software> ... 198 <Figure 2-4-32. Images captured by varying camera location> ... 200 <Figure 2-4-33. (a) driver device (b) I/O board for DVR> ... 200 <Figure 2-4-34. Hardware design (a) driver device (b) I/O board> ... 201 <Figure 2-4-35. Data acquisition environment (bus) and the camera used in data acquisition> ...

203

<Figure 2-4-36. Examples of collected images> ... 203 <Figure 2-4-37. Accuracy comparison of face detection algorithms on various

conditions> ...

204

<Figure 2-4-38. ACF face detection algorithm> ... 205

<Figure 2-4-39. Facial images and their 10 channels> ... 205

(29)

(30)

List of Tables

<Table 1-3-1. Current State of ADAS related research> ... 49

<Table 1-3-2. Current State of Smart sensor related research> ... 50

<Table 1-3-3. National Policy of ADAS> ... 52

<Table 1-3-4. List of ISO subdivision> ... 54

<Table 1-3-5. List of ISO/TC204/WG14 Standards> ... 55

<Table 2-2-1. Major functional requirements for radar hardware> ... 89

<Table 2-2-2. Major performance requirements for radar hardware> ... 89

<Table 2-2-3. Major functional requirements for signal processing software> .. 90

<Table 2-2-4. Major performance requirements for signal processing software> . 90

<Table 2-2-5. Signal processing software modules for FMCW radar> ... 94

<Table 2-2-6. Design specifications of antenna for 77GHz automotive radar> ... 95

<Table 2-2-7. Design specification of waveforms> ... 108

<Table 2-2-8. Measurement of detection ratio using pulse integration> ... 116

<Table 2-2-9. Major Functional requirements for HW> ... 119

<Table 2-2-10. Major Performance requirements for HW> ... 120

<Table 2-3-1. Major Functional requirements> ... 128

<Table 2-3-2. Major Performance requirements> ... 130

<Table 2-3-3. Major requirements for V2X gateway> ... 140

<Table 2-3-4. Major Functional requirements> ... 147

<Table 2-3-5. Major Performance requirements> ... 147

<Table 2-3-6. Comparison of FIR DB for Pedestrian Detection> ... 153

(31)

Detection> ...

<Table 2-4-1. Key performance requirements of frontal safety systems> ... 171

<Table 2-4-2. Key functional fequirements of the frontal safety systems> ... 171

<Table 2-4-3. Accuracy and recall in day videos> ... 176

<Table 2-4-4. Accuracy and recall in night videos> ... 176

<Table 2-4-5. Key performance requirements for side rear safety systems> ... 181

<Table 2-4-6. Key functional requirements of side rear safety systems> ... 181

<Table 2-4-7. Accuracy and recall in day videos> ... 187

<Table 2-4-8. Key performance requirements of driving environment recognition systems> ...

190

<Table 2-4-9. Key functional requirements of driving environment recognition systems> ...

190

<Table 2-4-10. Detection ratio> ... 193

<Table 2-4-11. Processing time depending on detection window sizes> ... 194

<Table 2-4-12. Key functional requirements of driver authentication systems> . 198

<Table 2-4-13. Key performance requirements of driver authentication systems> 198

<Table 2-4-14. Hardware specification of driver device> ... 201

(32)

목 차

제 １ 장 서 론 ... 3 제 １ 절 연구개발 목적 및 필요성 ... 3 １. 연구개발 목적 ... 3 ２. 연구개발 필요성 ... 5 제 ２ 절 연구내용 및 범위 ... 7 １. 연구개발의 목표 ... 7 ２. 당해년도 연구내용 ... 11 제 ３ 절 국내외 기술개발 동향 ... 13 １. 세계 기술현황 ... 13 ２. 국내 기술현황 ... 34 ３. 국내외 표준화 현황 ... 51 ４. 관련 연구분야 동향 ... 57 ５. 국내․외 경쟁기관 현황... 60 제 ４ 절 연구 수행방법 및 보고서 체계 ... 62 １. 연구 추진체계 및 수행방법 ... 62 ２. 보고서 체계 ... 71 제 ２ 장 연구수행 결과 ... 75 제 １ 절 당해년도 연구성과 실적 ... 75 １. 연구성과 개요 ... 75 ２. 연구성과 실적 ... 77 ３. 효과지표(Impact) 성과 ... 83 제 ２ 절 상황인지 스마트카를 위한 다중센서 융합 기반 스마트센서 모듈 기술 개발 ... 86 １. 차량용 Radar 센서 모듈 기술 개발 ... 86

(33)

２. 차량용 야간 카메라 모듈 기술 ... 117 제 ３ 절 이종 센서퓨전 통합 신호처리 기술개발 ... 125 １. 주행환경인식을 위한 멀티 센서 퓨전 플랫폼 개발 ... 125 ２. 차량 통신(V2X)용 게이트웨이 개발 ... 139 ３. 주야간 카메라 신호처리 개발 ... 144 제 ４ 절 차량 주변 상황인지를 위한 다중센서 융합 기반 차량 안전시스템 기술 개발 ... 170 １. 차량 전방 안전 시스템 ... 170 ２. 차량 후측방 상황인지 시스템 ... 180 ３. 센서 퓨전 기반 차량주변 상황인지 시스템 ... 189 ４. 센서 퓨전 기반 버스 단말 시스템 ... 197 제 ３ 장 결 론 ... 209 참고문헌 ... 213 약어표 ... 216 부록 ... 219 1. 논문 (국제 4 건, 국내 2 건) ... 219 2. 특허 (국제 4 건, 국내 11 건) ... 220 3. 프로그램 (2 건) ... 220 4. 기술문서 (총 40 건, TDP 15 건, TM 25 건) ... 221

(34)

표 목 차

<표 1-3-1. 첨단안전자동차 관련 연구 개발 현황(자료: 관련기관 Web Site)> .... 49 <표 1-3-2. 스마트 센서 연구 개발 현황> ... 50 <표 1-3-3. <주요 국가별 ADAS 정책 방향> ... 52 <표 1-3-4. 지능형 자동차와 관련된 ISO 산하 미래자동차 표준화 회의> 54 <표 1-3-5. ISO/TC204/WG14 차량/도로 경고 및 제어시스템 표준제정 목록> 55 <표 2-2-1. HW 주요 기능 요구사항> ... 89 <표 2-2-2. HW 주요 성능 요구사항> ... 89 <표 2-2-3. 신호처리 소프트웨어 주요 기능 요구사항> ... 90 <표 2-2-4. 신호처리 소프트웨어 주요 성능 요구사항> ... 90 <표 2-2-5. FMCW 레이더 신호처리 소프트웨어 모듈> ... 94 <표 2-2-6. 77GHz 차량용 레이더 안테나 설계 요구사항> ... 95 <표 2-2-7. Waveform 설계사양> ... 108 <표 2-2-8. Pulse Integration 을 적용한 표적 탐지율 측정>... 116 <표 2-2-9. HW 주요 기능 요구사항> ... 119 <표 2-2-10. HW 주요 성능 요구사항> ... 120 <표 2-3-1. 주요 기능 요구사항> ... 128 <표 2-3-2. 주요 성능 요구사항> ... 130 <표 2-3-3. V2X 게이트웨이 주요 요구사항> ... 140 <표 2-3-4. 주요 기능 요구사항> ... 147 <표 2-3-5. 주요 성능 요구사항> ... 147 <표 2-3-6. 주요 ADAS 용 보행자 검출을 위한 FIR DB 비교 평가> ... 153 <표 2-3-7. TIR-ACF 와 제안된 원거리 보행자 검출 기법에 대한 성능 평가 비교> .. 164

(35)

<표 2-4-1. 차량 전방 안전시스템의 주요 성능 요구사항> ... 171 <표 2-4-2. 차량 전방 안전시스템의 주요 기능 요구사항> ... 171 <표 2-4-3. 주간 영상 정확도 & 재현률> ... 176 <표 2-4-4. 야간영상 정확도 & 재현률> ... 176 <표 2-4-5. 차량 측후방 안전시스템의 주요 성능 요구사항> ... 181 <표 2-4-6. 차량 측후방 안전시스템의 주요 기능 요구사항> ... 181 <표 2-4-7. 주간 영상 정확도 & 재현률> ... 187 <표 2-4-8. 차량 주변 상황인지 시스템 주요 성능 요구사항> ... 190 <표 2-4-9. 차량 주변 상황인지 시스템주요 기능 요구사항> ... 190 <표 2-4-10. 알고리즘 인식률> ... 193 <표 2-4-11. 검출 윈도우 사이즈에 따른 처리속도> ... 194 <표 2-4-12. 운전자 인증 시스템의 주요 성능 요구사항> ... 198 <표 2-4-13. 운전자 인증 시스템의 주요 기능 요구사항> ... 198 <표 2-4-14. 운전자 단말기의 하드웨어 사양> ... 201 <표 2-4-15. 통합 I/O 보드의 하드웨어 사양> ... 202

(36)

그 림 목 차

<그림 1-3-1. ADAS 시장의 확대 배경과 향후 전망> ... 15 <그림 1-3-2. ADAS 의 자동차 장착 비중 변화> ... 15 <그림 1-3-3. ADAS 용 센서의 밸류 체인> ... 16 <그림 1-3-4. AEB 시스템 시험(출처 : EU NCAP) ... 17 <그림 1-3-5. 차선이탈방지시스템 및 차체자세제어장치> ... 17 <그림 1-3-6. 차량용 레이더 기반 통합 안전시스템 응용> ... 18 <그림 1-3-7. Volvo BSD 시스템(출처: Volvo)> ... 19 <그림 1-3-8. 주파수에 따른 차량용 레이더 적용 분야 변화> ... 20 <그림 1-3-9. 차량용 레이더 주파수 할당 현황(출처 : Freescale 자료)> ... 21 <그림 1-3-10. Bosch 사의 차량용 레이더 상용 제품 개발> ... 22 <그림 1-3-11. 레이더 센서의 주요 상용 제품> ... 22 <그림 1-3-12. 고해상도 측정 거리를 얻기 위한 다양한 알고리즘 비교> ... 23 <그림 1-3-13. 해상도 개선 알고리즘을 적용한 고해상도 레이더 이미지 획득 기술> .. 24 <그림 1-3-14. Lidar 센서 국외제품 개발현황> ... 25 <그림 1-3-15. 3D Lidar 를 이용한 Segmentation> ... 26 <그림 1-3-16. Google 의 3D Lidar 를 이용한 객체 인식과 환경 모델링> ... 27 <그림 1-3-17. Delphi 레이더+비전 통합센서> ... 28

<그림 1-3-18. Mobileye EyeQ2 및 EyeQ3>

... ... 29 <그림 1-3-19. 델파이 RACAM 퓨전 모듈> ... 30 <그림 1-3-20. 컨티넨탈 Lidar 와 카메라 퓨전 모듈> ... 30 <그림 1-3-21. Tri-focal 카메라 퓨전 모듈> ... 31

(37)

<그림 1-3-22. AUDI - 통합형 모듈> ... 31 <그림 1-3-23. Rinspeed - 통합형 센서 모듈> ... 31 <그림 1-3-24. AUDI - 통합형 DCU> ... 32 <그림 1-3-25. NVIDIA – PX 플랫폼> ... 32 <그림 1-3-26. V2V 를 활용한 차량안전시스템> ... 33 <그림 1-3-27. 자율주행 자동차의 디지털 맵> ... 34 <그림 1-3-28. HEMT 기술로 제작된 자동차 레이더용 MMIC 칩 (웨이퍼 사진)> ... 35 <그림 1-3-29. 자동차용 레이더를 위한 77 GHz GaAs Transceiver 칩> ... 36 <그림 1-3-30. 차량용 레이더의 주파수 분배 ... 36 <그림 1-3-31. 상용 레이더> ... 37 <그림 1-3-32. ETRI 의 3D Lidar 용 단일 광검출기> ... 38 <그림 1-3-33. ETRI 의 3D Lidar 센서 시스템 기술> ... 39 <그림 1-3-34. 3D Lidar 용 광학계 기술> ... 39

<그림 1-3-35. KETI 의 Short range 용 Lidar 센서 기술> ... 40

<그림 1-3-36. ETRI 의 영상을 이용한 차량 및 보행자 인식>... 40 <그림 1-3-37. 2D LRF 와 영상장치를 이용한 월드모델링> ... 41 <그림 1-3-38. 차량용 스마트 센서의 응용 분야> ... 41 <그림 1-3-39. ADAS 기술(출처 : 현대자동차)> ... 42 <그림 1-3-40. 자율주행차 가이드라인 및 핵심 ... 43 <그림 1-3-41. 만도 77GHz 레이더 상용화 개발> ... 44 <그림 1-3-42. LG 스테레오/싱글 카메라 센서 모듈> ... 44 <그림 1-3-43. 현대차 Tucson (출처 : IIHS)> ... 45 <그림 1-3-44. 자동차안전연구원 자동차성능시험장(출처: 교통안전공단)> ... 47 <그림 1-3-45. 자동차부품연구원 자동차 부품성능 시험로 ... 48 <그림 1-3-46. ITS 기반 지능형자동차부품진흥원 시험장> ... 49 <그림 1-3-47. CES 2015 Audi 자율주행 차량 모델> ... 59

(38)

<그림 1-4-1. 연구개발 추진체계> ... 63 <그림 2-2-1. 벤츠의 차량 주변 센서> ... 87 <그림 2-2-2. 벤츠의 전 방향을 탐지하는 레이더> ... 87 <그림 2-2-3. 고정밀 단안 카메라와 레이더를 이용한 ‘혼다 센싱’ 개념도> ... 88 <그림 2-2-4. 차량용 Radar 센서 시스템 전체 구성도> ... 91 <그림 2-2-5. 차량용 레이다 FEM 구성도> ... 92 <그림 2-2-6. 차량용 레이다 BEM 구성도> ... 93 <그림 2-2-7. 레이더 신호처리 소프트웨어 모듈 구성도> ... 93 <그림 2-2-8. 차량용 모노펄스 레이더 센서용 안테나 배치도> ... 94 <그림 2-2-9. 77GHz 차량용 레이더 센서용 송신안테나 설계모델> ... 96 <그림 2-2-10. SRR 안테나 시제품> ... 97 <그림 2-2-11. ISU 에서 제작된 SRR 안테나 시제품 성능 측정결과> ... 97 <그림 2-2-12. EOS 에서 제작된 SRR 안테나 시제품 성능 측정결과> ... 98 <그림 2-2-13. MRR 안테나 시제품> ... 98 <그림 2-2-14. MRR 안테나 시제품 성능 측정결과(1 차)> ... 99 <그림 2-2-15. MRR 안테나 시제품 성능 측정결과(유전율 보상기법 적용)> ... 9 9 <그림 2-2-16. 설계된 모노펄스 레이더용 안테나> ... 99 <그림 2-2-17. 모노펄스 레이더용 안테나 시제품> ... 100 <그림 2-2-18. 모노펄스 레이더용 통합안테나의 MRR 안테나부 측정 결과> ... 101 <그림 2-2-19. 모노펄스 레이더용 통합안테나의 SRR 안테나부 측정 결과> ... 101 <그림 2-2-20. 모노펄스 레이더용 통합안테나의 수신 안테나부 측정 결과> ... 102 <그림 2-2-21. DBF 수신 안테나 급전 선로 설계> ... 102 <그림 2-2-22. 설계된 DBF 레이더용 안테나> ... 103 <그림 2-2-23. DBF 레이더용 안테나 반사계수> ... 104

(39)

<그림 2-2-24. DBF 레이더용 안테나 E-면 방사 패턴> ... 105 <그림 2-2-25. 차량용 레이더 FEM> ... 106 <그림 2-2-26. 차량용 레이더 BEM> ... 107 <그림 2-2-27. Fast ramp 파형> ... 108 <그림 2-2-28. Waveform 파라미터 설정 및 활용 흐름도> ... 109 <그림 2-2-29. Discrete Fourier Transform 결과> ... 109 <그림 2-2-30. Hann window> ... 110 <그림 2-2-31. Hamming window> ... 110 <그림 2-2-32. Pulse integration 모듈 순서도> ... 111 <그림 2-2-33. 빔형성기 구조> ... 111 <그림 2-2-34. 확장칼만필터 모델> ... 112 <그림 2-2-35. 레이더 GUI 실행화면> ... 113 <그림 2-2-36. 시험용 차량 설정> ... 114 <그림 2-2-37. Multimode Waveform 시험 결과> ... 114 <그림 2-2-38. Windowing 적용 시험 결과> ... 115 <그림 2-2-39. Pulse Integration 시험 결과> ... 115 <그림 2-2-40. Conventional Beamforming Power Spectrum 추정> ... 116 <그림 2-2-41. Tracking 시험결과> ... 117 <그림 2-2-42. 차량 주변 센서> ... 118 <그림 2-2-43. 적외선 카메라 시장> ... 119 <그림 2-2-44. 야간 카메라 블록 다이어그램> ... 121 <그림 2-2-45. 야간 카메라 모듈> ... 121 <그림 2-3-1. 일반적인 ADAS 플랫폼> ... ... 126 <그림 2-3-2. 멀티 센서 퓨전 플랫폼 구성요소> ... 132

(40)

<그림 2-3-3. JETSOX TX1 DEVELOPER KIT> ... 133 <그림 2-3-4. 상황인지를 위한 FUSION 신호처리 개발 플랫폼> ... 134 <그림 2-3-5. VISION 과 RADAR 의 FUSION 기반 상황인지 신호처리 결과> ... 135 <그림 2-3-6. 멀티 센서 퓨전 플랫폼 결정 모듈> ... 135 <그림 2-3-7. 멀티 센서 퓨전 플랫폼 결정 모듈 유즈케이스> ... 137 <그림 2-3-8. 멀티 센서 퓨전 플랫폼 통신 모듈> ... 138 <그림 2-3-9. 멀티 센서 퓨전 플랫폼 설정 모듈> ... 139 <그림 2-3-10. V2X 게이트웨이 통신 개념도> ... 140 <그림 2-3-11. V2X 게이트웨이 구성도> ... 141 <그림 2-3-12. V2X 게이트웨이 하드웨어 시험환경> ... 142 <그림 2-3-13. V2X 게이트웨이용 IEEE 1609 프로토콜 스택> ... 143 <그림 2-3-14. V2X 통신 SW 개발/시험환경 및 송수신된 BSM> ... 144 <그림 2-3-15. 야간-주간 영상 융합기반 보행자 검출 필요성> ... 145 <그림 2-3-16. 컬러 기반 ACF 의 주야간 검출 화면> ... 148 <그림 2-3-17. 제안된 기법, Gray-ACF 와 TIR-ACF> ... 149 <그림 2-3-18. 일반적인 적외선 데이터 취득 과정에서의 적외선 열 정보 손실> ... 154 <그림 2-3-19. 배경 변화에 따라 영상의 Contrast 가 변할 때 grayscale 데이터와 온도 데이터의 비교> ... 154 <그림 2-3-20. radiance 데이터를 온도 데이터로 변환했을 때 데이터 분포 비교> .... 155 <그림 2-3-21. FIR 영상의 예 및 보행자 샘플(b)와 배경 샘플(c)> ... 155 <그림 2-3-22. 3 월 DB 실험 장소, 경상북도 경산시 하양읍 대조리 황새길 부근> ... 156 <그림 2-3-23. 계절별 DB 실험 장비, FLIR-T620(IR)과 SONY(CCD) 및 카메라 고정 장치> ... 157 <그림 2-3-24. 계절별 적외선 열화상 데이터에서 추출한 동일 실험자 영상과 온도 범위 ... 158 <그림 2-3-25. 계절별 적외선 열화상 데이터에서 추출한 동일 실험자의 온도 히스토그램 분포 ... 159

(41)

<그림 2-3-26. 적외선 영상과 grayscale 영상의 스펙트럼 비교, visible spectrum(a), FIR ... 160 <그림 2-3-27. Gray-ACF 와 TIR-ACF 의 성능 평가 비교> ... 163 <그림 2-3-28. 제안된 방사 측정 온도 데이터 기반의 원거리 보행자 검출 알고리즘> . 164 <그림 2-3-29. DST 확률 구간> ... 165 <그림 2-3-30. CCD, IR, CCD-IR 융합 보행자 검출 결과> ... 166 <그림 2-3-31. CCD, IR, CCD-IR 융합 보행자 검출 성능 비교>... 167 <그림 2-3-32. 정규화를 통한 개선 결과> ... 168 <그림 2-3-33. 기존의 LUV 채널(좌)과 수정한 LUV 채널(우)> ... 169 <그림 2-3-34. LUV 채널 수정을 통한 개선 결과> ... 169 <그림 2-4-1. 차량 전방 안전시스템 구성도> ... 172 <그림 2-4-2. 카메라 설치위치> ... 172 <그림 2-4-3. 전방 차량인식알고리즘> ... 173 <그림 2-4-4. 캐스케이드 분류기> ... 174 <그림 2-4-5. 차량인식모듈 프레임별 프로세스> ... 174 <그림 2-4-6. 전방 차량 검출 결과> ... 175 <그림 2-4-7. 거리 추정 방식> ... 177 <그림 2-4-8. 모빌아이와 자체개발 TTC 결과 비교> ... 179 <그림 2-4-9. 전방 카메라 구조> ... 179 <그림 2-4-10 보드 개발 및 기구제작 결과> ... 180 <그림 2-4-11. 측후방 차량 안전시스템 개발 개요> ... 180 <그림 2-4-12. 차량 측후방 안전시스템 구성도> ... 182 <그림 2-4-13. 카메라 설치위치> ... 182 <그림 2-4-14. 측후방 차량인식알고리즘> ... 183 <그림 2-4-15. MCT(Modified Census Transform) 변환> ... 184 <그림 2-4-16. 차량검출 프로세스> ... 185

(42)

<그림 2-4-17. 전방 측후방 검출 결과> ... 187 <그림 2-4-18. 영상 정합 알고리즘 동작 구조> ... 188 <그림 2-4-19. 영상 정합 결과> ... 188 <그림 2-4-20. 보드개발 및 기구제작 결과> ... 189 <그림 2-4-21. 차량 주변 상황인지 시스템 구성도> ... 191 <그림 2-4-22. MCT 픽셀 분류기 학습 예제> ... 192 <그림 2-4-23 제안 알고리즘 캐스케이드 분류기 구조> ... 193 <그림 2-4-24 제안 알고리즘 검출 결과 이미지> ... 193 <그림 2-4-25. 아트웤 설계> ... 194 <그림 2-4-26. PCB 제작> ... 195 <그림 2-4-27. PCB 케이스 제작결과> ... 195 <그림 2-4-28. 영상, 사운드 출력 플로우> ... 196 <그림 2-4-29. 임베디드 시스템 기반의 BSD 경고 화면> ... 196 <그림 2-4-30. 운전자 인증 S/W 의 흐름도> ... 197 <그림 2-4-31. 운전자 인증 소프트웨어 구성도> ... 198 <그림 2-4-32. 카메라 위치에 따른 입력 영상들> ... 200 <그림 2-4-33. (a) 운전자 단말기 (b) DVR 기능을 위한 통합 I/O 보드> ... 200 <그림 2-4-34. 하드웨어 설계서 (a) 운전자 단말기 (b) I/O 보드> ... 201 <그림 2-4-35. 데이터 수집 환경 (버스) 및 수집에 사용된 카메라> ... 203 <그림 2-4-36. 수집된 운전자 영상들의 예> ... 203 <그림 2-4-37. 다양한 조건에서의 얼굴 검출 알고리즘들의 정확도 비교> ... 204 <그림 2-4-38. ACF 얼굴 검출 알고리즘> ... 205 <그림 2-4-39. 얼굴 영상과 10 개의 채널들> ... 205 <그림 2-4-40. Deepface 알고리즘> ... 206 <그림 2-4-41. 얼굴 영상과 LBP 영상> ... 206

(43)

(44)

(45)

(46)

제 １ 장 서 론

제 １ 절 연구개발 목적 및 필요성

１. 연구개발 목적 최근 자동차와 IT 와의 융합기술 개발이 화두가 되고 있으며, 자동차의 구조가 복잡해지고, 요구되는 기능이 다양해짐에 따라 이를 해결하기 위한 IT 기반의 해결책이 다양하게 제시되고 있어 잠재 시장이 매우 크다고 볼 수 있다. IT 기술, 융합기술에 내재된 임베디드 SW 기술이 집중적으로 적용되는 분야는 차량 안전 시스템 및 네비게이션 등이 포함되는 인포테인먼트 시스템 분야이다. 특히 차량 안전 시스템 관련해서는 차량 주변 상황 인지 및 판단 기술, 실시간 주행제어 기술, 그리고 지능형교통시스템 연동기술로 구분된다고 볼 수 있다. 세계 자동차 업계와 부품시장에서는 수동적 안전시스템에서부터 점차 능동적 안전시스템 및 지능형 안전운전지원 시스템 개발하여 차량에 적용하고, 편의 서비스를 위하여 인터넷, 통신, 가전제품의 연동 및 디지털화를 통한 가격경쟁력 확보와 더불어 점차 자율주행 차량을 위해 부품과 응용 서비스에 대한 연구개발을 진행하고 있다. 전 세계 자동차 선진국의 자동차 제조사 및 자동차 부품회사에서는 2000 년대 초반부터 시작된 자동차의 안전성 및 편리성을 향상시키기 위한 다양한 첨단 차량안전 프로젝트 연구 결과를 기반으로, 차량주변 상황인지를 위한 레이더, Lidar, 비전 등의 스마트 센서 개발 및 각 센서 정보를 활용한 차량의 전후방, 측면의 정적/동적 장애물을 감지하는 시스템과 각 센서의 정보를 융합한 센서 융합 신호처리 시스템, 차량 센싱정보를 통한 차량 주행제어 시스템등을 활용하여 운전자의 개입없이도 목적지까지 운행하는 자율주행 시스템의 개발을 추진하고 있다.

(47)

자율주행 자동차의 핵심은 센서와 제어기 및 액추에이터로 구성되며 특히 인간을 뛰어넘을 센서 개발과 더불어 개별 센서의 퓨전(융합)을 통한 세밀한 주변 상황인지 기술이 시장을 지배하는 관건이라고 볼 수 있다. 2020 년부터 2030 년까지 판매될 차량 가운데 자율주행 기술이 접목된 차량은 50% 가량 될것으로 예상되고, IEEE 에서는 2040 년 전세계 차량 75%가 자율주행 차량이 차지할 것으로 전망되고 있으며, 2020 년경 자율주행/스마트 카의 핵심 응용 서비스들은 50% 정도 장착 예상되며, 센서/제어기/액추에이터로 통합된 응용 서비스 부품의 경우 시장성이 대단히 높아 관련 핵심 센서 개발이 필수적이다. 이 중 일부 기술들은 최근 상용화되어 고급 자동차에 적용되는 등 차량의 안전성을 향상시키고 부가가치를 높이고 있으며, 향후 지속적인 연구개발을 통하여 관련 기술의 성숙단계로 진입하면 저렴한 가격대의 제품이 출시되어 고급차뿐만 아니라 모든 종류의 자동차로 장착이 확대될 것으로 보인다. 현재까지 개발되었거나 혹은 개발 진행 중인 대부분의 기술은 융합보다는 개별 센서의 자체 인지능력 향상에 집중하고 있으며, 최근 동종 또는 이종 센서간의 융합을 통하여 감지성능 향상과 주행 중 운전자의 과실로 인해 발생할 수 있는 사고를 미연에 방지하고 불가피하게 발생되는 사고에 대하여 물적, 인적 피해를 최소화하기 위해 상황인지 능력을 향상시키기 위한 알고리즘 및 시스템 개발 연구가 활발히 진행되고 있다 아직까지 국내의 대부분의 지능형자동차를 위한 핵심 기술은 해외에 의존하고 있는 상황이어서 미래의 자동차 산업의 경쟁력을 확보하기 위해서는 완성차 업체 및 전장부품 업체의 애로 기술인 스마트센서기술과 상황인지기술 및 제어시스템의 개발이 시급히 요구된다. 또한 현재 개발 중인 대부분의 기술은 개별 센서 자체의 인지성능 향상에 치중하고 있기 때문에, 동종 또는 이종 상황인지 센서간의 데이터를 융합하여 보다 신뢰성 있는 상황인지를 수행하고, 가장 효율적인 차량 제어를 수행할 수 있는 다중 스마트센서 융합 기술 확보가 필요하다. 상황인지 스마트카 퓨전 플랫폼 개발 및 지역 부품업체 지원사업은 고도의 지능형 서비스를 제공하는 상황인지 스마트카를 위한 상황인지 스마트 센서 모듈 고도화 개발,

(48)

실시간 주변 상황을 인지하기 위한 이종 센서 퓨전 기술 개발, 기업체 수요를 반영한 빠르고 정확한 차량 주변 상황인지를 위한 다중센서 융합 기반 차량 안전시스템 기술 개발을 통해 국내 미래 지능형자동차 산업 및 IT 융합 산업의 기술 경쟁력 확보 및 국제 경쟁력을 제고하기 위한 목적을 가지고 추진하였다. 또한 지능형자동차 산업의 경쟁력 강화를 위한 차량용 임베디드 SW 산업 육성, 자동차산업의 고부가가치화를 위하여 차세대 국가 성장동력사업으로 지능형자동차부품산업을 집중 육성할 대구․경북 지역을 기반으로 “지역 자동차 부품 산업의 지능화 및 고도화”를 위해 지역 IT 및 자동차 관련 연구기관과 자동차 부품 업체들과의 공동 개발 및 상호 협력을 통해 미래 지능형자동차 전장용 임베디드 SW 플랫폼 핵심 기술의 조기 확보하여 기업들의 상용화를 지원하기 위해 추진하였다. ２. 연구개발 필요성 전세계 자동차 산업은 무인자동차 개발로 급속히 전환되고 있으며, IT 기업의 연구개발과 더불어 전통적인 자동차 완성차 업체의 점진적인 변신과 더불어 빠른 시장 변화에 맞선 기회의 시대라고 볼 수 있다. IT 와 자동차간 컨버전스는 세계적 추세이며 국내 자동차 및 IT 업계에 새로운 도약의 기회가 주어지는 분야이므로, 지능형 자동차 전장용 멀티센서 퓨전 플랫폼 기술 확보를 통한 새로운 시장을 선점하여야 한다. 우리나라는 통신 네트워크, 자동차 보유대수 및 단위 면적당 차량밀도 등의 측면에서 IT 와 자동차간 컨버전스 구현의 최적조건을 구비하고 있으며, 국내 자동차 업계에는 양적 성장에서 질적 성장으로의 도약을 가속화할 수 있는 차별화 수단을, IT 업계에는 새로운 성장동력을 제공해줄 수 있다. 이를 위해서는 기존 IT 와 차별화된 기술력 축적을 통한 자동차용 IT 시장을 확보하여야 하며, 개발 초기에 기술력 확보에 실패할 경우 장기적으로 경험 축적과 공급 사슬간 연계가 중요한 자동차용 IT 시장에 입지 구축이 곤란해질 수 있다. 미래형 자동차산업은 첨단 IT 신기술을 기반으로 자동차의 센서 및 전자장치가 지능적, 유기적으로 상호작용하여 운전자의 안전 및 편리성을 증대시켜 최적의 운전환경을 제공하고

(49)

관련 산업에 부가가치 창출에 기여할 수 있는 기간산업으로, 자동차 및 IT 기반 국가 기간산업간 융합으로 도로, 교통, 환경 등 미래형 도시 건설을 위한 효율적인 국가 정책 수립 및 경제성장을 견인하는 역할을 한다고 볼 수 있다. 상황인지 스마트자동차 개발을 위해서는 주행 중 주변 차량 및 장애물을 감지하고 추적할 수 있는 상황인지 스마트센서 개발이 필수적으로 수반되어야 하며, 이종 상황인지 스마트 센서간의 데이터를 융합하여 보다 정확하게 장애물의 위치정보를 선별하고 가장 위협적인 장애물을 판단한 후 신뢰성 있는 인식 결과를 제공하는 다중 스마트센서 융합 기술 확보가 필요하다. 2015 년 현재 대구․경북 지역의 자동차부품업체 수는 약 1,300 여개로 우리나라 자동차부품업체에서 차지하는 비중이 약 18.5%로 수도권, 부산‧경남‧울산권 다음으로 높은 비중 점유(2014 년 통계청 자료)하고 있다. 특히 대구경북지역의 전체 산업 중 자동차부품산업의 비중은 ’15 년 매출액 기준으로 27%를 차지하며, 지역경제에서 차지하는 비중이 급속히 높아지고 있다. 또한 대구시는 자동차 산업의 고부가가치화를 위하여 차세대 국가 성장동력사업으로 지능형자동차부품산업을 집중 육성할 계획이며, 대구시와 자동차 부품업계 등은 미래 지능형자동차 부품산업의 선점을 위해 △ 지능형자동차 상용화 연구기반구축 및 기술개발사업 △ ITS 기반 지능형자동차 부품 시험장 건립 등을 추진 중이며, 지역전략발전 세부 특화분야로 “IT 융합 자동차부품”을 선정하고 있다. (2007, 대구전략산업발전 로드맵, 대구전략산업기획단) 지식경제부에서는 2012 년 1 월, 5+2 광역경제권 선도산업 2 단계 사업의 22 개 선도산업과 40 개 프로젝트를 최종 확정하였으며, 대경권의 경우 스마트기기부품산업이 포함되었다. 대경권 대표 주력산업으로 선정된 스마트기기부품산업 중 스마트 자동차부품산업의 유망품목으로는 조향/제동 제어기기, 지능형 센서모듈, 탄소복합 외판경량부품, V2X 통신시스템, 차량용 고휘도 조명이 선정되었다.

(50)

제 ２ 절 연구내용 및 범위

１. 연구개발의 목표 가. 과제의 최종목표 스마트카 및 자율주행 차량에서 실시간 주변 상황을 인지할 수 있는 센서 퓨전 플랫폼 기술 개발 및 지역 부품업체의 수요가 반영된 차량 안전시스템 개발 지원을 통한 기술경쟁력 제고  상황인지 스마트 센서 모듈 고도화 개발  실시간 주변상황 인지 이종 센서 퓨전 기술 개발  기업체 수요 반영 차량 안전응용 서비스 개발

(51)

나. 과제의 세부목표  상황인지 스마트 센서 모듈 고도화 개발  차량용 Radar 센서 모듈 고도화 개발 - 차량용 Radar 안테나 기술 개발 - 차량용 Radar 센서 소형화 모듈 기술 개발 - Radar 신호처리 S/W 기술개발 - 적응형 디지털 빔포밍 기술 개발  차량용 비전 센서 기반 영상처리 모듈 개발 - 차량 주변 다중 객체 검출/인식 모듈 개발 - 차량용 비젼 센서 기반 신호 처리 보드 개발 - 차량용 스테레오 카메라 기반 신호처리 기술 개발  이종 센서 퓨전 기술 개발  주간/야간 비전 센서 퓨전 모듈 설계  이종(단일 혹은 다중 비전 센서와 Radar) 센서간 하이레벨 퓨전 기술 개발 - 비전-Radar 정보 3차원 매핑 기술 개발 - 비전-Radar 퓨전정보 기반 주변 상황인식 신호처리 기술개발 - 이종 센서 데이터 정합 기술 개발  비전 3D Lidar 센서 퓨전 신호처리 기술 연구  V2X 플랫폼 기술 설계 및 환경 구축 - V2X 적용 소프트웨어 플랫폼 환경구축 - V2X 기반 센서정보 융합기술 연구 - 센서 정보 융합을 위한 V2X 통신 시험 환경 구축 - 차량 내외부 충전용 무선통신 기술 연구

(52)

 기업체 수요 반영 센서 퓨전 차량 안전 시스템 개발  기업체 수요 반영 차량 안전시스템 요구사항 분석 및 설계  기업체 수요 반영 차량 안전시스템 프로토타입 개발

(53)

- 차량 후측방 안전융합 시스템