2015년 12월 15ZC2200-01-6034P
50
상황인지 스마트카를 위한 다중센서 플랫폼
기술개발
인 사 말 씀
최근 들어 자동차 업계는 기존의 자동차에 정보통신기술(ICT)을 접목, 차량 내·외부 상 황에 맞는 실시간 정보를 수집해 안전한 주행과 편리한 기능을 제공하는 자동차인 스마트카 가 현실화 되고 있는 추세입니다. IT 업계는 이같은 스마트카의 핵심 기능으로 차량 스스로 주변환경을 인식, 위험을 판단하고 주행경로를 계획하는 등 운전자의 주행조작을 최소화해 안전한 주행이 가능하도록 하는 자율주행 기술에 주목하고 있습니다. 또한 소비자의 안전성 과 편리성에 대한 다양한 요구사항을 반영하고 선진국에서 진행되고 있는 새로운 안전 관련 규제 강화에 대응하며, 화석 에너지의 수급 문제 및 지구의 온난화등의 환경 문제에도 대처 를 해야 합니다. 이에 따라 자동차 선진국들의 완성차 제조사와 자동차 부품회사들은 2000 년대 초반부터 자동차의 안전성 및 편리성 향상을 위한 첨단 안전시스템의 연구를 시작하여 주변상황인지 를 위한 레이더, Lidar, 비전 등의 스마트 센서 개발 및 각 센서 정보를 활용한 차량 전방 위의 정적/동적 장애물을 감지하는 시스템, 다양한 센서의 정보를 융합하여 정확한 상황인 지 및 판단기능을 수행하는 센서 융합 신호처리 시스템, 상황 판단에 따른 빠르고 정확한 응답성을 보장하는 제어 시스템등과 차량간 또는 차량과 도로 인프라간의 정보공유를 위한 V2X 시스템 등을 꾸준히 개발 해오고 있습니다. 삼성전자, LG 전자 등 국내 주요 전자기업은 물론이고, MDS 테크놀로지·엠씨넥스 등 중 견·중소 부품기업들의 자동차 사업 진출 또한 활기를 띠고 있습니다. 정부 역시 미래성장 동력 13 대 분야 간 연계·융합 전략을 통해 스마트카 시장 육성을 추진, 오는 2022 년까지 스마트카 상용화를 위한 기반을 구축하고, 산업 생태계 활성화를 추진한다는 계획이어서 스 마트카 산업의 본격 탄력을 받을 전망입니다. 이 중 일부 기술들은 최근 상용화되어 고급 자동차에 적용되어 차량의 안전성을 향상시 키고, 전반적인 자동차 산업의 부가가치 증대 효과를 가져 오고 있습니다. 하지만, 현재 개 발 되었거나 혹은 개발 완성 단계인 많은 센서와 시스템은 상당히 고가이며 제한적인 성능 과 응용별로 별도의 센서를 직결하여 할용함에 따라 복잡도 증가 등의 시장의 확대, 보급화에 많은 문제점을 내포하고 있습니다. 이들 기술에 대해 지속적인 연구개발을 통하여 관련 기술의 완성도를 높이고 소형화 하며 신뢰성 있는 제품을 생산하고 대량 생산이 용이하도록 표준화 체계를 준수함으로써 보다 저렴한 가격대의 제품이 출시되어 고급차뿐만 아니라 모 든 종류의 자동차에 장착이 될 수 있도록 하여 전반적인 차량의 안전성을 항샹시킴으로써 교통 사고로 인한 사외적 비용을 줄인 수 있을 것으로 전망됩니다. 국내 지능형 자동차를 위한 핵심 부품은 아직 전량 수입에 의존하고 있는 상황이며 급변 하고 있는 자동차 산업의 글로벌 경쟁력을 확보 하기 위해서는 완성차 업체뿐만 아니라 전 장부품 업체도 기반 기술인 스마트센서, 상황 인지/판단 시스템 및 제어시스템의 진보된 기 술 개발이 시급히 요구되고 있습니다. 또한 현재 개발 중인 개별 센서의 성능 향상뿐만 아 니라 융복합화되는 전장 시스템의 높아진 성능수준을 충족 하기 위하여 센서의 융합, 시스 템의 융합뿐만 아니라 정보의 융합을 기반으로 신뢰성을 높이고 성능을 향상시키며 가격 경 쟁력이 있는 기술력 확보가 요구됩니다. 이에 본 연구에서는 가까운 미래에 자율 주행이 가능하고, 차량내에서도 다양한 인포테 인먼트 서비스 활용이 가능한 지능형 자동차를 위하여 스마트 센서 모듈, 센서 융합 모듈, 정보 융합을 통한 상황인지 및 판단 기술, 차량 안전 제어시스템을 개발하여 안전 운전 지 원을 위한 응용기술을 선도하며 표준화된 다중 센서 플랫폼 개발과 보급을 통해 국내 미래 지능형 자동차 산업 및 IT 융합 산업 분야에서 해당 기술을 활용할 수 있도록 지원함으로써 국내 업체들의 국제 경쟁력을 제고함은 물론 미래 지능형 자동차의 글로벌 표준 플랫폼 기 술로 활용될 것으로 기대됩니다. 끝으로 연구 수행에 많은 도움을 주신 지식경제부와 대구광역시, 학계 그리고 관련 분야 여러분께 깊이 감사 드리며 본 연구에 참여한 연구원들의 노고를 치하하는 바입니다.
2015년 12월
한국전자통신연구원 원 장 이 상 훈
제 출 문
본 연구 보고서는 주요 사업인 "상황인지 스마트카를 위한 다중센서 플랫폼 기술개발"의 결과로서, 본 과제에 참여한 아래의 연구팀이 작성한 것입니다.2015 년 12 월
사업책임자 : 책임연구원 김대식 (ETRI)
과제책임자 : 책임연구원 박미룡 (ETRI)
연구참여자 : 책임연구원 권기구 (ETRI)
책임연구원 김기석 (ETRI)
책임연구원 김종덕 (ETRI)
책임연구원 한태만 (ETRI)선임연구원 김광용 (ETRI)
선임연구원 김영백 (ETRI)
선임연구원 박종일 (ETRI)
선임연구원 백장운 (ETRI)
선임연구원 신동승 (ETRI)선임연구원 이은령 (ETRI)
선임연구원 조진희 (ETRI)
선임연구원 채석민 (ETRI)
연 구 원 엄태정 (ETRI)
연 구 원 최윤원 (ETRI)
선임연구원 민봉기 (ETRI)
선임연구원 심재식 (ETRI)
선임연구원 김기수 (ETRI)
선임연구원 송정호 (ETRI)
선임연구원 한원석 (ETRI)
책임연구원 장길현 (Kdac㈜)
책임연구원 박상준 (Kdac㈜)
책임연구원 김민규 (Kdac㈜)
선임연구원 김종욱 (이케이덱㈜)
선임연구원 이득권 (이케이덱㈜)
연구원 정제한 (이케이덱㈜)
연구원 손정은 (이케이덱㈜)
연구원 현승화 (이케이덱㈜)
책임연구원 최순탁 (컨피테크㈜)
책임연구원 정순철 (컨피테크㈜)
선임연구원 나경진 (아진산업㈜)
선임연구원 박병관 (아진산업㈜)
연구원 김종효 (아진산업㈜)
책임연구원 이동권 (경창산업㈜)
연구원 김정현 (경창산업㈜)
연구원 박태훈 (경창산업㈜)
요 약 문
Ⅰ. 제 목
상황인지 스마트카를 위한 다중센서 플랫폼 기술개발Ⅱ. 연구 목적 및 중요성
가. 연구 개발의 목적 상황인지 스마트카 위한 다중센서 플랫폼 기술개발 사업은 고도의 지능형 서비스를 제공하는 상황인지 스마트카를 위한 다중센서 융합 기반 스마트센서 모듈 기술 개발, 빠르고 정확한 차량 주변 상황인지를 위한 다중센서 융합 기반 차량 안전시스템 기술 개발, 다중센서 융합 기반 주행환경 인식 스마트센서 SW 플랫폼 기술 개발을 통해 국내 미래 지능형자동차 산업 및 IT 융합 산업의 기술 경쟁력 확보 및 국제 경쟁력을 제고하기 위한 목적을 가지고 추진하였다. 또한 지능형자동차 산업의 고부가가치화 및 경쟁력 강화를 위한 차량용 임베디드 SW 산업 육성, 자동차산업의 고부가가치화를 위하여 차세대 국가 성장동력사업으로 지능형자동차부품산업을 집중 육성할 대구․경북 지역을 기반으로 “지역 자동차 부품 산업의 지능화 및 고도화”를 위해 지역 IT 및 자동차 관련 연구기관과 자동차 부품 업체들과의 공동 참여 및 협력을 통해 미래 지능형자동차 전장용 임베디드 SW 플랫폼 핵심 기술의 조기 확보 및 상용화를 추진하기 위해 추진하였다.나. 연구개발의 중요성 최근 자동차업계는 급속하게 강화되고 있는 환경, 안전규제, 에너지 문제, 소비자의 편의성과 안전성 요구에 따라 급격한 환경적 변화를 겪고 있으며 이에 미래 자동차 산업의 유망한 분야로 친환경차량과 안전 및 편의성이 강조되는 지능형자동차가 채택되었다. 이러한 변화의 결과로 최근까지 급격히 발전되어 온 IT기술들을 자동차에 적용하게 되었고 지능형자동차 산업의 구조도 자동차의 네트워크화, 스마트화가 진행되면서 자동차기업과 IT기업 간 협업이 되고 있다, 미래의 자동차는 친환경과 자율주행 등을 화두로 급변하고 있고, 사물인터넷의 확대로 자동차에서 차지하고 있는 '전기전자부품'의 비율이 증가할 것으로 보인다. 미국 시장조사업체 스트래티지 애널리틱스(SA)에 따르면 자동차 전장부품 시장 규모는 지난해 2390억달러(282조원)에서 2020년 3033억달러(358조원)로 27% 가량 급성장할 것으로 전망했다. 따라서, 자동차 전자장치의 다양화, 복잡화 및 모듈화 추세에 맞추어 IT 기술, 특히 임베디드 SW 기술과의 융합이 필요하다. 전 세계적으로 자동차의 안전성 및 편의성을 향상시키기 위한 첨단 안전시스템 개발이 자동차 업계의 주요 이슈가 되고 있으며 이를 위한 기술 개발 및 상용화가 진행되고 있다. 세계 자동차 선진국의 자동차 제조사 및 자동차 부품회사에서는 2000년대 초반부터 시작된 자동차의 안전성 및 편의성을 향상시키기 위한 첨단 안전시스템 프로젝트 연구 결과를 기반으로, 주변환경인지를 위한 레이더, Lidar, 비전, GPS 등의 스마트 센서 개발 및 각 센서 정보를 활용한 차량의 전후방, 측면의 정적/동적 장애물을 감지하는 시스템, 각 센서의 정보를 융합한 센서 융합 신호처리 시스템, 차량 센싱정보를 통한 차량 제어, 자율주행 시스템의 개발을 추진하고 있다. 아직까지 국내의 대부분의 스마트카 핵심 기술은 전량 수입에 의존하고 있는 상황이어서 미래 상황인지 스마트자동차 산업의 경쟁력 확보를 위해 완성차 업체
및 전장부품 업체의 애로 기술인 상황인지 스마트센서 개발이 시급히 요구된다. 현재 개발 중인 대부분의 센서는 단위 센서 자체의 인지능력 향상에 치중하고 있으며, 이종 상황인지 스마트 센서간의 데이터를 융합하여 보다 정확하게 장애물의 위치정보를 선별하고 가장 위협적인 장애물을 판단한 후 신뢰성 있는 인식 결과를 제공하는 다중 스마트센서 융합 기술 확보가 필요하다. 따라서 본 과제에서 추진하는 상황인지 스마트카를 위한 다중센서 플랫폼 기술은 자동차 산업이 국가의 큰 핵심 기간산업임에도 불구하고 선진국대비 지능형자동차 관련 기술 개발이 늦은 현재 상황에서 국내 자동차 산업을 도약시킬 수 있는 기술로, 향후 국가 기술 및 대외 시장 경쟁력 확보를 위하여 매우 중요하다고 볼 수 있다.
Ⅲ. 연구내용 및 범위
본 과제는 2013년부터 2015년까지 3년간 진행되며 최종 목표는 다음과 같다. 고도의 지능형 서비스를 제공하는 상황인지 스마트카를 위한 다중센서 플랫폼 기술 개발 상황인지 스마트카를 위한 다중센서 융합 기반 스마트센서 모듈 기술 개발 빠르고 정확한 차량 주변 상황인지를 위한 다중센서 융합 기반 차량 안전시스템 기술 개발 다중센서 융합 기반 주행환경 인식 스마트센서 SW 플랫폼 기술 개발 연도별 내용 및 범위는 다음과 같다. 가. 1차년도 (2013년) : 다중센서 융합 기반 스마트센서 모듈 프로토타입 개발 스마트센서 모듈 요구사항 분석 및 설계 스마트센서 모듈 프로토타입 개발 차량 안전시스템 요구사항 분석 및 설계 차량 안전시스템 프로토타입 개발 주행환경 인식 스마트센서 SW 플랫폼 요구사항 분석 및 설계 나. 2차년도(2014년) : 다중센서 융합 기반 차량 안전시스템 개발 스마트센서 모듈 기능 확장 개발 차량 안전시스템 성능 평가기술 개발 주행환경 인식 스마트센서 SW 플랫폼 구현 다. 3차년도(2015년) : 스마트센서 모듈 및 차량 안전시스템 기능 확장 개발 및 안정화 스마트센서 모듈 기능 확장 개발 및 안정화 차량 안전시스템 기능 확장 개발 및 안정화 주행환경 인식 스마트센서 SW 플랫폼 기능 확장 개발
Ⅳ. 연구결과
본 과제의 연구 결과는 다음과 같다. 차량 측후방 탐지용 Radar 센서 모듈 개발 차량용 Radar 개발을 위한 Simulator 개발 Ethernet 기반 차량용 Radar GUI 개발 차량용 3D Lidar 센서 요소기술 개발 주행환경인식 스마트센서 SW 플랫폼 기술 개발 차량 안전시스템용 신호처리 모듈 개발
Ⅴ. 기대성과 및 건의
가. 기술적 측면 자동차IT 융합 기술 개발을 통해 자동차 전장 부문의 핵심기술을 확보하고 산업전반의 기술력 제고, 한국형 기술 개발 도모 차량용 상황인지 스마트센서 핵심 부품 기술 국산화 및 플랫폼 검증 기술 확보 미래 스마트카를 위한 상황인지 스마트 센서 융합 기술의 선도적 확보 및 기술 축적을 통한 차별화된 차량 편의장치 및 안전시스템 개발 가능 센서 모듈화 기술, 신호처리 기술, SW 플랫폼 기술 확보를 통한 기업체에서의 다양한 응용시장에 접근할 수 있는 기술적 인프라 제공 차세대 차량주행 안전시스템을 위한 상황인지 스마트센서 및 융합 기술의 국제 표준 주도로 IPR 확보 및 기술 보호 나. 경제 산업적 측면 차량용 상황인지 스마트센서 핵심 부품 기술 확보로 미래 지능형자동차 산업의 경쟁력 향상 대구광역시에서 추진하고 있는“지능형자동차부품 혁신클러스터”와의 연계를 통한 업체 경쟁력 확보, 고용 창출 및 자동차산업의 고부가가치화 근거리와 장거리 및 사각지역을 동시에 지원하는 상황인지 다중 스마트센서 융합기술을 활용할 경우 자동차/보안/로봇 등의 관련 산업의 국가 경쟁력 확보 및 다양한 신규시장 창출 가능
ABSTRACT
Ⅰ. TITLE
Development of Multi-sensor Platform for Context-aware Smart Vehicle
Ⅱ. THE OBJECTIVES
A. Purpose
The project "Development of Multi-sensor Platform for Context-aware Smart Vehicle " aims at enhancement of national technology competition power by building of foundational framework of embedded software platform to meet distributed and complex intelligent future vehicle electronics requirements for early acquisition of fundamental technology leadership and systems for the promotion of commercializing of related technology products. The technology leadership and promotion will be built upon strategical alliance and cooperation with local industries and participation of such companies based in Daegu-Gyeongbuk region. In this industrial region, in cooperation with vehicle-IT convergence industry, intelligent vehicle part industry is intensively fostered as one of nationwide strategic plan for next generation growth motive to move toward higher value-addition of automotive industries and fortification of competition power with promotion of embedded software industry for automotive domain.
B. Importance
Recently, automotive industries are undergoing steep environmental changes according as the increasing requirements in environmental, safety, energy, end-user comfort issues the regarding law enforcement is aggressively being tightened. As the result of these recent changes, the all latest IT achievements are adapted to vehicles and the intelligent automotive industries are being reorganized based on cowork of OEM and IT company in network of vehicles, smart functions and etc.
The topic of future vehicle has changed to green vehicle and auto-driving vehicle and the portion of electronics components in vehicle will be increased.
The strategy analytics(SA) predicts the market volume of car components will grow by 27%, from 239 billion dollars in 2015 to 303 billion dollars in 2022.
The electronics which comprises 20% of whole vehicle price now will be expanded up to 40 % by 2015 and 75% of such devices will be controlled by software. Further, the proportion of software in the whole development cost of a vehicle soared up to 52.4 % in 2005, contrasting to 37.9% in 2002.
As the environmental regulations are being strengthened globally, the regulations over vehicle safety concerning environments are also being reinforced. To cope with the regulations and restrictions related to vehicle, incorporation of the electronic device are increasing. The inherent complexity increase in automotive electronics brought about frequent failures of electronic devices so that 30~40% of quality assurance cost of North American automotive industry which approximates 10 billions of dollars were spent in processing electronics and software.
academic researcher are interested in advanced driver assistance system installed several sensor and they have paid attention to vision sensor, radar sensor and lidar sensor and other smart sensor. They have learned for several different sensors to be fused for enhancing the performance and detection rate with the experience of some project related vehicle safety system and vehicle environment. With the result of this project, they designed sensor signal fusing concept, developed vehicle control system based on this sensor fusion information and have adapted this technology in commercial vehicle step by step.
For there are few domestic companies known to have their own technology base for smart sensor module, multi-sensor fusing technology and Advanced Driver Assistance System based on the sensor fusion. It is essential to acquire and secure such technology base conforming to multi-sensor fusing technology.
Finally, the embedded software platform technology for the future intelligent vehicle will serve as the cornerstone for the promotion of national automotive industry which is the key industry area but in terms of technology revolution, falling quite much behind compared to advanced countries as well as being crucial for future national technology base and global marketing competence power.
Ⅲ. THE CONTENTS AND SCOPE OF THE STUDY
This project has been under development since 2013 and will be carried out by 2015 for 3 years. The goals are expressed as follows.
Embedded SW platform development of multi-sensor platform for context-aware smart vehicle.
The development of smart sensor module for context-aware smart vehicle The development of safety systems for context-aware smart vehicle The development of context-aware smart sensor SW platform based on
multi-sensor fusion technology
The years by contents and extent is listed as follows.
A. 1st Phase (2013): Development of prototype for smart sensor module based on multi-sensor fusion
Definition and Design of the requirement for smart sensor module Development of prototype for smart sensor module
Definition and Design of safety system for context-aware smart vehicle Development of prototype of the safety system for context-aware smart
vehicle
Definition and Design of the requirement for context-aware smart sensor SW platform
B. 2nd Phase (2014): Development of safety system for context-aware smart vehicle
Expansion of smart sensor module function
Development of evaluation process for vehicle safety system Implementation of context-aware smart sensor SW platform
vehicle safety system
Expansion and Enhancement of smart sensor module Expansion and Enhancement of vehicle safety system
Expansion and Enhancement of context-aware smart sensor SW platform
Ⅳ. RESULTS
The research result includes following achievements:
Development of radar sensor module for side/rear monitoring Development of radar Simulator based on Ethernet.
Development of radar GUI
Development of lidar sensor for vehicle safety system Development of context-aware smart sensor SW platform
Development of signal processing module for vehicle safety system
Ⅴ. EXPECTED RESULT & PROPOSITION
A. Technical Aspect
Acquisition of embedded technology for intelligent vehicle with vehicle-IT fusion
Acquisition of Verification and Validation technology for intelligent vehicle with vehicle-IT fusion
context-aware smart vehicle and Elimination of the dependency on offshore technologies
Providing technological infrastructure to supplier and IT company by acquisition of sensor module technology, signal processing technology, and SW platform technology
Leading the technology of smart sensor and multi-sensor fusion SW platform development for next-generation vehicle safety system and Acquisition of IPR by international standardization activities and securing of acquired technologies
B. Economical and Industrial Aspect
Enhancement of competitive power of intelligent vehicle business by acquisition of key technology for context-aware smart sensor.
Acquisition of competitive power and job creation in connection with "Innovation cluster of intelligent vehicle parts" promoted in Daegu Creating new business and acquisition of competitive power of intelligent
vehicle/security/robot using context-aware multi-sensor smart sensor fusion technology
Localization of key automotive components for context-aware smart sensor and promotion of exportation
CONTENTS
Chapter 1 Introduction ... 3 3
Section 1 Purpose and Necessity of the Research ... 3
1. Purpose of the Research ... 3
2. Necessity of the Research ... 5
Section 2 Contents and Scope of Research ... 6
1. Objective of the Research ... 6 2. Contents and Scope of the Research in This Year ... 8 8 Section 3 Domestic and Global Research Trends ... 10 11
1. Global Technology Trends ... 10 11 2. Domestic Technology Trends ... 14 22 3. Domestic and Global Trends of Standardization ... 15 31 4. Latest Trends in Similar Fields of Research ... 19 35 Section 4 Research Process and Hierarchy of Report ... 20 37 1. System and Methods for Research Process ... 20 37 2. Hierarchy of the Report ... 25 44 Chapter 2 Result of the Research ... 29 47 Section 1 Accomplishments of the Research in This Year ... 29 47 1. Overivew ... 29 47 2. Milestone and Accomplishments ... 31 48 3. Impact Results ... 39 53 Section 2 Development of smart sesor module based on multi-sensor Fusion 56
technology
1. Radar Sendor Module in Automotive ... 42 56 2. 3D Lidar Sendor Module in Automotive ... 43 85 Section 3. Development of Vehicle Safety System based on multi-sensor Fusion technology
115
1. Lane Change Assistance System ... 42 115 2. Vehicle Context-aware System ... 43 133 3. Passenger Assistance System ... 45 151 4. Side Rear Assitance system ... 45 169 Section 4. Development of Vehicle Context-aware Smart sensor SW
Platform based on multi-sensor Fusion technology
181
1. Development of Vehicle Context-aware Smart sensor SW Platform 42 181 2. Development of SW Platform/Tools for vehicle controls ... 43 196 Chapter 3 Conclusion ... 217 209 References ... 221 213 Abbreviation ... 225 216 Appendix ... 227 219 1.Papers ... 227 219 2. Patents ... 228 220 3. SW Programs ... 229 221 4. Technical Documents ... 230 221
List of Figures
<Figure 1-3-1. 77 GHz 3-generation Long Range Radar Sensor of Bosch >--- 12 <Figure 1-3-2. RASIC-RXN7740 of Infineon in Germany >---
12
<Figure 1-3-3. Radar Sensor Products >---
12
<Figure 1-3-4. 3-generation Integrated Safety System Application using radar sensor >---
13
<Figure 1-3-5. Trends of Radar Sensor in Automotive >---
13
<Figure 1-3-6. Global Lidar Sensors >---
16
<Figure 1-3-7. Object Detection and Environment Modeling using Google 3D Lidar>---
16
<Figure 1-3-8. Object Detection in Autonomous Lab, Germany >---
17
<Figure 1-3-9. Several Algorithm Comparison for Detection distance >---
17
<Figure 1-3-10. High-resolution radar image acquisition technology using resolution enhancement algorithm >---
18
<Figure 1-3-11. 77GHz FMCW Signal Processing Block for Automotive(SensingTech)> 18 <Figure 1-3-12. Sensors in Smart car >---
20
<Figure 1-3-13. Radar MMIC Chip using HEMT technology >---
24
<Figure 1-3-14. 77 GHz GaAs Transceiver Chip for Radar in Automotive >---
25
<Figure 1-3-15. Single Photo-detector for 3D Lidar of ETRI >---
<Figure 1-3-16. Lidar Sensor System of ETRI >---
26
<Figure 1-3-17. Optical technology for 3D Lidar >---
27
<Figure 1-3-18. Lidar Sensor Technology of KETI for Short range >---
27
<Figure 1-3-19. Vehicle and Pedestrian Detection in ETRI >---
28
<Figure 1-3-20. World Modeling using 2D LRF and Image Device >---
28
<Figure 1-4-1. Development hierarchy >---
38
<Figure 1-4-2. Development hierarchy of this year >---
40
<Figure 2-1-1. Market Prediction of Vehicle Blind spot Detector in Domestic >---
55
<Figure 2-1-2. Market Prediction of Object Detection Sensor in Domestic >---
55
<Figure 2-2-1. Sensors for vehicles of BENZ company >--- 57 <Figure 2-2-2. Radar for forward detection of BENZ company >--- 57 <Figure 2-2-3. Detection area of BSD/LCA radar for vehicles >--- 58 <Figure 2-2-4. Automotive radar sensor system architecture >--- 62 <Figure 2-2-5. Radar signal processing software module architecture >--- 63 <Figure 2-2-6. Configuration of antenna for automotive 77GHz BSD/LCA radar >--- 64 <Figure 2-2-7. Layout of antenna for automotive 77GHz BSD/LCA radar >--- 66 <Figure 2-2-8. Prototype of antenna for automotive 77GHz BSD/LCA radar >--- 66 <Figure 2-2-9. Radiation patterns of 77GHz radar antenna >--- 67 <Figure 2-2-10. Reflection characteristics of 77GHz radar antenna >--- 68 <Figure 2-2-11. Isolation between Tx Ant. And Rx. Ant.>--- 69 <Figure 2-2-12. Prototype of radar sensor modules > --- 70
<Figure 2-2-13. Radar antenna radome(left), antenna & FEM(middle), BEM & Power module(right)>---
71
<Figure 2-2-14. Assembled radar module(left), assembled to blacket with Ethernet board>-- 71 <Figure 2-2-15. BEM block diagram for automotive radar >--- 72 <Figure 2-2-16. Developed BEM for automotive radar >--- 73 <Figure 2-2-17. Block diagram of SDADC module >--- 74 <Figure 2-2-18. Noise spectrum >--- 75 <Figure 2-2-19. Application of digital beam forming radar sensor(left) and
concept of receiving digital beamforming(right)> ---
80
<Figure 2-2-20. 8-channel receive signal and noise-included receive signal >--- 81 <Figure 2-2-21. Angle estimation results of Phase shift, MVDR and MUSIC >--- 81 <Figure 2-2-22. Setup vehicles for test >--- 82 <Figure 2-2-23. Result of range detection test >--- 83 <Figure 2-2-24. Range comparisons of DGPS measured and radar detected >---
84
<Figure 2-2-25. Result of velocity detection test >---
84
<Figure 2-2-26. Automotive Lidar sensor system basic composition >---
86
<Figure 2-2-27. Large-scaled, Quad, 16 channel entire photodetector layout >----
90
<Figure 2-2-28. The detailed instructions of 16 channel photodector layout >----
90
<Figure 2-2-29. MEMS scanner: scanner mirror (left) and scanner driver (right)>--
91
<Figure 2-2-30. Jump over line by line scanning method of the interlaced scanning method>---
92
<Figure 2-2-31. interlaced scanning method for the jump over 3 lines and each sub-frame generated by this method >---
<Figure 2-2-32. An image comparison between existing dual scan (left) and jump over line by line scan >---
94
<Figure 2-2-33. Fiber optic based MOPA laser structure (top), Fiber optic based MOPA laser without fan(bottom left), Fiber optic based MOPA laser with fan (bottom right)> ---
95
<Figure 2-2-34. Applied LPA laser light-source structure (top),
test-implemented laser light-source of the LPA laser (bottom) > ---
96
<Figure 2-2-35. ADC signal sampling >--- 97 <Figure 2-2-36. Peak detection using threshold in signal >--- 98 <Figure 2-2-37. Noise reduction of the result comparison between existing
method (left) and Pcak Count method (right)>---
99
<Figure 2-2-38. Signal detection using Window algorithm >--- 101 <Figure 2-2-39. Noise isolation using Window algorithm >--- 102 <Figure 2-2-40. Peak detection using Window algorithm >--- 102 <Figure 2-2-41. Performance Comparison of 3 way of peak detection>--- 104 <Figure 2-2-42. Sensor board (left), STUD system (middle), system and object
arrangement composition > --- 105
<Figure 2-2-43. Signal detection of the existing method (top), Signal detection of Peak detection algorithm (bottom)> ---
106
<Figure 2-2-44. Test bed prototype for verification test of element technology (left), miniaturized prototype (middle), vehicle-mounted image (right)>---
107
<Figure 2-2-45. Indoor short-distance 3D image sample (left), indoor mid-distance 3D image sample (right)> ---
108
<Figure 2-2-46. Indoor distance 3D image sample (top-left), outdoor long-distance 3D image sample (top-right), outdoor long-long-distance enlarge 3D image sample (bottom-left), and outdoor long-distance poor 3D image sample in poor weather (bottom-right)>--- ---
<Figure 2-2-47. The operating scene grabber for conversion from pcap format to pcd format>---
110
<Figure 2-2-48. Filtering process for ground/non-ground classification >---
111
<Figure 2-2-49. HDL viewer scene and ground/non-ground classification scene >---
111
<Figure 2-2-50. An example of moving car and pedestrian >---
111
<Figure 2-2-51. S/W development step of the UDP packet format conversion >---
112
<Figure 2-3-1. Concept of Lane Change Assistance System >---
115
<Figure 2-3-2. Lane Change Assistance System architecture>---
117
<Figure 2-3-3. Camera installation>---
117
<Figure 2-3-4. VDM Module block diagram >---
118
<Figure 2-3-5. LDM Module block diagram >---
120
<Figure 2-3-6. lateral-rear vehicle detection algorithm >---
123
<Figure 2-3-7. Edge detection by image scale level >---
123
<Figure 2-3-8. Cascade classifier >---
124
<Figure 2-3-9. VDM processes per frame >---
124
<Figure 2-3-10. False detection reduction scheme >---
125
<Figure 2-3-11. Setting of scanning area for vehicle detection >---
<Figure 2-3-12. Result of lateral-rear vehicle detection >---
127
<Figure 2-3-13. Preprocessing module view >---
127
<Figure 2-3-14. Lane detection module view >---
128
<Figure 2-3-15. Lane tracking and fitting module >---
128
<Figure 2-3-16. LDM flow diagram >---
129
<Figure 2-3-17. Processes of LDM >---
130
<Figure 2-3-18. Target board Development>---
131
<Figure 2-3-19. Car Test for Vehicle detection >---
132
<Figure 2-3-20. The result of Lane detection>---
132
<Figure 2-3-21. The result of Vehicle detection >---
132
<Figure 2-3-22. Overview of AVS system development for application to the vehicle of children boarding >---
133
<Figure 2-3-23. Construction of AVS >---
135
<Figure 2-3-24. Construction of Obstacle Detection Module >---
136
<Figure 2-3-25. Screenshot of AVS System by scenario >---
137
<Figure 2-3-26. AVR510 System>---
138
<Figure 2-3-27. Channel brightness Correction and Channel Balancing >---
<Figure 2-3-28. Block Diagram of AVS System operation>---
140
<Figure 2-3-29. AVS System operation Flow>---
140
<Figure 2-3-30. Hardware Block Diagram>---
141
<Figure 2-3-31. Vehicle Virtual Simulation Concept>---
141
<Figure 2-3-32. Ultrasonic Direction and ROI >---
142
<Figure 2-3-33. Web-based Screen Capture and Debugging page> ---
143
<Figure 2-3-24. Measurement test by Ultrasonic Region >---
143
<Figure 2-3-25. Test Report of ground-truth image generation>---
146
<Figure 2-3-26. ROI for user ground-truth image >---
146
<Figure 2-3-27. Regions of image processing result>---
149
<Figure 2-3-28. Screenshot of Warning by threat level>---
149
<Figure 2-3-29. Memorandum of Understanding >---
150
<Figure 2-3-30. System summary for Passenger Assistance System>---
151
<Figure 2-3-31. Passenger Assistance System Architecture>---
154
<Figure 2-3-32. threat object detection Module>---
155
<Figure 2-3-33. Algorithm flow for the threat object detection>---
156
--
<Figure 2-3-35. Histogram image and Object Edge Detection Image>---
<Figure 2-3-36. Object Candidate Region Detection Image and Object Region Detection Image>---
157
<Figure 2-3-37. Region Configuration with Camera-based Geometry and Result>---
158
<Figure 2-3-38. Detection of Object Information>---
159
<Figure 2-3-39. Flowchart of threat feature decision>---
159
<Figure 2-3-40. Integrated control board>---
160
<Figure 2-3-41. User Interaction Program>---
162
<Figure 2-3-42. The example of Screenshot when backward movement >---
162
<Figure 2-3-43. The result of Threat Object Detection on PC>---
163
<Figure 2-3-44. The result of Threat Object Detection on embedded system >---
164
<Figure 2-3—45. The result of Vehicle surrounding Object Detection on PC >---
164
<Figure 2-3-46. The example of Test set>---
166
<Figure 2-3-47. The example of additional test >---
166
<Figure 2-3-48. The example of System installation>---
167
<Figure 2-3-49. The example of Field test>---
168
<Figure 2-3-50. Overview of Parking Assistance System and Lateral-rear Warning System >---
169
<Figure 2-3-51. The Architecture of Overview of Parking Assistance System and Lateral-rear Warning System
-
<Figure 2-3-52. Backward Object Detection Module >---
172
<Figure 2-3-53. Image Composition >---
173
<Figure 2-3-54. Advanced Parking Guideline >---
174
<Figure 2-3-55. Geometry analysis based on installation position >---
175
<Figure 2-3-56. Camera Movement based on vehicle information>---
175
<Figure 2-3-57. Flowchart of Backward Object Detection >---
176
<Figure 2-3-58. Background eliminated Image >---
176
<Figure 2-3-59. Filter Image>---
177
<Figure 2-3-60. Object Candidate Region Detection Image>---
177
<Figure 2-3-61. Object Region Detection Image>---
178
<Figure 2-3-62. Object Region Detection Image>---
178
<Figure 2-3-63. Object Region Detection Image>---
179
<Figure 2-3-64. Embedded Development Environment >---
180
<Figure 2-3-65. Wiring of vehicle test >---
180
<Figure 2-4-1. General ADAS Platform >---
182
<Figure 2-4-2. Example of Fusion of Vision sensor and Radar Sensor>---
<Figure 2-4-3. Centralized Fusion System >---
185
<Figure 2-4-4. Distributed Fusion System >---
185
<Figure 2-4-5. Development Process of Smart sensor SW Platform >---
188
<Figure 2-4-6. Components of Smart sensor SW Platform >---
190
<Figure 2-4-7. Decision Module of Smart sensor SW Platform >---
191
<Figure 2-4-8. Use case for Decision Module of Smart sensor SW Platform >---
193
<Figure 2-4-9. Communication Module of Smart sensor SW Platform >---
194
<Figure 2-4-10. Configuration Module of Smart sensor SW Platform >---
195
<Figure 2-4-11. AUTOSAR 구조>---
196
<Figure 2-4-12. Artop Architecture>---
198
<Figure 2-4-13. Code Generation Tool Architecture >---
202
<Figure 2-4-14. Intermediate Meta Model Package Architecture>---
203
<Figure 2-4-15. The example of Intermediate Meta(Ea Module)> ---
205
<Figure 2-4-16. Template sample>---
List of Tables
<Table 1-3-1. Status in Lidar Sensor Development>---
15
<Table 1-3-2. Status in Global ADAS Development>---
21
<Table 1-3-3. Status in ADAS Research>---
29
<Table 1-3-4. Status in Smart-sensor Research >---
29
<Table 1-3-5. Standards for context-aware smart sensor Fusion technology >---
31
<Table 1-3-6. List of ISO subdivision >---
32
<Table 1-3-7. List of ISO/TC204/WG14 Standards >---
33
<Table 2-1-1. Decrease of technology gap >---
54
<Table 2-2-1. Major requirements for functionalities >---
59
<Table 2-2-2. Major requirements for performance >---
60
<Table 2-2-3. Main requirements for radar simulator>---
61
<Table 2-2-4. Module list of FMCW radar signal processing software >---
63
<Table 2-2-5. Radar simulator modules>---
64
<Table 2-2-6. Design requirements of 77GHz automotive mono-pulse radar>---
65
-
<Table 2-2-8. Function list of FEM controller module>---
73
<Table 2-2-9. Radar simulator result>---
78
<Table 2-2-10. Experiment result of Peak Count (AND) Window algorithm> ---
104
<Table 2-2-11. Performance comparison between existing method and developed-algorithm>---
105
<Table 2-3-1. Major requirements for performance>--- 116 <Table 2-3-2. Major requirements for functionalities>--- 116 <Table 2-3-3. Function of VDM>--- 119 <Table 2-3-4. Function of LDM>--- 120 <Table 2-3-5. 차량인식알고리즘 함수별 처리 속도>--- 126 <Table 2-3-6. 차량인식알고리즘 차량 인식률>--- 126 <Table 2-3-7. 차량 인식 모듈 실시간 처리 성능>--- 132 <Table 2-3-8. 차량 인식 모듈 인식률>--- 133 <Table 2-3-9. Major requirements for performance
>---
134
<Table 2-3-10. Module Description >---
136
<Table 2-3-11. AVR510 process list>---
138
<Table 2-3-12. The result of ultrasonic detection>---
144
<Table 2-3-13. Groudtruth list>---
144
<Table 2-3-14. After ROI detection for groudtruth Image>---
147
<Table 2-3-15. Log data format for validation >---
<Table 2-3-16. Log data format>---
148
<Table 2-3-17. Requirements of Children day care centers>---
150
<Table 2-3-18. Major requirements for performance >---
152
<Table 2-3-19. Major requirements for functionalities >---
152
<Table 2-3-20. Module Description ---
155
<Table 2-3-21. Platform Case and Braket>---
161
<Table 2-3-22. Major requirements for performance >---
165
<Table 2-3-23. Major requirements for functionalities >---
165
<Table 2-3-24. Major requirements for performance >---
169
<Table 2-3-25. Major requirements for functionalities >---
170
<Table 2-3-26. Module Description >--- 172 <Table 2-4-1. Artop vs
Prototype>---
199
<Table 2-4-2. Function of Artop >---
목 차
제 １ 장 서 론 ... 3 제 １ 절 연구개발 목적 및 필요성 ... 3 １. 연구개발 목적 ... 3 ２. 연구개발 필요성 ... 5 제 ２ 절 연구내용 및 범위 ... 6 １. 연구개발의 목표 ... 6 ２. 당해년도 연구내용 ... 8 제 ３ 절 국내외 기술개발 동향 ... 11 １. 세계 기술현황 ... 11 ２. 국내 기술현황 ... 22 ３. 국내외 표준화 현황 ... 31 ４. 유사분야 국내외 최신동향 ... 35 제 ４ 절 연구 수행방법 및 보고서 체계 ... 37 １. 연구 추진체계 및 수행방법 ... 37 ２. 보고서 체계 ... 44 제 ２ 장 연구수행 결과 ... 47 제 １ 절 당해년도 연구성과 실적 ... 47 １. 연구성과 개요 ... 47 ２. 연구성과 실적 ... 48 ３. 효과지표(Impact) 성과 ... 53 제 ２ 절 상황인지 스마트카를 위한 다중센서 융합 기반 스마트센서 모듈 기술 개발 ... 56 １. 차량용 Radar 센서 모듈 기술 개발 ... 56 ２. 차량용 3D Lidar 센서 모듈 기술 개발 ... 86제 ３ 절 차량 주변 상황인지를 위한 다중센서 융합 기반 차량 안전시스템 기술 개발 ... 116 １. 차선 변경지원시스템 개발 ... 116 ２. 차량주변 상황인지 시스템 개발 ... 134 ３. 상용차용 승하차 보호 시스템 개발 ... 152 ４. 주차보조 시스템 및 후측방 경보시스템 개발 ... 171 제 ４ 절 다중센서 융합 기반 주행환경 인식 스마트센서 SW 플랫폼 기술 개발 ... 183 １. 주행환경인식 통합 SW 플랫폼 기술 개발 ... 183 ２. 차량 제어기 적용 SW 플랫폼/도구 환경 개발 ... 198 제 ３ 장 결 론 ... 211 참고문헌 ... 215 약어표 ... 216 약어표 ... 219 1. 논문 (국제 2 건, 국내 7 건) ... 221 2. 특허 (국제 6 건, 국내 12 건) ... 222 3. 프로그램 (6 건) ... 223 4. 기술문서 (총 75 건, TDP 18 건, TM 57 건) ... 223
표 목 차
<표 1-3-1. Lidar 센서 국외제품 개발현황>--- 15 <표 1-3-2. 세계의 첨단안전자동차 개발 현황(자료: ABI Research)> --- 21 <표 1-3-3. 첨단안전자동차 관련 연구 개발 현황(자료: 관련기관 Web Site)> --- 29 <표 1-3-4. 스마트 센서 연구 개발 현황>--- 29 <표 1-3-5. 상황인지 스마트센서 융합 기술 관련 표준화 현황>--- 31 <표 1-3-6. 지능형 자동차와 관련된 ISO 산하 미래자동차 표준화 회의>--- 32 <표 1-3-7. ISO/TC204/WG14 차량/도로 경고 및 제어시스템 표준제정 목록>--- 33 <표 2-1-1. 기술격차 축소 >--- 54 <표 2-2-1. 주요 기능 요구사항>--- 59 <표 2-2-2. 주요 성능 요구사항>--- 60 <표 2-2-3. 레이더 시뮬레이터 주요 요구사항>--- 61 <표 2-2-4. FMCW 레이더 신호처리 소프트웨어 모듈>--- 63 <표 2-2-5. 레이더 시뮬레이터 모듈>--- 64 <표 2-2-6. 77GHz 차량용 후측방 모노펄스 레이더 안테나 설계 요구사항>--- 65 <표 2-2-7. 안테나 주요 측정 성능>--- 68-- <표 2-2-8. FEM Controller 기능 목록>--- 73 <표 2-2-9. 레이더 시뮬레이터 결과>--- 78
<표 2-2-10. Peak Count (AND) Window algorithm 실험 결과 (peak 개수)> --- 104 <표 2-2-11. 기존방식과 새로운 알고리즘 성능 비교>--- 105 <표 2-3-1. 차선 변경지원 시스템의 주요 성능 요구사항>--- 116 <표 2-3-2. 차선 변경지원 시스템의 주요 기능 요구사항>--- 116 <표 2-3-3. VDM 세부 모듈 기능>--- 119 <표 2-3-4. LDM 세부 모듈 기능>--- 120 <표 2-3-5. 차량인식알고리즘 함수별 처리 속도>--- 126 <표 2-3-6. 차량인식알고리즘 차량 인식률>--- 126 <표 2-3-7. 차량 인식 모듈 실시간 처리 성능>--- 132 <표 2-3-8. 차량 인식 모듈 인식률>--- 133 <표 2-3-9. 주요 성능 요구사항>--- 134 <표 2-3-10. 세부 모듈 설명>--- 136 <표 2-3-11. AVR510 프로세스 리스트 >--- 138 <표 2-3-12. 초음파 측정 결과>--- 144
<표 2-3-13. 기준 영상 리스트>--- 144 <표 2-3-14. 기준영상 ROI 처리 후 결과물>--- 147 <표 2-3-15. 검증을 위한 로그 데이터 형식>--- 148 <표 2-3-16. 로그 데이터 포멧 >--- 148 <표 2-3-17. 어린이 집 요청사항>--- 150 <표 2-3-18. 주요 성능 요구사항>--- 152 <표 2-3-19. 주요 기능 요구사항>--- 152 <표 2-3-20. 세부 모듈 설명--- 155 <표 2-3-21. 플랫폼 케이스 및 브라켓>--- 161 <표 2-3-22. 임베디드 시스템 기반의 알고리즘의 처리 속도>--- 165 <표 2-3-23. 주요 시나리오별 테스트 방법>--- 165 <표 2-3-24. 주요 성능 요구사항>--- 169 <표 2-3-25. 주요 기능 요구사항>--- 170 <표 2-3-26. 세부 모듈 설명>--- 172 <표 2-4-1. Artop vs. 프로토타입 레이어 대응표> --- 199 <표 2-4-2. Artop 기능>--- 199
그 림 목 차
<그림 1-3-1. Bosch사의 77 GHz 3세대 장거리 차량용 레이더 센서>--- 12 <그림 1-3-2. 독일 Infineon 사의 RASIC-RXN7740>--- 12 <그림 1-3-3. 레이더 센서의 주요 상용 제품>--- 12 <그림 1-3-4. 3 세대 차량용 레이더 기반 통합 안전시스템 응용>--- 13 <그림 1-3-5. 차량용 레이더 센서 개발 동향>--- 13 <그림 1-3-6. 국외 Lidar 센서 제품>--- 16 <그림 1-3-7. Google 의 3D Lidar 를 이용한 객체 인식과 환경 모델링>--- 16 <그림 1-3-8. 독일 Autonomous Lab 의 LIDAR 를 이용한 객체 인식>--- 17 <그림 1-3-9. 해상도 측정 거리를 얻기 위한 다양한 알고리즘 비교>--- 17 <그림 1-3-10. 해상도 개선 알고리즘을 적용한 고해상도 레이더 이미지 획득 기술>-- 18 <그림 1-3-11. 차량용 77GHz FMCW 신호처리 블록 (센싱테크)> --- 18 <그림 1-3-12. 스마트카에 사용되는 센서>--- 20 <그림 1-3-13. HEMT 기술로 제작된 자동차 레이더용 MMIC 칩 (웨이퍼 사진)>--- 24 <그림 1-3-14. 자동차용 레이더를 위한 77 GHz GaAs Transceiver 칩>--- 25 <그림 1-3-15. ETRI 의 3D Lidar 용 단일 광검출기>--- 26 <그림 1-3-16. ETRI 의 3D Lidar 센서 시스템 기술>--- 26 <그림 1-3-17. 3D Lidar 용 광학계 기술>--- 27 <그림 1-3-18. KETI 의 Short range 용 Lidar 센서 기술>--- 27 <그림 1-3-19. ETRI 의 영상을 이용한 차량 및 보행자 인식>--- 28 <그림 1-3-20. 2D LRF 와 영상장치를 이용한 월드모델링>--- 28 <그림 1-4-1. 연구개발 추진체계>--- 38 <그림 1-4-2. 당해년도 연구개발추진체계>--- 40 <그림 2-1-1. 국내 차량사각지대 감지기 시장규모 전망>--- 55 <그림 2-1-2. 국내 물체감지 센서 시장규모 전망>--- 55<그림 2-2-1. 벤츠의 차량 주변 센서>--- 57 <그림 2-2-2. 벤츠의 전 방향을 탐지하는 레이더>--- 57 <그림 2-2-3. 차량용 측후방 레이더의 탐지영역>--- 58 <그림 2-2-4. 차량용 Radar 센서 시스템 전체 구성도>--- 62 <그림 2-2-5. 레이더 신호처리 소프트웨어 모듈 구성도>--- 63 <그림 2-2-6. 77GHz 차량용 후측방 모노펄스 레이다용 안테나 구성도>--- 64 <그림 2-2-7. 77GHz 차량용 후측방 모노펄스 레이다용 안테나 도면>--- 66 <그림 2-2-8. 77GHz 차량용 후측방 모노펄스 레이다용 안테나 시제품>--- 66 <그림 2-2-9. 77GHz 차량용 후측방 모노펄스 레이다용 안테나 방사패턴>--- 67 <그림 2-2-10. 77GHz 차량용 후측방 모노펄스 레이다용 안테나 반사특성>--- 68 <그림 2-2-11. Tx & Rx 안테나간 격리도 특성>--- 69 <그림 2-2-12. BSD/LCA 를 위한 후측방 탐지용 77GHz Monopulse 레이더 센서 모듈 시제품(1 차)> --- 70 <그림 2-2-13. 레이더 안테나 커버(좌), 안테나 & FEM 모듈(중), BEM & Power
모듈(우)> --- 71 <그림 2-2-14. 일체화된 레이더 모듈 사진(좌), Ethernet 보드와 함께 블라켓에 조립된 모습(우) > --- 71 <그림 2-2-15. 차량용 레이더 BEM 구성도>--- 72 <그림 2-2-16. 차량용 레이더 BEM>--- 73 <그림 2-2-17. SDADC 모듈 구성도>--- 74 <그림 2-2-18. 노이즈 스펙트럼>--- 75 <그림 2-2-19. 디지털빔포밍 Radar Sensor 의 응용(좌) 및 수신 디지털빔포밍의 개념도(우)> --- 80 <그림 2-2-20. 8 채널 수신신호 및 노이즈가 포함된 수신신호>--- 81 <그림 2-2-21. Phase shift, MVDR, MUSIC 을 이용한 각도추정 결과--- 81 <그림 2-2-22. 시험용 차량 설정>--- 82 <그림 2-2-23. 거리 측정 시험 결과>--- 83 <그림 2-2-24. DGPS 측정 거리와 Radar 측정 거리 비교>--- 84 <그림 2-2-25. Radar 로 탐지한 속도 탐지 결과>--- 84
<그림 2-2-26. 차량 전장용 Lidar 센서 시스템 기본 구성>--- 86 <그림 2-2-27. 대면적, Quad, 16 채널 광검출기 전체에 대한 레이아웃>--- 90 <그림 2-2-28. 16 채널 광검출기에 대한 레이아웃 상세 설명>--- 90 <그림 2-2-29. MEMS 스캐너: 스캐너 미러 (좌) 및 스캐너 드라이버 (우)> --- 91 <그림 2-2-30. 인터레이스 (interlace) 기법의 Jump over line by line 방식 스캐닝> 92 <그림 2-2-31. Jump over line by line 방식 중 jump over 3 lines 에 대한
인터레이스 (interlace) 방식 및 이를 통해 생성된 각각의 sub 프레임>---
93
<그림 2-2-32. 기존 듀얼 스캔 (좌) 과 jump over line by line 방식 적용 스캔 (우) 영상 비교>--- 94 <그림 2-2-33. 광섬유 기반 MOPA 레이저 구도(상단), 팬 없는 광섬유 기반 MOPA 레이저(하단 좌측), 팬 있는 광섬유 기반 MOPA 레이저 (하단 우측)> --- 95 <그림 2-2-34. 적용된 LPA 레이저 광원 구조도 (위), 이를 시험구현한 레이저 광원(아래)> --- 96 <그림 2-2-35. ADC 신호 sampling>--- 97 <그림 2-2-36. Threshold 를 이용해 신호에서 Peak 를 검출>--- 98 <그림 2-2-37 기존 방법(좌)과 Peak Count 방법(우)으로 노이즈를 제거한 결과>--- 99 <그림 2-2-38. Window 알고리즘을 통한 신호 검출>--- 101 <그림 2-2-39. Window 알고리즘을 통한 노이즈 분리>--- 102 <그림 2-2-40. Window 알고리즘을 이용한 peak 검출>--- 102 <그림 2-2-41. 개발된 세 가지 방법으로 검출한 피크 검출기 성능 비교>--- 104 <그림 2-2-42. 센서보드(좌), STUD 시스템(중간), 시스템과 물체 배치 구도(우)> ---- 105
<그림 2-2-43. 기존 시스템의 신호 검출 (위), Peak detection algorithm 적용 후 (아래)> --- 106 <그림 2-2-44. 요소기술 시험검증용 테스트베드 시제품(왼쪽), 소형화된 연구시제 프로토타입(중간), 차량 탑재 사진 (오른쪽)>--- 107 <그림 2-2-45. 실내 근거리 삼차원영상 샘플 (좌), 실내 중거리 삼차원영상 샘플 (우)>--- 108 <그림 2-2-46. 실내 원거리 삼차원영상 샘플 (상단-왼쪽), 실외 원거리 삼차원영상 샘플 (상단-오른쪽) 실외 원거리 확대 삼차원영상 샘플 (하단-왼쪽), 실외 원거리 악천후 삼차원영상 샘플 (하단-오른쪽)>--- 109 <그림 2-2-47. Pcap 을 pcd 로 변환하기 위한 grabber 의 동작 화면>--- 110
<그림 2-2-48. 지면/비지면 분류를 위한 filtering 과정>--- 111 <그림 2-2-49. 저장된 PCD 를 디스플레이한 HDL viewer 화면과 지면 분류 화면>--- 111 <그림 2-2-50. 움직이는 차량 및 보행자 인식의 예>--- 111 <그림 2-2-51. UDP 패킷 포맷 변환 S/W 개발 단계>--- 112 <그림 2-3-1. 차선 변경지원시스템 개념>--- 115 <그림 2-3-2. 차선변경지원시스템 구성도>--- 117 <그림 2-3-3. 카메라 설치위치 >--- 117 <그림 2-3-4. VDM 모듈 다이어그램>--- 118 <그림 2-3-5. LDM 모듈 구조>--- 120 <그림 2-3-6. 측후방 차량인식알고리즘 >--- 123 <그림 2-3-7. 이미지 스케일 단계별 외곽선 검출>--- 123 <그림 2-3-8. 캐스케이드 분류기>--- 124 <그림 2-3-9. 차량인식모듈 프레임별 프로세스>--- 124 <그림 2-3-10. 오검출률 개선 알고리즘>--- 125 <그림 2-3-11. 차량 탐색 관심영역 설정>--- 125 <그림 2-3-12. 측후방 차량 검출 결과>--- 127 <그림 2-3-13. 전처리 모듈 뷰>--- 127 <그림 2-3-14. 차선 검출 모듈 뷰>--- 128 <그림 2-3-15. 차선 추적 및 Fitting 모듈>--- 128 <그림 2-3-16. 차선인식모듈 순서도>--- 129 <그림 2-3-17. 차선 검출 과정>--- 130 <그림 2-3-18. 개발된 타겟보드>--- 131 <그림 2-3-19. 차량 검출 실차 테스트>--- 132 <그림 2-3-20. 차선 검출 결과 영상>--- 132 <그림 2-3-21. 차량 검출 결과 영상>--- 132 <그림 2-3-22. 어린이 승하차 차량 적용을 위한 AVS 시스템 개발 개요>--- 133 <그림 2-3-23. AVS 의 구성>--- 135
- <그림 2-3-24. 장애물 감지 모듈의 구성>--- 136 <그림 2-3-25. 시나리오 별 시스템 구동화면>--- 137 <그림 2-3-26. AVR510 시스템 시제품>--- 138 <그림 2-3-27. 채널 밝기 보정 및 채널 밸런싱>--- 139 <그림 2-3-28. 통합 운영 시스템 블록도>--- 140 <그림 2-3-29. 통합 운영 방법>--- 140 <그림 2-3-30. 하드웨어 블록다이어그램>--- 141 <그림 2-3-31. 차량 가상 시뮬레이터 컨셉>--- 141 <그림 2-3-32. 초음파 방향 및 ROI>--- 142 <그림 2-3-33. Web 기반 화면 캡쳐 및 디버깅 페이지> --- 143 <그림 2-3-24. 초음파 영역별 측정 실험>--- 143 <그림 2-3-25. 기준 영상제작 프로그램 테스트 결과 레포트>--- 146 <그림 2-3-26. 사용자 기준영상을 위한 ROI 지정>--- 146 <그림 2-3-27. 영상처리 결과 영역별 구분>--- 149 <그림 2-3-28. 레벨별 경고 화면>--- 149 <그림 2-3-29. 양해각서 체결 자료>--- 150 <그림 2-3-30. 상용차용 승하차 보호시스템 개발 개요>--- 151 <그림 2-3-31. 승하차 보호시스템 구성도>--- 154 <그림 2-3-32. 위협요소 객체 검출 모듈>--- 155 <그림 2-3-33. 위협요소 감지 알고리즘 순서도>--- 156 <그림 2-3-34. 평균 이미지와 배경 제거 이미지>--- 157 <그림 2-3-35. 히스토그램 이미지와 장애물 경계라인 추출 이미지>--- 157 <그림 2-3-36. 장애물 후보 영역 검출 이미지와 장애물 영역 검출 이미지>--- 157 <그림 2-3-37. 카메라 Geometry 기반 영역 설정과 결과 이미지>--- 158 <그림 2-3-38. 장애물 정보 추출>--- 159 <그림 2-3-39. 위협요소 판단 순서도>--- 159
<그림 2-3-40. 통합 제어 보드 플랫폼>--- 160 <그림 2-3-41. 사용자 UI 프로그램 >--- 162 <그림 2-3-42. 후방 진행 시 화면 전환 예>--- 162 <그림 2-3-43. PC 시스템 기반의 위협요소 감지 결과 화면>--- 163 <그림 2-3-44. 임베디드 시스템 기반의 위협요소 감지 결과 화면>--- 164 <그림 2-3—45. PC 시스템 기반의 차량주변 장애물 감지 결과 화면>--- 164 <그림 2-3-46. 테스트 셋 예>--- 166 <그림 2-3-47. 추가 테스트 구축 예>--- 166 <그림 2-3-48. 시스템 장착 예>--- 167 <그림 2-3-49. 필드테스트 예>--- 168 <그림 2-3-50. 주차보조 시스템 및 후측방 경보시스템 개요>--- 169 <그림 2-3-51. 주차보조 시스템 및 후측방 경보시스템의 구성도>--- 171 <그림 2-3-52. 후방 장애물 검출 모듈>--- 172 <그림 2-3-53. 합성 전·후 영상>--- 173 <그림 2-3-54. 개선된 주차 보조선 영상>--- 174 <그림 2-3-55. 설치위치 기반 Geometry 분석>--- 175 <그림 2-3-56. 차량 정보 기반의 카메라 움직임 >--- 175 <그림 2-3-57. 후방 장애물 감지 순서도>--- 176 <그림 2-3-58. 배경 제거 이미지 >--- 176 <그림 2-3-59. 필터 적용 후 이미지>--- 177 <그림 2-3-60. 장애물 후보 영역 검출 이미지>--- 177 <그림 2-3-61. 장애물 영역 검출 이미지>--- 178 <그림 2-3-62. 장애물 영역 검출 이미지>--- 178 <그림 2-3-63. 장애물 영역 검출 이미지>--- 179 <그림 2-3-64. 임베디드 개발 환경 – 더미차량, 임베디드보드 & 모니터 >--- 180 <그림 2-3-65. 실차 시험 배선도 >--- 180 <그림 2-4-1. 일반적인 ADAS 플랫폼>--- 182
<그림 2-4-2. Vision 센서와 Radar 센서 퓨전의 예>--- 184 <그림 2-4-3. 중앙 처리형 퓨전 시스템 구성도>--- 185 <그림 2-4-4. 분산 처리형 퓨전 시스템 구성도> --- 185 <그림 2-4-5. 스마트센서 SW 플랫폼 기술 개발 프로세스>--- 188 <그림 2-4-6. 스마트센서 SW 플랫폼 구성요소>--- 190 <그림 2-4-7. 스마트센서 SW 플랫폼 결정 모듈>--- 191 <그림 2-4-8. 스마트센서 SW 플랫폼 결정 모듈 유즈케이스>--- 193 <그림 2-4-9. 스마트센서 SW 플랫폼 통신 모듈>--- 194 <그림 2-4-10. 스마트센서 SW 플랫폼 설정 모듈>--- 195 <그림 2-4-11. AUTOSAR 구조>--- 196 <그림 2-4-12. Artop 구조>--- 198 <그림 2-4-13. 코드 생성 도구 아키텍쳐> --- 202 <그림 2-4-14. 중간 메타 모델 패키지 구조> --- 203 <그림 2-4-15. 중간 메타 모델 예(Ea 모듈)> --- 205 <그림 2-4-16. 템플릿 샘플> --- 205
제 １ 장 서 론
제 １ 절 연구개발 목적 및 필요성
１. 연구개발 목적 최근 자동차와 IT 와의 융합기술 개발이 화두가 되고 있으며, 자동차의 구조가 복잡해지고, 요구되는 기능이 다양해짐에 따라 이를 해결하기 위한 IT 기반의 해결책이 다양하게 제시되고 있어 잠재 시장이 매우 크다고 볼 수 있다. 현재 자동차의 총 제조비용에서 IT 와 접목되는 전장부품 관련 비용은 2004 년 19%에서 2015 년 40%로 증가할 것으로 예측(McKinsey & Company, 2007). 또한 차량 개발원가 중 SW 의 비중이 2002 년 37.9%에서 2005 년 52.4%로 급증하였으며 전장부품의 약 75% 이상이 SW 에 의해 제어될 것으로 예측된다. (2005, VDC; Venture Development Corporation) 따라서, 자동차 전자장치의 다양화, 복잡화 및 모듈화 추세에 맞추어 IT 기술, 융합기술뿐만 아니라 고신뢰성의 임베디드 SW 기술이 필요하다. IT 기술, 융합기술에 내재된 임베디드 SW 기술이 집중적으로 적용되는 분야는 차량 안전 시스템 및 네비게이션 등이 포함되는 인포테인먼트 시스템 분야이다. 특히 차량 안전 시스템 관련해서는 차량 주변 상황 인지 및 판단 기술, 실시간 주행제어 기술, 그리고 지능형교통시스템 연동기술로 구분된다고 볼 수 있다. 전 세계적으로 자동차의 안전성, 친환경성 및 편리성을 향상시키기 위한 첨단 안전시스템 개발이 자동차 업계의 주요 이슈가 되고 있으며 이를 위한 기술 개발 및 상용화가 진행되고 있다. 세계 자동차 선진국의 자동차 제조사 및 자동차 부품회사에서는 2000 년대 초반부터 시작된 자동차의 안전성 및 편리성을 향상시키기 위한 다양한 첨단 차량안전 프로젝트 연구 결과를 기반으로, 차량주변 상황인지를 위한 레이더, Lidar, 비전 등의 스마트 센서 개발 및 각 센서 정보를 활용한 차량의 전후방, 측면의 정적/동적 장애물을 감지하는 시스템과각 센서의 정보를 융합한 센서 융합 신호처리 시스템, 차량 센싱정보를 통한 차량 주행제어 시스템등을 활용하여 운전자의 개입없이도 목적지까지 운행하는 자율주행 시스템의 개발을 추진하고 있다. 이 중 일부 기술들은 최근 상용화되어 고급 자동차에 적용되는 등 차량의 안전성을 향상시키고 부가가치를 높이고 있으며, 향후 지속적인 연구개발을 통하여 관련 기술의 성숙단계로 진입하면 저렴한 가격대의 제품이 출시되어 고급차뿐만 아니라 모든 종류의 자동차로 장착이 확대될 것으로 보인다. 현재까지 개발되었거나 혹은 개발 진행 중인 대부분의 기술은 융합보다는 개별 센서의 자체 인지능력 향상에 집중하고 있으며, 최근 동종 또는 이종 센서간의 융합을 통하여 감지성능 향상과 주행 중 운전자의 과실로 인해 발생할 수 있는 사고를 미연에 방지하고 불가피하게 발생되는 사고에 대하여 물적, 인적 피해를 최소화하기 위해 상황인지 능력을 향상시키기 위한 알고리즘 및 시스템 개발 연구가 활발히 진행되고 있다 아직까지 국내의 대부분의 지능형자동차를 위한 핵심 기술은 해외에 의존하고 있는 상황이어서 미래의 자동차 산업의 경쟁력을 확보하기 위해서는 완성차 업체 및 전장부품 업체의 애로 기술인 스마트센서기술과 상황인지기술 및 제어시스템의 개발이 시급히 요구된다. 또한 현재 개발 중인 대부분의 기술은 개별 센서 자체의 인지성능 향상에 치중하고 있기 때문에, 동종 또는 이종 상황인지 센서간의 데이터를 융합하여 보다 신뢰성 있는 상황인지를 수행하고, 가장 효율적인 차량 제어를 수행할 수 있는 다중 스마트센서 융합 기술 확보가 필요하다. 상황인지 스마트카를 위한 다중센서 플랫폼 기술개발 사업은 고도의 지능형 서비스를 제공하는 상황인지 스마트카를 위한 다중센서 융합 기반 스마트센서 모듈 기술 개발, 빠르고 정확한 차량 주변 상황인지를 위한 다중센서 융합 기반 차량 안전시스템 기술 개발, 다중센서 융합 기반 주행환경 인식 스마트센서 SW 플랫폼 기술 개발을 통해 국내 미래 지능형자동차 산업 및 IT 융합 산업의 기술 경쟁력 확보 및 국제 경쟁력을 제고하기 위한 목적을 가지고 추진하였다. 또한 지능형자동차 산업의 경쟁력 강화를 위한 차량용 임베디드 SW 산업 육성, 자동차산업의 고부가가치화를 위하여 차세대 국가 성장동력사업으로
지능형자동차부품산업을 집중 육성할 대구․경북 지역을 기반으로 “지역 자동차 부품 산업의 지능화 및 고도화”를 위해 지역 IT 및 자동차 관련 연구기관과 자동차 부품 업체들과의 공동 개발 및 상호 협력을 통해 미래 지능형자동차 전장용 임베디드 SW 플랫폼 핵심 기술의 조기 확보하여 기업들의 상용화를 지원하기 위해 추진하였다. ２. 연구개발 필요성 IT 와 자동차간 컨버전스는 세계적 추세이며 국내 자동차 및 IT 업계에 새로운 도약의 기회가 주어지는 분야이므로 지능형자동차 전장용 임베디드 SW 플랫폼 기술 확보를 통한 새로운 시장을 선점하여야 한다. (2005, SERI 경제포커스) 우리나라는 통신 네트워크, 자동차 보유대수 및 단위 면적당 차량밀도 등의 측면에서 IT 와 자동차간 컨버전스 구현의 최적조건을 구비하고 있으며, 국내 자동차 업계에는 양적 성장에서 질적 성장으로의 도약을 가속화할 수 있는 차별화 수단을, IT 업계에는 새로운 성장동력을 제공해줄 수 있다. 이를 위해서는 기존 IT 와 차별화된 기술력 축적을 통한 자동차용 IT 시장을 확보하여야 하며, 개발 초기에 기술력 확보에 실패할 경우 장기적으로 경험 축적과 공급 사슬간 연계가 중요한 자동차용 IT 시장에 입지 구축이 곤란해질 수 있다. 미래형 자동차산업은 첨단 IT 신기술을 기반으로 자동차의 센서 및 전자장치가 지능적, 유기적으로 상호작용하여 운전자의 안전 및 편리성을 증대시켜 최적의 운전환경을 제공하고 관련 산업에 부가가치 창출에 기여할 수 있는 기간산업으로, 자동차 및 IT 기반 국가 기간산업간 융합으로 도로, 교통, 환경 등 미래형 도시 건설을 위한 효율적인 국가 정책 수립 및 경제성장을 견인하는 역할을 한다고 볼 수 있다. 상황인지 스마트자동차 개발을 위해서는 주행 중 주변 차량 및 장애물을 감지하고 추적할 수 있는 상황인지 스마트센서 개발이 필수적으로 수반되어야 하며, 이종 상황인지 스마트 센서간의 데이터를 융합하여 보다 정확하게 장애물의 위치정보를 선별하고 가장 위협적인 장애물을 판단한 후 신뢰성 있는 인식 결과를 제공하는 다중 스마트센서 융합 기술 확보가 필요하다.
대구ㆍ경북 지역은 국내 3 위의 자동차 부품 집적지로서 09 년 현재 대구․경북 지역의 자동차부품업체 수는 약 510 여개로 우리나라 자동차부품업체에서 차지하는 비중이 약 16.9%로 수도권, 부산‧경남‧울산권 다음으로 높은 비중을 차지하고 있다. (2009 년 통계청 자료) 특히 대구지역의 전체 산업 중 자동차 부품 산업의 비중은 2005 년 매출액 기준으로 24%, 수출액 기준으로 13%로 지역경제에서 차지하는 비중이 급속히 높아지고 있다. (2005, 한국은행 대구경북본부) 또한 대구시는 자동차 산업의 고부가가치화를 위하여 차세대 국가 성장동력사업으로 지능형자동차부품산업을 집중 육성할 계획이며, 대구시와 자동차 부품업계 등은 미래 지능형자동차 부품산업의 선점을 위해 △ 지능형자동차 상용화 연구기반구축 및 기술개발사업 △ ITS 기반 지능형자동차 부품 시험장 건립 등을 추진 중이며, 지역전략발전 세부 특화분야로 “IT 융합 자동차부품”을 선정하고 있다. (2007, 대구전략산업발전 로드맵, 대구전략산업기획단) 지식경제부에서는 2012 년 1 월, 5+2 광역경제권 선도산업 2 단계 사업의 22 개 선도산업과 40 개 프로젝트를 최종 확정하였으며, 대경권의 경우 스마트기기부품산업이 포함되었다. 대경권 대표 주력산업으로 선정된 스마트기기부품산업 중 스마트 자동차부품산업의 유망품목으로는 조향/제동 제어기기, 지능형 센서모듈, 탄소복합 외판경량부품, V2X 통신시스템, 차량용 고휘도 조명이 선정되었다.
