2017년 12월 17ZD1200-01-7103P
20
상황인지 스마트카 퓨전 플랫폼 개발 및 지역
부품업체 지원사업
Development of Multi-Sensor Fusion Platform for Context-aware Smart
Car and Local Suppliers Support Project
본 문서에서 음영처리된 부분은 (
)
정보공개법 제9조의 비공개대상정
보와 저작권법 및 그 밖의 다른 법령에서 보호하고 있는 제3자의 권리가 포함
된 저작물로 공개대상에서 제외되었습니다.
인 사 말 씀
최근 들어 자동차 업계는 기존의 자동차에 정보통신기술(ICT)을 접목, 차량 내·외부 상 황에 맞는 실시간 정보를 수집해 안전한 주행과 편리한 기능을 제공하는 자동차인 스마트카 가 현실화 되고 있는 추세입니다. IT 업계는 이같은 스마트카의 핵심 기능으로 차량 스스로 주변환경을 인식, 위험을 판단하고 주행경로를 계획하는 등 운전자의 주행조작을 최소화해 안전한 주행이 가능하도록 하는 부분적인 자율주행 및 현실적인 자율주행 기술에 주목하고 있습니다. 여기에는 소비자의 안전성과 편리성에 대한 다양한 요구사항을 반영하고 새로운 안전 관련 규제 강화에 대응하며, 화석 에너지의 수급 문제 및 지구의 온난화 등의 환경 문 제에도 대처를 해야 하고, 자동차 제조사 위주의 제조방식에서 IT 업계에서의 전기차 제조 등 급격하게 변해가는 자동차 산업의 패러다임에도 적응을 해 나가야 합니다. 이에 따라 자동차 선진국들의 완성차 제조사와 자동차 부품회사들은 2000 년대 초반부터 자동차의 안전성 및 편리성 향상을 위한 첨단 안전시스템의 연구를 시작하여 주변상황인지 를 위한 레이더, Lidar, 비전 등의 스마트 센서 개발 및 각 센서 정보를 활용한 차량 전방 위의 정적/동적 장애물을 감지하는 시스템, 다양한 센서의 정보를 융합하여 정확한 상황인 지 및 판단기능을 수행하는 센서 융합 신호처리 시스템, 상황 판단에 따른 빠르고 정확한 응답성을 보장하는 제어 시스템, 등과 차량간 또는 차량과 도로 인프라간의 정보공유를 위 한 V2X 시스템 등을 꾸준히 개발 해오고 있습니다. 자동차 제조사들은 ADAS 의 연장선상으로 무인 자율주행자동차 기술 개발 및 인공지능 및 빅데이타 기반의 맵 데이터를 적용하는 기 술 개발 및 통신사와의 협업을 통해 커넥티드카 개발에도 박차를 가하고 있습니다. 매년 초 개최되는 국제 가전 쇼인 CES 에서는 ICT 기술의 자동차 접목에 따라 자율주행 자동차를 위한 다양한 신기술 전시장을 이루고 있으며, 4 차 산업혁명을 위한 거대한 움직 임들이 포착되고 있습니다. 인공지능 분야에서도, 생활속의 인공지능 기술의 개발로 차량에 인공지능이 접목되고 있으며, 5G 이동통신 기술의 차량 적용 연구와 이를 기초로 자율주행 택시, 운전사 없는 자율주행 차량 등 다양한 신기술들이 개발되고 있습니다. 이 중 이미 많은 기술들은 최근 상용화되어 고급 자동차부터 적용되어 차량의 안전성을향상시키고, 전반적인 자동차 산업의 부가가치 증대 효과를 가져 오고 있습니다. 하지만, 현재 개발 되었거나 혹은 개발 완성 단계인 많은 센서와 시스템은 카메라와 radar 위주로 사용되고 있으며, 상당히 고가이며, 제한적인 성능과 응용 별로 별도의 센서를 직결하여 활 용함에 따라 복잡도 증가 등의 시장의 확대, 보급화에 많은 문제점을 내포하고 있습니다. 이들 기술에 대해 지속적인 연구개발을 통하여 관련 기술의 완성도를 높이고 소형화 하 며 신뢰성 있는 제품을 생산하고 대량 생산이 용이하도록 표준화 체계를 준수함으로써 고급 차뿐만 아니라 모든 종류의 자동차에 장착이 될 수 있도록 하여 전반적인 차량의 안전성을 항샹시킴으로써 교통 사고로 인한 사외적 비용을 줄인 수 있을 것으로 전망됩니다. 국내 지능형 자동차를 위한 핵심 센서 부품은 대부분 아직 전량 수입에 의존하고 있는 상황이며 급변하고 있는 자동차 산업의 글로벌 경쟁력을 확보 하기 위해서는 완성차 업체뿐 만 아니라 전장부품 업체도 기반 기술인 스마트센서, 상황 인지/판단 시스템 및 제어시스템 의 진보된 기술 개발이 시급히 요구되고 있습니다. 또한 현재 개발 중인 개별 센서의 성능 향상뿐만 아니라 융복합화되는 전장 시스템의 높아진 성능수준을 충족 하기 위하여 센서의 융합, 시스템의 융합뿐만 아니라 정보의 융합, 인공지능 및 빅데이타의 활용 등을 기반으로 신뢰성을 높이고 성능을 향상시키며 가격 경쟁력이 있는 기술력 확보가 요구됩니다. 이에 본 연구는 가까운 미래에 자율 주행이 가능하고, 차량내에서도 다양한 인포테인먼 트 서비스 활용이 가능한 지능형 자동차를 위하여 스마트 센서 모듈, 센서 융합 모듈, 상황 인지 및 판단 기술, 차량 안전 제어시스템을 개발하여 안전 운전 지원을 위한 응용기술을 선도하며 다중 센서 퓨전 플랫폼 개발/보급을 통해 국내 미래 지능형 자동차 산업 및 IT 융 합 산업 분야에서 해당 기술을 활용할 수 있도록 지원함으로써 국내 업체들의 국제 경쟁력 을 제고함은 물론 미래 지능형 자동차의 글로벌 플랫폼 기술로 활용될 것으로 기대됩니다. 끝으로 연구 수행에 많은 도움을 주신 과학기술정보통신부와 대구광역시, 학계, 관련 분 야 여러분께 깊이 감사 드리며 본 연구에 참여한 연구원들의 노고를 치하하는 바입니다. 2017 년 12 월 한국전자통신연구원 원 장 이 상 훈
제 출 문
본 연구 보고서는 주요 사업인 "상황인지 스마트카 퓨전 플랫폼 개발 및 지역 부품업체 지원사업"의 결과로서, 본 과제에 참여한 아래의 연구팀이 작성한 것입니다.2017 년 12 월
사업책임자 : 책임연구원 이동수 (ETRI)
과제책임자 : 책임연구원 박미룡 (ETRI)
연구참여자 : 책임연구원 이수인 (ETRI)
책임연구원 김기석 (ETRI)
책임연구원 이은령 (ETRI)
선임연구원 신동승 (ETRI)
선임연구원 이재호 (ETRI)
선임연구원 오지용 (ETRI)
연 구 원 정소희 (ETRI)
연 구 원 원유선 (ETRI)
책임연구원 정윤수 (ETRI)
책임연구원 김광용 (ETRI)
선임연구원 백장운 (ETRI)
선임연구원 이종택 (ETRI)
선임연구원 최윤원 (ETRI)
책임연구원 송윤정 (ETRI)
차장 김기섭 (이수페타시스)
대리 손효주 (이수페타시스)
과장 배경렬 (이인텔리전스)
대리 현승화 (이인텔리전스)
부장 최성순 (평화오일씰공업)
과장 이순호 (평화오일씰공업)
대표이사 박창진 (맥아다스)
선임연구원 채석민 (지능형자동차부품진흥원)
선임연구원 윤경수 (지능형자동차부품진흥원)
요 약 문
Ⅰ. 제 목
상황인지 스마트카 퓨전 플랫폼 개발 및 지역 부품업체 지원사업Ⅱ. 연구 목적 및 중요성
가. 연구 개발의 목적 상황인지 스마트카 퓨전 플랫폼 개발 및 지역 부품업체 지원사업은 상황인지 스마트 센서 모듈 고도화 개발, 이종 센서 퓨전 기술 개발, 기업체 수요 반영 센서 퓨전 차량 안전 시스템 개발을 통해, 스마트카 및 자율주행 차량에서 실시간 주변 상황을 인지할 수 있는 센서 퓨전 플랫폼 기술 개발 및 지역 부품업체의 수요가 반영된 차량 안전시스템 개발 지원을 통해 기술경쟁력을 제고하기 위한 목적을 가지고 추진하였다. 또한 지능형자동차 산업의 고부가가치화 및 경쟁력 강화를 위한 차량용 임베디드 SW 산업 육성, 차세대 국가 성장동력사업으로 지능형 자동차 부품산업을 집중 육성할 대구․경북 지역을 기반으로, 지역 IT 및 자동차 관련 연구기관과 자동차 부품 업체들과의 공동 참여 및 협력을 통해 차량용 상황인지 스마트 센서 핵심 부품 및 센서 모듈화 기술, 신호처리 기술, SW 플랫폼 기술을 확보하고, 이를 바탕으로 미래 스마트카를 위한 차별화된 차량 편의장치 및 안전시스템 상용화 개발 등을 지원하기 위해 추진되었다.나. 연구개발의 중요성 최근 자동차업계는 급속하게 강화되고 있는 환경, 안전규제, 에너지 문제, 소비자의 편의성과 안전성 요구에 따라 급격한 환경적 변화를 겪고 있으며 이에 미래 자동차 산업의 유망한 분야로 친환경 차량과 안전 및 편의성이 강조되는 지능형 자동차 및 자율주행 자동차 분야가 채택되었다. 이러한 변화의 결과로 최근까지 급격히 발전되어 온 IT기술들을 자동차 산업에 적용하게 되었고 지능형 자동차 산업의 구조도 자동차의 커넥티드화, 스마트화가 진행되면서 자동차 기업과 IT 기업 간 협업이 추진되고 있다. 미래의 자동차는 친환경과 자율주행 등을 화두로 급변하고 있고, 사물인터넷, 인공지능, 빅데이타 등의 확대로 자동차에서 차지하고 있는 '전기전자부품'의 비율이 증가될 것으로 보인다. 자율주행 자동차의 핵심은 인식을 위한 센서와 주행제어를 위한 제어기 및 액추에이터로 구성되며 특히 인간을 뛰어넘을 센서 개발과 더불어 개별 센서의 퓨전(융합)을 통한 세밀한 주변 상황인지 기술이 시장을 지배하는 관건이다. 따라서, 스마트카를 위한 스마트센서의 고도화된 개발 및 자동차 전자장치의 다양화, 복잡화 및 모듈화 추세에 맞추어 IT 기술, 특히 센서 신호처리 기술의 융합이 필요하다. 전 세계적으로 자동차의 안전성 및 편의성을 향상시키기 위한 첨단 안전시스템 개발이 자동차 업계의 주요 이슈가 되고 있으며 이를 위한 기술 개발 및 상용화가 진행되고 있다. 세계 자동차 선진국의 자동차 제조사 및 자동차 부품회사에서는 2000년대 초반부터 시작된 자동차의 안전성 및 편의성을 향상시키기 위한 첨단 안전시스템 프로젝트 연구 결과를 기반으로, 주변 환경인지를 위한 레이더, Lidar, 비전, GPS 등의 스마트 센서 개발 및 각 센서 정보를 활용한 차량의 전후방, 측면의 정적/동적 장애물을 감지하는 시스템, 각 센서의 정보를 융합한 센서 융합 신호처리 시스템, 차량 센싱정보를 통한 차량 제어, 자율주행 시스템의 개발을 추진하고 있다.
아직까지 국내 대부분의 스마트카 핵심 기술은 수입에 의존하고 있는 상황이어서 미래 상황인지 스마트 자동차 산업의 경쟁력 확보를 위해 완성차 업체 및 전장부품 업체의 애로 기술인 상황인지 스마트센서 개발이 시급히 요구된다. 현재 개발 중인 대부분의 센서는 단위 센서 자체의 인지능력 향상에 치중하고 있으며, 이종 상황인지 스마트 센서간의 데이터를 융합하여 보다 정확하게 장애물의 위치정보를 선별하고 가장 위협적인 장애물을 판단한 후 신뢰성 있는 인식 결과를 제공하는 다중 스마트센서 융합 기술 확보가 필요하다. 따라서 본 과제에서 추진하는 상황인지 스마트카를 위한 다중센서 플랫폼 기술은 자동차 산업이 국가의 큰 핵심 기간산업임에도 불구하고 선진국대비 지능형 자동차 관련 기술 개발이 늦은 현재 상황에서 국내 자동차 산업을 도약시킬 수 있는 기술로, 향후 국가 기술 및 대외 시장 경쟁력 확보를 위하여 매우 중요하다고 볼 수 있다.
Ⅲ. 연구내용 및 범위
본 과제는 2016년부터 2018년까지 3년간 진행되며 최종 목표는 다음과 같다. 스마트카 및 자율주행 차량에서 실시간 주변 상황을 인지할 수 있는 센서 퓨전 플랫폼 기술 개발 및 지역 부품업체의 수요가 반영된 차량 안전시스템 개발 지원을 통한 기술경쟁력 제고 상황인지 스마트 센서 모듈 고도화 개발 실시간 주변상황 인지 이종 센서 퓨전 기술 개발 기업체 수요 반영 차량 안전응용 서비스 개발 연도별 내용 및 범위는 다음과 같다.가. 1차년도 (2016년) : 스마트센서 고도화 및 센서퓨전 기술 설계 스마트 센서(비전, 레이더) 고도화/상용화 개발 차량용 비전 센서 기반 영상처리 모듈 고도화 개발 이종센서 퓨전 통합 신호처리 기술 개발 기업 수요반영 센서퓨전 안전시스템 요구사항 분석 및 설계 기업 수요반영 센서퓨전 안전시스템 프로토타입 개발 나. 2차년도(2017년) : 이종센서 퓨전 모듈 개발 스마트 센서(비전, 레이더) 고도화/상용화 개발 이종 비전 센서 신호처리 모듈 개발 비전-Radar 시공간 동기화 기술 개발 비전-Radar 퓨전 기반 고속 상황 인지 신호처리 기술개발 V2X 플랫폼 적용 응용 서비스 기술개발 기업체 수요 반영 센서 퓨전 안전시스템 개발 다. 3차년도(2018년) : 이종센서 퓨전 모듈 적용 차량 안전시스템 주행시험장 시험 스마트 센서(비전, 레이더) 고도화/상용화 개발 기업체 지원 비전 신호처리 기술 고도화 이종 비전 신호처리 모듈 주행시험 비전/Radar 센서퓨전 통합 신호처리 모듈 주행시험 센서퓨전 엔진 SW 플랫폼 통합시험 기업체 수요 반영 센서 퓨전 차량 안전시스템 주행시험장 실차시험 및 제품 성능 검증 지원
Ⅳ. 연구결과
본 과제의 연구 결과는 다음과 같다. 차량용 Radar 센서 모듈 고도화 개발 비전-Radar 시공간 동기화 기술 개발 이종 비전 센서 신호처리 모듈 개발 비전-Radar 시공간 동기화 기술 개발 비전-Radar 퓨전 기반 고속 상황 인지 신호처리 기술개발 Radar-V2X 융합기반 응용 서비스 기술개발 스마트센서 기반 차량 안전시스템 개발Ⅴ. 연구개발결과의 활용계획
상황인지 스마트카 퓨전 플랫폼 개발 결과물 들은, 스마트 자동차를 넘어 지능형 기계와 자동차 부품 산업 융합 등에 접목하여 스마트 센서 기술, 스마트 센서 퓨전 기술 및 관련 응용 서비스 개발에 활용이 될 수 있다. 대구 지역의 지역 특화 산업 육성을 위한 대구 ‘미래성장엔진 2030’ 산업발전 전략에 기반하여 스마트카, 드론, 스마트 농기계, 스마트 건설기계 등 스마트 이동체의 안전 시스템 개발에 필요한 핵심 센서 및 인지 기술로 활용될 수 있으며, 나아가 비전 솔루션과 함께 접목되어 스마트시티의 안전한 도시 건설에 활용될 수 있다. 또한 경상북도에서 추진하는 ‘스마트기기’ 산업육성계획에 따라 4대산업군인 스마트 디바이스 부품모듈, 지능형 스마트 의료기기, 스마트 공정디바이스 솔루션, 및 스마트 자동차 전장 테스트베드 육성에서 스마트 센서, 센서퓨전 모듈을 활용하여 관련 산업 육성을 추진할 때 본 과제 결과물을 이용할 수 있다.Ⅴ. 기대성과 및 건의
가. 기술적 측면 자동차IT 융합 기술 개발을 통해 자동차 전장 부문의 핵심기술을 확보하고 산업전반의 기술력 제고, 한국형 부품 기술 개발 도모 차량용 상황인지 스마트센서 핵심 부품 기술 국산화 및 플랫폼 검증 기술 확보 미래 스마트카를 위한 상황인지 스마트 센서 기술 확보 및 기술 축적을 통한 차별화된 차량 편의장치 및 안전시스템 개발 가능 센서 모듈화 기술, 신호처리 기술, SW 플랫폼 기술 확보를 통한 기업체에서의 다양한 응용시장에 접근할 수 있는 기술적 인프라 제공 차세대 차량주행 안전시스템을 위한 상황인지 스마트센서 기술의 국내외 IPR 확보 및 기술 보호 나. 경제 산업적 측면 차량용 상황인지 스마트센서 핵심 부품 기술 확보로 미래 지능형자동차 산업의 경쟁력 향상 대구광역시에서 추진하고 있는“지능형자동차부품 혁신클러스터”와의 연계를 통한 업체 경쟁력 확보, 고용 창출 및 자동차산업의 고부가가치화 근거리와 장거리 및 사각지역을 동시에 지원하는 상황인지 다중 스마트센서 기술을 활용할 경우 자동차/보안/로봇 등의 관련 산업의 국가 경쟁력 확보 및 다양한 신규시장 창출 가능 차량용 상황인지 스마트센서 핵심 부품의 국산화 및 세계 시장 진출 촉진 지역 기업체 포함 국내외 중소/중견/대기업 연계 과제 수행을 통한 상생 산업 생태계 구축 지원
ABSTRACT
Ⅰ. TITLE
Development of Multi-Sensor Fusion Platform for Context-aware Smart Car and Local Suppliers Support Project
Ⅱ. THE OBJECTIVES
A. Purpose
The project " Development of Multi-Sensor Fusion Platform for Context-aware Smart Car and Local Suppliers Support Project " aims at enhancement of national technology competition power by building of foundational framework of sensor fusion platform and requirements of local suppliers to meet distributed and complex intelligent future vehicle electronics for early acquisition of fundamental technology leadership and systems for the promotion of commercializing of related technology products.
The technology leadership and promotion will be built upon strategical alliance and cooperation with local industries and participation of such companies based in Daegu-Gyeongbuk region. In this industrial region, in cooperation with vehicle-IT convergence industry, intelligent vehicle part industry is intensively fostered as one of nationwide strategic plan for next generation growth motive to move toward higher value-addition of automotive industries and fortification of competition power with promotion of embedded software industry for automotive
domain. B. Importance
Recently, automotive industries are undergoing steep environmental changes according as the increasing requirements in environmental, safety, energy, end-user comfort issues the regarding law enforcement is aggressively being tightened. As the result of these recent changes, the all latest IT achievements are adapted to vehicles and the intelligent automotive industries are being reorganized based on cowork of OEM and IT companys in network of vehicles, smart functions and etc.
Future automobiles are rapidly changing to environment friendly and autonomous driving, and the proportion of 'electric and electronic parts' in cars will increase due to the expansion of internet, artificial intelligence and big data. Especially, the development of sensor that surpasses human beings, and the detailed circumstance recognition technology through the fusion of individual sensors is the key to dominate the market. Therefore, it is necessary to converge IT technology, especially sensor signal processing technology, in accordance with the sophisticated development of smart sensors for smart cars and complexity and modularization of automobile electronic devices.
The development of advanced safety systems to improve the safety and convenience of automobiles worldwide is becoming a major issue in the automobile industry, and technology development and commercialization are underway for this purpose. Automobile manufacturers and automobile parts companies in the world's advanced automobile industry have developed smart sensors such as radar, Lidar, vision, and GPS for environmental awareness, static / dynamic obstacles recognition system on the front and rear sides of vehicle using each sensor information, sensor fusion signal processing system fusing information of each sensor, vehicle
control system through vehicle sensing information and autonomous vehicle system based on the results of advanced safety system project research to improve the safety and convenience of automobiles, Sensor development.
Most smartcar technologies in domestic are still dependent on imports. Therefore, in order to competitiveness of the smart car industry in the future, it is urgently required to develop smart sensors in the context of automakers and electric parts companies. Most of the sensors currently in development are focused on improving the cognitive performance of the unit sensor itself. By fusing data between heterogeneous sensors and smart sensors, more precisely detecting the location information of obstacles, judging the most threatening obstacles, It is necessary to secure the multi-smart sensor fusion technology to be provided.
Therefore, the multi-sensor platform technology for the context-aware smart car can lead the domestic automobile industry, despite the fact that the automobile industry is a major core industry in the country. It is very important for securing competitiveness of national technology and foreign market in the future.
Ⅲ. THE CONTENTS AND SCOPE OF THE STUDY
This project has been under development since 2016 and will be carried out by 2018 for 3 years. The goals are expressed as follows.
Development of Sensor Fusion platform for context-aware smart vehicle and auto-driving vehicle and safety system reflected requirements of local suppliers The development and enhancement of smart sensor module for
context-aware smart vehicle
The development of context-aware smart sensor fusion technology The development of safety systems for context-aware smart vehicle The years by contents and extent is listed as follows.
A. 1st Phase (2016): Development and enhancement of prototype for smart sensor module based on multi-sensor fusion
Development and enhancement of smart sensor module such as camera and radar
Development of multi sensor fusion signal processing technology
Definition and Design of the requirement for safety system reflected requirements of local suppliers
Development of prototype of the safety system for context-aware smart vehicle
B. 2nd Phase (2017): Development of multi-sensor fusion module for context-aware smart vehicle
Development and enhancement of smart sensor module such as camera and radar
Development of camera-radar sensor fusion signal processing module Development of camera-lidar sensor fusion signal processing module Development of engine for sensor fusion SW platform
Development of the safety system for context-aware smart vehicle
Advanced Proving Ground and the Proposal of the Test Bed for ADAS Vehicle
Commercialization of Smart sensor such as camera and radar Driving Test of different kinds of camera fusion module
Driving Test of camera-radar sensor fusion signal processing module Integration Test of engine for sensor fusion SW platform
Driving Test and Validation of performance of safety system for context-aware smart vehicle
Ⅳ. RESULTS
The research result includes following achievements:
Development and Enhancement of radar sensor module for side/rear monitoring
Development of Night camera.
Development of radar GUI based on Ethernet Development of V2X Gateway
Development of Day-Night camera Signal processing module
Requirements and Detail Design of context-aware multi-sensor fusion SW platform
Development of signal processing module for vehicle safety system
Ⅴ. EXPECTED RESULT & PROPOSITION
Acquisition of embedded technology for intelligent vehicle with vehicle-IT fusion
Acquisition of Verification and Validation technology for intelligent vehicle with vehicle-IT fusion
Reduction the development cost by localization of smart sensor for context-aware smart vehicle and Elimination of the dependency on offshore technologies
Providing technological infrastructure to supplier and IT company by acquisition of sensor module technology, signal processing technology, and SW platform technology
Leading the technology of smart sensor and multi-sensor fusion SW platform development for next-generation vehicle safety system and Acquisition of IPR by international standardization activities and securing of acquired technologies
B. Economical and Industrial Aspect
Enhancement of competitive power of intelligent vehicle business by acquisition of key technology for context-aware smart sensor.
Acquisition of competitive power and job creation in connection with "Innovation cluster of intelligent vehicle parts" promoted in Daegu Creating new business and acquisition of competitive power of intelligent
vehicle/security/robot using context-aware multi-sensor smart sensor fusion technology
Localization of key automotive components for context-aware smart sensor and promotion of exportation
CONTENTS
Chapter 1 Introduction ... 4
Section 1 Purpose and Necessity of the Research ... 4
1. Purpose of the Research ... 4
2. Necessity of the Research ... 6
Section 2 Contents and Scope of Research ... 8
1. Objective of the Research ... 8
2. Contents and Scope of the Research in This Year ... 10
Section 3 Research Process and Hierarchy of Report ... 12
1. System and Methods for Research Process ... 12
2. Hierarchy of the Report ... 19
Chapter 2 Main subject(Ⅰ) ... 22
Section 1 Domestic and Global Research Trends ... 22
1. Technology Trends of Smart Sendors ... 22
2. Current Status of Sensor-fusion module and sensor-fusion based context-aware system ... 33
3. Technology Trends of ADAS ... . 39
Section 2 Domestic and Global Trends of Standardization ... 49
Section 3 Domestic and Global Trends of Competitor ... 56
Section 4 Domestic and Global Trends of IPR ... 58
Chapter 3 Main subject(Ⅱ) ... 66
Section 1 Accomplishments of the Research in This Year ... 66
1. Overivew ... 66
2. Milestone and Accomplishments ... 68
Section 2 Development of smart sesor module based on multi-sensor Fusion
technology ... 76
1. Development of Advanced 77GHz Radar Sensor Module ... 76
2. Development of Advanced 79GHz UWB Radar Sensor Module ... 115
Section 3. Development of Integrated Signal Processing Module based on multi-sensor Fusion technology ... 152
1. Detection/Recognition using Vison-Radar Sensor Fusion ... 152
2. Semi-autonomous Technology using Sensor Fusion ... 161
3. Vision-Lidar Fusion Signal Processing ... 171
4. Development of Safety Service using V2X in vehicle ... 181
5. Recognition of Multi-object using Deep Learning Technology on Embedded Board ... 187
Section 4. Development of Safety System and Application based on multi-sensor Fusion technology ... 193
1. Development of Advanced Driver Safety Assistance System ... 193
2. Development of Driver Status Monitoring ... 211
3. Development of Vision Inspection Module of Vehicle Parts ... of 223 Chapter 4 Plan to use research results ... 238
Chapter 5 Conclusion ... 242
Chapter 6 Research Facilities and Equipment Status ... 246
References ... 250 Abbreviation ... 253 Appendix ... 256 1.Papers ... 256 2. Patents ... 257 3. SW Programs ... 257 4. Technical Documents ... 258
List of Tables
<Table 2-1-1.Current state of Lidar sensor>……… 30
<Table 2-2-1.Safety policy of EU, USA, Japan and Kores> --- 49 <Table 2-2-2.Expert committee of Standards Organization> --- 50 <Table 2-2-3.ISO standards> --- 52 <Table 2-3-1.Current State of sensor development> --- 55 <Table 3-2-1.HW requirements of 77GHz automotive MRR/SRR sensors> --- 79 <Table 3-2-2.Major functional requirements for 77GHz automotive MRR/SRR
sensors> --- 80 <Table 3-2-3.Antenn requirements for 77GHz automotive MRR/SRR sensors> --- 84 <Table 3-2-4.DoA accuracy results of conventional beamforming algorithm> --- 108 <Table 3-2-5.DoA resolution results of conventional beamforming algorithm> --- 109 <Table 3-2-6.Specifications of 77GHz MRR/SRR sensor> --- 110 <Table 3-2-7.Test results for detection range of 77GHz MRR/SRR sensor> --- 111 <Table 3-2-8 Elapsed time for singnal processing of 77GHz MRR/SRR sensor> ---- 113 <Table 3-2-9.HW requirements of 79GHz automotive SRR sensors> --- 114 <Table 3-2-10.Major functional requirements for 79GHz automotive SRR sensors> 116 <Table 3-2-11.Antenna requirements for 79GHz automotive SRR sensors> --- 118 <Table 3-2-12.Result of determining the number of incident signal> --- 146 <Table 3-2-13.Results of DBF optimization> --- 148 <Table 3-2-14.Specifications of 79GHz SRR sensor> --- 149 <Table 3-2-15.Test results for detection range of 79GHz SRR sensor> --- 149 <Table 3-2-16.Elapsed time for singla processing of 79GHz SRR sensor> --- 151 <Table 3-3-1.Requirements for vision-radar sensor fusion> --- 152 <Table 3-3-2.Requirements for vision-lidar sensor fusion> --- 171 <Table 3-3-3.Major requirements for V2X based safety services> --- 181 <Table 3-3-4.Performance comparison of lightweight models> --- 191 <Table 3-4-1.Performance requirement of front safety system> --- 193
<Table 3-4-2.Function requirement of front safety system> --- 193 <Table 3-4-3.Performance requirement of lateral-rear safety system> --- 193 <Table 3-4-4.Function requirement of lateral-rear safety system> --- 193 <Table 3-4-5.FCW test scenario and result> --- 198 <Table 3-4-6.LDW test scenario and result> --- 199 <Table 3-4-7.BSD test scenario and result> --- 200 <Table 3-4-8.Performance requirement of DSM system> --- 210 <Table 3-4-9.Function requirement of DSM system> --- 210 <Table 3-4-10.Major functional requirements for DSM system> --- 211 <Table 3-4-11.Major functional requirements for vision inspection system> ---- 223 <Table 3-4-12.Major performance requirements for vision inspection system> --- 223
List of Figures
<Figure 1-3-1.Development hierarchy> --- 12 <Figure 1-3-2.Development hierarchy in 2017> --- 15 <Figure 2-1-1.Frequency distribution of radar for vehicle> --- 22 <Figure 2-1-2.Commercial Radar> --- 22 <Figure 2-1-3.Static Unitary Detector(STUD) Lidar of ETRI> --- 23 <Figure 2-1-4.3D Lidar of ETRI> --- 24 <Figure 2-1-5.Short range lidar sensor technology of KETI> --- 24 <Figure 2-1-6.World Modeling using 2D LRF and vision device> --- 25 <Figure 2-1-7.Current state of Vehicle Radar Frequency Assignment> --- 26 <Figure 2-1-8.Radar Product of Bosch> --- 27 <Figure 2-1-9.Main Commercial Product for radar> --- 28 <Figure 2-1-10.Comparision of several algorithm for distance resolution
measurement> --- 29 <Figure 2-1-11.High radar image technology with resolution enhancement
algorithm> --- 29 <Figure 2-1-12.Object recognition and environment modeling with 3D Lidar by
google> --- 32 <Figure 2-1-13.Radar-Vision integrated Sensor of Delphi> --- 33 <Figure 2-1-14.RACAM fusion module of Delphi> --- 34 <Figure 2-1-15.Lidar-camera fusion module of Continental> --- 34 <Figure 2-1-16.Tri-focal camera fusion Module> --- 35 <Figure 2-1-17.Integrated Module by AUDI> --- 35 <Figure 2-1-18.Integrated Module by Rinspeed> --- 36 <Figure 2-1-19.Integrated DCU by AUDI> --- 36 <Figure 2-1-20.PX Platform of NVIDIA> --- 37 <Figure 2-1-21.Vehicle Safety System using V2V> --- 38 <Figure 2-1-22.Application domain of smart sensor for vehicle> --- 39
<Figure 2-1-23.ADAS technology> --- 39 <Figure 2-1-24.Development of 77GHz Radar by Mando> --- 41 <Figure 2-1-25.Stereo camera sensor module and single camera sensor module by
LG> --- 41 <Figure 2-1-26.Tucson by Hyundai> --- 42 <Figure 2-1-27.ADAS market trends> --- 44 <Figure 2-1-28.Value changes of ADAS installed vehicle> --- 44 <Figure 2-1-29.AEB system test> --- 45 <Figure 2-1-30.Lane departure avoidance system and Vehicle Dynamic Control,
Electronic Stability Program> --- 46 <Figure 2-1-31.Volvo BSD System>> --- 47 <Figure 2-1-32.Example of radar usage> --- 48 <Figure 2-4-1.Patent Analysis of 3 major countries> --- 58 <Figure 2-4-2. Patent Analysis of radar-based ADAS technology> --- 59 <Figure 2-4-3.Trends of patent application by country and year> --- 61 <Figure 3-2-1.Sensors arrangement of Vehicle equipped with ADAS function> ---- 76 <Figure 3-2-2.Sensors for vehicles of BENZ company> --- 76 <Figure 3-2-3.Radar for forward detection of BENZ company> --- 77 <Figure 3-2-4.Honda sensing concept> --- 78 <Figure 3-2-5.Configuration diagram of 77GHz automotive MRR/SRR HW module> --- 81 <Figure 3-2-6.Configuration diagram of 77GHz automotive radar FEM> --- 82 <Figure 3-2-7.Configuration diagram of 77GHz automotive radar BEM> --- 82 <Figure 3-2-8.Block diagram of signal processing software for 77GHz automotive MRR/SRR sensor> --- 83 <Figure 3-2-9.Configuration of antennas for 77GHz automotive MRR/SRR sensors> 84 <Figure 3-2-10.Configuration and design parameters of Tx antenna for 77GHz SRR sensor> --- 85 <Figure 3-2-11.Simulation results of designed Tx antenna for 77GHz SRR sensor> 86 <Figure 3-2-12.Measured results of fabricated Tx antenna for 77GHz SRR sensor> 87 <Figure 3-2-13.Designed 1 x 2 power divider for 77GHz MRR antenna sensor> ---- 88
<Figure 3-2-14.Designed 2 x 20 array antenna for 77GHz MRR sensor> --- 89 <Figure 3-2-15.Designed 4 x 20 array antenna for 77GHz MRR sensor> --- 90 <Figure 3-2-16.Measured results of fabricated 4 x 20 array antenna for 77GHz
MRR sensor> --- 91 <Figure 3-2-17.Design of Balun for Tx channel of 77GHz radar sensor> --- 92 <Figure 3-2-18.Design of Balun for Rx channel of 77GHz radar sensor> --- 93 <Figure 3-2-19.Integrated antenna of Tx and Rx for 77GHz MRR/SRR sensor> --- 94 <Figure 3-2-20.Simulation results of integrated SRR antenna for 77GHz MRR/SRR
sensor> --- 95 <Figure 3-2-21.Simulation results of integrated MRR antenna for 77GHz MRR/SRR
sensor> --- 96 <Figure 3-2-22.Simulation results of integrated Rx1 antenna for 77GHz MRR/SRR
sensor> --- 97 <Figure 3-2-23.Simulation results of integrated Rx2 antenna for 77GHz MRR/SRR
sensor> --- 98 <Figure 3-2-24.Simulation results of integrated Rx3 antenna for 77GHz MRR/SRR
sensor> --- 99 <Figure 3-2-25.Simulation results of integrated Rx4 antenna for 77GHz MRR/SRR
sensor> --- 99 <Figure 3-2-26.Layout and prototype of FEM for 77GHz automotive MRR/SRR
sensor> --- 100 <Figure 3-2-27.Configuration diagram of channel operation of 77GHz automotive
MRR/SRR sensor> --- 102 <Figure 3-2-28.Layout and prototype of BEM for 77/79GHz automotive radar
sensor> --- 103 <Figure 3-2-29.Prototype of integrated module for 77GHz automotive MRR/SRR
sensor> --- 104 <Figure 3-2-30.Indoor test environment of integrated module for 77GHz
automotive MRR/SRR sensor> --- 105 <Figure 3-2-31.Measured transmitted power level of 77GHz automotive MRR/SRR
integrated module(2m distance)> --- 105 <Figure 3-2-32.Outdoor test environment of integrated module for 77GHz
<Figure 3-2-33.Human detection result of integrated module for 77GHz
automotive MRR/SRR sensor(60m distance)> --- 106 <Figure 3-2-34.Test results of 77GHz DBF sensor> --- 107 <Figure 3-2-35.Pulse integration on multicore environments> --- 111 <Figure 3-2-36.Detection range in MRR mode with CR(20dBsm)> --- 112 <Figure 3-2-37.Detection range in MRR mode with pedestrian> --- 112 <Figure 3-2-38.Detection of pedestrian of 30m distance away in MRR mode> --- 112 <Figure 3-2-39.Result of detection and tracking a vehicle> --- 113 <Figure 3-2-40.Configuration diagram of 79GHz automotive SRR HW module> --- 116 <Figure 3-2-41.Block diagram of signal processing software for 79GHz
automotive SRR sensor> --- 117 <Figure 3-2-42.Configuration of antennas for 79GHz automotive SRR sensor> ---- 118 <Figure 3-2-43.Concept of sector beam antenna for 79GHz automotive SRR sensor> 119 <Figure 3-2-44.Configuration and design parameters of 1 x 16 linear array
antenna for uniform field distribution at 79GHz> --- 120 <Figure 3-2-45.Simulation results of designed 1 x 16 linear array for uniform
field distribution at 79GHz> --- 121 <Figure 3-2-46.Designed antenna for Tx beam #1 of 79GHz SRR sensor> --- 122 <Figure 3-2-47.Measured results of fabricated antenna for Tx beam #1 of 79GHz
SRR sensor> --- 123 <Figure 3-2-48.Designed antenna for Tx beam #2 of 79GHz SRR sensor> --- 124 <Figure 3-2-49.Measured results of fabricated antenna for Tx beam #2 of 79GHz
SRR sensor> --- 125 <Figure 3-2-50.Designed antenna for Tx beam #3 of 79GHz SRR sensor> --- 126 <Figure 3-2-51.Measured results of fabricated antenna for Tx beam #3 of 79GHz
SRR sensor> --- 127 <Figure 3-2-52.Configuration and design parameters of 1 x 18 linear array for Rx antenna of 79GHz SRR sensor> --- 128 <Figure 3-2-53.Simulation results of designed 1 x 18 linear array for Rx
antenna of 79GHz SRR sensor> --- 129 <Figure 3-2-54.Measured results of fabricated 1 x 18 linear array for Rx
<Figure 3-2-55.Design of Balun for Tx channel of 77GHz SRR sensor> --- 131 <Figure 3-2-56.Design of Balun for Rx channel of 77GHz SRR sensor> --- 132 <Figure 3-2-57.Integrated antenna of Tx and Rx for 79GHz SRR sensor> --- 132 <Figure 3-2-58.Simulation results of Tx beam #1 antenna for integrated 79GHz
SRR sensor antenna> --- 133 <Figure 3-2-59.Simulation results of Tx beam #2 antenna for integrated 79GHz
SRR sensor antenna> --- 134 <Figure 3-2-60.Simulation results of Tx beam #3 antenna for integrated 79GHz
SRR sensor antenna> --- 135 <Figure 3-2-61.Radiation patterns in H-plane of integrated antenna for 79GHz
SRR sensor wrt. various frequecies> --- 136 <Figure 3-2-62.Simulation results of integrated Rx1 antenna for 79GHz SRR
sensor> --- 137 <Figure 3-2-63.Simulation results of integrated Rx2 antenna for 79GHz SRR
sensor> --- 138 <Figure 3-2-64.Simulation results of integrated Rx3 antenna for 79GHz SRR
sensor> --- 139 <Figure 3-2-65.Simulation results of integrated Rx4 antenna for 79GHz SRR
sensor> --- 140 <Figure 3-2-66.Layout and prototype of FEM for 79GHz automotive SRR sensor> -- 141 <Figure 3-2-67.Configuration diagram of channel operation of 79GHz automotive
SRR sensor> --- 141 <Figure 3-2-68.Prototype of integrated module for 79GHz automotive SRR sensor> 143 <Figure 3-2-69.Indoor test environment of integrated module for 79GHz
automotive SRR sensore> --- 143 <Figure 3-2-70.Measured transmitted power level of 79GHz automotive SRR
integrated module(2m distance)> --- 144 <Figure 3-2-71.Outdoor test environment of integrated module for 79GHz
automotive SRR sesnor> --- 144 <Figure 3-2-72.Human detection result of integrated module for 79GHz
automotive SRR sensor(60m distance)> --- 145 <Figure 3-2-73.System diagram of advanced DBF mrthod> --- 147 <Figure 3-2-74.Results of DoA estimation using DBF method> --- 148
<Figure 3-2-75.Detection range(CR:10dBsm)> --- 150 <Figure 3-2-76.Detection range of pedestrian for SRR> --- 150 <Figure 3-2-77.Detection range of in MRR mode(CR:10dBsm)> --- 151 <Figure 3-3-1.Flowchart of proposed algorithm> --- 153 <Figure 3-3-2.Geometric structure of vision and radar Coordinate system> --- 154 <Figure 3-3-3. Pseudo code of generative search method> --- 155 <Figure 3-3-4.Architecture of proposed Radar guided-Faster R-CNN> --- 157 <Figure 3-3-5.Network architecture in proposed Radar guided-Faster R-CNN> ---- 158 <Figure 3-3-6.vision-Radar fusion sensor platform> --- 159 <Figure 3-3-7.Result of contemporary Faster R-CNN and proposed Radar-guided
Faster R-CNN> --- 160 <Figure 3-3-8.An electric car platform remodeled to develop and demonstrate
sensor fusion and autonomous driving techniques> --- 161 <Figure 3-3-9.Three types of sensors and their mount locations> --- 162 <Figure 3-3-10.An example of dynamic object detection by sensor fusion> --- 163 <Figure 3-3-11.Power supply to operate PC, VCU, and sensors> --- 163 <Figure 3-3-12.VCU to integrated control steering, acceleration and brake> --- 164 <Figure 3-3-13.Cameras to monitor front and side-rear> --- 165 <Figure 3-3-14.An example of object detection using camera> --- 165 <Figure 3-3-15.. Lidar and its bracket> --- 166 <Figure 3-3-16.An example of lidar-based object detection> --- 166 <Figure 3-3-17.Continental Radar ARS 408-21 and its FOV> --- 167 <Figure 3-3-18.Sensor connectors> --- 168 <Figure 3-3-19.Sensor switches> --- 168 <Figure 3-3-20.Two monitors for development and monitoring> --- 169 <Figure 3-3-21.NVIDIA DRIVE PX2> --- 170 <Figure 3-3-22.characteristics of sensors> --- 171 <Figure 3-3-23.Integrated algorithm of Vision-LIDAR> --- 172 <Figure 3-3-24.LIDAR scan line with IR 850 filter> --- 173 <Figure 3-3-25.Targets and matching points in calibration> --- 173
<Figure 3-3-26.Problem of Grid mapping LIDAR data> --- 175 <Figure 3-3-27.Result of ROI configuration> --- 176 <Figure 3-3-28.Result of pedestrian detection> --- 177 <Figure 3-3-29.Calibrarion of 3D Lidar-vision> --- 177 <Figure 3-3-30.Matching using 2D-3D recovery technique> --- 178 <Figure 3-3-31.Result of 3D Lidar-vision calibration> --- 180 <Figure 3-3-32.Concept of V2X based safety services> --- 181 <Figure 3-3-33.Format of ASM> --- 182 <Figure 3-3-34.Data flow of the V2X based safety service> --- 183 <Figure 3-3-35.Transformation procedure of coordinate systems> --- 183 <Figure 3-3-36.Assembled V2X Gateway> --- 184 <Figure 3-3-37.Tests in Laboratory> --- 185 <Figure 3-3-38.Tests in Outfields> --- 185 <Figure 3-3-39.Lightweight method of deep learning model> --- 186 <Figure 3-3-40.Lightweight method of multi-object recognition structure> --- 187 <Figure 3-3-41.Set the interval and training for each part> --- 188 <Figure 3-3-42.Model composition through part synthesis> --- 188 <Figure 3343.Composite method of sections that done lightweight the
-convolutional layers> --- 189 <Figure 3-3-44.Convolutional layers removed by each part> --- 189 <Figure 3-3-45.Experimental results in environment which has many pedestrian> 190 <Figure 3-3-46.Experimental results in environment which has same ratio of
pedestrain and vehicle> --- 191 <Figure 3-4-1.Unified driving assistance system architecture> --- 194 <Figure 3-4-2.Camera install spot of front safety system> --- 195 <Figure 3-4-3.Integration system board install spot> --- 195 <Figure 3-4-4.Front vehicle detection algorithm> --- 196 <Figure 3-4-5.FCW test scenario concept> --- 197 <Figure 3-4-6.LDW test scenario concept> --- 198 <Figure 3-4-7.BSD test scenario concept> --- 199
<Figure 3-4-8.DEVESof FCW test result> --- 200 <Figure 3-4-9.Test result of distance estimation comparing with Mobileye> ---- 201 <Figure 3-4-10 Test result of velocity estimation comparing with Mobileye> --- 202 <Figure 3-4-11.Front camera structure> --- 202 <Figure 3-4-12 PCB design guide> --- 203 <Figure 3-4-13 Board, case and data transferring board> --- 204 <Figure 3-4-14 Installation guide of system and camera> --- 204 <Figure 3-4-15 Demo vehicle with unified driving assistance system #1> --- 205 <Figure 3-4-16 Comparison of unified driving assistance system and AVM system> 206 <Figure 3-4-17 AEB demo environment> --- 206 <Figure 3-4-18 AEB demo log> --- 207 <Figure 3-4-19 Demo vehicle with unified driving assistance system #2> --- 208 <Figure 3-4-20 Test environments> --- 209 <Figure 3-4-21.DSM system architecture> --- 211 <Figure 3-4-22.DSM module structure> --- 212 < Figure 3-4-23.MCT(Modified Census Transform) Transform> --- 213 <Figure 3-4-24.Example of MCT classifier training> --- 214 <Figure 3-4-25.Cascade landmark detection> --- 216 <Figure 3-4-26.i∙bug facial landmark> --- 216 <Figure 3-4-27.Head pose (pitch, roll, yaw)> --- 218 <Figure 3-4-28.Face, landmark, eye region and eye closed/open results> --- 219 <Figure 3-4-29.Dataset setup environments> --- 219 <Figure 3-4-30.Test image of collected dataset> --- 221 <Figure 3-4-31.Oil sealing modeling> --- 222 <Figure 3-4-32.Design of the vision inspection system> --- 224 <Figure 3-4-33.Diagram of the oil sealing vision inspection module> --- 225 <Figure 3-4-34.Flow chart of upper vision inspection module> --- 226 <Figure 3-4-35.Extraction method of the inverse warping map> --- 227 <Figure 3-4-36.Result image of the inverse warping> --- 227
<Figure 3-4-37.Flow chart of the side size inspection> --- 228 <Figure 3-4-38.Result image of the side size inspection> --- 228 <Figure 3-4-39.Flow chart of the side rubber inspection> --- 229 <Figure 3-4-40.Result image of the side rubber inspection> --- 229 <Figure 3-4-41.Flow chart of inside vision inspection module> --- 230 <Figure 3-4-42.Result image of the inside inspection> --- 230 <Figure 3-4-43.Integration unit for oil sealing inspection> --- 231 <Figure 3-4-44.Operating example of the integration unit for oil sealing
inspection> --- 232 <Figure 3-4-45.Hardware configuration of vision inspection system> --- 233 <Figure 4-1-1. 'Future Growth Engine 2030', Industry Development Strategy of
Daegu> --- 237 <Figure 4-1-2. 'smart device' industry development plan of Gyeongsangbuk-do> 238 <Figure 4-1-3. industry promotion of Various IDX application domain> --- 238
목 차
제 １ 장 서 론 ... 3 제 １ 절 연구개발 목적 및 필요성 ... 3 １. 연구개발 목적 ... 3 ２. 연구개발 필요성 ... 5 제 ２ 절 연구내용 및 범위 ... 7 １. 연구개발의 목표 ... 7 ２. 당해년도 연구내용 ... 9 제 ３ 절 연구 수행방법 및 보고서 체계 ... 11 １. 연구 추진체계 및 수행방법 ... 11 ２. 보고서 체계 ... 18 제 ２ 장 본론(Ⅰ) ... 21 제 １ 절 국내외 기술개발 동향 ... 21 １. 스마트 센서 기술동향 ... 21 ２. 퓨전 센서 모듈 및 센서 융합 기반 상황인지 시스템 개발 현황 ... 32 ３. 지능형 운전자보조 시스템 기술동향 ... 38 제 ２ 절 국내외 표준화 현황 ... 48 제 ３ 절 국내외 경쟁기관 현황 ... 55 제 ４ 절 국내외 지식 재산권 현황 ... 57 제 ３ 장 본론(Ⅱ) ... 65 제 １ 절 당해년도 연구성과 실적 ... 65 １. 연구성과 개요 ... 65 ２. 연구성과 실적 ... 67３. 효과지표(Impact) 성과 ... 74 제 ２ 절 상황인지 스마트카를 위한 스마트센서 모듈 기술 개발 ... 75 １. 77GHz 차량용 레이더센서 모듈 고도화 개발 ... 75 ２. 차량용 79GHz UWB 레이더센서 모듈 개발 ... 114 제 ３ 절 상황인지 스마트카를 위한 이종 센서퓨전 통합 신호처리 기술개발 ... 151 １. 비전-Radar 센서 퓨전 기반 검출/인식 알고리즘 개발 ... 151 ２. 이종 센서간 퓨전 기반 반자동 자율주행 기술 ... 160 ３. 비전-Lidar 센서 퓨전 신호처리 기술 연구 ... 170 ４. V2X 플랫폼 적용 차량 안전 서비스 기반 기술 개발 ... 180 ５. 임베디드 보드상에서의 딥러닝 기반 다중객체 인식 알고리즘 개발 ... 186 제 ４ 절 다중센서 융합 기반 안전시스템 및 응용 기술 개발... 192 １. 운전자 안전지원 시스템 개발 ... 192 ２. 운전자 상태 인지 기술 개발 ... 210 ３. IT 융합기반 차량 부품 비전검사기 개발 ... 222 제 ４ 장 연구결과의 활용계획 ... 237 제 ５ 장 결 론 ... 241 제 ６ 장 연구시설ㆍ장비 현황 ... 245 참고문헌 ... 249 약어표 ... 253 부록 ... 256 1. 논문 (국제 4 건, 국내 4 건) ... 256 2. 특허 (국제 0 건, 국내 20 건) ... 257 3. 프로그램 (15 건) ... 257
표 목 차
<표 2-1-1.LIDAR 센서 국외제품 개발현황> --- 30 <표 2-2-1.각국의 안전관련 정책> --- 49 <표 2-2-2.표준화 기구별 전문위원회> --- 50 <표 2-2-3.ISO 표준 목록> --- 52 <표 2-3-1.센서 기술 개발 현황> --- 55 <표 3-2-1.77GHZ 차량용 MRR/SRR 센서용 HW 요구사항> --- 79 <표 3-2-2.77GHZ 차량용 MRR/SRR 센서용 신호처리 SW 요구사항> --- 80 <표 3-2-3.77GHZ 차량용 MRR/SRR 센서용 안테나 주요 요구사항> --- 84 <표 3-2-4.DBF(CONVENTIONAL BEAMFORMING) 알고리즘 정확도 결과> --- 108 <표 3-2-5.DBF(CONVENTIONAL BEAMFORMING) 알고리즘 분해능 결과> --- 109 <표 3-2-6.77GHZ MRR/SRR 센서 성능 요구사항> --- 110 <표 3-2-7.77GHZ MRR/SRR 탐지 거리 시험 결과> --- 111 <표 3-2-8 77GHZ MRR/SRR 신호처리 소요시간> --- 113 <표 3-2-9.79GHZ 차량용 SRR 센서용 HW 요구사항> --- 114 <표 3-2-10.79GHZ 차량용 SRR 센서용 신호처리 SW 주요 요구사항> --- 116 <표 3-2-11.79GHZ 차량용 SRR 센서용 안테나 주요 요구사항> --- 118 <표 3-2-12 신호개수 판별 알고리즘 수행결과> --- 146 <표 3-2-13.DBF 최적화 결과> --- 148 <표 3-2-14.79GHZ SRR 센서 성능 요구사항> --- 149 <표 3-2-15.79GHZ SRR 탐지 거리 시험 결과> --- 149 <표 3-2-16.79GHZ SRR 신호처리 소요시간> --- 151 <표 3-3-1.비전-RADAR 센서퓨전 요구사항 > --- 152 <표 3-3-2.비전-LIDAR 센서퓨전 요구사항 > --- 171 <표 3-3-3.V2X 기반 차량 안전서비스 주요 요구사항> --- 181 <표 3-3-4.딥러닝 모델간 성능 비교> --- 191 <표 3-4-1.차량 전방 안전시스템의 주요 성능 요구사항> --- 193<표 3-4-2.차량 전방 안전시스템의 주요 기능 요구사항> --- 193 <표 3-4-3.차량 측후방 안전시스템의 주요 성능 요구사항> --- 193 <표 3-4-4.차량 측후방 안전시스템의 주요 기능 요구사항> --- 193 <표 3-4-5.FCW 평가 시나리오 및 결과> --- 198 <표 3-4-6.LDW 평가 시나리오 및 결과> --- 199 <표 3-4-7.BSD 평가 시나리오 및 결과> --- 200 <표 3-4-8.운전자상태모니터링 시스템 주요 성능 요구사항> --- 210 <표 3-4-9.인식율 상세 요구사항> --- 210 <표 3-4-10.운전자상태모니터링 시스템주요 기능 요구사항> --- 211 <표 3-4-11.비전검사기 시스템의 주요 기능 요구사항> --- 223 <표 3-4-12.비전검사기 시스템의 주요 성능 요구사항> --- 223
그 림 목 차
<그림 1-3-1.연구개발 추진체계> --- 12 <그림 1-3-2.당해년도 연구개발 추진체계> --- 15 <그림 2-1-1.차량용 레이더의 주파수 분배> --- 22 <그림 2-1-2.상용 레이더> --- 22 <그림 2-1-3.ETRI 에서 개발한 스터드 라이다 기술, 야외 50M 실시간 장거리 고해상도 3 차원 영상> --- 23 <그림 2-1-4.ETRI 의 3D LIDAR 센서 시스템 기술> --- 24 <그림 2-1-5.KETI 의 SHORT RANGE 용 LIDAR 센서 기술> --- 24 <그림 2-1-6.2D LRF 와 영상장치를 이용한 월드모델링> --- 25 <그림 2-1-7.차량용 레이더 주파수 할당 현황> --- 26 <그림 2-1-8.BOSCH 사의 차량용 레이더 상용 제품 개발> --- 27 <그림 2-1-9.레이더 센서의 주요 상용 제품> --- 28 <그림 2-1-10.해상도 측정 거리를 얻기 위한 다양한 알고리즘 비교> --- 29 <그림 2-1-11.해상도 개선 알고리즘을 적용한 고해상도 레이더이미지 획득 기술>- 29 <그림 2-1-12.GOOGLE 의 3D LIDAR 를 이용한 객체 인식과 환경 모델링> --- 32 <그림 2-1-13.DELPHI 레이더+비전 통합센서> --- 33 <그림 2-1-14.델파이 RACAM 퓨전 모듈> --- 34 <그림 2-1-15.컨티넨탈 LIDAR 와 카메라 퓨전 모듈> --- 34 <그림 2-1-16.TRI-FOCAL 카메라 퓨전 모듈> --- 35 <그림 2-1-17.AUDI-통합형 모듈> --- 35 <그림 2-1-18.RINSPEED-통합형 센서 모듈> --- 36 <그림 2-1-19.AUDI-통합형 DCU> --- 36 <그림 2-1-20.NVIDIA – PX 플랫폼> --- 37 <그림 2-1-21.V2V 를 활용한 차량안전시스템> --- 38 <그림 2-1-22.차량용 스마트 센서의 응용 분야> --- 39 <그림 2-1-23.ADAS 기술> --- 39 <그림 2-1-24.만도 77GHZ 레이더 상용화 개발> --- 41<그림 2-1-25.LG 스테레오/싱글 카메라 센서 모듈> --- 41 <그림 2-1-26.현대차 TUCSON (출처 : IIHS)> --- 42 <그림 2-1-27.ADAS 시장의 확대 배경과 향후 전망> --- 44 <그림 2-1-28.ADAS 의 자동차 장착 비중 변화> --- 44 <그림 2-1-29.AEB 시스템 시험(출처 : EU NCAP)> --- 45 <그림 2-1-30.차선이탈방지시스템 및 차체자세제어장치> --- 46 <그림 2-1-31.VOLVO BSD 시스템(출처: VOLVO)> --- 47 <그림 2-1-32.레이다 사용예> --- 48 <그림 2-4-1.주요 3 개국 특허 분석> --- 58 <그림 2-4-2.레이더 센서 기반 차량 안전시스템 특허 분석> --- 59 <그림 2-4-3.국가별 연도별 출원동향> --- 61 <그림 3-2-1.ADAS 차량 주변의 각종 센서> --- 76 <그림 3-2-2.벤츠의 차량 주변 센서> --- 76 <그림 3-2-3.벤츠의 전 방향을 탐지하는 레이더> --- 77 <그림 3-2-4.고정밀 단안 카메라와 레이더를 이용한 ‘혼다 센싱’개념도> --- 78 <그림 3-2-5.77GHZ 차량용 MRR/SRR HW 통합모듈 전체 구성도> --- 81 <그림 3-2-6.77/79GHZ 차량용 레이더 FEM 구성도> --- 82 <그림 3-2-7.77/79GHZ 차량용 레이더 BEM 구성도> --- 82 <그림 3-2-8.77GHZ MRR/SRR 센서용 신호처리 SW 구성도> --- 83 <그림 3-2-9.77GHZ 차량용 MRR/SRR 센서용 안테나 구성도> --- 84 <그림 3-2-10.77GHZ SRR 센서용 송신 안테나 및 설계 변수> --- 85 <그림 3-2-11.설계된 77GHZ SRR 센서용 송신 안테나 시뮬레이션 결과> --- 86 <그림 3-2-12.제작된 77GHZ SRR 센서용 송신 안테나 측정 결과> --- 87 <그림 3-2-13.설계된 77GHZ MRR 센서 안테나용 1 X 2 전력 분배기> --- 88 <그림 3-2-14.설계된 77GHZ MRR 센서용 2 X 20 배열 안테나> --- 89 <그림 3-2-15.설계된 77GHZ MRR 센서용 4 X 20 배열 안테나> --- 90 <그림 3-2-16.제작된 77GHZ MRR 센서용 4 X 20 배열 안테나 측정 결과> --- 91 <그림 3-2-17.77GHZ 레이더 센서의 송신 채널용 발룬 설계 결과> --- 92 <그림 3-2-18.77GHZ 레이더 센서의 수신 채널용 발룬 설계 결과> --- 93
<그림 3-2-19.77GHZ MRR/SRR 센서용 송/수신 통합 안테나> --- 94 <그림 3-2-20.77GHZ MRR/SRR 센서용 통합 안테나의 SRR 안테나 시뮬레이션 결과> 95 <그림 3-2-21.77GHZ MRR/SRR 센서용 통합 안테나의 MRR 안테나 시뮬레이션 결과> - 96 <그림 3-2-22.77GHZ MRR/SRR 센서용 통합 안테나의 수신 안테나(CH.1) 시뮬레이션 결과> --- 97 <그림 3-2-23.77GHZ MRR/SRR 센서용 통합 안테나의 수신 안테나(CH.2) 시뮬레이션 결과>--- 98 <그림 3-2-24.77GHZ MRR/SRR 센서용 통합 안테나의 수신 안테나(CH.3) 시뮬레이션 결과> --- 99 <그림 3-2-25.77GHZ MRR/SRR 센서용 통합 안테나의 수신 안테나(CH.4) 시뮬레이션 결과> --- 99 <그림 3-2-26.77GHZ 차량용 MRR/SRR 센서용 FEM 배치도 및 시제품> --- 100 <그림 3-2-27.77GHZ 차량용 MRR/SRR 센서 채널 운용 구성도> --- 102 <그림 3-2-28.77/79GHZ 차량용 레이더 센서용 BEM 배치도 및 시제품> --- 103 <그림 3-2-29.77GHZ 차량용 센서 MRR/SRR 센서 통합모듈 시제품> --- 104 <그림 3-2-30.77GHZ 차량용 MRR/SRR 센서 통합모듈의 실내 시험환경> --- 105 <그림 3-2-31.77GHZ 차량용 MRR/SRR 센서 통합모듈의 측정 송신 출력(2M 거리)> - 105 <그림 3-2-32.77GHZ 차량용 MRR/SRR 센서 통합모듈의 실외 시험환경> --- 106 <그림 3-2-33.77GHZ 차량용 MRR/SRR 센서 통합모듈의 사람 검출 화면(60M 거리)>- 106 <그림 3-2-34.77GHZ DBF 센서 시험 결과> --- 107 <그림 3-2-35.멀티코어 환경에서의 PULSE INTEGRATION 처리 방안> --- 111 <그림 3-2-36.MRR 모드에서 최대 탐지 거리 측정 결과(CR:20DBSM)> --- 112 <그림 3-2-37.MRR 모드에서 최대 탐지 거리 측정 결과(보행자)> --- 112 <그림 3-2-38.MRR 모드에서 30M 거리의 보행자 탐지 결과> --- 112 <그림 3-2-39.차량 탐지 및 추적 결과> --- 113 <그림 3-2-40.79GHZ 차량용 SRR HW 통합모듈 전체 구성도> --- 116 <그림 3-2-41.79GHZ 차량용 SRR 센서용 신호처리 SW 구성도> --- 117 <그림 3-2-42.79GHZ 차량용 SRR 센서용 안테나 구성도> --- 118 <그림 3-2-43.79GHZ 차량용 SRR 센서 송신 섹터 안테나 개념도> --- 119 <그림 3-2-44.79GHZ 균일 분포 1 X 16 선형 배열 안테나 및 설계 변수> --- 120
<그림 3-2-45.설계된 79GHZ 균일 분포 1 X 16 선형 배열 안테나 시뮬레이션 결과> 121 <그림 3-2-46.설계된 79GHZ SRR 센서 빔 #1 형성용 송신 안테나> --- 122 <그림 3-2-47.제작된 79GHZ SRR 센서용 송신빔 #1 안테나 측정 결과> --- 123 <그림 3-2-48.설계된 79GHZ SRR 센서 빔 #2 형성용 송신 안테나> --- 124 <그림 3-2-49.제작된 79GHZ SRR 센서용 송신빔 #2 안테나 측정 결과> --- 125 <그림 3-2-50.설계된 79GHZ 차량용 SRR 센서 빔 #3 형성용 송신 안테나> --- 126 <그림 3-2-51.제작된 79GHZ SRR 센서용 송신빔 #3 안테나 측정 결과> --- 127 <그림 3-2-52.79GHZ SRR 센서 수신채널용 1 X 18 선형 배열 안테나 및 설계 변수> 128 <그림 3-2-53.설계된 79GHZ 수신채널용 1 X 18 선형 배열 안테나 시뮬레이션 결과> --- 129 <그림 3-2-54.제작된 79GHZ SRR 센서 수신안테나용 1 X 18 선형 배열 안테나 측정 결과> --- 130 <그림 3-2-55.79GHZ SRR 센서 송신 채널용 발룬 설계 결과> --- 131 <그림 3-2-56.79GHZ SRR 센서 수신 채널용 발룬 설계 결과> --- 132 <그림 3-2-57.79GHZ SRR 센서용 송/수신 통합 안테나> --- 132 <그림 3-2-58.79GHZ SRR 센서용 통합 안테나의 송신빔 #1 안테나 시뮬레이션 결과> --- 133 <그림 3-2-59.79GHZ SRR 센서용 통합 안테나의 송신빔 #2 안테나 시뮬레이션 결과> 134 <그림 3-2-60.79GHZ SRR 센서용 통합 안테나의 송신빔 #3 안테나 시뮬레이션 결과> 135 <그림 3-2-61.79GHZ SRR 센서용 통합 안테나의 주파수에 따른 H-면 복사 패턴 합성> --- 136 <그림 3-2-62.79GHZ SRR 센서용 통합 안테나의 수신 안테나(CH.1) 시뮬레이션 결과> --- 137 <그림 3-2-63.79GHZ SRR 센서용 통합 안테나의 수신 안테나(CH.2) 시뮬레이션 결과> --- 138 <그림 3-2-64.79GHZ SRR 센서용 통합 안테나의 수신 안테나(CH.3) 시뮬레이션 결과> --- 139 <그림 3-2-65.79GHZ SRR 센서용 통합 안테나의 수신 안테나(CH.4) 시뮬레이션 결과> --- 140 <그림 3-2-66.79GHZ 차량용 SRR 센서용 FEM 배치도 및 시제품> --- 141 <그림 3-2-67.79GHZ 차량용 SRR 센서 채널 운용 구성도> --- 141
<그림 3-2-68.79GHZ 차량용 SRR 센서용 통합모듈 시제품> --- 143 <그림 3-2-69.79GHZ 차량용 SRR 센서용 통합모듈의 실내 시험환경> --- 143 <그림 3-2-70.79GHZ 차량용 SRR 센서 통합모듈의 측정 송신 출력(2M 거리)> --- 144 <그림 3-2-71.79GHZ 차량용 SRR 센서 통합모듈의 실외 시험환경> --- 144 <그림 3-2-72.79GHZ 차량용 SRR 센서 통합모듈의 사람 검출화면(30M 거리)> --- 145 <그림 3-2-73.DBF 고도화 시스템 구성도> --- 147 <그림 3-2-74.DBF 각도 추정 결과> --- 148 <그림 3-2-75.최대 탐지 거리 측정 결과(CR:10DBSM)> --- 150 <-그림 3-2-76.SRR 보행자 최대 탐지 거리 측정 결과> --- 150 <그림 3-2-77.MRR 모드 최대 탐지 거리 측정 결과> --- 151 <그림 3-3-1.제안된 방법의 알고리즘에 대한 흐름도> --- 153 <그림 3-3-2.비전 카메라와 RADAR 의 좌표계 정합을 위한 기하학적 구조> --- 154 <그림 3-3-3.카메라 외부 파라미터를 추정하는 GENERATIVE SEARCH 방법에 대한 PSEUDO 코드> --- 155 <그림 3-3-4.제안된 RADAR GUIDED-FASTER R-CNN> --- 157 <그림 3-3-5.제안된 방법에 사용된 NETWORK ARCHITECTURE> --- 158 <그림 3-3-6.비전-RADAR 융합 센서 플랫폼> --- 159 <그림 3-3-7.제안된 RADAR-GUIDED FASTER R-CNN 과 기존 FASTER R-CNN 의 결과
영상> --- 160 <그림 3-3-8.센서융합 및 자율주행 기술 개발 및 시연을 위해 개조된 전기차> --- 161 <그림 3-3-9.세 가지 타입의 센서들 및 장착 위치> --- 162 <그림 3-3-10.센서융합을 통한 동적 객체 검출의 예> --- 163 <그림 3-3-11.PC, VCU 및 각종 센서들의 구동을 위한 전원공급장치> --- 163 <그림 3-3-12.조향, 가속, 감속 제어의 통합 제어를 위한 VCU> --- 164 <그림 3-3-13.전방과 측후방 감지를 위한 카메라들> --- 165 <그림 3-3-14.카메라를 활용한 객체 검출의 예> --- 165 <그림 3-3-15.LIDAR 및 LIDAR 장착을 위한 브라켓> --- 166 <그림 3-3-16.LIDAR 기반 객체 검출의 예> --- 166 <그림 3-3-17.CONTINENTAL RADAR ARS 408-21 의 외형 및 해당 FOV> --- 167 <그림 3-3-18.센서 커넥터> --- 168
<그림 3-3-19.센서 스위치> --- 168 <그림 3-3-20.개발 및 모니터링을 위한 2 대의 모니터> --- 169 <그림 3-3-21.NVIDIA DRIVE PX2> --- 170 <그림 3-3-22.각 센서의 특성> --- 171 <그림 3-3-23.VISION-LIDAR 통합 알고리즘> --- 172 <그림 3-3-24.IR 850 FILTER 장착 (상단) 후 LIDAR SCAN LINE 확인 (하단)> --- 173 <그림 3-3-25.CALIBRATION 에 사용된 TARGETS 과 MATCHING POINTS> --- 173 <그림 3-3-26.GRID MAPPING LIDAR DATA 의 문제점> --- 175 <그림 3-3-27.거리에 따른 보행자 ROI 설정 결과> --- 176 <그림 3-3-28.보행자 검출 결과: (좌) 기존 방법, (우) 제안한 방법> --- 177 <그림 3-3-29.3D LIDAR-비전 캘리브레이션> --- 177 <그림 3-3-30.2D-3D RECOVERY 기법을 이용한 매칭> --- 178 <그림 3-3-31.3D LIDAR-비전 CALIBRATION 결과> --- 180 <그림 3-3-32.V2X 기반 차량 안전서비스 개념도> --- 181 <그림 3-3-33.ASM 포맷> --- 182 <그림 3-3-34.V2X 기반 차량 안전서비스 데이터 흐름> --- 183 <그림 3-3-35.좌표계 변환 절차> --- 183 <그림 3-3-36.V2X GATEWAY 완성품> --- 184 <그림 3-3-37.IN LAB 시험> --- 185 <그림 3-3-38.IN FIELD 시험> --- 185 <그림 3-3-39.딥러닝 모델 경량화 기법> --- 186 <그림 3-3-40.다중객체인식 구조의 경량화 기법> --- 187 <그림 3-3-41.PART 별 구간 설정과 PART 별 TRAINING> --- 188 <그림 3-3-42.PART 합성을 통한 모델 구성> --- 188 <그림 3-3-43.CONVOLUTIONAL LAYERS 를 경량화한 구간의 합성 방법> --- 189 <그림 3-3-44.각 구간별 제거된 CONVOLUTIONAL LAYERS> --- 189 <그림 3-3-45.보행자가 많은 환경에서의 실험 결과> --- 190 <그림 3-3-46.보행자와 차량의 비율이 동일한 환경에서의 실험 결과> --- 191 <그림 3-4-1.통합 주행 보조 시스템 구성도> --- 194
<그림 3-4-2.전방차량안전시스템 카메라 설치위치> --- 195 <그림 3-4-3.통합 시스템 보드 설치위치> --- 195 <그림 3-4-4.전방 차량인식알고리즘> --- 196 <그림 3-4-5.FCW 평가 시나리오 컨셉> --- 197 <그림 3-4-6.LDW 평가 시나리오 컨셉> --- 198 <그림 3-4-7.BSD 평가 시나리오 컨셉> --- 199 <그림 3-4-8.DEVESOF FCW 평가 결과> --- 200 <그림 3-4-9.모빌아이 거리 비교 평가 결과> --- 201 <그림 3-4-10 속도별 모빌아이 거리 비교 평가 결과> --- 202 <그림 3-4-11.전방 카메라 구조> --- 202 <그림 3-4-12 임베디드 기능 PCB 설계 가이드> --- 203 <그림 3-4-13 보드, 케이스 및 전방 카메라 데이터 전송 보드> --- 204 <그림 3-4-14 시스템 및 카메라 차량 설치 가이드> --- 204 <그림 3-4-15 통합 주행 보조 시스템 데모 차량 설치 결과 #1> --- 205 <그림 3-4-16 통합 주행 보조 시스템 결과 및 AVM 비교 결과 영상> --- 206 <그림 3-4-17 AEB 데모 테스트 환경> --- 206 <그림 3-4-18 AEB 데모 로그 결과> --- 207 <그림 3-4-19 통합 주행 보조 시스템 데모 차량 설치 결과 #2> --- 208 <그림 3-4-20 데모 테스트 환경> --- 209 <그림 3-4-21.운전자 상태 인지 시스템 구성도> --- 211 <그림 3-4-22.DSM 모듈 구성> --- 212 <그림 3-4-23.MCT(MODIFIED CENSUS TRANSFORM) 변환> --- 213 <그림 3-4-24.MCT 기반 픽셀 분류기 학습의 예> --- 214 <그림 3-4-25.캐스케이드 랜드마크 검출> --- 216 <그림 3-4-26.I∙BUG 얼굴 랜드마크> --- 216 <그림 3-4-27.헤드 포즈 (PITCH, ROLL, ROLL)> --- 218
<그림 3-4-28.얼굴검출, 랜드마크검출, 눈 영역 추출, 눈 감김 분류 결과> --- 219
<그림 3-4-29.DATASET 구축 현황> --- 219 <그림 3-4-30.DATASET 구축 테스트 이미지> --- 221
<그림 3-4-31.오일씰링 제품 모델링> --- 222 <그림 3-4-32.비전 검사 시스템 설계도> --- 224 <그림 3-4-33.오일씰링 비전 검사 모듈 구성도> --- 225 <그림 3-4-34.상단부 비전 검사 모듈 흐름도> --- 226 <그림 3-4-35.역방향 워핑 맵 생성 방법> --- 227 <그림 3-4-36.역방향 워핑 결과 이미지> --- 227 <그림 3-4-37.측면부 크기 검사 흐름도> --- 228 <그림 3-4-38.측면부 검사 알고리즘 화면> --- 228 <그림 3-4-39.측면부 고무 검사 흐름도> --- 229 <그림 3-4-40.측면부 검사 알고리즘 화면> --- 229 <그림 3-4-41.내경부 비전 검사 모듈 흐름도> --- 230 <그림 3-4-42.내경부 검사 결과 이미지> --- 230 <그림 3-4-43.오일씰링 검사용 통합 유닛> --- 231 <그림 3-4-44.오일씰링 검사용 통합 유닛 구동 예> --- 232 <그림 3-4-45.비전 검사 시스템의 HW 구성> --- 233 <그림 4-1-1.대구 ‘미래성장엔진 2030’ 산업 발전 전략> --- 237 <그림 4-1-2.경상북도 ‘스마트기기’ 산업육성계획> --- 238 <그림 4-1-3.다양한 응용 IDX 산업 육성> --- 238
