Copyright
Ⓒ2014 KSAE / 132-03 pISSN 1225-6382 / eISSN 2234-0149 DOI http://dx.doi.org/10.7467/KSAE.2014.22.6.014 Transactions of KSAE, Vol. 22, No. 6, pp.14-22 (2014)
자율주행을 위한 센서 데이터 융합 기반의 맵 생성
강 민 성1)․허 수 정2)․박 익 현1)․박 용 완*1)
영남대학교 정보통신공학과1)․한국과학기술연구원 센서시스템 연구센터2)
Map Building Based on Sensor Fusion for Autonomous Vehicle
Minsung Kang1)․Soojung Hur2)․Ikhyun Park1)․Yongwan Park*1)
1)
Department of Information Communication Engineering, Yeongnam University, Gyeongbuk 712-749, Korea
2)
Sensor System Research Center, Korea Institute of Science & Technology, 10 Hwarang-ro 14-gil, Seongbuk-gu, Seoul 136-791, Korea
(Received 28 November 2013 / Revised 18 April 2014 / Accepted 21 April 2014)
Abstract : An autonomous vehicle requires a technology of generating maps by recognizing surrounding environment.
The recognition of the vehicle's environment can be achieved by using distance information from a 2D laser scanner and color information from a camera. Such sensor information is used to generate 2D or 3D maps. A 2D map is used mostly for generating routs, because it contains information only about a section. In contrast, a 3D map involves height values also, and therefore can be used not only for generating routs but also for finding out vehicle accessible space.
Nevertheless, an autonomous vehicle using 3D maps has difficulty in recognizing environment in real time. Accor- dingly, this paper proposes the technology for generating 2D maps that guarantee real-time recognition. The proposed technology uses only the color information obtained by removing height values from 3D maps generated based on the fusion of 2D laser scanner and camera data.
Key words : Map building(맵 생성), Autonomous vehicle(자율주행 자동차), 2D laser scanner(2차원 레이저 스캐 너), Camera(카메라), Sensor fusion(센서 융합), Occupancy grid map(점유 격자 지도)
1. 서 론
1)
자율주행 자동차는 1990년 DARPA(Defense Ad- vanced Research Projects Agency)의 관리 하에 모든 국방부 지상 차량 로봇 기술을 하나로 통합하면서 체계적인 연구가 시작되었다.1) 2005에 이어 2007년 DARPA Grand Challenge가 개최되면서 본격적으로 자율주행 자동차의 연구가 발전하였다.2,3)
자율주행 자동차란 운전자의 개입 없이 주변 환 경을 인식하고, 주행 상황을 판단하여, 차량을 제어 함으로써 스스로 주어진 목적지까지 주행하는 자동 차를 말한다. 자율주행 자동차의 핵심 기술로써 주
*
Corresponding author, E-mail: [email protected]
변 환경을 인식하여 맵을 생성하는 기술이 있다.
Fig. 1은 센서로부터 들어오는 데이터를 이용하여 주변 환경에 대한 맵을 생성한 결과이다. 이러한 맵 을 기반으로 주행 경로를 생성하고 차량을 제어 하 면서 자율주행을 하게 된다. 주변 환경인식에 사용 하는 대표적인 센서로는 레이더(Radio Detecting Ranging), 레이저 스캐너(Laser Scanner), 카메라가 있다.4) 센서의 성능은 인지 거리, 인지 범위, 거리 정 확도, 거리 해상도, 각 해상도로 구별할 수 있다.
레이더 센서는 환경에 강인하고 탐지 거리가 길 다는 장점이 있어 운전자 보조 시스템의 장애물 인 식이나 크루즈 컨트롤(Adaptive Cruise Control) 시스 템에 사용되고 있다.5) 하지만 거리 해상도에 비해
자율주행을 위한 센서 데이터 융합 기반의 맵 생성
Fig. 1 Map using surrounding environment data
낮은 각 해상도 때문에 도시와 같이 다수개의 장애 물이 있는 복잡한 환경에 대하여 인식하는데 어려 움이 있어 무인 자율주행 자동차에 적합하지 않다.6) 반면 2차원 레이저 스캐너는 높은 각 해상도와 거 리 해상도를 가지며 비, 눈과 같은 악천후 상황에서 도 높은 정확도의 거리 정보를 수집할 수 있어서 자 율주행 자동차의 맵 생성 알고리즘에 주로 사용되고 있다.7-9) 2차원 레이저 스캐너의 경우 설치된 곳의 한 단면에 대한 데이터를 수집하기 때문에 높이에 따른 물체 인식이 어려워 2차원 맵 생성에 사용되고 있다.10) 2차원 맵의 경우 가로, 세로와 같은 한 단면에 대한 정보만을 가지고 있기 때문에 주로 경로 생성에 사용 한다. 여기에서 높이 값이 추가된 3차원 맵의 경우 경 로 생성과 차량의 접근이 가능한 구역에 대한 판단까 지 할 수 있다. 또한 실제 환경은 3차원이기 때문에 높이 값을 획득하기 위한 연구들이 진행되고 있다.
높이 값을 획득하기 위하여 다수개의 2차원 레이저
스캐너2,11)를 사용하거나 3차원 레이저 스캐너3,12)를
사용하는 기법도 있다. 하지만 이러한 기법의 경우 센서 자체의 비용이 높다. 따라서 2차원 레이저 스 캐너에 이종 센서를 융합하여 높이 값에 대한 정보 를 획득하고 있다. 또한 스테레오 비전13)과 카메라
14,15)
의 경우 색상 정보를 이용하여 차선과 같은 정보 를 인식할 수 있다는 장점이 있어 주로 사용되고 있 다. 하지만 센서 융합 기반의 3차원 맵 생성 기술은 실제 환경과 유사하다는 장점은 있지만 데이터 처 리 비용이 높아서 자율주행 자동차에서 실시간성을
보장하기 어렵다. 또한 자율주행 자동차에 있어 맵 은 신속하게 목표 지점까지의 경로를 생성하는 것 이 목표이다.
따라서 본 논문에서는 2차원 레이저 스캐너와 카 메라 데이터 융합의 3차원 맵 생성에서 높이 값을 제외한 색상 정보만을 이용하여 데이터 처리량이 감소한 2차원 맵을 생성기술을 제안한다. 본 논문의 구성은 다음과 같다. 2장에서 융합 관련 기존 논문 에 대하여 소개하고, 3장에서 제안 알고리즘을 소개 하고, 4장에서 실험을 통해 제안 알고리즘을 검증하 고, 5장에서 결론으로 끝을 맺는다.
2. 기존의 맵 생성 기법
자율주행 자동차의 맵 생성 기술은 Fig. 2와 같이 크게 글로벌 맵(Global Map)과 로컬 맵(Local Map) 으로 나눌 수 있다. 글로벌 맵의 경우 주행 전 위성 항법장치(Global Positioning System)를 이용하여 전 체적인 주행 경로를 작성하는 것이다. 전체 주행 경 로는 위도(Longitude), 경도(Latitude), 고도(Altitude) 의 데이터(Way Point)이다. 로컬 맵은 주행 중 센서 로부터 장애물(Obstacle), 차선(Lane), 차량(Vehicle) 과 같은 정보가 인식되면 새로운 주행경로를 생성 하는 기술을 말한다. 그리고 생성된 로컬 맵을 이용 하여 글로벌 맵을 업데이트 한다.
맵 생성 기술에 있어 글로벌 맵과 로컬 맵 둘 다 중요하지만 로컬 맵의 경우 자율주행 자동차가 주 행 중 실시간으로 주변 장애물을 인식하여야 하기 때문에 빠른 처리를 요구한다. 따라서 우리는 이러 한 로컬 맵 생성에 초점을 두고 있다.
Fig. 2 Map process
Minsung Kang․Soojung Hur․Ikhyun Park․Yongwan Park
자율주행 자동차의 로컬 맵 생성은 실시간성을 만족하기 위하여 알고리즘 처리시간 안에 맵을 생 성하여야 한다. 일반 센서(30 frame/s) 기준으로 차 량의 속도에 따라 얼마만큼의 거리마다 맵을 생성 하는지를 표현하였다. 센서는 t1시간에 데이터를 습 득하고 t2 시간에 다음 데이터를 습득한다. 이 t2-t1 에 해당하는 33.34ms 가 최대 알고리즘 처리시간을 뜻한다. 자율주행 자동차가 로컬 맵 생성 시 최대 알 고리즘 처리시간을 넘겨버리면 센서 데이터의 지연 이 생기게 되며 60km/h 기준으로 0.56m 보다 더 많 은 거리 지연 후 맵을 생성하게 된다. 이러한 거리 지연은 전방의 돌발 상황에 대하여 늦게 반응하게 되는 것을 뜻한다. 돌발 상황에 대한 반응은 운전자 의 생명과 연관되기 때문에 자율주행 자동차의 로 컬 맵 생성은 실시간성을 만족시켜야 한다.
기존의 센서 융합 기반의 3 차원 맵 생성 알고리 즘의 경우 Fig. 3과 같이 2 차원 레이저 스캐너 좌표 계와 카메라 좌표계의 기하학적 관계를 이용하여 맵을 생성한다(Calibration).14) 그리고 생성 한 맵에 서 도로 가장자리, 차선과 같은 정보를 인식한다. 따 라서 맵의 크기가 커짐에 따라 인식에 필요한 데이 터 처리량 역시 증가하게 된다. 하지만 이러한 데이 터 처리량 증가는 자율주행 자동차가 높은 속도일 때 실시간성을 만족하기 어렵다.
따라서 Fig. 4와 같이 센서로부터 필요한 정보를 먼저 인식한 후 좌표변환 하여 맵에 추가하는 방식 을 제안한다. 2 차원 레이저 스캐너를 이용하여 주 변 가장자리 인식 후 주행 가능 공간을 인식하고, 카 메라를 이용하여 차선의 정보를 인식 후 차선 모델
Fig. 3 Existing fusion algorithm
Fig. 4 Propose fusion algorithm
을 이용하여 차선을 예상한다. 이렇게 필요한 정보 를 먼저 인식 후 맵에 추가하면 데이터 처리량을 줄 일 수 있다.
맵 생성 알고리즘에서 주행 가능 공간 인식에 사 용하는 함수보다 차선 인식에 사용하는 함수의 복 잡도가 높기 때문에 더 많은 데이터 처리량을 요구 한다. 따라서 본 논문에서는 차선 인식에 필요한 데 이터 처리량 감소에 초점을 두고 있다. 기존 알고리 즘과 같이 맵을 생성하고 차선을 인식하게 되면 초 기의 카메라 데이터(640×480)보다 일반적으로 맵의 범위(100m 공간을 표현하기 위해 1000×1000 필요) 가 크기 때문에 데이터 처리량이 증가하게 된다는 문제점이 있다. 이를 해결하기 위하여 맵 생성 이전 에 차선의 정보에 모델을 적용하여 차선을 예상한 다 음 맵에 추가하였기 때문에 양 차선 정보(200*2*2)에 해당하는 정보만 필요로 한다. 따라서 차선 인식에 필요한 데이터 처리량을 감소하여 전체적인 맵 생 성에 필요한 데이터 처리량을 감소하여 자율주행 자동차의 실시간성을 만족하였다.
3. 센서 융합 기반 알고리즘
도심 환경에서 자율주행 자동차의 맵 생성에 있 어 2차원 레이저 스캐너의 거리 정보와 카메라의 색 상정보를 이용한다. 레이저 스캐너의 경우 카메라 에 비해 거리 정보가 정확하기 때문에 장애물의 위 치를 이용하여 주행 가능 공간을 인식한다. 하지만 도심 환경의 경우 주변 장애물뿐만 아니라 차선과 같은 정보도 인식 하여야 한다. 따라서 카메라의 색 상 정보를 이용하여 차선을 인식한 후 주행 가능 공 간에 추가하여 맵을 생성한다.
기존 맵 생성 알고리즘의 경우 레이저 스캐너 좌
Map Building Based on Sensor Fusion for Autonomous Vehicle
표계와 카메라의 좌표계의 기하학적 관계를 이용하 여 맵을 생성한다. 따라서 맵의 크기에 따라 차선 인 식에 필요한 데이터 처리량이 변화하게 된다. 본 논 문에서는 자율주행 자동차의 실시간 맵 생성을 위 하여 카메라의 차선 인식에 필요한 데이터를 감소 시킨다.
3.1 레이저 스캐너 기반 인식 알고리즘 주변 환경인식은 일반적으로 사용하는 점유 격자 지도(Occupied Grid Map)를 사용하였다.16) 점유 격 자지도는 Fig. 5와 같이 주변 환경을 N개의 셀로 분 해하고, 각 셀은 주행 가능 상태를 결정하기 위한 확 률 값을 가지고 있다. 셀의 크기는 가로 0.1m 세로 0.1m 이며 초기 확률 값은 0.5이다. 확률 값이 0인 경 우가 주행 가능한 상태(Free Space)를 나타내며, 1인 경우 주행 가능하지 않은 상태(Occupied)이다.
(1) where
:cell,
: probability of cell, N: size 2차원 레이저 스캐너 데이터를 점유 격자지도에 맞게 좌표 변환한다. 먼저 수집된 데이터가 Fig. 6과 같이 극좌표(Polar coordinates) 형태이기 때문에 인 간에게 직관적이면서 익숙한 직교좌표(Rectangular coordinates)로 변환한다.Fig. 5 Occupancy grid map
Fig. 6 Coordinates transformation (polar to rectangular)
(2)where
: Distance (mm),
: Degree (°)직교좌표계 형태인 2차원 레이저 스캐너 데이터 에 회전 행렬(Rotation Matrix)과 스케일 행렬(Scaling Matrix)을 사용하여 점유 격자 지도에 맞게 변환한 다. 2차원 레이저 스캐너의 경우 차량 전방의 데이 터만 수집하므로 차량의 진북방위각을 이용하여 회 전하였다. 그리고 2차원 레이저 스캐너의 데이터는 mm단위이므로 점유 격자지도의 셀의 크기에 맞게 0.1m 단위로 변환하였다.
마지막으로 점유 격자 지도의 각 셀의 주행 가능 상태(Free Space)의 판별은 식 (3)과 같은 함수를 사 용하였다.9) 센서에 인식되는 장애물의 거리가 멀어 질수록 정확도가 낮아지게 된다. 따라서 센서에 인 식된 장애물의 거리에 따라서 확률 값이 변화하는 함수를 적용하였다.
max
min ≤
≤
min
max
min≤
≤
max
max
(3)
where
: distance
max와
min은 센서의 최대, 최소 거리이며 본 논 문에서는 센서의 최대거리를 20m로 최소 거리는 0.1m로 설정하였다. 센서의 최대거리의 경우 차량 이 저속 주행(30km/h)일 때 제동거리가 15m 정도이 기 때문에 센서의 처리 속도를 고려하여 20m로 설 정하였다.3.2 카메라 기반 인식 알고리즘
카메라는 색상정보 기반의 데이터이기 때문에 2 차원 레이저 스캐너에 비해 거리 정보가 정확하지 않다. 그렇기 때문에 본 논문에서는 2차원 레이저 스캐너의 정보를 이용하여 전체적인 맵을 생성한 다. 2차원 레이저 스캐너로 인식할 수 없는 차선과 같은 색상 정보를 카메라를 이용하여 인식하여 맵 에 추가한다.
카메라로부터 차선 영상을 획득하여 일반적으로
강민성․허수정․박익현․박용완
Fig. 7 Lane model
직선을 추출할 때 사용하는 Hough Transform 함수 를 이용하여 차선을 인식하였다. 인식된 양 차선의 정보를 이용하여 중심점을 찾은 후 차선 모델을 이 용하였다. 도로 차선의 형태가 대부분 유사한 형태 이기 때문에 차선 영상에서 일정 영역(ROI)에 대한 정보만을 이용하여 차선을 복구하기 위하여 차선 모델을 사용하였다.
차선 모델의 경우 Fig. 7과 같은 차선 모델을 사 용한다. 차선 모델의 폭은 도로교통법의 일반 도로 의 폭에 해당하는 3m로 설정하였다. 그리고 차선 모델의 길이는 레이저 스캐너의 최대거리를 20m로 설정한 이유와 같이 차선의 길이 역시 20m로 설정 하였다.
3.3 맵 생성 알고리즘
맵 생성 알고리즘은 Fig. 8과 같이 크게 글로벌 맵 과 로컬 맵으로 구분할 수 있다. 맵 생성 전체 과정 의 경우 1) 전체 주행 경로(Way Point), 2) 맵 초기화 (Map Init), 3) 주행 가능 공간 인식(Free Space Detection), 4) 차선 인식(Lane Detection), 5) 로컬 맵 (Local Map), 6) 업데이트(Update)로 분류할 수 있다.
1) 주행 전 위성항법장치(GPS)를 이용하여 생성
Fig. 8 Map bulding
한 전체 주행 경로이다. 경로의 경우 위도, 경도의 데이터가 일정 간격으로 시작 위치부터 목적지까지 이어져 있다.
2) 전체 주행 경로를 따라 이동하면서 실시간으 로 로컬 맵을 생성하기 위하여 우선 맵을 초기화 한 다. 센서의 최대 거리가 20m이고 각 셀의 크기가 0.1m이기 때문에 차량을 중심으로 동, 서, 남, 북에 해당하는 공간에 대한 맵을 생성하기 위하여 400x400으로 설정한다. 맵의 각 셀의 확률 값은 0.5 로 초기화 하고 0은 흰색, 1은 검은색이며 0 ~ 1까지 그레이 색상으로 표현한다.
3) 맵의 크기와 셀의 확률 값을 설정하고 2차원 레 이저 스캐너의 데이터를 이용하여 Fig. 9(a)와 같이 주행 가능 공간을 인식한다. 4) 주행 가능 공간 인식 과 동시에 카메라 데이터에서 차선을 인식한다. 5) 주행 가능 공간 인식 데이터에 차선 정보를 추가하 여 Fig. 9(b)와 같이 로컬 맵을 생성한다.
로컬 맵을 생성하는 단계에서 기존 알고리즘과 제안 알고리즘의 차이점이 있다. 기존 맵 생성 알고 리즘은 Fig. 10과 같이 2차원 레이저 스캐너 좌표계 와 카메라 좌표계의 기하학적 관계를 이용하여 맵 을 생성하고 차선과 같은 정보를 인식한다는 것이다.
Fig. 9 Free space (a), Local map (b), Global map (c)
Fig. 10 Geometric relation between coordinate
자율주행을 위한 센서 데이터 융합 기반의 맵 생성
Fig. 11 Lane detection algorithm
차선 인식 알고리즘을 크게 분류하면 Fig. 11과 같이 표현할 수 있다. 이미지(Image)에서 이진화 (Binarization)를 한 다음 차선을 인식하기 위하여 직 선 인식 함수(Hough Transform)를 사용한다.
차선 인식에 있어 기본적으로 관심 영역(ROI)를 설정하여 데이터 처리량을 감소하게 한다. 하지만 기존 논문의 알고리즘의 경우 맵을 생성한 후 차선 을 인식하기 때문에 관심 영역(ROI)에 대한 영역이 확대된다. 그렇기 때문에 차선 인식에 필요한 데이 터 처리량이 증가하게 된다. 따라서 제안 알고리즘 의 경우 기본적인 맵의 형틀을 구축한 다음 차선 인 식에 대한 정보를 추가하기 때문에 데이터 처리량 을 감소할 수 있다.
6) 마지막으로 차량이 이동하는 속도와 방향에 맞춰 이전의 전체 경로에 로컬 맵을 업데이트 하여 Fig. 9(c)와 같이 글로벌 맵을 생성한다. 업데이트는 이진 베이지안 필터(Binary Bayes Filter)를 이용한 식 (4)와 식 (5)를 이용하였다.
(4)
⋅
(5)
4. 실 험 4.1 실험 환경
본 논문에서는 주변 환경인식을 위하여 2차원 레 이저 스캐너와 카메라를 사용하였다. 카메라는 Fig.
12(a)와 같이 Basler의 acA750-30gc 모델을 사용하였 다. 해상도는 752×582이며 30fps 이다. 2차원 레이저 스캐너의 경우 Fig. 12(b)와 같은 SICK사의 LMS 511 모델을 사용하였다. 최대 스캔 거리는 65m이며 스 캐닝 범위는 0°에서 190°까지 0.5° 간격으로 381개 의 극좌표 형태의 데이터를 수집할 수 있다.
Fig. 12 (a) Camera, (b) LIDAR, (c) Test vehicle
자율주행 자동차는 Fig. 12(c)와 같이 스포티지R 차량을 개조하여 사용하였다. 차량 범퍼 쪽에 2차원 레이저 스캐너를 설치하였으며 차량 앞 유리에 카 메라를 설치하였다. 그리고 산업용 PC를 탑재하고 소프트웨어는 LabVIEW를 사용하여 테스트 하였 다. 차량의 진북방위각은 RT3000 장비로부터 수집 하였으며 속도는 차량의 뒷바퀴에 설치한 엔코더를 이용하여 계산하였다. 실험 장소는 영남대학교 교 내에서 테스트 하였다.
4.2 실험 결과
실험은 크게 두 가지 측면에 대하여 기존 알고리 즘과 비교하였다. 먼저 맵의 위치 정확도와 기존 알 고리즘에 비하여 데이터 처리량이 감소하였는지에 대하여 비교하였다. 그리고 생성된 맵의 신뢰성을 확인하였다. 신뢰성의 경우 맵 생성의 최종 목표인 경로 생성이 가능한지에 대한 부분과 주위 장애물에 대한 정보가 맵으로 잘 표현되었는지를 확인하였다.
1) 기존 알고리즘과 정확도, 처리속도 비교 Fig. 1과 같은 맵에서 장애물, 차량위치에 대한 오 차를 계산하기 위하여 DGPS 장비를 이용하여 위도, 경도 데이터를 수집하였다. 생성된 맵의 위치오차 는 Table 1과 같이 35cm 정도로 DGPS 장비의 위치 오차가 10cm 내외이기 때문에 제안 알고리즘의 위 치오차는 30 ~ 40cm 정도로 계산할 수 있다. 기존 알 고리즘의 평균 위치오차는 52cm이며 제안 알고리 즘의 위치오차는 10cm정도 향상되었다.
2차원 레이저 스캐너 기반의 주행 가능 공간 인식 에 있어서는 기존 알고리즘과 크게 차이가 없다. 하 Table 1 Compare position error
알고리즘 위치오차
기존 알고리즘[14] 평균 52cm
제안 알고리즘 30 ~ 40cm
Minsung Kang․Soojung Hur․Ikhyun Park․Yongwan Park
Fig. 13 Data computation
지만 기존 알고리즘의 경우 카메라 데이터를 좌표 변환 하여 맵을 생성하고 차선을 인식하는 경우 좌 표변환에 대한 오차와 차선 인식에 대한 오차가 중 첩된다. 제안 알고리즘의 경우 차선을 인식하여 맵 에 추가하기 때문에 좌표 변환에서 생기는 오차가 감소하여 위치 정확도가 향상된다.
Fig. 13은 100m 지점까지 자율주행을 하며 맵 생 성하는데 걸리는 시간을 비교하였다. 2차원 레이저 스캐너 기반 맵 생성 알고리즘, 제안 알고리즘, 기존 알고리즘을 비교하였다. 센서의 최대 인식 거리를 20m로 설정하였기 때문에 20m 지점까지는 로컬 맵 의 크기가 증가하여 처리 시간이 증가한다. 기존 알 고리즘의 경우 맵의 크기가 커짐에 따라 차선 인식 에 필요한 데이터 역시 증가한다. 반면 제안 알고리 즘의 경우 차선 인식에 있어 맵의 크기에 대한 영향 이 적기 때문에 데이터 처리량 감소한다.
20m ~ 100m 까지는 로컬 맵을 글로벌 맵에 업데 이트를 하는 데이터로 인해 글로벌 맵의 크기가 점 차 증가하기 때문에 처리 시간이 조금씩 증가한다.
2차원 레이저 스캐너 기반 알고리즘의 평균 처리 시 간은 24ms, 제안 알고리즘은 37ms, 기존 알고리즘은 109ms이다. 제안 알고리즘이 기존 알고리즘보다 약 3배정도 처리 속도가 증가하였다.
2) 맵의 신뢰성 확인
실험 장소는 영남대학교 교내에서 같은 장소에
Fig. 14 Environment (a), Result (b)
Fig. 15 Environment (a), Result (b)
대하여 차량의 진행방향을 다르게 하여서 테스트 하였다. Fig. 14(b)는 Fig. 14(a)에 대한 테스트 결과 이며 Fig. 15(b)는 Fig. 15(a)에 대한 테스트 결과이다.
생성된 맵의 흰색부분이 주행 가능 공간으로 경로 생성이 가능하며 나무, 차량, 차선, 덤불과 같은 장 애물에 대한 정보가 맵에 표현되어 있다.
5. 결 론
본 논문은 자율주행을 위한 2차원 레이저 스캐너 와 카메라 데이터 융합 기반의 2차원 맵 생성 기술 을 개발하였다. 자율주행 자동차에 있어 맵은 신속 하게 목표 지점까지의 경로를 생성하는 것이 목표 이기 때문에 융합 기반의 2차원 맵 생성에 초점을 두었다. 맵 생성에 있어 카메라 데이터 부분을 Fig. 4 와 같이 하면서 위치 정확도와 데이터 처리량이 감
Map Building Based on Sensor Fusion for Autonomous Vehicle
소됨을 확인하였다. 그리고 Fig. 14와 Fig. 15에서 생 성된 맵의 경로 생성, 장애물 표현과 같은 신뢰성 부 분을 확인하였다. 맵의 주행 가능 공간(흰색)과 장 애물(검은색)에 대한 정보를 이용하여 경로 생성이 가능하며, 차량, 덤불, 차선과 같은 장애물에 대한 정보가 맵에 표현되어 있다.
향후 연구 과제는 2차원 레이저 스캐너와 카메라 데이터 융합 기반의 맵에 주행 가능 공간과 차선뿐 만 아니라 보행자, 신호등과 같은 정보도 추가하는 것이다. 이러한 연구는 자율주행 자동차에 있어 실 시간으로 맵을 생성하여 경로를 생성하는 시스템에 도움이 될 것이다.
후 기
본 논문은 2011년 영남대학교 교비 지원을 받아 수행되었으며(과제번호: 211-A-251-095), 교육부와 한국연구재단의 지역혁신인력양성사업으로 수행 된 결과입니다(No.2013H1B8A2031879).
References
1) Unmanned Ground Vehicle Master Plan, US Department of Defense Report, 1992.
2) K. Chu, J. Han, M. Lee, D. Kim, K. Jo, D. Oh, E. Yoon, M. Gwak, K. Han, D. Lee, B. Choe, Y. Kim, K. Lee, K. Huh and M. Sunwoo,
“Development of an Autonomous Vehicle:
A1,” Transactions of KSAE, Vol.19, No.4, pp.146-154, 2011.
3) S. Thrun, M. Montemerlo, H. Dahlkamp, D.
Stavens, A. Aron, J. Diebel, P. Fong, J. Gale, M. Halpenny, G. Hoffmann, K. Lau, C. Oakley, M. Palatucci, V. Pratt, P. Stang, S. Strohband, C. Dupont, L. E. Jendrossek, C. Koelen, C.
Markey, C. Rummel, J. van Niekerk, E. Jensen, P. Alessandrini, G. Bradski, B. Davies, S.
Ettinger, A. Kaehler, A. Nefian and P. Maho- ney, “Stanley: The Robot That Won the DARPA Grand Challenge,” J. Field Robot, Vol.23, No.9, pp.661-692, 2006.
4) M. Montemerlo, J. Becker, S. Bhat, H. Dahl- kamp, D. Dolgov, S. Ettinger, D. Haehnel, T.
Hilden, G. Hoffmann, B. Huhnke, D. Johnston,
S. Klumpp, D. Langer, A. Levandowski, J.
Levinson, J. Marcil, D. Orenstein, J. Paefgen, I.
Penny, A. Petrovskaya, M. Pflueger, G. Stanek, D. Stavens, A. Vogt and S. Thrun, “Junior: The Stanford Entry in the Urban Challenge,” J.
Field Robot, Vol.25, No.9, pp.569-597, 2008.
5) J. Wenger, “Automotive Radar - Status and Perspectives,” Proc. IEEE Compound Semicond.
Integer. Circuit Symp., pp.21-24, 2005.
6) J. Han, D. Kim, M. Lee and M. Sunwoo, “En- hanced Road Boundary and Obstacle Detection Using a Downward-looking LIDAR Sensor,”
IEEE Trans. Veh. Technol., Vol.61, No.3, pp.971-985, 2012.
7) A. Kirchner and T. Heinrich, “Model Based Detection of Road Boundaries with a Laser Scanner,” Proceedings of the IEEE Intelligent Vehicles Symposium, pp.93-98, 1998.
8) T. Weiss, B. Schiele and K. Dietmayer, “Robust Driving Path Detection in Urban and Highway Scenarios Using a Laser Scanner and Online Occupancy Grids,” Intelligent Vehicles Sympo- sium, pp.184-189, 2007.
9) M. Konrad, M. Szczot and K. Dietmayer, “Road Course Estimation in Occupancy Grids,” Intel- ligent Vehicles Symposium, pp.21-24, 2010.
10) K. Lin, C. Chang, A. Dopfer and C. Wang, “Map- ping and Localization in 3D Environments Using a 2D Laser Scanner and a Stereo Camera,”
J. Science and Engineering, Vol.28, No.1, pp.131-144, 2012.
11) M. Cole and M. Newman, “Using Laser Range Data for 3D SLAM in Outdoor Environments,”
Robotics and Automation, Vol.1, No.4, pp.1556- 1563, 2006.
12) R. Halterman and M. Bruch, “Velodyne HDL- 64E LIDAR for Unmanned Surface Vehicle Obstacle Detection,” Proceeding of Interna- tional Society for Optical Engineering, Vol.7692, No.9, pp.224-231, 2010.
13) L. Iocchi and S. Pellegrini, “Building 3D Maps with Semantic Elements Integrating 2D Laser, Stereo Vision and IMU on a Mobile Robot,”
Proceedings of the 2nd International Society for Photogrammetry and Remote Sensing Inter-
강민성․허수정․박익현․박용완
national Workshop 3D-ARCH, pp.915-926, 2007.
14) J. Joung, K. An, J. Kang, W. Kim, W. Kim and M. Chung, “3D Terrain Reconstruction Using 2D Laser Range Finder and Camera Based on Cubic Grid for UGV Navigation,” Transactions of Korean Institute of Electrical Engineers, Vol.46, No.6, pp.26-34, 2008.
15) U. Wong, B. Garney, W. Whittaker and R.
Whittaker, Camera and LIDAR Fusion for Mapping of Actively Illuminated Subterranean Voids, Field and Service Robotics, Springer, Berlin, Vol.62, No.4, pp.421-430, 2010.
16) S. Thrun, W. Burgard and D. Fox, Probabilistic Robotics, The MIT Press, Cambridge, Massa- chusetts, 2005.
