http://dx.doi.org/10.5369/JSST.2019.28.3.157 pISSN 1225-5475/eISSN 2093-7563
자율주행자동차를 위한 8채널 LiDAR 센서 및 객체 검출 알고리즘의 구현
김주영1,+ · 우승탁1 · 유종호1 · 박영빈1 · 이중희1 · 조현창2 · 최현용2
Realization of Object Detection Algorithm and Eight-channel LiDAR sensor for Autonomous Vehicles
Ju-Young Kim1,+, Seong Tak Woo1, Jong-Ho Yoo1, Young-Bin Park1, Joong-Hee Lee1, Hyun-Chang Cho2, and Hyun-Yong Choi2
Abstract
The LiDAR sensor, which is widely regarded as one of the most important sensors, has recently undergone active com- mercialization owing to the significant growth in the production of ADAS and autonomous vehicle components. The LiDAR sensor technology involves radiating a laser beam at a particular angle and acquiring a three-dimensional image by measuring the lapsed time of the laser beam that has returned after being reflected. The LiDAR sensor has been incor- porated and utilized in various devices such as drones and robots. This study focuses on object detection and recognition by employing sensor fusion. Object detection and recognition can be executed as a single function by incorporating sensors capable of recognition, such as image sensors, optical sensors, and propagation sensors. However, a single sensor has lim- itations with respect to object detection and recognition, and such limitations can be overcome by employing multiple sen- sors. In this paper, the performance of an eight-channel scanning LiDAR was evaluated and an object detection algorithm based on it was implemented. Furthermore, object detection characteristics during daytime and nighttime in a real road environment were verified. Obtained experimental results corroborate that an excellent detection performance of 92.87%
can be achieved.
Keywords: LiDAR sensor, Object detection, Advanced driving assistance system, Autonomous vehicle, Euro new car assess- ment program
1. 서 론
최근 들어 지능형 운전자 보조시스템(ADAS)를 이용한 차선 이탈경보시스템, 지능형자동순항시스템, 긴급 제동 시스템 등 자 율주행자동차를 위한 영상 처리 시스템의 기술이 주목받고 있 으며, 이는 자동차의 기본핵심기술들과도 밀접한 관련이 있다
[1-6]. 일반적으로 자동차의 전방 객체(보행자, 차량, 이륜차, 자 전거, 유모차 등)와 도로 객체(차선, 연석, 방지턱 등)를 인식하 기 위해 카메라, 레이더, LiDAR(Light detection and ranging) 등 의 센서가 주로 활용되고 있다.
레이더, 카메라, 초음파 센서들의 경우에는 국산화가 이루어 졌으나 LiDAR 센서의 경우 전량 수입에 의존하고 있는 실정이 다. LiDAR는 레이저 빔을 일정 각도로 방사하고 반사되어 되 돌아오는 레이저의 시간을 측정(TOF, time of flight)하여 3차원 의 영상을 획득하는 기술을 말하며 이러한 LiDAR 센서의 핵심 기술로는 고효율 광학계, 고속 레이저 드라이버, 저 잡음 수신 부, 신호 처리부, 영상처리 및 객체 인식 기술이 필요하다[7-15].
국내에서는 상용 LiDAR센서를 생산하는 업체가 없고 전량 수입에 의존하고 있으며, 연구소, 대학 및 전문연구소 차원에서 개발 중에 있지만 주로 해외제품을 이용한 신호처리 및 어플리 케이션 개발에 집중하고 있다[16, 17].
현재 상용화된 LiDAR센서는 대부분 모터 구동 3D laser scanning 방식이며, 대표적인 제품으로는 Velodyne社의 HDL-64E, Quanergy
1(재)경북IT융합산업기술원 센서연구팀(Sensor Reaserch Team, Gyeongbuk Institute of IT Convergence Industry Technology)
25, Gongdan 9-ro 12-gil, Jillyang-eup, Gyeongsan-si, Gyeongsangbuk-do, 38463, Korea
2전자부품연구원 IT융합부품연구센터(IT Convergence Components Research Center)
226, Cheomdangwagi-ro, Buk-gu, Gwangju, 61011, Korea
+Corresponding author: [email protected]
(Received: Mar. 25, 2019, Revised: Apr. 26, 2019, Accepted: May. 3, 2019)
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/
licenses/bync/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
社의 Mark-VIII, Ibeo社의 ScaLa B2, Sick社의 LD-MRS 등이 있 다. 이러한 상용화 제품에서 일반적인 기계식 모터를 사용하므 로 센서 모듈의 소형화와 소음 문제 등 구현의 한계가 존재한 다. 이러한 문제점을 해결하기 위해 Fig. 1에서 보는 바와 같이 MEMS (micro electro-mechanical system) 스캐닝 방식과 OPA (optical phased array) 방식으로 연구가 되고 있다[17-19].
본 논문에서는 자율주행자동차를 위한 8채널 LiDAR 센서 및 실시간 객체인식을 위한 알고리즘을 개발하였다. 8채널 LiDAR 센서는 기존 상용 LiDAR와 유사한 성능을 가지도록 고출력 4 채널 PLD 2개와 고효율 8채널 APD(pulse laser diode), 저 손 실 광학계와 수·발광 회전모터를 이용하여 차량에 적합하도록 구현되었다. 또한 LiDAR에서 획득한 PC(point cloud) 데이터를 파싱한 후 표면 법선을 이용하여 변곡점을 검출하고, 이 변곡점 을 기점으로 ECE (Euclidean Cluster Extraction) 알고리즘을 이 용하여 검출하고자하는 객체를 각각 분할하고 분할된 객체를 RANSAC(Random sample consensus) 알고리즘을 이용하여 객 체를 인식하는 알고리즘을 제안하였다.
또한, 구현된 알고리즘과 8채널 LiDAR를 이용하여 실 도로 환경하에서 검증을 수행하였다. 실험결과를 통해 해외 선진사 제품 대비 동등 수준 이상의 우수한 특성을 확인하였다.
2. 8채널 LiDAR센서 구조
LiDAR 는 고출력의 PLD와 고효율의 APD, 각 채널당 광 손 실이 작은 광학계 설계, 수/발광 회전 모터 제어, 물체 인식을 위한 DSP 모듈 설계, Eye-safety class 1 법규 만족하는 모듈 설 계기술이 핵심이다[20, 21]. 광 펄스의 수신 효율 및 거리 제약 의 개선을 위해 광 검출기, TIA(Trans-Impedance Amplifier)를 이용하여 광 수신부 설계하여고 광전 변환및 수신 효율의 극대 화를 위해 광 검출기로 APD 이용한다. 또한, 8채널 스캐닝 레 이저 센서를 구성하기 위해 Array APD를 사용하며, 75W × 8ch 를 이용하여 총 8개의 펄스 레이저 다이오드를 구동, 사이의 간 격은 0.8°으로 설계되었다.
Pulsed ID 전류가 150A의 Gallium nitride인 MOSFET을 사용 하여 구동 회로를 구성하였으며, 수평 시야각 0.125°를 만족하 기 위해 레이저 펄스의 반복 주파수 Δt를 108 kHz이상으로 스 위칭하게 된다.
4 채널 레이저 2개를 사용하여 8개의 레이저를 구동하며, 각각 의 레이저를 구동하기 위한 스위칭 회로를 추가하여 설계되었 다. 펄스 레이저 다이오드 드라이버는 높은 전압을 capacitor array된 부분에서 충전, MOSFET을 구동하고 capacitor 방전으 로 레이저를 구동한다.
레이저 빔이 송신부 렌즈와 반사 거울, 회전 거울을 지나 객 체에 도달하고 반사된 빔은 수신부 회전 거울과 반사 거울, 수 신부 렌즈를 통하여 APD 수신기로 전송된다. Motor Driver는
PWM(Pulse width modulator)을 통하여 제어가 되도록 설계하 였으며, 0.125°이상의 분해능을 가지며, 360°에서 120°부분에 총 960개의 pulse로 제어하게 된다. Fig. 1~3은 앞서 설명한 핵심 요소기술로 개발된 회전모터기반의 8채널 LiDAR의 3D 모델링 과 전체 신호처리를 위한 블록다이어그램, 실제 제작된 시제품 을 보여준다.
Table 1 은 개발된 LiDAR센서의 사양과 기존 8 채널 LiDAR 센서의 비교를 나타낸다.
LiDAR 의 모터 회전속도가 30 Hz일 때, 수평 공간 분해능 0.1
o를 만족하려면 레이저 펄스 반복 주파수 Δt는 216 kHz이상이 Fig. 1. Schematics of 8-ch scanning LiDAR based on a rotating mirror.
Fig. 2. Block-diagram for operating of 8-ch scanning LiDAR based on the object detection algorithm.
Fig. 3. Photogragh of the fabricated 8-ch scanning LiDAR.
어야 한다.
(1)
(2)
(3)
여기서 t
slit은 모터의 0~140°구간에서 걸리는 시간, c
pulse는 레 이저를 0.1° 간격으로 방사하기 위한 엔코더 슬릿 구간의 펄스 개수, f
pulse는 수평공간분해능 0.1°를 만족하는 펄스 반복 주파수 를 의미한다. 구현된 8채널 LiDAR의 반복 주파수 Δt는 Fig. 4 (a), (b) 와 같다. 모터의 스캐닝속도는 약 30.618 Hz로 측정되었 으며, 레이저의 반복주파수는 227.85 kHz로 측정 되었다. 이는 상기 수식 (3)에 비추어 볼 때 수평 분해능 0. 1°이하급의 성능 임을 확인 할 수 있다.
또한, 구현된 LiDAR의 측정 거리는 아래의 Fig. 5와 같이 레 이저 빔을 10 m단위로 30 m까지 이동하면서 LD, APD 신호를 측정함으로써 계산 할 수 있다.
LiDAR 레이저를 4.8% 반사율을 가지는 객체에 조사를 하고 90% reflection target으로 환산 시 최대 측정 거리는 아래의 수 식에 기반한다. LiDAR 센서의 최대 측정 거리 분석을 위한 실 험 환경 및 결과는 Fig. 6과 같다.
(4) 실험결과를 통해 90% reflection target으로 환산 시 수식(4)에 의해 최대 측정 거리는 약 130 m가 됨을 알 수 있다.
3. 객체 검출 알고리즘
기 개발된 LiDAR를 통해 실도로 환경하에서의 객체 검출을 위한 알고리즘을 구현하였으며, Fig. 7는 구현된 객체 검출 알 고리즘의 구조도를 나타낸다. 본 논문에서 제안한 객체 검출 알 고리즘은 Intel i7 7500U, 16GB RAM, intel 620 그래픽카드를 가진 PC 환경에서 Visual studio 2017(MS, USA)과 오픈 라이 브러리인 PCL(point cloud library)기반으로 소프트웨어를 구현 하여 검출 성능을 검증하였다.
t
slit1
30Hz --- 140
o360
o× 2 ---
×
=
C
pulse= FOV 0.1 ÷
of
pulsec
pulset
slit---
=
Dis tan ce
maximum30m 90 %
4.8 % ---
×
=
Table 1. The specifications of our developed LiDAR and conven- tional LiDAR sensor.
Items Fabricated
LiDAR
Ibeo Automotive Systems GmbH LUX model
Layer[ch] 8 8
Horizontal FOV[ ˚] 140 110
Angular resolution(V)/
@8 layer [ ˚] 0.8 0.8
Angular resolution(H) [ ˚] 0.1 0.125
Operating speed [Hz] 30 12.5 ~ 50
Distance resolution [cm] 10 4
Measurement distance
(10% remission) [m] 130(50) 200(50)
Eye-Safety [class] 1 1
Operating temperature [
oC] -40~+85 -40~+85 Product Size [HxWxD] 160x90x80 164x93x88
Fig. 4. Fabricated 8-ch scanning LiDAR; (a) The motor scanning speed and (b) laser frequency.
Fig. 5. Experimental schematic about detection distance of the fab-
ricated 8-ch scanning LiDAR.
획득한 객체 데이터는 PCL에 파싱한 후 표면 법선(Surface normal)을 이용하여 변곡점을 검출 후 이 변곡점을 기점으로 ECE알고리즘을 이용하여 객체를 각각 분할하고 분할된 객체를 Ransac 알고리즘을 이용하여 객체를 최종적으로 인식하게 된다.
LiDAR 의 데이터는 UDP broadcast를 기반으로 PC에서 수신 되며 데이터는 페킷당 672 byte로 구성된다. 페킷은 다시 42 byte 의 헤더와 4 byte의 타임 스템프, 2 byte의 팩토리, 그리고 각각 52 byte의 데이터 블록 12개로 구성된다. 각 데이터 블록 은 2 byte의 플래그, 2 byte의 azimuth, 48 byte의 채널 데이터 (8 채널×2회×(2 byte 거리 정보 + 1 byte 반사율)로 구성된다.
수신된 데이터를 객체 인식 알고리즘에서 파싱한 후 해당 데 이터를 PCL에서 사용하기 위해 아래 수식을 이용하여 구면 좌 표계(Spherical coordinate system)에서 직교 좌표계(Rectangular coordinate system) 로 변환하게 된다.
, , (5)
여기서 r은 거리, θ는 수평각, Φ는 수직각을 의미하며, 변환 된 데이터를 이용하여 3차원 뷰어 프로그램에 맵핑하게 된다.
Fig. 8 은 보행자, 이륜차, 자동차 전/후방의 각 객체별 맵핑된 결 과를 보여준다.
4. 객체 검출 실험환경 및 결과
기 개발된 8채널 LiDAR및 객체 인식 알고리즘의 검증을 위 해 자동차 주행도로시험장(지능형 자동차 부품진흥원, KIAPI) 및 일반 실도로내에서 객체 검출 실험을 수행하였으며, 실험 환 경은 Fig. 9와 같다.
실험은 주·야간 동안 50m이내에서 동적 객체인 자동차, 보행 자, 자전거 3종에 대한 검출 평가를 수행하였다. 각 객체에 대 한 검출률은 민감도, 특이도, 정밀도, 정확도에 따라 계산하였으 며, 성능 평가에 대한 산출식은 아래의 Table 2와 같다.
성능평가 시나리오는 ISO15623을 기반으로 200회씩 만족하 였으며, 민감도(Sensitivity)는 객체가 있는데 얼마나 있다고 예 측, 특이도(Specificity)는 객체가 없는데 얼마나 없다고 예측, 정 밀도(Precision)는 객체가 있다고 예측한 것에 얼마나 있었는지, 정확도(Accuracy)는 객체가 있는 곳에 있고 없는 곳에 없다고 예측한 것인지에 대한 평가 지표이다. 본 논문의 실험에서는 각
x = r sin θ cos ∅ y = sin θ ∅ sin z = r cos θ
Fig. 6. (a) Experimental picture and (b) the results of reflection as the distance.
Fig. 7. Diagram of the signal processing based on object detection algorithm.
Fig. 8. Object mapping results for detection target base on coordinate
system.
객체별로 검출률 실험을 수행하였으며, Fig. 10은 주간에서의 보 행자, 자동차 및 이륜차의 객체 검출을 결과를 보여준다. LiDAR 센서를 통해 검출된 객체 데이터 정보는 PC기반의 검출 알고리 즘을 통해 뷰어를 통해 맵핑되고 거리, 위치, 객체 규격에 대한 정보가 3D뷰어를 통해 모니터링 된다.
또한, Fig. 11은 야간에서의 보행자, 자동차 및 이륜차의 객 체 검출을 결과를 보여준다. 상대적으로 빛의 반사율이 높은 밝은 계열의 자동차 또는 객체가 검출률이 높게 나타나며, 규 격이 큰 중대형의 자동차의 경우 높게 나타난다. 또한, 빛의 반사 영향이 적은 요인들로 인해 주간보다 야간에서 높은 검 출률을 보인다.
주야간 객체별 각각 200회씩 수행한 실험결과는 Table 3과 같 다. 실험결과를 통해 자동차의 경우 평균 94.11%의 검출률을 보 이며, 보행자의 경우 평균 91.91% 검출률을 보였다. 또한, 이륜 차의 경우 92.60%의 검출률을 보였다. 특히, 주간보다 야간에 서 대부분의 실험이 약 2~3% 높은 검출률을 보였으며, 객체의 규격이 클수록 높은 검출 특성을 보였다. 이는 LiDAR를 통해 반사되는 면적이 많고 빛의 영향에 둔감한 야간일수록 검출률 이 높다는 것을 알 수 있다.
5. 결 론
본 논문에서는 기 개발된 8채널 스캐닝 LiDAR센서에 대한 Fig. 9. Experimental environment picture for object detection ver-
ification base on 8-ch scanning LiDAR and algorithm.
Table 2. The calculation formula for object recognition.
True (object presence)
False (object none) Positive
(object presence decision) (TP) (FP) Negative
(object none decision) (TN) (FN) Fig. 11. Object detection results of the night time.
Table 3. Object detection results base on the calculation formula.
Object daytime nighttime Average
Vehicle 92.61 95.61 94.11
Person 91.21 92.61 91.91
Bicycle 91.60 93.61 92.60
Fig. 10. Object detection results of the day time.
모터 동작 및 수평 수직 분해능 등 기본적이 성능에 대해 평가 하고 이를 기반한 자율주행자동차용 객체 검출 알고리즘을 구 현하여 평가하였다. 8 채널 LiDAR는 가로160×세로90×높이 80mm 의 규격을 가지며, FOV 140°, 수평 분해능 0.1°급, 수직 분해능 0.8°급, 최대 검출 거리 130m의 성능을 가진다. 또한, 객 체 검출을 위한 알고리즘은 PCL및 표면 법선을 이용한 변곡점 을 이용하여 객체를 검출하여 모니터링한다. 구현된 알고리즘은 PC 기반의 신호처리기법으로써 LiDAR 센서와 비교적 안정적인 데이터 통신이 가능하다.
실 도로 환경하에서의 주·야간 객체 검출 실험을 통해 자동차, 보행자 및 이륜차의 각 객체별 검출 특성을 평가하였으며, 실험 결과 평균 92.87%의 우수한 검출 성능을 확인 하였다. 최종적 으로는 본 논문에서 구현된 PC기반의 객체 검출 알고리즘을 통 합 임베디드 기반의 모듈에 적용하여 객체의 검출 평가가 요구 된다. 이는 임베디드 상의 통신 프로토콜 조건, 하드웨어 규격, 노이즈 외란 등의 부가적인 문제점에 대해 극복이 필요하다. 또 한, LiDAR 센서의 고질적인 문제인 주간 빛의 산란과 외란에 둔감한 특성이 요구된다. 본 논문의 실험결과와 같이 주간과 야 간 간의 객체 검출률은 약 2~3% 차이를 보인다. 이러한 문제들 을 극복하기 위해 LiDAR의 구조 및 빛 외란 대응 기술 등이 추가적으로 요구된다.
LiDAR 센서 및 객체 검출 기술은 ADAS 및 스마트 카 부품 시장이 폭발적으로 성장됨에 따라 지속적으로 연구되고 있는 분 야이다. 최근, 국내에서도 상용화를 목표로 개발하는 업체들이 늘어가고 있는 추세이지만, 여전히 핵심 센서 및 알고리즘에 대 한 기술 확보가 미흡하다. 이에 본 논문에서 제안하는 8 채널 LiDAR 센서 및 객체 검출 알고리즘 기술은 향 후 지능형 자동 차 핵심 기술로써 활용될 수 있을 것이다.
감사의 글
본 연구는 산업통상자원부 한국산업기술진흥원 경제협력권 산 업육성사업 (R0005641), 한국산업기술평가관리원 산업기술혁신 사업 (10054575), 2019년도 과학기술 정보통신부의 재원으로 정 보통신기획평가원의 지원(No. 2019-0-00027, 다중센서 융합 및 인공지능 기반 자율주행차용 상황인지/주행판단 SoC 개발)의 지 원을 받아 이루어진 것임.
REFERENCES
