http://dx.doi.org/10.5369/JSST.2019.28.3.164 pISSN 1225-5475/eISSN 2093-7563
차선 인접 에지 검출에 강인한 필터를 이용한 비전 센서 기반 차선 검출 시스템
신주석1 · 정제한1 · 김민규2,+
Lane Detection System Based on Vision Sensors Using a Robust Filter for Inner Edge Detection
Juseok Shin1, Jehan Jung1, and Minkyu Kim2,+
Abstract
In this paper, a lane detection and tracking algorithm based on vision sensors and employing a robust filter for inner edge detection is proposed for developing a lane departure warning system (LDWS). The lateral offset value was precisely calculated by applying the proposed filter for inner edge detection in the region of interest. The proposed algorithm was subsequently compared with an existing algorithm having lateral offset-based warning alarm occurrence time, and an average error of approximately 15ms was observed. Tests were also conducted to verify whether a warning alarm is generated when a driver departs from a lane, and an average accuracy of approximately 94% was observed. Additionally, the proposed LDWS was implemented as an embedded system, mounted on a test vehi- cle, and was made to travel for approximately 100km for obtaining experimental results. Obtained results indicate that the average lane detection rates at day time and night time are approximately 97% and 96%, respectively. Furthermore, the processing time of the embed- ded system is found to be approximately 12fps.
Keywords: Lane detection, Vision Sensor, ADAS
1. 서 론
최근 센서 기술, 인공지능 및 컴퓨터 기술의 급속한 발전에 따라 자동 긴급 제동 시스템(Autonomous Emergency Braking System), 전방 충돌 경고 시스템(Forward Collision Warning System) 및 차선 이탈 경고 시스템(Lane Departure Warning System) 과 같은 능동형 운전자 보조 시스템이 고급 승용차에서 부터 경차까지 장착되어 출시되고 있는 추세이다. 특히, 운전자 가 의도하지 않게 차선을 넘어갈 경우, 운전자에게 경고를 주어 사고를 예방하는 시스템인 차선이탈경고 시스템의 경우에는 경 차에도 시스템이 탑재될 만큼 대중화가 되어 있는 시스템이다.
능동형 운전자 보조 시스템을 제공하기 위해 Radar, Lidar, Ultra- Sonic 및 비전 센서들을 활용하고 있으며[1,2], 특히 전방 차량, 보행자 및 교통 표지판을 인식 및 분류하거나 차선을 검출하기 위해서는 비전 센서가 반드시 필요하다[3-5].
비전 센서를 이용한 차선 검출 시스템에 관한 연구는 최근까 지 활발하게 진행되고 있으며, 조감도 영상을 기반으로 차선을 검출하는 방법[6,7], 스테레오 비전 센서를 이용한 차선 검출 방 법[8] 등이 있다. 또한 차선 검출에 딥 러닝을 활용하는 연구[9]
도 활발히 진행 중이다. 조감도 영상 기반의 차선 검출 시스템 은 카메라의 움직임에 따라 성능 저하가 발생할 수 있으며, 스 테레오 카메라 및 딥러닝 기반의 차선 검출 시스템은 저가의 임 베디드 보드 상에서 운영하는 것은 성능과 처리속도면에서 한 계가 있다.
본 논문에서는 임베디드 시스템에서 운영 가능한 차선의 안 쪽 에지 검출에 강인한 필터를 이용한 비전 센서 기반의 실시 간 차선 검출 및 추적 알고리즘을 제안하였다. 제안한 알고리즘 을 기반으로 차선 이탈 경고 시스템 (LDWS: Lane Departure Warning System)을 I.MX6Q 보드에 구현하였으며, 실험 결과 차선 검출 인식 성능은 평균 96%임을 확인하였다. 그리고 차선 이탈에 대한 경고 발생 시점을 Mobileye560과 비교했을 때 평 균 15 ms 정도의 오차를 보임을 확인하였다.
본 논문의 구성은 2장에서 제안한 알고리즘에 대하여 기술하
1이인텔리전스 자율주행시스템개발팀(Dept. of Autonomous Driving System)
2한국폴리텍대학교 울산캠퍼스 자동화시스템과 (Dept. of Automation Systemr, Ulsan Campus of KOREA POLYTECHNIC)
[44482] 155, Sanjeon-gil, Jung-gu, Ulsan, Korea
+Corresponding author: [email protected]
(Received: April. 8, 2019, Revised: April. 18, 2019, Accepted: May. 3, 2019)
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/
licenses/bync/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
며, 3장에서 실험을 통하여 제안된 기법의 성능을 검증하고, 4 장에서 결론을 도출한다.
2. 제안 방법
임베디드 보드에 구현된 차선이탈 경고 시스템은 차선 검출 모듈, 차선 추적 모듈과 Lateral offset 기반의 차선 이탈 판단 모듈로 구성하였다. Fig. 1은 시스템 개요도를 나타낸다.
2.1 차선 검출 모듈
차선 검출 모듈은 Canny Edge Detector 및 차선 두께에 대한 Look-up 테이블을 이용하여 이진화 영상을 생성하거나 관심영 역이 지정되었을 경우, 차선 안쪽 에지 검출에 강인한 필터를 적용하는 전처리 단계와 허프 변환(Hough Transform)을 이용한 차선 후보군 생성 및 자차선(Ego-Lane)을 검출하는 차선 선택 단계로 구성되어 진다.
2.1.1 전처리
차선 에지를 포함한 이진화 영상을 생성하기 위한 가정사항 은 아래와 같다.
1) 차선의 색상은 도로의 색상보다 항상 밝다[7].
2) 고정된 위치에 장착된 카메라로부터 획득된 영상 데이터를 이용하여 차선의 두께에 대한 Look-up 테이블을 사전에 생성하 였다[10].
이진화 영상을 생성하기 이전에 임베디드 보드에서 운영 가 능하도록 입력 영상을 320x240 이미지로 Re-sampling하였으며, Canny Edge 를 수행하기 위해 그레이 스케일 영상으로 변환하 였다. 변환된 그레이 스케일 영상으로부터 잡음을 제거하기 위 하여 Gaussian blur를 사용하였다[11]. 본 논문에서는 Gaussian blur의 파라미터인 필터 크기는 7×7, sigma는 1.4의 값을 사용 하였다. 에지를 검출하기 위하여 Canny Edge Detector를 사용 하였으며[12], 에지 영상으로부터 차선과 유사한 에지 정보만을 남기기 위하여 사전에 생성한 차선 두께 Look-up테이블을 이용 하여 차선을 포함한 이진화 영상을 생성하였다.
Fig. 2의 (a)는 입력영상을 나타내고 있으며, (b)는 그레이 스
케일 영상에서 Gaussian blur를 적용한 이미지이다. (c)는 Canny Edge Detector를 수행한 결과 영상을 나타내고 있으며, (d)는 차 선 두께 Look-up 테이블 적용 결과이다. Canny Edge Detector 를 적용한 결과 영상에서는 차선 이외의 다양한 잡음을 포함하 고 있지만 차선 두께 Look-up 테이블을 적용하게 되면 잡음이 많이 줄어든 것을 확인할 수 있다.
차선 추적 모듈을 통하여 관심영역이 지정된 경우에는 영상 전체에 대하여 에지 검출을 하지 않고 관심 영역 내에서 Fig. 3 과 같은 필터를 식(1)을 이용하여 적용하였다. 는 적용할 필 터의 크기이다.
(1) 좌측 차선의 안쪽 에지를 검출하기 위해서 Fig. 3의 (a) 필터 를 적용하였으며, 우측 차선의 안쪽 에지를 검출하기 위해서 (b) 필터를 적용하였다. (c)는 차선 선택 이후 관심 영역이 지정된 결과를 나타낸 것이며, (d)는 관심 영역이 지정된 상태에서 제 안한 필터를 적용한 결과이다. 차선의 안쪽 에지 검출을 위한 별도의 프로세스가 없이 필터만 적용하더라도 차선의 안쪽 에 지가 검출되는 것을 확인할 수 있다.
dst x w y ( + , ) Σ =
w 0w 1=–F w ( ) src x w y × ( + , ) Fig. 1. System overview
Fig. 2. Result of the pre-processing phase: (a) Input image, (b) Result of the Gaussian blur, (c) Result of the Canny Edge, (d) Result of the applied look-up table of the lane thickness.
Fig. 3. Robust filter for detection of the Inner edge: (a) Filter applied
to the left lane, (b) Filter applied to the right lane, (c) Spec-
ified ROI after select of the ego-lane, (d) Result of applying
the proposed filter.
2.1.2 차선 선택
차선 선택 단계에서는 이진화 된 영상으로부터 허프 변환을 이용하여 직선 성분을 도출할 수 있다. 허프 변환을 통하여 도 출되는 직선은 ( )의 쌍으로 출력이 되며[7], 카메라의 위치 가 고정되어 있으므로 값의 범위를 조정하여 필요 없는 직 선 성분들을 제거할 수 있다. 본 논문에서는 좌측 차선의 경우, , 우측 차선의 경우 내에 포함된 ( ) 쌍을 각각의 차선 후보군으로 선택하였다.
Fig. 4의 (a)는 허프 변환 결과를 보여주고 있으며, (b)는 값의 범위를 지정하여 불필요한 직선 성분들을 제거한 결과를 보여주고 있다.
좌측 및 우측 차선에 대한 후보군만 생성되었기 때문에 후보 군에서 각각 하나의 차선을 선택해야한다. 후보군을 기준으로 모든 포인트들과 허프 변환 결과의 모든 직선들과 거리 값을 구 한다. 거리 값이 가장 짧은 허프 변환 결과의 직선을 좌측 및 우측 자차선으로 선택하였으며, 식(2), (3)을 이용하였다.
(2) (3) x, y는 관심 영역 내에 있는 픽셀의 위치이며, , 은 x, y 좌표에서 허프 변환으로부터 도출된 직선에 수선의 발을 내린 점의 좌표이다. N은 관심 영역 내에 있는 모든 포인트 개수이다.
Fig. 4 의 (c)는 자차선을 선택하기 위한 방법을 도식화한 것이 고, (d)는 자차선을 선택한 결과를 보여주는 것이다. 선택된 각 각의 차선은 차선 추적을 하기 위한 관심영역 지정에 사용되며, 추적 단계부터는 관심영역 내에서만 차선을 검출함으로써 오검 출을 줄였으며, 처리속도도 향상시켰다.
2.2 차선 추적 모듈
차선 검출 모듈에서 선택된 차선을 이용하여 매 프레임마다 차선의 위치를 측정하는 경우, 오검출 등으로 차선의 위치가 불
안정하게 이동하게 된다. 이러한 문제를 방지하기 위하여 칼만 필터 (Kalman filter)를 이용하여 차선의 동선을 부드럽게 보정 하였다[13]. 본 논문에서는 선택된 직선의 값을 칼만 필터 를 이용하여 보정하였으며, 보정된 값을 기반으로 관심영 역을 갱신하였다. 상태 변수 및 상태 전이행렬은 식(4), (5)와 같 이 정의하였으며, 상태 및 측정 방정식의 노이즈는 백색잡음으 로 가정하고 각 프로세스는 다른 프로세스와 상관관계가 없는 것으로 가정하였다.
(4)
(5)
는 영상 원점으로부터 검출된 차선까지의 수직 거리이며 는 허프 변환의 출력 값인 값으로 수직방향과 검출된 직선 사이의 각도이다. 와 은 이전 프레임과 현재 프레임 사 이의 , 값의 차이 값이다. 첨자 은 왼쪽 차선을 표현한 것이며 은 우측 차선을 나타낸 것이다.
2.3 차선 이탈 여부 판단
차량의 타이어로부터 차선까지의 거리(Lateral offset)를 기준 으로 차선 이탈 여부를 판단하였다[14].
시스템에서 검출된 차선까지의 거리 계산 방법은 Fig. 5 (a) 와 같이 차선의 실제 거리(m)를 측정하고 (b)와 같이 시스템 영 상 내 좌우 차선 폭이 가지는 총pixel 개수를 측정하여 m/pixel 을 계산하였다. 그 후 검출된 차선의 위치에 따라 Lateral offset 값을 계산하여 차선 이탈 여부를 판단하였다.
최종적인 Lateral offset 값은 아래 식 (6)을 통하여 얻을 수 ρ θ ,
θ
22.5
o∼ 55
o– 55
o∼ – 22.5
oρ θ , θ
D
K= Σ
i 0N=( x
i– x
i′)
2+ ( y
i– y
i′)
2L = min D ( )
kx′ y′
ρ θ , ρ θ ,
xˆ
k= ( l ρ lθ Δlρ Δlθ rρ rθ Δrρ Δrθ )
TA
1 0 1 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1
=
ρ
θ θ
ρ Δ Δ θ
ρ θ ′l′
′r′
Fig. 4. Select Ego-Lane: (a) Result of the Hough Transform, (b) Set the candidates for the left and right lanes, (c) Method of the Select Ego-Lane, (d) Result of the Select Ego-Lane.
Fig. 5. Calculation of Lateral offset: (a) Measurement of the world-
coordinate for the lane width, (b) Measurement of the number
of the pixel for the lane width in the image-coordinate.
있다. X값은 장착된 카메라로부터 차선까지의 거리이며, 장착된 카메라는 차량의 중앙에 부착되어 있다고 가정하였으며, tread 는 테스트 차량의 제원 중 윤거 값을 사용하였다.
(6)
차선까지의 남은 거리를 기준으로 임계 값 이하가 되면 차선 을 이탈했다고 판단하였으며, 임계 값은 10 cm로 설정하였다.
또한 CAN(Controller Area Network) 통신을 통하여 방향 지시 등 값을 받았으며, 방향 지시등이 켜지지 않은 상태에서 차선을 이탈하는 것은 운전자가 의도치 않게 차선을 이탈하는 것으로 판단하여 부저 및 CAN으로 신호를 전달하였다.
3. 실험 및 평가
제안한 차선 검출 및 추적 알고리즘은 I.MX6Q 보드에 구현 하였으며, 처리속도는 평균 12 fps(frame per seconds) 이다. Fig.
6은 I.MX6Q 보드를 나타내고 있으며, Fig. 7은 구현한 시스템 의 아키텍처를 나타낸 것이다.
본 논문에서 제안한 차선 검출 및 추적 알고리즘은 차선 검 출 인식률과 차선 이탈 판단 정확도에 대한 실험을 통하여 성 능을 검증하였다. 실험 평가를 위하여 테스트 차량에 카메라, 임 베디드 보드, Display 장치 및 계측장비를 탑재하여 약 100 km 를 주행하였으며, 원본 영상, 결과영상 및 CAN 통신 데이터를 저장하였다.
차선의 인식률을 산출하기 위하여 저장된 원본 영상에서 Ground Truth(GT)를 생성하였으며, 정밀도(Precision) 및 재현
율(Recall)을 식(7), (8)을 이용하여 계산하였다.
(7)
(8)
차선을 이탈한 경우, 차선 합류 지점, 곡률이 매우 큰 도로에 대한 영상은 인식 성능 평가에 반영하지 않았으며, 자차선에 대 해서만 인식 성능을 평가하였다. Table 1은 실험 결과를 나타낸 것이다.
실험 결과 낮 영상의 경우 약 98.57% 정밀도를 보였으며, 야 간에는 약 99.31%의 정밀도를 보였다. 이는 차선 추적 모듈에 의한 정확한 관심 영역 지정으로 오검출을 줄인 결과이다. 재현 율의 경우, 주간 및 야간에 대한 성능이 평균 약 94.36%로 제 안한 차선 검출 및 추적 알고리즘을 통하여 차선 검출이 잘 되 었다는 것을 보여준다.
Fig. 8, 9, 10 은 주간 및 야간 환경, 직선 및 곡선 도로에서의 차선 검출 및 추적 결과 영상을 보여주고 있으며, 고속도로, 산 Lateral off set X tread
--- 2
⎝ ⎠
⎛ ⎞
–
=
Precision Number of True Positive Number of Detection Results ---
=
Recall Number of True Positive Number of Ground Truth ---
=
Fig. 6. I.MX6Q board
Fig. 7. System architecture
Fig. 8. Experimental result at daytime to the straight lines: (a) A shadowy road, (b) A lot of road markings, (c) A lot of vehi- cles and weak lane marking.
Fig. 9. Experimental result at night time to the straight lines: (a) Weak lane marking, (b) A lot of road markings, (c) A lot of vehicles.
Fig. 10. Experimental result at daytime to the curve lines: (a) Weak lane marking, (b) Vehicle exist near the curve lanes, (c) Guard rail on the left side of the curve lane.
Table 1. The result of accuracy of lane detection
Environment Precision Recall
Day 98.57 96.25
Night 99.31 92.47
업도로 및 노면에 표시가 많은 도로에서도 차선 검출이 잘 동 작함을 보여준다.
하지만 황색 차선, 훼손된 차선 등을 제대로 인식하지 못한 결과가 성능에 반영되어 재현율이 정밀도보다 성능이 좋지 않 은 것을 시험을 통해 확인하였으며, Fig. 11은 이에 대한 결과 를 보여주고 있다. Fig. 11의 (a), (b)의 경우, 황색 차선을 제대 로 검출하지 못한 결과를 보여주고 있으며, (c)는 차선이 훼손 되어 차선이 검출되지 못한 결과를 나타내고 있다.
본 논문에서는 차선 이탈 판단 정확도를 평가하기 위해 NHTSA(National Highway Traffic Safety Administration) 의 LDWS confirmation test 문서를 참고하였으며, 직선 도로에서 흰색 실선, 점선 차선과 황색 실선, 점선 차선에 대하여 좌측 및 우측으로 각각 50번씩 차선 이탈을 시도하였고, 알람 발생 여부 로 성능을 평가하였다. 차량 속도는 65~80 km/h로 테스트를 진 행하였다.
Table 2는 차선 이탈 판단 정확도에 대한 결과를 나타낸 것이 며, 흰색 직선 차선에 대한 이탈 판단 정확도가 황색 직선 차선 에 비해 약 7.5% 높은 것을 확인할 수 있다. 이는 흰색 차선이 황색 차선에 비해 도로 색상과의 밝기 차이가 크기 때문에 나 타난 결과이다. 즉, 흰색 차선에 대한 인식률이 황색 차선에 대 한 인식률 보다 높기 때문에 나타난 결과이다.
Lateral offset 거리 계산 정확도를 테스트하기 위해 차선 이탈 시 Mobileye560에서 발생하는 경고 알람 시점과 비교평가를 진 행하였으며, 경고 알람 시점은 계측장비를 이용하여 측정하였다.
Fig. 12는 그 결과를 보여주고 있으며, 상단 그래프는 경고 알 람 시점을 표현하고 있고, 하단 그래프는 본 논문에서 제안한 시스템에서 출력되는 Lateral offset값을 경고 알람 시점과 함께
Table 2. The result of the accuracy test for lane departure warning Lane Color
(Straight) Left lane type Right lane type Pass/Trials
White
Solid Solid
Dashed
50/50 49/50
Dashed Solid
Dashed
50/50 48/50
Yellow
Solid Solid
Dashed
48/50 44/50
Dashed Solid
Dashed
47/50 43/50 Fig. 11. Experimental result of fail case: (a) Double yellow left lanes,
(b) Weak yellow left lane, (c) White lane with severe dam- age.
Fig. 12. Lateral offset based departure timing test. (a) White straight
lane test using Canny Edge filter, (b) White straight lane test
using proposed filter, (c) Yellow straight lane test using pro-
posed filter
나타낸 그래프이다.
상단 그래프 상에 노란색 실선은 차선 이탈 시 Mobileye560 에서 출력되는 값이며 0, 1, 2 총 3개의 값을 가진다. 0의 값은 normal 상태이며 1의 값은 왼쪽 차선 이탈, 2의 값은 오른쪽 차 선 이탈을 의미한다. 초록색 실선은 본 논문에서 구현한 차선이 탈 경고시스템에서 출력되는 값으로 0,1의 값을 가진다. 0은 normal 상태이며 1은 차선 이탈 상황을 나타낸다.
차선 이탈 판단 기준은 Fig. 12에 표시되어 있는 임계값 이하 일 경우이며, ±3 cm 오차를 가진다. Fig. 12의 (a), (b)는 Table 2 의 흰색 직선차선으로 좌우 차선 모두 실선일 경우에 대한 테 스트 결과이며, (a)는 관심 영역 내에서 Canny Edge를 사용한 결과이고, (b)는 본 논문에서 제안한 차선 안쪽 에지 검출에 강 인한 필터를 적용했을 때의 결과이다. 상용화 제품과 본 논문에 서 제안한 시스템과의 결과를 비교해 볼 때 Canny Edge를 사 용했을 경우, 차선 안쪽 에지 검출을 하기 위한 별도의 프로세 스가 포함되지 않았기 때문에 경고 알람 시점에 대한 오차가 평 균 23.022 ms였으며, 본 논문에서 제안한 기법으로 테스트했을 경우, 오차가 평균 8.946 ms인 것을 시험을 통해 확인하였다. 이 는 차선을 이탈할 경우, 본 논문이 제안한 필터를 통하여 보다 정확한 알람을 운전자에게 알려줄 수 있음을 나타낸다.
(c)의 경우 좌측 차선이 흰색 실선이고 우측 차선이 황색 차 선일 경우에 대한 시험 결과이다. 황색 차선을 검출하지 못하여 검출된 좌측 차선을 기준으로 우측 차선을 추정하였으며, 추정 된 값을 사용하였기 때문에 경고 알람 시점이 상용제품 대비 16.557 ms 오차가 발생하였다.
차선 인식률과 차선 이탈 경고 시점에 대한 시험 결과 황색 차선일 경우 성능이 저하되는 것을 확인할 수 있었으며, 이는 색상 특성을 이용하는 방법을 통하여 성능을 보완할 계획이다[15].
4. 결 론
본 논문에서는 차선 안쪽 에지 검출에 강인한 필터를 이용한 차선 검출 및 추적 알고리즘을 제안하였으며, 제안한 알고리즘 을 임베디드 시스템에 구현하여 시험하였다. 제안한 알고리즘은 전처리 및 차선 선택 단계를 포함한 차선 검출 모듈과 차선 추 적 모듈 및 차선 이탈 판단 모듈로 구성되었다.
차선 추적 모듈의 관심영역 지정 및 관심 영역 내에서 차선 을 검출함으로써 오검출을 줄 일 수 있었으며, 처리속도도 향상 시킬 수 있었다. 시험 결과 주간 및 야간 환경에서의 차선 인식 율은 각각 평균 97%와 96%이였으며, 임베디드 보드 상에서 처 리 시간은 약 12fps임을 확인하였다. 또한 차선을 이탈할 때 경 고 알람 발생 여부를 시험한 결과, 평균 94% 이상의 정확도를 보였다.
마지막으로 관심 영역 내에서 제안한 차선 안쪽 에지 검출에 강인한 필터를 적용함으로써 Lateral offset 값을 보다 정확하게 계산할 수 있었으며, 차선 이탈 시 Lateral offset 기반으로 경고
알람 발생 시점을 상용 제품과 비교 평가한 결과, 평균 15ms 정 도의 오차가 발생하는 것을 확인할 수 있었다.
제안한 차선 검출 및 추적 알고리즘은 간단한 알고리즘으로 구성되어 있기 때문에 고급 세단이 아니더라도 저가의 차량에 설치할 수 있는 시스템으로 적용 가능할 것으로 기대된다.
REFERENCES
