차량용 블랙박스 영상으로부터 색상과 에지정보의 조합에 기반한 차선모델 추출
Lane Model Extraction Based on Combination of Color and Edge Information from Car Black-box Images
량한1) · 서수영2) Liang, Han·Seo, Suyoung
Abstract
This paper presents a procedure to extract lane line models using a set of proposed methods. Firstly, an image warping method based on homography is proposed to transform a target image into an image which is efficient to find lane pixels within a certain region in the image. Secondly, a method to use the combination of the results of edge detection and HSL (Hue, Saturation, and Lightness) transform is proposed to detect lane candidate pixels with reliability. Thirdly, erroneous candidate lane pixels are eliminated using a selection area method. Fourthly, a method to fit lane pixels to quadratic polynomials is proposed. In order to test the validity of the proposed procedure, a set of black-box images captured under varying illumination and noise conditions were used. The experimental results show that the proposed procedure could overcome the problems of color-only and edge-only based methods and extract lane pixels and model the lane line geometry effectively within less than 0.6 seconds per frame under a low-cost computing environment.
Keywords : Lane Detection, Image Warping, Homography, Hue Saturation and Lightness Transform, Edge, Quadratic Polynomial
초 록
본 연구는 일련의 방법을 조합하여 차선의 라인모델을 추출하는 과정을 제안한다. 첫째로, 호모그래피 (homography)에 기반한 영상와핑(warping)을 통하여 영상내에서 차선영역내에 존재하는 픽셀들을 검출하기 용이 하도록 변환하는 것을 제안한다. 두 번째로, 에지검출과 HSL (Hue, Saturation, and Lightness) 변환을 이용하여 차 선후보픽셀들을 안정적으로 추출하는 방법을 제안한다. 세 번째로, 선택영역을 활용하는 방법을 통하여 차선후보 픽셀들 중에서 오류픽셀들을 제거하는 방법을 제안한다. 네 번째로, 차선픽셀들을 이차다항식 함수로 모델링하는 방법을 제안한다. 제안한 방법의 유효성을 검증하기 위하여, 다양한 조명조건과 노이즈 하에서 취득한 차량용 블랙 박스영상을 이용하였다. 실험결과는 제안한 방법은 색상이나 에지만을 기반으로 하는 방법들에서 나타나는 문제 점들을 극복하고 비교적 저가의 컴퓨팅 환경하에서 다양한 조건의 영상에 대하여 프레임 당 약 0.6초 이내에 차선 픽셀들을 추출하고 차선라인모델을 생성할 수 있음을 보여준다.
핵심어 : 차선검출, 영상 와핑, 호모그래피, 색상 채도 밝기 변환, 에지, 이차 다항식
Received 2021. 01. 04, Revised 2021. 01. 14, Accepted 2021. 02. 08
1) Dept. of Civil Engineering, Ph.D. student, Kyungpook National University (E-mail: [email protected])
2) Corresponding Author, Member, Professor, Dept. of Civil Engineering, Kyungpook National University (E-mail: [email protected])
https://doi.org/10.7848/ksgpc.2021.39.1.1 Original article
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://
1. 서 론
현재 자율주행차는 컴퓨터 비전과 로봇공학 등 다양한 분 야에서 활발히 연구개발 중에 있다. 자율주행차 개발은 보행 자, 차량, 나무, 가로등 등 주변 환경을 파악하고 실시간으로 위치를 파악하는 것을 주요 목표로 하고 있다(Audibert and Ponce, 2010). 자율주행 자동차(autonomous car)는 인공지능, 비쥬얼 컴퓨팅, 레이더, 모니터링 장치, 글로벌 포지셔닝 시스 템 등에 의하여 사람의 개입없이 자율적으로 안전하게 작동 할 수 있도록 하는 주행시스템을 말한다(Cheng et al., 2006;
Jiang et al., 2009). 자율주행차량을 위한 핵심 요소 중의 하 나로서 차선 위치 탐지가 목표인 차선 검출(lane detection) 은 차선 이탈 경고 시스템(Narote et al., 2018)과 차선 유지 시 스템(Jung et al., 2013)에 없어서는 안 될 모듈이다(Hillel et al., 2014).
현재 대부분의 연구에서는 차선을 검출하기 위해 캡쳐된 비디오 영상에 대한 도로 정보를 분석하는 데 기계 비전(Jiang et al., 2010; Xiao et al., 2019)에 기반한 접근방식을 주로 사용 하고 있는 상황이다. 일반적인 차선검출 방법은 다음 3단계로 구분된다. 첫 번째 단계는 색상 기반 피쳐(Rotaru et al., 2008) 또는 영상 필터를 포함한 피쳐의 추출이다. 두 번째 단계는 추출된 형상을 이용한 차선 생성이다. 차선생성 방법은 사용 하는 수학함수에 따라 일반적으로 선형모델과 비선형 모델 (Youjin et al., 2018)에 기반한 방법으로 나눌 수 있다. 마지막 으로, 생성된 차선은 일부 후처리 기법에 의해 정제되며, 이는 탐지된 오류를 필터링하는 데 사용된다(Sezgin and Sankur, 2004). 일반적으로 차선 정보를 검출하기 위한 이전의 연구들 은 특징 정보, 차선 모델, 색상 정보 등 3가지 정보를 활용한다 (Chiu and Lin, 2005; López et al., 2010; Neven et al., 2018). 차 선 감지를 위한 특징 정보에는 에지, 경사도 및 색깔이 포함되 며, 이러한 특성은 노면과 차선간 관계로부터 유도된다(Yoo et al., 2013). Kuk et al.(2010)는 차선이 될 수 있는 선을 찾기 위해 Hough 변환을 사용했다. 선행 연구들은 다음과 같은 현 실적인 문제가 있다. 실제 도로의 영상에는 노이즈, 빛 불균 형, 물과 물에 의한 얼룩, 도로 위의 건물과 자연환경으로 인 한 그림자, 차량 간섭, 차선 마모로 인한 차선 감소, 노면 표시 등 간섭 요인이 많다(Hoang et al., 2016). 이러한 영향은 차선 검출에 큰 어려움을 초래한다. 따라서 차선 표시 탐지의 적절 한 선택은 차선 탐지를 수행할 시스템 및 환경에 따라 크게 좌 우된다(Borkar et al., 2012). Wang et al. (2004)는 이러한 문제 를 해결하기 위한 하나의 방법으로 B-스플라인 모델을 설계 하고 차선 픽셀을 검출하는데 활용하였다.
기존의 차선검출방법들은 사용하는 정보에 따라 색상만을 기반으로 하는 방법들(Chiu and Lin 2005; Cheng et al., 2006;
Rotaru et al.,2008)과 에지만을 기반으로 하는 방법들 (Wang et al.,2004; Jiang et al., 2010; Kuk et al., 2010; Lopez et al., 2010; Jung et al., 2013; Hoang et al., 2016; Youjin et al., 2018;
Nguyen et al., 2018)로 구분할 수 있다. 하지만, 기존의 색상이 나 에지만을 기반으로 차선을 검출하는 방법들은 차선픽셀 들을 효율적으로 검출하지 못하는 문제가 있다. 이를 극복하 기 위해서 본 연구에서는 색상과 에지 정보를 모두 고려한 방 법을 제안하였다.
본 연구에서는 차선이 항상 흰색이나 노란색이라고 가정하 고, 따라서, 차선영역에서는 경사값(gradient)이 다른 영역보 다 훨씬 클 것이라는 전제로 알고리즘을 개발하였다. 또한, 본 연구에서 제안하는 알고리즘은 영상 와핑, 소벨(Sobel) 필터 및 색상 공간을 사용하여 차선 픽셀을 검출하는 방법을 제안 하였다. 그리고, 오류픽셀들을 검출 및 제거하기 위해 선택 영 역 분할법을 설계했으며, 이차함수모델을 이용하여 차선 피팅 하는 방법을 제안하였다.
2. 연구방법과 영상 전처리
2.1 연구방법
본 연구에서는 복잡한 도로상황에의 차선 검출을 위하여 먼저 영상 내에 특정 ROI (Region Of Interest) 영역을 변형시 킨 후, 필터로 노이즈를 제거한다. 다음으로 차선이 특수한 색 상을 가지는 점을 고려하여 HSL 색상 공간을 활용하여 차선 영역 검출의 정확성을 높인다. 제안하는 차선 검출 방법은 영 상을 선택영역 분할법을 이용하여 한번만 영상을 스캔해 차 선 픽셀을 얻을 수 있고, 이차 함수 모델을 통해 차선을 피팅 하고 이후 영상 역와핑을 통하여 원영상과 합성한다. Fig. 1 은 본 연구에서 제안하는 차선 검출 알고리즘의 전체흐름도 를 보여준다.
Fig. 1. Overall flow of the proposed lane detection algorithm
2.2 영상 전처리
일반적으로 촬영된 차량 블랙박스의 영상에서 차선은 영상 의 하부에 위치해 있다. 차선 검출의 처리공정을 효과적으로 수행하기 위하여 본 연구에서는 먼저 영상하부의 중간영역을 영상와핑하는 것을 제안한다(Li et al., 2012). 이 프로세스에 서는 출력 영상의 위치를 입력 영상의 대응하는 위치로 매핑 (역방향 사상)하여 픽셀의 밝기 값을 구한다. Fig. 2는 와핑에 사용되는 호모그래피 변환의 결과의 예를 보여준다. Fig. 2(a) 는 입력 공간의 각 좌표축에 할당된 레이블 x와 y를 보여 준 다. Table 1에 따라 입력 영상에서 픽셀의 위치를 정의하는 공 간 좌표를 수정하고 Fig. 2(a)에서 표시된 포인트(A,B,C,D)위 치에 있는 픽셀은 이제 Fig. 2(b)에서 포인트 점(A’,B’,C’,D’)에 위치하게 된다. 각 포인트의 좌표값은 본 연구에서 실험하는 모든 영상에 대하여 동일하게 설정하여 실험하였다. 이 과정 을 통하여 Topview 영상을 얻을 수 있고, Topview는 차선의
인식에 있어서 정확하게 추출한 목표 영역을 볼 수 있으며 차 선의 곡률을 줄이고 많은 노이즈를 제거하게 됨으로써 원영 상을 바로 활용하는 것보다 효과적이라고 할 수 있다.
（a） （b）
Fig. 2. Topview process. （a）Original image; (b) Topview image
영상을 와핑한 이후, 본 연구에서는 Sobel 연산자를 이용해 그래디언트 크기 G를 계산했다. Fig.3은 Fig. 2(b)의 영상 내에 서 그래티언트를 이용한 에지 검출 결과를 나타낸다.
Fig. 3. Edge detection result
Fig. 3에 나타난 에지픽셀 검출 결과에 따르면, 차선의 양쪽 가장자리가 뚜렷하게 검출되었으나 라인의 중간부분이 검출 되지 않는 문제를 갖고 있음을 알수 있다. 이러한 문제는 후속 탐지의 성능을 저하시키기 때문에, 이를 해결하기 위하여 아 래에 설명된 바와 같이, 차선 자체가 독특한 색채를 가지고 있 다는 특징을 융합함으로써 이러한 문제를 해결하고자 했다.
먼저 RGB 색상 공간으로 표현된 원영상을 색상 공간 HSL (Hue Saturation Lightness)로 변환하여 특정 색상을 추적하 기가 더 용이하도록 하였다. Eq. (1)은 RGB를 HSL로 변환과 정공식이다(Chiu and Lin 2005; Cheng et al., 2006; Rotaru et al.,2008).
Point name Coordinates [row column]
Input points [A,B,C,D] [361 591, 361 665, 542 845, 542 419]
Output points [A’,B’,C’,D’] [0 0, 0 1280, 720 0, 720 1280]
Table 1. Coordinates used for homography warping shown in Fig. 2
(1)
′
′
′
max max′′′ min min ′′′
∆ max min
× ′ ′∆
if ∆
if max ′
× ′ ′∆
× ′ ′∆
if max ′
if max ′
max min
∆
∣ ∣∆ ∆
where, R, G, and B represent the values of the red，green, and blue, respectively and H, S, and L represent the values of the hue, saturation, and lightness, respectively.
Table 2. Example of conversion of RGB to HSL
Color (R,G,B) (H,S,L)
Black (0,0,0) (0°,0%,0%) White (255,255,255) (0°,0%,100%)
Red (255,0,0) (0°,100%,50%) Green (0,255,0) (120°,100%,50%)
Blue (0,0,255) (240°,100%,50%) Yellow (255,255,0) (60°,100%,50%)
Table 2는 특정 RGB값을 HSL값으로 변환한 결과들을 나 타낸다. 실제 실험에서는 L값의 범위를 [60, 100]로 설정하였 을 때, 노란색과 흰색차선의 검출이 효과적으로 검출되는 것 을 확인하였고, 따라서 이 범위값을 이용하여 차선후보픽셀 들을 검출하였다. 다음으로, 에지 검출과 HSL에 의한 라인 추출 결과를 통합하여 Fig. 4에 나타낸 바와 같이 통합하였다.
（a） （b） （c）
Fig. 4. Line pixel detection result based on HSL values. (a) HSL image with H(red), S(green), and L(blue); (b) Pixels
detected by thresholding the HSL image; (c) Result of combination of edge and HSL detections
3. 선택영역분할과 차선 피팅
3.1 선택영역분할
본 연구에서는 오류픽셀들을 검출하기 위하여 선택 영역 분할(splitting selection areas)을 이용해 차선후보픽셀들을 스캔한다. 선택 영역 분할은 검출 기준을 만족하는 점 또는 선 에서 시작하여 범위의 영역을 선택하고 해당 영역 내에서 차 선후보픽셀들을 확인하여 오류픽셀들을 제거하는 방법이다.
이 방법에서는 먼저 Fig. 5(b)와 같이 와핑된 ROI영역을 좌우 두 부분(좌측과 우측)으로 나눈다. 다음으로, 영상내에 각 열 마다 있는 차선후보픽셀들의 개수 합을 구하고, Fig. 5(c)와 같 은 히스토그램으로 나타낸다. 이 결과로부터 좌측구간과 우 측구간에서 최대빈도수를 가지는 위치를 각각 좌측과 우측 차선의 기준선들로 설정한다.
（a） （b） （c）
Fig. 5. Finding the guidelines in the candidate pixel image;
（a） Candidate pixels; (b) Left and right regions;
(c) Histogram of the candidate pixels. Ymid denotes the central coordinate in the horizontal direction, and Yleft and
Yright indicate the coordinates in the left and right regions, respectively in the horizontal direction
다음으로, Fig. 6(a)와 같이 각 기준선을 중심으로 영상내에 서 일정한 폭을 가진 차선후보영역을 설정한다. 좌우 기준선 의 횡좌표를 기준으로 차선 폭의 임계값(Yw)을 60으로 설정 하여 차선후보픽셀의 수평방향 구간을 설정한다. Yw가 60보 다 작게 되면 차선이 곡선인 경우 차선을 충분히 포함하지 못 하게 되고, Yw가 60보다 크게 되면 지나치게 넓은 범위를 포함 하게 되어 차선검출의 속도가 저하되기 때문에 임계값을 60 으로 설정하였다. 그리고 영상의 수직방향으로 일정한 수의 구역(n=7)으로 나누어 Fig. 6(b)에 나타낸 바와 같이 n개의 작 은 영역을 획득한다. 여기서, 차선후보픽셀들의 개수는 정상 구역내에서는 일정한 개수이상인 반면에, 오류픽셀들은 각 구 역내에서 개수가 일반적으로 많지 않다는 가정하에, 선택 영 역의 픽셀 개수가 50개 이하이면 오류픽셀들이 포함된 구역 으로 간주하고, 이 구역내에 존재하는 후보픽셀들은 버린다.
그 이유는 50개 이상인 경우는 대부분 차선이 포함된 영역이
고 50개 이하인 경우는 차선이 아닌 다른 형태로 부터 야기된 영역으로 관찰되어 선택 영역의 기준을 50개로 설정하였다.
Table 3은 전체 후보픽셀들을 사용한 차선피팅과 오류픽셀들 을 제거한 후 적용한 차선피팅의 비교결과를 나타낸다. Table 3에 나타난 바와 같이 오류픽셀들을 포함하여 차선피팅을 하 게 되면 차선에 왜곡이 발생하는 결과를 초래한다는 것을 알 수 있다. 반면에, 오류픽셀들을 제거한 후 차선피팅를 하게 되 면, 적합한 차선을 검출할 수 있음을 보여 준다. Table 4는 본 연구에서 적용한 변수들의 구체적인 값들을 나타낸다.
（a） （b）
Fig. 6. Guidelines and splitted regions. (a) Guidelines and selected regions;(b) Splitted regions. DatumL and atumR denote the coordinates of guidelines in the left and right regions, respectively and Yw indicates the width to select
lane candidate pixels
Original image Case of using all pixels Case of discarding erroneous pixels Table 3. Comparison between cases of using all pixels and discarding erroneous pixels. Pixels within circles indicate the
erroneous pixels detected in the proposed method
Table 4. Experimental variable value
Variable Experimental value
Size of Topview ×
Ymid 640
Yleft, Yright [0,640]; [640,1280]
DatumL(Lmax), DatumR(Rmax) 175; 1174
Yw 60
n 7
Fig. 7. Selected lane pixels.(a) Pixels in the left lane;
(b) Pixels in the right lane
（a） （b）
3.2 차선 피팅
Fig. 7은 최종적으로 선택된 차선픽셀들의 예를 나타낸다.
이후 본 연구에서는 차선픽셀들로부터 연속적인 차선모형을 도출하기 위하여 Eq. (3)과 같이 이차함수에 기반한 피팅모델 을 적용하였다.
(3)
⋮
⋮ ⋮ ⋮
⋮
∼
∧
∧
where， represents the vertical coordinate, and
represents the horizontal coordinate． In addition, , , and
represent the parameters of the quadratic function.
Table 5는 Fig. 7에 나타난 차선픽셀들을 이차함수로 피팅 한 결과를 나타낸다.
Fig. 8에 나타낸 바와 같이 제안한 차선검출방법은 실험에 적용된 영상에 대하여 정확한 차선모델검출 결과를 제공함 을 확인할 수 있다.
Variable(image) Left lane fitting Right lane fitting
a b c a b c
P(topview) -0.0004 0.3983 75.1459 23.4264 -0.1 0.3 1123.2 21.5606
Table 5. Experimental result of parameter fitting
Table 6. Development environment for algorithm testing
（a） （b） （c）
Fig. 8. Example of fitting results. (a) Left lane fitting;
(b) Right lane fitting; (c) Superposition of fitted curves on detected pixels
（a） （b）
Fig. 9. Fitted lane area in conjunction with the original diagram; (a) Fitted lane area, (b) Reverse deformation
integration original image
제안한 방법에서 마지막 단계로 피팅된 차선모델을 원영상 에 기준한 차선모델로 역와핑하여 최종 차선모델을 구한다.
Fig. 9를 보면 역변환을 통한 원 영상과 결합한 결과가 나타낸 다. 이 그림에서 Topview에서 원영상으로 역와핑할 경우, 대 상 차선 구간에 정확하게 일치함을 보여주고 있고, 본문에서 제시한 알고리즘의 타당성과 정확성을 보여 준다.
Items Description
H/W
Processor Intel(R) Core(TM) i5-2400
RAM 8 GB
SSD Samsung SSD 750 EVO 120GB
Graphic Card NVIDIA GeForce GT730
Operating System Window 10 Pro, 64bit
S/W Programming Language Matlab 2020
4. 실험결과
본 연구에서 제안한 방법을 실험하기 위하여 샤오미 70MAI 블랙박스를 사용하여 취득된 일련의 1280×720 크 기의 영상들을 이용하였다. 영상들은 다양한 여건에서 취득 한 영상에 대하여 실험하기 위하여 주간과 야간 시간대에 취 득하였다. Table 6은 본 연구의 실험을 위하여 사용된 개발환 경을 나타낸다.
Table 7은 본 연구에서 제안하는 방법을 먼저 기존 방법들 인 색상만을 기반으로 하는 방법(Chiu and Lin, 2005; Cheng et al., 2006; Rotaru et al., 2008)과 에지만을 기반으로 하는 방 법(Wang et al., 2004; Jiang et al., 2010; Kuk et al., 2010; Lopez et al., 2010; Jung et al., 2013; Yoo et al., 2013; Youjin et al., 2018)과 실험을 통하여 비교한 결과들을 정리한 것이다. 실험 에서는 에지검출과 색상에 의한 검출 이외의 모든 과정에서는 본 연구에서 제안하는 영상와핑과 선택영역분할, 그리고 이차 함수피팅 방법을 세가지 방법에 동일하게 적용하였다. Table 7 에 나타낸 결과와 같이 에지만을 이용하는 경우와 색상만을 이용하는 경우에는 검출된 차선픽셀들로만 차선모델을 피팅 하는 경우에 원래의 차선에서 크게 벗어나게 모델링되는 결과 들이 얻어졌다. 이것은 에지만을 이용하는 경우 그리고 색상 만을 이용하는 경우 검출되는 차선픽셀들이 차선모델을 피팅 하기에 충분하지 않기 때문에 야기되는 결과라고 할 수 있다.
Table 7에 나타낸 바와 같이 제안하는 방법은 에지와 색상정 보를 이용하여 검출된 결과를 조합하여 이러한 문제를 해결 할 수 있었음을 보여준다.
Table 8과 Table 9는 다양한 환경에서 취득된 영상에 대하 여 본 연구에서 제안하는 방법을 적용한 실험결과들을 나타 낸다. Table 9에 나타낸 결과는 본 연구에서 제안한 방법을 적 용한 경우, 다양한 환경에서 취득한 차선영상에 대하여 차선 이 안정적이고 정확하게 검출되었음을 나타낸다. 차량의 그 림자에 차선표시가 막힌 경우와 야간 주행 시 빛이 부족하 거나 도로영상 노이즈가 많을 경우에도 제안한 방법에 의하 여 정확하게 차선이 검출되었음을 보여준다. 실험결과, 주어 진 Matlab 환경에서 한 프레임 당 처리시간은 0.50초~0.6초 정도인 것으로 나타났다. 제안한 알고리즘을 컴파일러 환경에 서 구현할 경우 속도 향상이 기대된다. 제안한 차선검출 알고 리즘은 복잡하지 않고 다양한 환경영상에서도 정확도가 높 은 것으로 사료된다.
5. 결 론
본 논문에서는 기존의 차선검출방법들과 비교하여 차선검 출의 정확도를 향상시키는 방법을 제안하였다. 먼저 영상의 와핑을 통해 차선추출 영역을 효과적으로 나타내고, 선택영 역 분할 스캔법을 이용하여 오류픽셀들을 검출하며, 그리고 이차함수모델에 의한 차선피팅 방법을 제안하였다. 이에 따 라, Topview 영상을 이용하여 차선의 곡률을 효과적으로 감 소시킬 수 있었으며, 차선의 특성을 정확하게 추출할 수 있음 을 알 수 있었다. 특히, 차선픽셀들을 검출하는 과정에서 기존 의 색상만을 이용하는 방법과 에지만을 이용하는 방법에 있 어서 문제점을 파악하고, 이를 극복하기 위하여 색상과 에지 정보를 조합하는 방법을 제안함으로써 기존 방법들의 문제점 을 극복할 수 있었음을 실험결과를 통하여 확인할 수 있었다.
제안된 선택영역 분할 스캔법은 주변 차량이나 도로환경에 있 어서 노이즈의 영향의 대부분을 피할 수 있었으며, 차선의 폭 과 목표 화소의 위치를 정확하게 결정할 수 있었다. 결과를 보 면 본문에 제시한 이차함수모델은 차량이 직진하거나 회전할 때 직선과 곡선을 피팅할 수 있도록구성하였다. 또한, 야간이 나 전방의 빛이 부족한 경우에도 본 연구에서 제안한 방법을 이용하여 차선검출이 비교적 용이하게 이루어짐을 확인하였 다. 또한 차선검출 알고리즘 구현의 복잡성이 낮아서 비교적 낮은 사양의 하드웨어로도 프로세스를 처리가 가능하여 저비 용으로 차선이탈경보시스템을 구현할 수 있다는 가능성을 확 인하였다. 또한, 각 프레임의 전후영상을 이용하여 차선을 추 출하는 정확도를 향상시킬 수 있는 가능성이 있어 이에 대한 연구가 필요할 것으로 사료된다.
감사의 글
이 논문은 2019학년도 경북대학교 연구년 교수 연구비에 의하여 연구되었음.
References
Audibert, H.K.Y. and Ponce, J. (2010), General road detection from a single image, IEEE Transactions on Image Processing, Vol. 19, No. 8, pp. 2211-2220.
Borkar, A., Hayes, M., and Smith, M. (2012), A novel lane detection system with efficient ground truth generation, IEEE Transactions on Intelligent Transportation Systems, Vol. 13, No. 1, pp. 365-374.
Method Topview of extraction results Superposition of extraction results on the original images
Edge-only based method
Color-only based method
Proposed method
Table 7. Comparison of the proposed method with color-only and edge-only based methods
Image Original image Topview histogram Lane detection result
Image 1 (Shadow)
Image 2 (Shadow)
Image 3 (Vehicle interference)
Image 4 (Road noise)
Image 5 (Insufficient
light)
Table 8. Examples of the experimental results
Image 6 (Right lane line missing)
Image 7 (Road noise
& Insufficient light)
Image 8 (Road noise
& Insufficient light)
Table 9. Values of lane parameters for the experimental images shown in Table 8 Variable(image) Left lane parameter estimates Right lane parameter estimates
a b c a b c
P1(Image 1) 0.0001 0.0399 263.1 28.6919 -0.0001 0.1000 1003.1 15.8532 P2(Image 2) -0.0001 0.0084 286.0 28.6137 -0.0001 0.1629 996.6 15.5336 P3(Image 3) 0.0001 -0.0905 385.6 27.7953 -0.0001 0.1000 1188.0 16.6971 P4(Image 4) 0.0005 -0.6461 394.3 17.3571 0.0001 -0.8000 1205.6 18.1926
P5(Image 5) 0.0000 -0.3134 566.9 11.1301 0.0001 0.0125 881.8 10.9060
P6(Image 6) 0.0001 -0.2715 594.0 11.4306 -0.0001 0.0857 940.1 11.8474 P7(Image 7) 0.0000 -0.2321 529.9 14.0416 0.0001 -0.0407 939.7 12.2565 P8(Image 8) 0.0000 -0.2062 510.0 14.9057 0.0001 -0.0355 947.2 12.5399
Cheng, H.Y., Jeng, B.S., Tseng, P.T., and Fan, K.C. (2006), Lane detection with moving vehicles in the traffic scenes, IEEE Transactions on Intelligent Transportation Systems, Vol. 7, No. 4, pp. 571-582.
Chiu, K.-Y. and Lin, S.-F. (2005), Lane detection using color- based segmentation, The 2005 IEEE Intelligent Vehicles Symposium, 6-8 June, Las Vegas, NV, USA, pp. 706-711.
Hillel, A.B., Lerner, R., Levi, D., and Raz, G. (2014), Recent progress in road and lane detection: a survey, Machine vision and applications, Vol. 25, pp. 727-745.
Hoang, T.M., Hong, H.G., Vokhidov, H., and Park, K.R.
(2016), Road lane detection by discriminating dashed and solid road lanes using a visible light camera sensor, Sensors, Vol. 16,1313.
Jiang, R., Klette, R., Vaudrey, T., and Wang, S. (2009), New lane model and distance transform for lane detection and tracking, International Conference on Computer Analysis of Images and Patterns, Springer, Berlin, Heidelberg, pp.
1044-1052.
Jiang, Y., Gao, F., and Xu, G. (2010), Computer vision-based multiple-lane detection on straight road and in a curve, 2010 IEEE International Conference on Image Analysis and Signal Processing, 9-11 April, Zhejiang, China, pp. 114-117.
Jung, H., Min, J., and Kim, J. (2013), An efficient lane detection algorithm for lane departure detection, 2013 IEEE Intelligent Vehicles Symposium (IV), IEEE, 23-26 June, Gold Coast, QLD, Australia, pp. 976-981.
Kuk, G., An, H., Ki, H., and Cho, I. (2010), Fast lane detection and tracking based on hough transform with reduced memory requirement, 13th International IEEE Conference on Intelligent Transportation Systems, 19-22 Sept, Funchal, Portugal, pp. 1344-1349.
Li, H., Feng, M., and Wang, X. (2012), Inverse perspective mapping based urban road markings detection, Proceedings of the International Conference on Cloud Computing and Intelligent Systems, 30 Oct.-1 Nov., Hangzhou, China, pp.1178-1182.
López, A., Serrat, J., Canero, C., Lumbreras, F., and Graf, T.
(2010), Robust lane markings detection and road geometry computation, International Journal of Automotive Technology. Vol. 11, No. 3, pp. 395-407.
Narote, S.P., Bhujbal, P.N., Narote, A.S., and Dhane, D.M.
(2018), A review of recent advances in lane detection and departure warning system, Pattern Recognition, 73, January 2018, pp. 216-234.
Neven, D., De Brabandere, B., Georgoulis, S., Proesmans, M., and Van Gool, L. (2018), Towards end-to-end lane detection: an instance segmentation approach, 2018 IEEE Intelligent Vehicles Symposium, IV, 26-30 June, Changshu, China, pp. 286-291.
Nguyen, V., Kim, H., Jun, S., and Boo, K. (2018), A study on real-time detection method of lane and vehicle for lane change assistant system using vision system on highway, Engineering Science and Technology, an International Journal, Vol. 21, pp. 822-833.
Rotaru, C., Graf, T., and Zhang, J. (2008), Color image segmentation in HSI space for automotive applications, Journal of Real-Time Image Processing, 3 (4), pp. 311-322.
Sezgin, M. and Sankur, B. (2004), Survey over image thresholding techniques and quantitative performance evaluation, Journal of Electronic Imaging, Vol. 13, No. 1, pp. 146-168.
Wang, Y., Teoh, E.K., and Shen, D. (2004), Lane detection and tracking using b-snake, Image and Vision Computing, Vol. 22, No. 4, pp. 269-280.
Xiao, D., Li, J., and Li, K. (2019), Robust precise dynamic point reconstruction from multi-view, IEEE Access, Vol. 7, pp. 22408-22420.
Yoo, H., Yang, U., and Sohn, K. (2013), Gradient-enhancing conversion for illumination-robust lane detection, IEEE Transactions on Intelligent Transportation Systems, Vol. 14, No. 3, pp. 1083-1094.
Youjin, T., Wei, C., Xingguang, L., and Lei, C. (2018), A robust lane detection method based on vanishing point estimation, Procedia Computer Science, Vol. 131, pp. 354- 360.
