논문 2013-50-1-26
특징점 병합과 카메라 외부 파라미터 추정 결과를 고려한 B-snake기반 차선 검출
( B-snake Based Lane Detection with Feature Merging and Extrinsic Camera Parameter Estimation )
하 상 헌*, 김 경 환**
( Sangheon Ha and Gyeonghwan Kim )
요 약
본 논문은 주행중 차량에 장착된 카메라의 자세 변화를 카메라 외부 파라미터의 변화로 간주하고, 이의 추정을 통하여 도로 의 요철과 전방 도로의 기울기 변화 등에 강건한 차선 검출 알고리즘을 제안한다. 제안하는 알고리즘에서 차선은 실세계 좌표 에서 좌우가 평행하고 고정된 폭을 가진다 가정하며, 카메라 움직임을 고려한 연속된 영상들의 병합된 특징맵에서 B-snake를 이용하여 차선 검출과 카메라 외부 파라미터 추정이 동시에 수행된다. 실험을 통하여 카메라 외부 파라미터에 영향을 주는 주 행 도로 환경의 변화에 강건한 차선 검출 결과를 확인하였으며, 추정된 카메라 외부 파라미터의 정확성은 전방 차량에 대한 레이더 실측 거리와의 비교를 통해 확인했다.
Abstract
This paper proposes a robust lane detection algorithm for bumpy or slope changing roads by estimating extrinsic camera parameters, which represent the pose of the camera mounted on the car. The proposed algorithm assumes that two lanes are parallel with the predefined width. The lane detection and the extrinsic camera parameter estimation are performed simultaneously by utilizing B-snake in motion compensated and merged feature map with consecutive sequences.
The experimental results show the robustness of the proposed algorithm in various road environments. Furthermore, the accuracy of extrinsic camera parameter estimation is evaluated by calculating the distance to a preceding car with the estimated parameters and comparing to the radar-measured distance.
Keywords: lane detection, extrinsic camera parameter, B-snake, feature merging
Ⅰ. 서 론
최근 자동차 관련 분야에서는 운전자의 안전과 편 의성을 위한 능동 주행 안전 시스템에 대한 연구가 활발하다. 능동 주행 안전 시스템은 주행 중에 발생
* 학생회원, ** 정회원, 서강대학교 전자공학과 (Dept. of Electronic Engineering, Sogang University)
※ 본 연구는 서강대학교 SRF와 지식경제부 산업원천 기술개발사업의 일부 지원으로 수행되었음.
접수일자: 2012년10월22일, 수정완료일: 2013년1월3일
할 수 있는 사고를 각종 센서를 이용하여 감지 한 후 운전자에게 경고하거나 차량을 제어하는 시스템 이다. 대표적으로 차간 거리 유지 시스템(ACCS:
adaptive cruise control system), 전방 차량과의 추돌 경 고 시스템(FVCWS:forward vehicle collision warning system), 차선 이탈 경고 시스템(LDWS:lane departure warning system)과 차로 유지 시스템(LKAS: lane keeping assistance system) 등을 들 수 있다. 차선 검 출 알고리즘은 차량의 진행 방향 예측과 차선 내 자차의 위치 정보를 제공하여 앞서 언급한 능동 주
(a) (b) (c)
(d) (e) (f) (g) 그림 1. 카메라의 자세 및 전방 도로의 기울기 변화에
따른 조감도상에서 차선의 형태 : (a) 평지, (b)
∼(c) 전방 도로의 기울기 변화, (d)∼(e) 카메라 의 pitch각 변화, (f)∼(g) 카메라의 높이 변화 Fig. 1. The shape of the lane in bird's-eye view
depending on the camera pose and forward road slope : (a) Flat road, (b)∼(c) Variation of forward road slope, (d)∼(e) Variation of camera height, (f)
∼(g) Variation of camera pitch angle.
행 안전 시스템에서 중요한 역할을 하며, 특히 LDWS 와 LKAS 에서는 차선 검출 알고리즘의 성능이 시스템 전체의 성능을 좌우한다.
차선은 레이더, 레이저, 초음파 등으로는 감지가 불가 능하고 카메라로 취득된 영상의 분석을 통해서만 검출이 가능하다. 영상 내의 차량이나 도로 구조물 등은 차선 검 출에 방해 요소로 작용하는데, 기존의 연구에서는 이로 인한 영향을 최소화하기 위해 평면 노면과 규정된 폭을 가지는 평행 차선이라는 가정을 도입하였다[1∼9, 13∼14].
평면 노면과 카메라의 위치 관계를 이용해 입력 영상 을 조감도로 변환하면 그림 1(a)와 같이 차선은 일정한 폭을 가지는 평행선의 형태로 나타나며, Aly의 방법[4]
에서는 이러한 방법을 이용하여 조감도상에서 차선을 검출하였다. 하지만 전방 도로의 기울기 변화, 요철, 주 행 중 차량의 진동과 가감속 등은 영상 평면과 실세계 좌표와의 관계를 결정하는 카메라의 외부 파라미터를 지속적으로 변화시킨다. 따라서 그림 1(b)∼(g)와 같은 경우들에는 조감도 상에서 더 이상 평면 노면과 규정된 폭을 가지는 평행한 차선이라는 가정을 만족하지 못함
으로써 차선 검출 결과에 오차가 발생할 수 있다[5]. Weigel과 Wanielik는 소실점의 위치 변화로부터 카 메라 외부 파라미터의 변화를 추정하여 차선 검출의 오 류를 줄였다[6]. 하지만 영상 전체의 모든 경계 성분에 대한 허프 변환을 통해 소실점의 위치를 추정하므로 정 확도가 높지 않다. 또한 Wang 등의 방법[7]은 카메라 높이에 대한 추정을 통해 차선을 검출하지만, 초기에 추정한 소실선이 고정되어 있기 때문에 카메라 외부 파 라미터 중 pitch각의 변화를 수용하지 못한다. 따라서 이들의 방법은 그림 1(b)∼(e)의 경우에서는 차선 검출 에 오류가 발생한다.
제안하는 방법은 실세계 좌표상에 투영된 차선의 중 심선을 기준으로 중심선의 기울기 변화에 따라 좌우차 선이 평행한 차선 모델을 정의하고, B-snake 기반으로 차선 검출과 카메라 외부 파라미터 추정을 동시에 수행 하여 카메라 외부 파라미터가 변화하는 환경에서도 강 건한 차선 검출이 가능하다. 또한 연속된 입력 영상에 대하여 카메라의 움직임을 고려한 병합 특징맵을 사용 함으로써 특징점이 부족한 환경에서도 안정적인 차선 검출 및 카메라 외부 파라미터 추정 결과를 도출한다.
요철과 전방 도로의 기울기가 변화하는 경우에 대하여 Wang 등의 방법[7]과 제안하는 방법의 차선 검출 결과 를 비교하였으며, 제안하는 방법으로 보정된 카메라 외부 파라미터를 이용하여 전방 차량과의 거리 추정한 결과와 카메라 외부 파라미터의 변화는 고려하지 않은 전방 차량과의 거리 추정 결과를 레이더를 통한 실측 결과와 비교하여 실세계 좌표의 정확성을 검증하였다.
본 논문의 구성은 다음과 같다. II장에서는 제안하는 차선 검출 시스템의 구성을 설명한다. III장에서 ROI 설 정 및 특징점 병합 방법에 관하여 설명하며, IV장에서 좌표 체계, 제안하는 평행 차선 모델과 카메라 외부 파 라미터 추정을 통한 차선 검출 알고리즘을 기술한다. V 장에서는 제안하는 알고리즘에 대한 실험 결과를 분석 하고 VI장에서 결론을 맺는다.
Ⅱ. 차선 검출 시스템의 구성
제안하는 차선 검출 시스템은 그림 2와 같이 구성된 다. ROI(region of interest) 설정 블록은 이전 입력 영 상의 차선 검출 결과와 추정된 카메라 외부 파라미터를 이용해 불필요한 영역을 제외하여 연산 시간을 단축하
그림 2. 제안하는 차선 검출 시스템의 블록도
Fig. 2. Block diagram of proposed lane detection system
고, 유효한 특징점이 존재할 가능성이 높은 영역을 ROI 로 설정한다. 차선 특징 추출 블록은 설정된 ROI에서 Liu 등의 LMS(lane marking segmentation)방법[8]을 사 용하여 지면의 노선 표시(lane marking)의 중심점들을 구하되, 특징점의 유무만을 판단하는 Liu 등의 방법[8]과 달리 제안하는 방법에서는 특징점의 신뢰도에 따라 0과 1사이의 값을 가질 수 있도록 하였다. 특징점 병합 블 록은 연속한 입력 영상들의 특징점을 카메라 움직임을 고려한 병합을 수행하여 특징점간의 불연속성을 최소화 한다. GVF 필드 생성 블록은 B-snake의 수렴성을 향 상시키기 위해 Xu와 Prince의 GVF(gradient vector flow)[10] 필드를 생성한다. GVF 필드는 영향 영역이 넓 고 부드러운 기울기를 가지므로 기울기 기반의 최적화 방법을 사용하는 B-snake의 높은 수렴성과 안정성을 제공하며, multigrid 방법을 적용하여 연산 시간을 단축 한다[11]. 마지막으로 B-snake의 목적함수를 최소화하는 방법을 이용하여 GVF필드 상에서 차선 검출 및 카메 라 외부 파라미터 추정을 수행하고, 각각의 결과는 다 음 입력 영상에서 ROI설정과 실세계 좌표 변환에 사용 함으로써 전체 시스템이 매 입력 영상에 대하여 보정된 카메라의 외부 파라미터를 사용하는 형태로 구성된다.
Ⅲ. ROI 설정 및 특징점 병합
본 장에서는 특징 추출의 대상 영역과 특징점 병합 영역으로 사용할 ROI의 설정 방법을 설명하고, 카메라 의 움직임으로 발생하는 연속된 입력 영상간의 회전 및 이동 변환을 고려한 특징점 병합 방법을 기술한다.
1. ROI 설정
제안하는 알고리즘에서는 ROI를 그림 3(a)와 같이 노 면 ROI와 차선 ROI로 구분한다. 노면 ROI는 그림 3(a) 에 노란색으로 표기된 영역으로써 이전 입력 영상에서 추정된 카메라 외부 파라미터를 이용하여 실세계 좌표 에서 차량을 중심으로부터 좌우 8m, 전방 100m의 도로 평면으로 설정한다. 영상 평면에서 노면 ROI의 최대 높 이는 소실선이고, 관심 노면 이외의 영역을 제외시켜 연 산 시간 단축 및 잡음들을 제거할 수 있다. 차선 ROI는 그림 3(a)에 표기된 붉은색 영역으로써 이전 입력 영상 에서 검출된 차선을 중심으로 80cm 폭으로 설정한다.
차선은 매 입력 영상에 대하여 위치 변화가 연속적이므 로 차선 ROI 내부의 특징점이 현재 영상의 차선 검출 에 유효한 특징점일 확률이 높다.
제안하는 알고리즘은 예상되는 특징점의 신뢰도에 따라 각기 다른 특징점 강도를 부여하여 이 후에 수행 될 차선 검출 및 카메라 외부 파라미터 추정 과정에서 B-snake의 수렴 위치를 결정하는데 기여도를 다르게 한다. 특징점 강도가 세면 검출 대상인 자차선의 특징
(a)
(b) 그림 3. ROI 설정 및 특징 추출 :
(a) 실세계, 영상 평면에서 ROI 설정, (b) ROI 설정과 특징점 추출의 결과 Fig. 3. ROI setting and feature extraction :
(a) Setting ROI on the world and image plane, (b) Result of ROI setting and feature extraction.
그림 4. 특징점 병합 과정
Fig. 4. Merging process of the feature points.
점일 가능성이 높은 것을 의미하고 B-snake의 수렴에 기여도가 높다. 반대의 경우에는 잡음일 확률이 높고 B-snake 기여도가 낮게 된다.
특징점 강도 은 식 (1)로 표현되며, F과 F는 각각 차선과 노면 ROI 내 특징점 좌표들이며,
는 Liu 등의 LMS방법[8]의 결과 값이다.
∈F∈F (1) 식 (1)에서처럼 노면 ROI의 특징점은 차선 ROI의 특 징점에 비해 낮은 특징점 강도를 가지도록 함으로써 차 선 검출 및 카메라 외부 파라미터 추정 간 잡음의 영향 을 줄이고 강건한 차선 검출 결과를 유도한다. 또한 특 징점 병합 과정에서 정합의 대상(matching)을 차선 ROI 내 특징점으로 하면, 연속하는 영상들이 자차선의 특징점들을 병합하는데 최적화할 수 있다.
그림 3(b)는 제안하는 알고리즘의 ROI설정과 특징 추출의 한 예로써 밝은 영역과 붉은색 영역은 각각 노 면 ROI, 차선 ROI를 나타내며, 검은색 영역은 연산에서 제외되는 영역이다. 특징점은 영역별 구분이 가능하기 때문에 차선 ROI의 좌우 차선은 각각 녹색과 파란색, 노면 ROI의 특징점은 검은색으로 표현한다.
2. 특징점 병합
차선의 부분 훼손, 일시적인 가림과 조명 반사 등으 로 인해 입력 영상에서 추출된 특징점이 부족하거나, 파선 형태의 차선으로 인해 좌우 차선의 특징점 분포가 비대칭으로 존재하면 차선 검출 결과의 정확성이 감소 한다. 이러한 문제의 해결을 위해 Nieto 등은 시간의 흐 름에 따른 다수의 입력 영상을 병합하여 특징점의 불연 속성을 보완하였다[9]. 하지만 불규칙한 노면의 상태는 카메라의 움직임 변화에 따라 연속된 입력 영상 간의 회전 및 이동 변환의 원인이 되며, 영상 간에 정합
(matching)과정 없이 특징점 병합을 수행하면 이전 입 력 영상들의 특징점들이 현재 입력 영상의 특징점에 가 지런한(align) 분포를 가지지 못한다.
제안하는 방법에서는 전술한 문제의 해결을 위해 그림 4와 같은 과정을 통하여 매 입력 영상에 대하여 이전의 영상과 회전 및 이동을 고려한 병합을 수행한다. 먼저 정 합 과정에서 번째 영상 평면의 차선 ROI 내 특징점들 을 번째 영상 평면에 대응하여 존재하는 특징점들 과 정합하기 위한 호모그래피 행렬(H)을 추정하 고, 병합 과정에서 H 을 이용하여 번째 영상 평면의 차선 ROI 내 특징점들을 번째 영상평면으로 옮 기는 과정을 통해 번째 병합된 특징맵을 생성한다.
정합을 위한 목적 함수 는 식 (2)로 표현 되며,
번째 영상 평면의 차선 ROI 내부 특징점들이 번 째 특징맵에 투사되었을 때 특징점 강도의 합이 최대 가 되는 호모그래피 행렬 H를 구하는 문제로 정 의한다.
H
HF (2)
이때 ∙는 번째 영상 평면에서 특정 좌표의 병합된 특징점 강도, F 는 번째 영상 평면 의 차선 ROI내의 번째 특징점 좌표, 은 F 의 특징점 총 개수를 각각 의미한다.
위의 목적 함수에 대하여 기울기 하강 방법(gradient descent method)을 이용하여 최적화 과정을 수행하며, 최적화 과정의 안정성과 수렴성을 증대하기위해 이전 영상의 GVF 필드를 사용한다. 또한 정합 과정에서 차 선 ROI 내부 특징점만 사용하여 자차선의 특징점 병합 에 최적화한다.
병합된 특징맵 은 식 (3)으로 표현 되며, 은 F 의 특징점 총 갯수, 은 병합 비 율을 각각 의미한다.
p F p′ H F
p′ p ′ p pp′ ≠ ′
(3)
p는 번째 차선 ROI 내부 특징점의 좌표, p′는
(a) (b)
(c) (d)
그림 5. 병합 비율()에 따른 제안하는 특징점 병합 결과와 Nieto 등의 병합 방법 : (a) 병합을 하지 않은 경우, (b) , (c) , (d) Nieto 등의 병합 방 법[9]
Fig. 5. Merging results of proposed method depending on the merging ratio and method of Nieto et al : (a) Without merging process, (b) , (c)
, (d) Method of Nieto et al[9].
전술한 좌표 p를 추정된 H 을 이용해 번째 입력 영상으로 투영한 좌표라고 정의 할 때, 번째 영상 평 면의 좌표 p′에서 LMS 특징점이 존재하면 특징점의 강도를 유지함으로써 현재 입력 영상의 특징점이 차선 검출 및 카메라 외부 파라미터의 추정에 영향력을 높게 한다. 반대로 특징점이 존재 하지 않을 경우에는 번째 특징맵의 좌표 p에서의 특징점 강도를 의 비율 로 감소한 값으로 설정함으로써 시간적으로 과거의 특 징점일수록 차선 검출 및 카메라 외부 파라미터 추정에 미치는 영향력을 점진적으로 감소시킨다.
그림 5(a)∼(c)는 병합 비율()에 따른 결과 영상이다.
의 생성 과정에서 의 값이 높을수록 이전 영상의 특징점 강도가 감소하는 비율이 낮기 때문에 다수의 연 속된 영상의 특징점이 잔재하여 실선에 가까운 특징 분 포를 나타내며, 이는 Nieto 등의 특징점 병합 방법[9](그 림 5(d))에 비해 안정화(stabilization) 측면에서 성능이 우수하다.
Ⅳ. 카메라 외부 파라미터 추정 및 차선 검출
본 장에서는 카메라 좌표 체계를 통해 실세계 좌표 정보를 얻기 위한 호모그래피 행렬과 카메라 외부 파라 미터를 설명한다. 또한 평면 노면과 평행 차선의 가정
을 이용하여 실세계 좌표에서 좌우 차선이 평행한 B-spline 기반의 차선 모델을 정의한다. 마지막으로 B-snake를 이용하여 목적 함수를 최적화하는 방법을 통해 차선 검출과 카메라 외부 파라미터 추정을 동시에 수행하는 방법을 설명한다.
1. 좌표 체계 및 카메라 외부 파라미터
본 연구에서 좌표 체계는 그림 6과 같이 실세계, 카 메라, 영상 좌표계로 구성된다. 영상 좌표계와 실세계 좌표계 간의 변환은 식 (4)과 같이 카메라 내부 파라미 터 K 와 카메라 외부 파라미터인 회전 행렬 R 과 이동 벡터 T의 곱인 투영 행렬 A 로 표현되며, 평면 도로의 가정을 적용하여 실세계 좌표에서 인 평면을 도 로 평면으로 정의함으로써 영상 평면과 도로 평면간의 관계를 호모그래피 행렬 H로 표현 할 수 있다. K 의 와는 초점거리, 와 는 광학 중심, r는 R 의 번째 열벡터를 각각 의미 한다.
A K R T KrrrT
A
KrrT H (4)K
T
R RRR rrr
제안하는 알고리즘은 영상 평면의 차선이 실세계 좌 표에 투영되었을 때 좌우 차선이 규정된 폭으로 평행한
그림 6. 실세계, 카메라, 영상 좌표계
Fig. 6. Coordinates of the world, camera, and image.
형태를 만드는 세 가지 카메라 외부 파라미터를 추정한 다. - 그림 1(f),(g)와 같이 카메라 높이 변화에 해당하는
, 그림 1(b)∼(e)와 같은 카메라 자세 변화에 해당하는 pitch( ), 차량의 급한 좌,우회전 시 발생하는 roll().
2. 차선 모델
Wang 등이 제안한 차선 모델은 영상 평면에 B-spline곡선을 이용해 차선의 중심선을 정의하고, 좌 우 차선은 영상 평면의 수평 방향으로 동일한 거리의 점들로 구성하였다[7]. 하지만 이 차선 모델은 곡선 구간 에서 중심선의 기울기가 변함에 따라 중심선으로부터 좌차선과 우차선의 실세계 좌표상의 거리가 달라질 수 있다. 제안하는 알고리즘에서는 중심선은 동일한 방법 을 사용하지만 좌우 차선은 실세계 평면으로 투영한 중 심선의 기울기에 직교하는 방향으로 동일한 거리에 위 치한 점들로 정의함으로써 전술한 문제를 해결한다.
그림 7은 제안하는 평행 차선 모델을 영상 평면과 실 세계 평면에 각각 나타낸 것이다. 중심선은 영상 평면 에서 cubic B-spline을 사용하며, 식 (5)와 같이 기저 함수(basis function) 와 제어점 의 곱들의 합으로
을 표현할 수 있다.
≤ ≤ (5)
좌우 차선은 영상 좌표계에서 중심선의 기울기()를 직선의 변환 관계식 ′ H 을 이용하여 실세계 좌 표로 변환(′)한 뒤, 수직방향(′)으로 거리가 차선 폭 ( )의 절반만큼 떨어진 곡선으로 정의한다. 이는 식 (6)의 와 로 각각 표현할 수 있다.
(a) (b) 그림 7. 제안하는 평행 차선 모델 :
(a) 영상 좌표계, (b) 실세계 좌표계 Fig. 7. Proposed parallel lane model :
(a) Image coordinates, (b) World coordinates.
H H
′
′ (6)
HH
′
′
의 제어점 는 차선 검출 및 카메라 외부 파 라미터 추정 과정에서 차선의 형태를 결정하는 파라미 터이며, 와 의 H 에 포함된 카메라 높이 (), pitch 회전각( ), roll 회전각()은 실세계 좌표에 서 좌우 차선의 형태를 결정하는 파라미터이다.
3. 카메라 외부 파라미터 추정 및 차선 검출 제안하는 알고리즘은 전술한 차선 모델을 이용하여 B-snake 기반의 목적 함수를 정의하고 최적화 과정을 통해 지속적으로 변화하는 카메라 외부 파라미터의 추 정과 차선 검출을 동시에 수행한다.
추정하고자 하는 파라미터는 곡선 의 제어점 P 와 카메라 높이, pitch와 roll 회전각 h 까지 총 8개이며, 차선 검출 및 카메라 외 부 파라미터 추정 과정에서 각 파라미터의 의미와 역할 은 표 1과 같다.
상기된 파라미터의 추정을 위한 목적 함수 는 식 (7)과 같으며 내부에너지 와 외부에너지 의 균형에 의해 파라미터 P h 가 결정된다[12].
P h P P h (7) 여기서, 내부에너지 는 수치적 안정성과 영상 내 잡음 성분에 의한 악영향을 줄이기 위한 정규화항 (regularization term)이며, 식 (8)과 같이 stiffness 에너 지[12]를 사용하여 추정하고자 하는 차선의 방향이 급격 한 변화없이 부드러운 형태를 가지도록 한다.
파라미터 의미와 역할
카메라 높이() 좌우 차선의 전반적인 거리 결정 pitch각() 원근에 따른 좌우 차선의 간격 결정
roll각() 원심력에 의한 자체의 좌우 방향 회전
의 제어점(P) 차선 중심선의 형태 결정
표 1. 추정 파라미터의 의미와 역할
Table 1. Meaning and role of the estimation parameter.
P
(8) 외부 에너지 는 snake의 제어점이 영상내의 관 심 특징으로부터 취득되는 힘이며 목적에 따라 다양한 형태로 정의된다. 제안하는 알고리즘의 는 실세계 좌표상의 좌우 차선 와 이 영상에서 관측되 는 병합된 LMS특징 의 값이 높은 곳에 투사되도록 하기 위해 식 (9)과 같이 나타낸다.
P h
(9)
식 (7)의 목적함수는 일반적인 최적화 문제의 1차 수 렴조건인 ∇ 에 대응되는 오일러-라그랑주 방정 식(Euler-Lagrange equation)을 만족시키는 파라미터를 찾음으로써 최적화될 수 있다. 높은 수렴성과 초기 위 치의 제한이 없는 GVF snake[10]를 도입하여 최적화를 수행했으며, 연산 속도 개선을 위해 Gauss-Newton 방 법을 사용하였다. 그림 8은 반복 횟수에 따른 GVF 필 드에서 차선 검출을 수행하는 과정을 보여준다.
(a) (b)
(c) (d)
그림 8. GVF 필드에서 평행 차선 모델의 수렴 과정 : (a) 반복 1, (b) 반복 15, (c) 반복 60, (d) 반복 120
Fig. 8. Convergence process of the parallel lane model on GVF field. : (a) interation 1, (b) iteration 15, (c) iteration 60, (d) iteration 120.
Ⅴ. 실험 및 결과
차량에 장착된 카메라를 이용해 요철이 있거나 전방
도로의 기울기가 급격히 변하는 주행 영상을 대상으로 실험을 진행했다. 차선 검출 결과는 실험 영상에 대하 여 제안하는 방법과 Wang 등의 방법[7]의 비교를 통하 여 검증하였다. 카메라 외부 파라미터 추정의 정확도는 전방 차량과의 거리를 레이더 실측 결과, 카메라 외부 파라미터의 변화를 고려하지 않은 거리 측정 결과와 제 안하는 방법의 보정된 카메라 외부 파라미터를 이용한 측정 결과를 비교하는 방식으로 진행하였다. 각각에 대 해선 아래에 그 결과와 함께 자세히 설명한다. 처리속 도는 Intel i7-3610QM CPU 2.30GHz에서 HD (1280x800)영상은 프레임당 약 100ms, QVGA급인 (378x240)영상에 대해서는 약 15ms이다.
1. 차선 검출 결과 비교
그림 9(a),(b)는 볼록한 요철을 지날 때 Wang 등의 방 법[7]과 제안하는 방법을 이용한 차선 검출 결과를 보여준 다. 제안하는 방법에서는 요철에 의한 카메라 외부 파라미 터의 변화에 무관하게 차선이 정확하게 검출되지만 Wang 등의 방법[7]에서는 카메라의 높이와 pitch각의 변화로 실 세계 좌표에서 평면 노면과 평행 차선의 가정을 만족하지 않기 때문에 차선 검출 결과에 오류가 발생한다.
그림 9(c),(d)는 내리막 도로의 시작 구간에서 Wang 등의 방법[7]과 제안하는 방법을 이용한 차선 검출 결과 를 보여준다. 현재 차량이 위치한 평면에 비해 전방 도 로의 기울기가 다르기 때문에 Wang 등의 방법[7]에서는 카메라의 pitch각의 변화와 동일한 형태의 검출 오류가 발생한다. 하지만 제안하는 방법은 전방 도로의 기울기 변화에 관계없이 차선을 정확하게 검출한다.
그림 9(e),(f)는 곡선 도로에서 Wang 등의 방법[7]과 제안하는 방법을 이용한 차선 검출 결과를 보여준다.
그림 9의 (a)∼(d)의 직선 구간뿐만 아니라 곡선 도로 에서 발생하는 카메라 외부 파라미터의 변화에도 강건 한 차선 검출 결과를 확인할 수 있다.
그림 9(g),(h)는 터널을 진입 또는 진출 시 제안하는 방법을 이용한 차선 검출 결과이다. 차량이 터널을 출 입할 때 입력 영상의 밝기 포화 현상 때문에 특징점이 일시적으로 부족하게 되어, 차선 검출의 오류 가능성이 있다. 하지만 제안하는 방법은 병합된 특징을 사용하기 때문에 최근 입력 영상의 특징점들이 병합된 특징맵에 존재하여 차선 검출 결과가 양호함을 보여준다.
(a)
(b)
(c)
(d)
(e)
(f)
(g)
(h) 그림 9. Wang 등의 방법[7]과 제안하는 방법의 차선 검출 결과 :
(a)∼(b) 볼록한 요철 지날 때 Wang 등의 방법[7]과 제안하는 방법의 차선 검출 결과, (c)∼(d) 내리막 도로의 진입 때 Wang 등의 방법[7]과 제안하는 방법의 차선 검출 결과, (e)∼(f) 곡선 구간에서 Wang 등의 방법[7]과 제안하는 방법의 차선 검출 결과, (g)∼(h) 터널 진입과 진출 시 제안하는 방법을 이용한 차선 검출 결과
Fig. 9. The lane detection results of Wang’s method[7] and proposed method :
(a)∼(b) The lane detection results of Wang’s method[7] and proposed method, driving on a bumpy road, (c)∼(d) The lane detection results of Wang’s method[7] and proposed method, entering downhill, (e)∼(f) The lane detection results of Wang’s method[7] and proposed method, driving on a curved road, (g)∼(h) The lane detection results of proposed method, entering and leaving tunnels.
(a) (b)
(c) (d)
그림 10. 주행간 전방 차량 거리 측정 결과 및 레이더 측정 결과와의 절대 오차 : (a) 실험 구간 전체의 전방 차량 거리 측정 결과, (b)∼(d) 실험 구간 전체, 요철을 지날 때와 내리막 시작 구간에서 레이더 측정 결과와의 절대 오차
Fig. 10. Analysis of the distance measured to a preceding vehicle and the error on a video sequence : (a) comparison of three measured distances, and error profiles on (b) the whole sequence, (c) the bumpy road section, and (d) the downhill section.
2. 카메라 외부파라미터 추정 결과 비교
그림 10 (a),(b)는 카메라 외부 파라미터의 변화 요소 가 다수 존재하는 영상에서 전방 차량까지의 거리를 제 안하는 방법, 고정된 호모그래피 방법(Wang 등의 방법
[7])으로 측정한 결과와 레이더의 실측 결과를 함께 그래 프로 나타낸다. 고정된 호모그래피 방법에 의한 측정결 과(파란색선)는 노면의 요철과 기울기 변화에 따라 카 메라 외부 파라미터가 변하기 때문에 거리 측정의 결과 의 오차가 수 m에 이르는 반면에 제안하는 방법으로 측정한 결과(빨간색선)는 카메라 외부 파라미터의 보정 효과로 오차가 1m이내로 제한됨을 볼 수 있다.
그림 10(c)는 전술한 실험 구간 중 요철을 지날 때 레이 더 실측 결과와의 절대 오차를 나타낸다. 고정된 호모그래 피 방법은 요철을 지날 때 카메라의 높이, pitch와 roll각이 변하므로 거리 측정 결과에 최대 4m가량의 오차가 발생하 지만, 제안하는 방법은 비교적 안정된 결과를 보인다.
그림 10(d)는 내리막 시작 구간에서 레이더 실측 결 과와의 절대 오차이며, 카메라의 pitch각 보정으로 제안 하는 방법이 고정된 호모그래피 방법에 비해 안정적인
실험 구간 전체 요철 내리막 오르막
Wang 등의 방법[7]
제안하는 방법
표 2. 레이더 실측 거리에 대한 절대 오차의 표준 편차 (단위 : )
Table 2. The standard deviation of absolute error in actual distance measured by radar(unit: ).
결과를 보여준다.
고정된 호모그래피 방법과 제안하는 방법의 레이더 실측 결과에 대한 절대 오차의 표준 편차를 계산한 결과를 표 2에 정리하였다. 제안하는 방법이 레이더 실 측 결과에 근소한 오차로 거리가 측정되고 있으므로 주 행 중 카메라 외부 파라미터의 변화에도 안정적인 실세 계 좌표 정보를 제공함을 알 수 있다.
Ⅵ. 결 론
본 논문에서는 B-snake를 이용하여 카메라 외부 파 라미터 추정과 차선 검출을 동시에 수행함으로써 주행
중 발생하는 도로의 요철이나 전방도로의 기울기 변화 에도 강건한 차선 검출이 가능함을 실험 결과를 통하여 입증하였다. 또한 이전 차선 검출 결과를 고려하여 현 재 입력 영상의 특징점 강도를 각각 다르게 부여함으로 써 잡음에 대한 영향을 줄였으며, 시간적으로 연속하는 영상들에 대해 카메라의 움직임을 고려한 특징점 병합 을 수행함으로써 특징점이 부분적, 일시적으로 부족한 환경에도 안정한 차선 검출이 가능함을 보였다.
이 밖에 카메라 외부 파라미터의 변화에도 강건한 차선 검출 알고리즘은 LDWS와 LKS같은 차선 관련 시스템의 성능 향상을 유도하며, 추정된 카메라 외부 파라미터를 이용하여 전방 차량 검출 및 거리 측정 등에 적용한다면 주행 안전 시스템의 전체적인 성능 향상이 기대된다.
참 고 문 헌
[1] J. C. McCall and M. M. Trivedi, “Video-based lane estimation and tracking for driver assistance:
survey, system, and evaluation,” IEEE Transactions on Intelligent Transportation Systems, vol. 7, no. 1, pp. 20-37, 2006.
[2] M. Bertozzi and A. Broggi, “GOLD: a parallel real-time stereo vision system for generic obstacle and lane detection,” IEEE Transactions on Image Processing, vol. 7, no. 1, pp. 62-81, 1998.
[3] Z. Kim, “Robust Lane Detection and Tracking in Challenging Scenarios,” IEEE Transactions on Intelligent Transportation Systems, vol. 9, no. 1, pp. 16-26, 2008.
[4] M. Aly, “Real time detection of lane markers in urban streets,” in Proceedings of the IEEE Intelligent Vehicles Symposium, pp. 7-12, 2008.
[5] M. Nieto, L. Salgado, F. Jaureguizar, and J. a.
Cabrera, “Stabilization of inverse perspective mapping images based on robust vanishing point estimation,” in Proceedings of the IEEE Conference on Intelligent Vehicles Symposium, pp. 315-320, 2007.
[6] H. Weigel and G. Wanielik, “Simultaneous estimation of vehicle dynamics and lane features for road safety applications,” in Proceedings of International Conference on Information Fusion, pp. 1512-1519, 2009.
[7] Y. Wang, E. K. Teoh, and D. Shen, “Lane detection and tracking using B-Snake,” Image and Vision Computing, vol. 22, no. 4, pp. 269-280, 2004.
[8] X. Liu, B. Dai, J. Song, H. He, and B. Zhang,
“Real-time long-range lane detection and tracking for intelligent vehicle,” in Proceedings of international conference on Image and Graphics, pp. 654-659, 2011.
[9] M. Nieto, L. Salgado, F. Jaureguizar, and J.
Arr´ospide, “Robust multiple lane road modeling based on perspective analysis,” in Proceedings of the IEEE Image Processing, pp. 2396-2399, 2008.
[10] C. Xu and J. L. Prince, “Snakes, shapes, and gradient vector flow,” IEEE Transactions on Image Processing, vol. 7, no. 3, pp. 359-369, 1998.
[11] X. Han, C. Xu, and J. L. Prince, “Fast numerical scheme for gradient vector flow computation using a multigrid method,” IEEE Transactions on Image Processing, vol. 1, no. 1, pp. 48-55, 2007.
[12] M. Kass, A. Witkin, and D. Terzopoulos, “Snakes:
Active contour models,” International Journal of Computer Vision, vol. 1, pp. 321–331, 1987.
[13] 김덕래, 문호선, and 김용득, “B-Snake를 이용한 차 선 검출 및 추적 알고리즘에 관한 연구,” 전자공학 회 논문지, 제 42권 SP편, 제 4호, 21-30쪽, 2005년 7월.
[14] 김병수, 김회율, “도로 환경 변화에 강인한 차선 검 출 방법,” 전자공학회논문지, 제 49권 SC편, 제 1호, 88-93쪽, 2012년 1월.
저 자 소 개 하 상 헌(학생회원) 2007년 금오공과대학교
컴퓨터공학과 학사 2007년∼2010년 (주)엠텍비젼
연구원
2010년∼2011년 (주)넥스트칩 연구원
2011년∼현재 서강대학교 전자공학과 석사 과정
<주관심분야 : 컴퓨터 비젼, 임베디드 시스템>
김 경 환(정회원)-교신저자 1984년 서강대학교
전자공학과 학사 1986년 서강대학교 전자공학과 석사
1996년 State University of New York at Buffalo 전기 및 컴퓨터 공학과 박사 1997년∼현재 서강대학교 전자공학과 교수
<주관심분야 : 영상신호해석, 패턴인식, 임베디드 시스템 디자인>
![Fig. 9. The lane detection results of Wang’s method [7] and proposed method :](https://thumb-ap.123doks.com/thumbv2/123dokinfo/5072403.560072/8.892.138.747.162.959/fig-lane-detection-results-wang-method-proposed-method.webp)
