Detection of Direction Indicators on Road Surfaces Using Inverse Perspective Mapping and NN
Jong Bae Kim†
ABSTRACT
This paper proposes a method for detecting the direction indicator shown in the road surface efficiently from the black box system installed on the vehicle. In the proposed method, the direction indicators are detected by inverse perspective mapping(IPM) and bag of visual features(BOF)-based NN classifier. In order to apply the proposed method to real-time environments, the candidated regions of direction indicator in an image only performs IPM, and BOF-based NN is used for the classification of feature information from direction indicators. The results of applying the proposed method to the road surface direction indicators detection and recognition, the detection accuracy was presented at least about 89%, and the method presents a relatively high detection rate in the various road conditions. Thus it can be seen that the proposed method is applied to safe driving support systems available.
Keywords : Advanced Driver Assistances System(ADAS), Inverse Perspective Mapping(IPM), Bag of Features(BOF)
원근투영법과 신경망을 이용한 도로노면 방향지시기호 검출 연구
김 종 배†
요 약
본 논문은 차량에 설치된 블랙박스 영상으로부터 도로노면에 표시된 방향지시기호를 효율적으로 검출하는 방안을 제안한다. 제안한 연 구에서는 원근 효과를 가진 입력영상에서 역원근변환 방법을 통해 원근 효과를 제거한 실세계 좌표로 매핑 한 평면 영상에서 BOF 특징정 보 기반의 신경망 인식기를 통해 검출한다. 입력영상에서 역원근변환과 특징정보의 검출 및 인식은 높은 계산량 때문에 실시간 처리가 어 려운 점이 있다. 이를 보완하기 위해 제안한 방안에서는 입력영역의 도로노면 방향지시기호 영역의 특징을 분석하여 도로노면 기호가 포함 된 후보 ROI영역을 정의하고 후보 ROI영역의 Gray 색상에서 역원근변환을 수행한다. 그리고 각 도로기호 영역들을 실시간 검출 및 인식 하기 위해 인식코자 하는 영역 극소 특징벡터를 추출하고 이를 근소화시킨 클래스로 군집화하여 BOF를 생성한 후 이를 활용한 신경망을 통해 검출한다. 제안한 방안을 도로노면 방향지시기호 검출 연구에 적용한 결과, 약 89% 이상 비교적 정확한 검출률을 제시하였으며, 다양 한 도로 환경에서도 높은 검출률을 제시하였다. 따라서 제안한 방안을 안전운전지원시스템을 위한 보다 정확한 도로정보 제공시스템에 적 용 가능함을 보인다.
키워드 : 안전운전지원시스템, 역원근변환, 특징정보벡터
1. 서 론1)
최근 자동차에 비전기술을 적용하여 운전자의 안전운전지 원시스템에 대한 개발 및 연구가 활발히 진행되고 있다[1-8, 11]. 자동차 운전은 운전자의 시각정보에 의존하는 작업이 대략 90% 이상이기 때문에 운전자의 시각정보에 대한 처리
※ 이 논문은 2014년 정부(교과부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(2010-0021071).
※ 이 논문은 2014년도 한국정보처리학회 추계학술발표대회에서 ‘역원근 변환과 신경망을 사용한 효율적인 도로노면 방향지시기호 검출 연구’의 제목으로 발표된 논문을 확장한 것임.
†정 회 원 : 서울디지털대학교 컴퓨터정보통신학과 교수 Manuscript Received : January 7, 2015
First Revision : March 16, 2015 Accepted : March 19, 2015
* Corresponding Author : Jong Bae Kim([email protected])
를 지원하기 위한 시스템을 개발하여 운전자의 피로도 및 사고를 줄이려는 것이다. 인간의 시각은 입력된 시각정보들 중 모든 것을 처리하는 것이 아니라 운전자 작업 중심에 대 한 관심 대상만을 처리함으로써 불필요한 소모를 줄이고 처 리 복잡도를 줄이는 작업으로 정보를 처리한다. 운전 중 관 심 대상정보들에는 주행 중인 차량 정보, 보행자 정보, 도로 표지판 정보, 도로 인프라 정보 등이 해당한다. 특히 도로 인프라 정보들 중 신호등, 차선, 도로표지판, 노면 기호는 주 행 중 운전자가 필히 인지해야 하는 정보들이다. 기존의 많 은 자동차 비전 기술들에는 차선 인식, 신호등 인식, 표지판 인식 등이 활발히 개발되고 있다[1, 2]. 이러한 비전 기술들 에는 다양한 감지기들의 부가적인 도움이 요구된다. 예를
Fig 1. Flowchart of the Proposed Method 들어 GPS, 레이더, 초음파, 적외선 센서 등 부가적인 장치의
지원으로 보다 향상된 검출과 인식이 가능하다. 또한, 도로 상에 존재하는 지형지물들의 위치 및 모양 판별을 통해서도 이러한 감지기들을 대치할 수 있다. 예를 들어, 차선, 도로표 지판, 도로노면 기호 등이 부가적인 감지기들을 대치할 수 있을 것이다. 본 연구의 초점은 도로노면 방향지시기호의 검출로서, 차량에 설치된 블랙박스 영상에서 수집된 영상데 이터로부터 노면 방향지시기호를 실시간으로 검출하여 운전 자에게 그 정보를 제공하는 것이다.
도로노면 방향지시기호를 검출하는 기존 연구들은 대부분 차선인식을 위한 연구들이 주류를 이루고 있다. 우선 에지 픽셀의 히스토그램 변화를 이용한 영상분할과정을 통해 도 로노면 방향지시기호 영역을 검출하는 연구[5]가 있으며, 도 로노면 방향지시기호의 그래픽 모델 기반의 검출[6], Hough 변환을 통한 검출 연구[7], 역원근변환을 통한 연구[8], 에지 탬플릿 매칭[15] 연구들까지 다양한 연구들이 존재한다. 기 존 연구들은 입력영상의 전체를 대상으로 처리를 수행함으 로써 수행시간이 늘어나서 실시간 적용에 어려운 점이 있으 며, 특히 입력 프레임 내에 기호영역의 포함여부 판별을 위 해 모든 프레임을 대상으로 원근효과를 제거함으로써 실시 간 운전자 지원시스템에 적용하는 데 한계가 있다. 따라서 제안한 연구에서는 기호영역이 포함되어있을 가능성이 높은 특정 프레임상에서 사전에 설정된 후보 ROI 내에서만 역원 근변환 처리를 적용함으로써 실시간 적용을 가능하게 한다.
제안한 연구에서는 입력영상의 색상, 에지, 텍스처 변화율 을 계산하고 설정 임계치 이상일 때 노면 방향지시기호 포 함 여부를 판별한다. 그리고 도로노면 방향지시기호가 포함 된 영상에서 사전에 정의한 기호 후보영역 ROI를 선택하고 해당 영역에서 역원근변환을 통해 원근 효과를 제거한다.
이후 적응적 임계치 변환을 통한 이진화와 후처리단계(연결 성분조사, 모폴로지 연산 등)를 수행한 후 노면 방향지시기 호 영역들을 검출한다. 최종적으로 해당 기호영역들의 인식 을 위해 사전에 구축한 BOF 특징정보 기반의 신경망을 통 해 판별과정을 거침으로써 도로노면 방향지시기호들을 검출 한다.
2. 제안한 방안
제안한 연구는 자동차 전면 윈도우에 설치된 카메라로부 터 입력된 칼라 영상에서 노면 영역의 색상 밝기, 에지, 질 감 분포의 변화를 분석하여 노면기호와 같은 관심영역들을 검출한다. 그리고 검출된 관심영역들 중에서 도로노면 기호 영역들만을 추출하기 위해서 최소한의 정보로만 구성한 BOF 기반의 신경망을 사용함으로써 최종 노면 기호 영역을 검출한다. 이러한 과정을 위해 제안한 연구에서는 Flg. 1과 같이 전체 5단계의 처리과정으로 구성한다.
첫 번째 단계는 도로노면 기호문자가 포함되어있는 프레 임을 선택하기 위해 입력영상의 크기 변환 및 노이즈 제거
와 같은 사전처리 작업을 수행하고 그 결과로 입력영상에서 영상분석을 위한 분석영역을 출력한다. 영상분석단계에서는 모든 영상에 원근투영법을 적용하게 되면 처리시간이 늘어 나서 차량 운전자에게 실시간 정보 제공이 어렵게 된다. 따 라서 영상분석단계를 통해 입력영상에 관심 물체인 방향지 시기호 문자 포함 여부를 분석하는 것이다. 사전처리단계에 서 추출된 분석영역의 밝기, 질감, 에지 등의 변화와 분포를 분석하여 학습을 통해 얻은 임계치값 이상의 값을 가질 경 우 입력영상에서 도로노면에 해당하는 하단부 영역을 추출 한다. 이후 원근투영방법을 통해 픽셀 좌표를 현실세계 좌 표로 변환하고 픽셀값을 매핑 함으로써 투영변환을 수행한 다. 그리고 변환된 영상을 적응적 임계치 방안을 적용하여 주간 도로 환경과 같이 다양한 조도가 변화하는 상황에서 관심 물체 영역을 구분하고 해당 각 영역들을 BOF 특징정 보 기반의 신경망 인식기를 통해 해당 영역을 인식함으로써 최종 방향지시기호 영역과 인식결과를 출력한다.
Fig. 3. Find Histogram Peaks
3. 사전처리단계
본 단계에서는 Full HD급 자동차 블랙박스 영상에서 입 력받은 1920×1080 24bit 칼라 영상에서 관심 물체인 도로노 면 방향지시기호가 포함된 프레임을 선택하기 위해 입력영 상을 bilinear 보간법을 통해 50% 축소시킨 영상에서 사전 에 정의한 11×551 픽셀 크기의 분석영역 ROI를 선택하고 노이즈 제거는 3×3 픽셀 크기 median 필터를 적용하였다.
Fig. 2는 사전처리단계를 통해 분석영역을 표시한 축소 영 상과 해당 분석영역을 추출한 그림이다.
(a) input image
(b) Selecting of ROI
Fig. 2. Results of Pre-processing
4. 영역분석단계
본 단계는 분석영역 내의 특징변화를 분석하여 입력영상 에 노면기호영역이 포함되어있는지를 판별하는 단계이다.
일반적으로 도로노면상에 도색된 문자와 방향지시기호들은 운전자의 시인성과 가독성을 높이기 위해 도로노면과 구분 되는 색상으로 도색되어있다. 또한, 문자와 기호는 인쇄체 형태로 구성되어있다. 문자 및 기호는 도로 차선과 같은 색 상과 유사한 특징을 가지고 있으며, 차이점은 직선 형태가 아닌 사전에 정의된 기호 및 문자 형태로 표현되어있다는 점이다. 따라서 입력영상에서 방향지시기호 포함 여부를 판 별하기 위해 배경과 구분되는 특징 정보를 분석하는 것이 필요하다. 도로노면 방향지시기호 영역의 특징은 배경과 확 연히 구분되는 단일 색상을 가지고 있고, 국부영역에 특정 명함도 분포가 균일하게 분포하고 있으며, 최저 밝기값에서 최고 밝기값으로 급격하게 변화하는 정도가 다수 존재한다 는 것이다. 따라서 이러한 특징(밝기 변화, 에지, 영역)을 기 반으로 입력 프레임에서 도로노면에 방향지시기호가 포함되 어있는지 판별한다.
4.1 히스토그램 피크점 및 에지 검출
본 단계에서는 분석영역 ROI의 그레이 히스토그램을 그 리고 세로축으로 평균값을 계산한 후 1×550 크기 벡터의 선 형으로 인접한 두 픽셀 간의 밝기 차이가 발생한 곳을 피크 점으로 추출한다. Fig. 3은 분석영역 ROI에 세로축 평균 이 미지의 이웃하는 픽셀들 간의 피크점(pks)과 임계값을 통해 일부 피크점을 제외한 결과 그림이다. 일반적으로 도로 영 상에서 방향지시기호 영역은 최소한 10픽셀 이상의 간격을 두고 색상이 변하는 점과 입력영상 평균 밝기값보다 높은 밝기값 영역에서 색상 변화가 두드러짐을 실험을 통해 확인 하였다. 결국 이 특징은 방향지시기호 영역이 운전자의 시 인성을 높이기 위해서 배경과 구분되는 색상으로 구성되어 있어 가능한 것이다. 따라서 본 단계에서는 영역 분석을 위 해 Equation (1)과 같이 이웃하는 피크점 간에 10픽셀 간 이상의 차이가 있는 곳과 평균 밝기값(mean(ROI)) 이상인 피크점을 추출한다.
≥ ∩
≥ ∩
≥
(1)
Flg. 3과 같이 임계값 없이 피크점을 검출할 시 총 93개 피크점이 검출되는 반면에 Equation (1)의 조건을 만족하는 피크점은 15개임을 알 수 있다. 그리고 분석영역 ROI 내에 포함된 에지 픽셀의 개수를 분석한다. 도로영상은 외부환경 에 의한 많은 잡음을 포함하고 있다. 사전처리단계에서 median필터를 통한 노이즈 제거 단계를 수행하였지만 노면 오염, 불규칙한 노면과 같이 다양한 색상 변화를 포함하고 있다. 따라서 본 단계에서는 이웃하는 에지들의 연결된 길 이를 분석하여 10픽셀 미만의 연결된 에지 리스트를 삭제한
(a) Canny Edge with Gaussian Filter
(b) Soble Edge
(c) Region Detection
Fig. 4. Results of Edge and Regions Detection
다. 우선 분석영역 ROI를 표준편차 1을 가지는 가우시안 필 터와 [0.1 0.2]의 임계값을 사용한 canny 에지 검출기를 통 해 에지를 검출한다. Flg. 4는 실험영상 원근변환을 적용하 기 위한 ROI영역에서 sobel 연산을 통한 에지 검출 결과와 비교한 그림이다. 가우시안 필터와 에지 임계값을 설정함으 로써 강화된 에지 검출과 함께 노이즈에 의해 작은 에지 픽 셀들은 제거됨을 알 수 있다. Flg. 2-(b)의 분석영역 ROI에 속한 에지 픽셀의 개수를 산출한다. 그리고 분석영역 ROI에 포함된 연결된 이진화 영역을 개수를 구한다. 이를 위해 Otsu’s의 적응적 임계치 방법을 사용하여 이진화를 수행하 고 영역 내에서 픽셀의 수가 10 미만인 영역들은 제거한다.
영역분석단계에서 피크점, 에지 픽셀, 그리고 이진화된 영역 의 개수를 분석하여 각각의 특징정보가 임계값 이상인 영역 은 입력 프레임에 관심기호 혹은 문자영역이 포함된 영역으 로 간주한다.
5. 역원근변환단계
본 단계는 도로노면 방향지시기호가 포함된 영상에서 사 전에 정의한 후보 ROI영역의 원근 효과를 제거한 역원근변 환 영상을 출력하는 단계이다. 실험환경에서 차량에 설치된
카메라는 3차원 실세계를 2차원 평면으로 원근 효과를 가지 고 매핑 하게 된다. 결국, 영상정보는 3차원 실세계 정보의 손실이 발생한다. 이러한 손실을 최소화하여 실세계 좌표를 획득하기 위해서 카메라의 위치, 회전, 화각, 렌즈 초점 길이 등의 다양한 파라미터들을 사전에 획득한 조건을 이용하여 실세계 좌표를 추정할 수 있다. Bertozzi[8]의 역원근법 계산 에 의해 2차원 ROI 영상을 3차원 실세계 좌표로 표현하고 이를 다시 2차원 평면으로 투영함으로써 원근효과가 제거된 영상을 획득한다. 3차원 실세계 좌표계를 2차원 유클리디안 공간으로 정의하고, W=(x,y,z)∈E3, 여기서 2차원 영상 공간 I=(u,v)∈E2로 정의한다. 실제 자동차에 설치된 카메라의 화 각(α), 설치된 높이(h), 좌우 뒤틀림 정도(r: 상하 카메라 각 도, θ: 수평 카메라 각도), 입력영상의 크기(n×m 픽셀 크 기), 그리고 l과 d는 원점으로부터 카메라의 위치 정보들을 활용하여 Equation (2)와 같이 2차원 영상을 3차원 실세계 좌표계로 변환을 수행한다.
tan
×cos
tan
×sin
(2)
영역분석단계에서 입력영상 내에 관심물체가 포함되어있 을 경우, 입력영상의 역원근법 적용을 위한 ROI영역 440×630 픽셀을 1/2로 축소한 영역을 추출한다. 우선 2차원 영상을 3차원 실세계에 매핑 하기 위한 행렬을 생성한다.
Equation (3)과 같이 3차원 실세계 좌표를 2차원 영상으로 매핑 한다.
arctan
arctan
arctan
(3)
여기서 d, l, h는 실세계에서 카메라의 위치 좌표로서 d, l 은 각각 1로 설정하고, h는 1.8로 설정한다. 그리고 카메라의 좌우 및 상하 회전(r,θ=0)은 없다고 간주한다. 따라서 역원 근변환을 위한 사전정보로는 카메라의 설치 높이, 카메라의 화각, 입력영상의 크기 정보들을 사용한다. Flg. 5는 영상분 석단계에서 검출된 영상에서 사전에 정의한 위치를 선택한 후보 ROI 영상에서 원근 효과가 제거된 영상이다. (a)는 3 차원 실세계 좌표를 2차원 좌표로 매핑 하기 위한 행렬이고 (b)는 실제 역원근변환 효과를 제거한 영상이다.
(a) IPM Matrix
(b) IPM Result Image Fig. 5. Results of IPM
(a) 3D Topographic Map
(b) MSER Detection Result
(c) MSER Detection Result with Threshold Values Fig. 6. Results of MSER Detection
6. 후처리단계
본 단계는 역원근변환단계에서 수행한 Flg. 6에서 후처리 단계를 수행하여 관심영역들을 배경으로부터 분리하고 불필 요한 영역들을 제거하는 단계이다. 역원근변환 영상에서 관 심 있는 영역들만을 추출하기 위해 제안한 방안에서는 MSER(Maximally Stable Extremal Regions) 영역들을 추출 한다. MSER 영역은 주위 배경 픽셀에 비해 현저한 색상, 질감, 에지 등의 특징정보가 두드러진 영역들을 구분하는 방법이다[12]. 도로노면에 위치한 지시기호나 문자들은 배경 과 구분되는 단일 색상과 유사한 질감으로 구성되어있다.
따라서 최대 MSER 특징을 가지는 영역들을 선택함으로써 관심영역들을 선별할 수 있다. MSER 계산은 그레이 영상 을 3차원 topographic 맵으로 표현하고 각 그레이 레벨을 0 부터 255까지 증가하면서 같은 그레이값을 가진 인접한 픽 셀들의 component 트리를 구한다. 3차원 맵에서 가장 높은 지점과 골짜기 지점은 지역적 밝기 최대 및 최소인 지역이 다. 결국, 입력영상 I는 Rmin, …, Rl, Rl+1, …, Rmax의 집합인 트리 형태로 구성하고 각 트리에 연결된 영역들의 stability
스코어를 계산한다. 그리고 각 스코어 점수(v)를 비교하여 stable한 영역을 선택한다.
∆
(4)
여기서 은 영역의 크기이다. stable한 영역의 선택 기 준은
if
if
(5)
이 기준에 따라 최대 stable한 영역들을 선택하고 최종 영역은 검증 단계를 통해 영역의 크기가 매우 작거나 큰 영
(a) Binary and Labeling Images of Fig. 6 ©
(b) Results of Binary and Labeling Image after Merging
(c) Result of Labeling
(d) Results of ROIs with Bounding Boxs Fig. 7. Results of Almost Connected Component Labeling
(a) BOF Flowchart
(b) Sampling Image for Training Fig. 8. BOF and Training Samples
역 제거, 영역 내에 그레이 밝기의 변화가 큰 영역 제거, 그 리고 중복된 영역의 제거를 수행하여 최종 최대 stable한 영 역들을 검출한다. MSER의 불필요한 영역들을 제거하기 위 해 제안한 방안에서는 최소, 최대 픽셀을 400에서 4,000으로 하고 최대 밝기변화 정도를 0.07로 설정하였다. Flg. 6은 역 원근변환을 통해 검출한 관심영역을 3차원 지도로 표현한 (a) 와 MSER 검출 결과(b), 그리고 임계값을 가진 MSER 검출 결과(c)를 나타낸 것이다.
7. 인식단계
MSER 영역들을 도로노면 기호들 중에서 인식하는 단계 이다. 우선 인식단계 수행 전에 Fig. 6-(c)와 같이 좌회전
금지 기호의 경우 좌회전과 금지 기호의 분리 때문에 올바 르게 인식하기 어려운 문제점이 있다. 또한 문자영역 역시 자음과 모음, 그리고 받침이 분리되어있어 역원근변환을 수 행함으로써 더욱더 분리되어있는 부분이 또렷해져 이를 한 문자로 인식하는 데 어려움이 있다. 이를 해결하기 위해서 픽셀들 간의 유클리디안 거리를 측정하여 거리가 7픽셀보다 작은 영역들은 같은 영역으로 레이블링 함으로써 기호영역 들 간에 분리됨을 방지하였다. Flg. 7은 Flg. 6-(c)의 이진영 상과 레이블링 결과(a), 유클리디안 거리측정을 통해 병합한 이진영상과 레이블링 결과(b), 최종 레이블링 된 결과(c), 그 리고 역원근변환 결과에 노면기호 후보영역을 박스로 표시 한 결과(d)를 나타낸 것이다.
검출된 영역의 인식을 위해서는 제안한 방안에서 실시간 주행 중에 빠른 인식 결과를 도출하기 위해 bag of visual features(BOF)[13]를 사용한 신경망 인식기를 사용한다. Flg.
8-(a)와 같이 실시간 처리를 위해 인식코자 하는 영역의 극 소 특징벡터를 추출하고 이를 근소화하는 클래스로 군집화 한다. 이후 각 클래스에 속한 특징정보들의 개수를 신경망 학 습기를 통해 분석함으로써 최종 기호영역을 인식한다. BOF 구축을 위해 사전에 도로영상에서 획득한 방향지시기호들에 서 SURF(Speeded Up Robust Features)와 Harris 코너점을 추출한다[14]. 그리고 SURF의 특징정보를 감소하기 위해 K-means 클러스터링 알고리즘을 사용하여 특징정보 공간을 양자화하여 BOF를 구축한다. 특징정보 추출을 위해 SURF 최대 20개와 Harris 코너점 50개를 추출하고 각 특징정보들 로 벡터를 구성한 후 각 벡터들을 8개의 클러스터로 군집화 하였다. 또한 학습데이터에서 군집화된 특징벡터들이 각 군
좌회 전
우회
전 직좌 직우 서행 유턴 직진
금지 좌회 전금 지
기타
좌회
전 89.3 4.3 2.7 1.3 2.0 0.4
우회
전 88.5 2.7 1.2 0.5 7.1
직좌 2.3 94.2 0.3 1.3 0.1 1.8
직우 3.4 1.6 91.
2 1.7 2.1
서행 0.4 94.1 2.5 0.7 1.7 0.6
유턴 1.1 1.6 4.9 87.8 2.4 2.2
직진
금지 0.8 1.3 89.6 3.6 4.7
좌회 전금 지
2.1 1.5 1.2 86.1 9.1
Fig. 9. Confusion Matric of Indicators Detection
(a) input image (b) 3D map (c) MSER with boxs (d) ROIs extraction
Fig. 10. Experimental results of proposed method 집에 속하는 개수를 히스토그램으로 표현하였다. 학습을 위
해 대표적인 9개의 방향지시기호를 추출하고, 각 클래스별로 추출된 히스토그램을 학습을 위해 BOF의 값을 신경망을 통 해 가장 유사한 클래스로 해당 기호영역을 인식한다. 그리고 Flg. 8-(b)는 BOF 구축에 사용한 학습데이터들이다.
8. 실험 결과
제안한 방안은 자동차에 설치된 Full-HD급 블랙박스에서
획득하였으며 영상처리는 윈도우 64bit Dual Hexa core 3.33GHz에서 GPU를 사용한 Matlab 언어를 사용하였다. 영 상신호 출력을 통해 블랙박스에서 실시간 처리PC로 전달받 아 검출을 수행하였으며 입력된 영상의 크기는 1920×1080 칼라 영상이다. 실제 입력된 영상의 크기는 HD급 영상으로 서 실시간 처리에 불가능하므로 영상의 크기를 내부 처리과 정에서 50%로 줄였으며 사전에 정의된 도로노면 기호영역 을 설정한 400×800픽셀 ROI영역에서 수행하였다. 또한, 처 리시간 소모가 가장 많은 IPM 변환을 위해 ROI영역에 배 경 부분인 하늘과 좌, 우측 픽셀 약 50픽셀을 제거하고, 크 기를 50%로 줄인 150×200픽셀 영역의 그레이값을 사용하여 원근효과 제거 과정을 수행하였다. 분석영역단계에서 사용 한 임계값들은 피크점의 개수가 최소한 10개 이상, 에지 픽 셀의 개수는 100, 그리고 영역의 개수는 최소 7개 이상인 프레임을 선택하였다. 제안한 방안을 방향지시기호기 포함된 실험 영상 총 85개에서 실험한 결과, 초당 처리속도는 약 5프 레임이었으며 검출정확도는 약 89.4%(76개)였다. 대부분의 오 류는 도로노면에 포함된 다양한 이물질 및 오염에 따라 부정 확한 검출 결과를 제시하였다. Flg. 9는 각 방향지시기호들의 검출률을 나타낸 confusion 행렬이다. Flg. 10은 다양한 실험 결과 영상들이다. MSER 검출을 위한 3차원 지도와 IPM 결 과 및 ROI 검출 결과, 그리고 각 검출된 사각형영역을 200×100픽셀 크기로 정규화한 결과이다. 실험에서 도로노면 기호가 아닌 문자 혹은 숫자영역들도 함께 검출하지만 인식 단계에서 기타 결과로 도출하였다.
제안한 방안의 성능을 비교하기 위해 IPM과 에지 템플 릿 매칭을 사용한 검출 방안[15]과 비교 평가하였다. 검출 결과 비교를 위해 4가지(직진, 좌회전, 우회전, 유턴) 도로기 호 문자가 포함된 32개의 실험영상에서 에지 템플릿 매칭
방법은 총 28개의 영상에서 올바른 검출을 도출한 반면에 제안한 방안에서는 29개 영상에서 올바른 검출 정확도를 제 시하였다. 특히, 유턴 기호가 포함된 영상에서 템플릿 매칭 방안에서 좌회전으로 오인식하는 경우가 발생하였다. 그러 나 처리시간 면에서는 에지 템플릿 매칭 기반의 방안이 약 0.15초 이상 빠른 처리속도를 보였다. 제안한 방안에서는 MSER 영역 군집화 과정에서 수행시간의 소모가 발생하는 문제점이 있어, 향후 연구에서는 검출된 영역의 빠른 군집 화를 위한 방안 마련이 요구된다. 이를 위해 특징정보 기반 의 영역 군집화 방안을 적용하고자 한다.
9. 결 론
본 논문에서는 자동차 운전자의 안전운전지원을 위한 방 안으로 효율적으로 도로상에 도색된 노면 방향지시기호를 검출하는 방안을 제안하였다. 이에 역원근변환과 BOF 특징 정보 기반의 신경망을 사용하여 도로영상으로부터 방향지시 기호영역을 검출하였다. 입력된 도로영상을 자동차에 설치 된 블랙박스 영상에서 처리함으로써 차량형 블랙박스가 단 순히 영상녹화 기능뿐만 아니라 영상인식정보를 제공함으로 써 운전자에게 다양한 정보를 제공해주는 장비로 개발이 가 능함을 알 수 있다. 하지만, 일부 도로노면 기호영역에서는 오인식률이 다소 높게 나타났으며, 특히 횡단보도나 문자 및 제한속도 문자 영역에서는 도로노면 방향지시기호로 오 인식하거나 처리속도가 많이 소모되는 경우가 발생하였다.
따라서 향후 연구에 학습기 방안보다 처리속도가 빠른 패턴 매칭 기반의 연구를 수행하고자 한다.
References
[1] J. B. Kim, “Detection of Traffic Signs Based on Eigen-color Model and Saliency Model in Driver Assistance Systems,”
International Journal of Automotive Technology, Vol.14. No.3, pp.429-439, 2013.
[2] J. C. McCall, M. M. Trivedi, “Video-Based Lane Estimation and Tracking for Driver Assistance: Survey, System, and Evaluation,” IEEE Trans. Intell. Transport. Syst., Vol.7, pp.
20-37, 2006.
[3] L. Fletcher, at al., “Driver assistance systems based on vision in and out of vehicles,” IEEE Proc. of IVS., pp.322-327, 2003.
[4] S. Vacek, C. Schimmel, and R. Dillman, “Road-marking analysis for autonomous vehicle guidance,” Proc. of European Conference on Mobile Robots, pp.1-6, 2007.
[5] J. P. Gonzalez, U. Ozguner, “Lane Detection Using Histogram-Based Segmentation and Decision Trees,” Proc.
of IEEE Proc. Intelligent Transportation Systems, pp.346-351, 2000.
[6] J. Coughlan, H. Shen, “A fast algorithm for finding crosswalks using figure-ground segmentation,” Workshop on Applications of Computer Vision, Vol.5, pp.1-10, 2006.
[7] M. Uddin, T. Shioyama. “Robust zebra-crossing detection using bipolarity and projective invariant,” Proc. of the Int.
Sym. on Signal Processing and Its Applications, Vol.2, pp.517-574, 2005.
[8] T. Wu, A. Ranganathan, “A practical system for road marking detection and recognition,” IEEE Conf. on IVS., pp.25-30, 2012.
[9] Mathworks, http://www.mathworks.com/
[10] J. B. Kim, “Detection of direction indictors on road surfaces using Inverse Perspective Mapping and NN,” Proceedings of KIPS, Vol.21, No.2, pp.1199-1204, 2014.
[11] G. T. Han, H. Hwan, “Multimedia Processing: A Robust Real-Time Lane Detection for Sloping Roads,” Journal of KIPS, Vol.2, No.6, pp.413-422, 2013.
[12] J. Matas, O. Chum, M. Urba, and T. Pajdla, “Robust wide baseline stereo from maximally stable extremal regions,” Pro.
of British Machine Vision Conference, pp.384-396, 2002.
[13] G. Csurka, et al., “Visual categorization with bags of keypoints,” Workshop on Statistical Learning in Computer Vision. ECCV, Vol.1, pp.1-22, 2004.
[14] H. Bay, et al., “SURF: Speeded Up Robust Features,”
“Computer Vision and Image Understanding,” CVIU., Vol.
110, No.3, pp.346–359, 2008.
[15] I. M. Chira, A. Chibulcutean, and R. G. Danescu, “Real-time detection of road markings for driving assistance applications,” IEEE Proc. of Computer Engineering and Systems, pp.158-163, 2010.
김 종 배
e-mail : [email protected]
2002년 경북대학교 컴퓨터공학과(석사) 2004년 경북대학교 컴퓨터공학과(박사) 2004년～2006년 울산대학교 전기전자공학부
전임연구원
2006년 세종대학교 컴퓨터공학과 초빙교수 2006년～현 재 서울디지털대학교
컴퓨터정보통신학과 부교수 관심분야 : Computer Vision and Pattern Recognition
