CopyrightⒸ2016 KSAE / 141-11 pISSN 1225-6382 / eISSN 2234-0149 DOI http://dx.doi.org/10.7467/KSAE.2016.24.2.214 Transactions of KSAE, Vol. 24, No. 2, pp.214-224 (2016)
HSI/YCbCr 색상모델과 에이다부스트 알고리즘을 이용한 실시간 교통신호 인식
박 상 훈․이 준 웅*
전남대학교 산업공학과
Real Time Traffic Signal Recognition Using HSI and YCbCr Color Models and Adaboost Algorithm
Sanghoon Park․Joonwoong Lee*
Department of Industrial Engineering, College of Engineering, Chonnam National University, Gwangju 61186, Korea
(Received 31 August 2015 / Revised 20 November 2015 / Accepted 28 November 2015)
Abstract : This paper proposes an algorithm to effectively detect the traffic lights and recognize the traffic signals using a monocular camera mounted on the front windshield glass of a vehicle in day time. The algorithm consists of three main parts. The first part is to generate the candidates of a traffic light. After conversion of RGB color model into HSI and YCbCr color spaces, the regions considered as a traffic light are detected. For these regions, edge processing is applied to extract the borders of the traffic light. The second part is to divide the candidates into traffic lights and non-traffic lights using Haar-like features and Adaboost algorithm. The third part is to recognize the signals of the traffic light using a template matching. Experimental results show that the proposed algorithm successfully detects the traffic lights and recognizes the traffic signals in real time in a variety of environments.
Key words : Traffic light detection(교통신호등 검출), Traffic signal recognition(교통신호 인식), Adaboost algorithm(에이다부스트 알고리즘), Candidate generation(후보 생성), Similarity measure(유사도 척도)
1. 서 론1)
본 연구는 컴퓨터 비전분야의 한 부분인 교통 신 호 인식에 관한 것이다. 제안된 시스템은 차량실내 의 전면 글라스 중앙에 장착된 단안 카메라로부터 입력되는 칼라영상을 분석하여 신호등을 검출하고 교통신호를 인식한다.
최근 교통신호 인식분야에서 칼라 비전시스템을 이용한 연구가 활발히 진행되고 있다. 정준익과 노 동환1)은 HSI 색상모델과 신호등 외곽검출마스크를 이용한 알고리즘을 제시하였으나 외부의 빛이 약할 경우와 신호등이 지정된 검출마스크의 크기를 벗어
*Corresponding author, E-mail: [email protected]
날 경우 신호등을 검출하지 못하는 단점이 있다.
Shneier2)은 교통신호검출에 있어 RGB색상비를 이 용하였으나 신호등의 빛과 유사한 색상을 갖는 물 체간의 색상구분에 오차가 큰 단점이 있다. Franke3) 는 컬러영상으로부터 가우스 분포 분류기를 제시하 였으나 신호등의 외곽을 검출하기 위해서는 카메라 의 노출시간이 충분히 길어야 한다는 단점이 있다.
김종배4)는 영상 내 시각적 주의 집중을 갖는 영역을 찾아 신호등 빛을 검출하기 위해 상향식 현저함 모 델5)을 사용하였으나 처리시간이 오래 소요된다는 단점이 있다.
기존의 교통신호 인식 연구들 중 가장 많이 사용 하는 방법은 색상기반의 임계치 방법과 템플레이트
HSI/YCbCr 색상모델과 에이다부스트 알고리즘을 이용한 실시간 교통신호 인식
매칭 방법이다. 또 다른 방법으로 신호등의 특정 모 형과 형태적 특징을 이용한 방법이 있다. 하지만 실 제 도로환경에서 적용하기 어려운 방법으로 햇빛, 일조량 등의 환경적인 요인에 의해 신호등 점등영 역의 색상 값이 다양하게 나타나 미리 설정한 임계 값만으로는 다양한 환경에서 적용이 힘들다는 단점 이 있다. 또한 신호등의 배경이 다양하고 실제 도로 환경에서는 신호등의 점등색과 유사한 색을 가진 물체들이 많아 템플레이트 매칭 방법의 적용은 한 계가 있다.
본 논문에서는 신호등의 빛과 유사한 물체들이 다수 존재하고 복잡한 도심 도로환경에서 광량에 따라 조명변화가 심한 주간 시간대에 교통신호를 실시간으로 인식하는 알고리즘을 제안한다. Fig. 1 은 제안하는 알고리즘의 흐름도로 크게 세 부분으 로 구성되었다. 첫째 입력된 RGB 컬러영상을 HSI (Hue, Saturation, Intensity), YCbCr 색 공간6)으로 변 환한 뒤 신호등의 점등영역이라 여겨지는 영역을 검출하고, 그 후보 점등영역 주변 에지(Edge)정보6) 를 이용하여 신호등 외곽을 검출한 뒤 신호등 후보
Fig. 1 Flowchart of the proposed algorithm
를 생성한다. 둘째 기존의 템플레이트 매칭 방법의 한계를 보완하기 위해 신호등 후보영역을 중심으로 Haar-like특징과 Adaboost 알고리즘8)을 이용하여 신 호등과 비 신호등을 판별한다. 셋째 검출된 신호등 의 종류를 구분한 뒤 미리 준비한 템플레이트 영상 과 유사도를 측정하여 교통 신호를 인식한다.
본 논문의 구성은 다음과 같다. 2장은 신호등 후 보 생성과정을 설명한다. 3장은 신호등 후보를 대상 으로 신호등 가부의 판정과정을 설명하며, 4장은 신 호 인식에 관한 내용을 설명한다. 그리고 5장에서는 실험 결과를 제시하고, 6장은 결론을 맺는다.
2. 신호등 후보 생성 2.1 교통신호등 후보 점등영역 검출
신호등 후보를 생성하기 전에 입력된 칼라영상으 로부터 신호등의 빛이라 여겨지는 점등영역을 검출 한다. 기존 연구들은 신호등의 빛이 발광하는 특징 이 있어서 영상내의 다른 물체보다 채도와 밝기 값 이 높다는 특징을 가지고 칼라영상을 그레이 영상 으로 전환한 뒤 이진화 방법을 이용하거나 HSI색상 모델로 전환하여 신호등 점등영역을 검출하였다.
그러나 입력영상의 해상도가 낮거나 환경의 영향이 있을 경우 신호등 빛의 특징이 약해져 검출에 실패 할 수 있으며 너무 많은 후보영역들이 검출될 수 있 다. 신호등 빛 후보영역 검출은 시스템전체의 실행 속도와 정확도에 직접적인 영향을 미치므로 환경변 화에 강인한 방법이 요구된다.
본 논문에서는 입력영상을 HSI, YCbCr 색 공간으 로 전환한 뒤 색상별로 신호등의 빛을 검출한다. 식 (1)은 RGB 영상을 HSI 색 공간으로 변환하는 식이 다. H는 색조, S는 채도, I는 밝기값을 의미한다. 그 리고 각 성분 값은 0 ~ 255로 정규화한다.
max
i f≠
i f
i f
i f i f
(1)
이때 는 min 를 의미한다. 식 (2)는
Sanghoon Park․Joonwoong Lee
칼라영상에서 YCbCr 색 공간으로의 변환식이다.
YCbCr 색상 모델은 색상정보로부터 밝기 값을 분 리하여 표현한다. Y는 밝기 값, Cb는 푸른색, Cr은 붉은색 정보를 나타내며 각 성분 값은 0 ~ 255로 정 규화한다.
(2) 영상촬영에 사용된 카메라, 해상도, 일조량 등의 영향으로 영상에서 신호등 빛 영역의 색상이 다르 게 나타날 수 있다. 따라서 실제 신호등 점등영역의 검출실패를 줄이기 위해 색 구분 임계값의 범위를 여유 있게 설정한다. Tabel 1과 Table 2는 HSI 색 공 간과 YCbCr 색 공간에서의 색 구분 임계값의 범위 이며 이는 다양한 환경에서의 신호등 점등영역을 분석하여 설정한 것이다.
교통신호등 점등영역을 검출하기 전 시스템의 전 체적인 실행속도를 높이기 위해 영상에서 신호등은 대부분 영상의 상단에 위치한다는 점을 이용하여 원 영상의 1/2 상단부 영역을 시스템 처리영역으로 설정한다.
HSI 색상모델은 채도와 밝기값이 큰 발광하는 물 체를 검출하기 좋지만, 색조값은 주변 환경 변화에 약하다는 단점이 있어 후보 점등영역검출에 실패할 수 있다. 반면 YCbCr 영상은 주변 환경 변화에 강하 지만 검출하고자 하는 색상의 모든 물체를 검출하 여 많은 후보영역이 생기는 단점이 있다. 따라서 두 색상모델의 장점만을 이용한다면 후보 점등영역에
Table 1 Threshold values of each color light in the HSI color space
H S V
적색 0 ~ 20 or 230 ~ 255 100 ~ 250 190 ~ 255
황색 21 ~ 40 120 ~ 255 190 ~ 230
녹색 100 ~ 140 170 ~ 255 50 ~ 255
Table 2 Threshold values of each color light in the YCbCr color space
Y Cb Cr
적색 0 ~ 190 70 ~ 150 170 ~ 240
황색 0 ~ 170 69 ~ 145 180 ~ 250
녹색 45 ~ 200 120 ~ 170 10 ~ 130
대한 검출 정확도를 높일 수 있다.
원 영상에 대해 Table 1과 Table 2를 기준으로 각 색상모델의 임계값을 적용한 녹색, 적색, 황색의 이 진화 영상을 , , , , ,
이라 한다. 녹색, 적색, 황색 각 색상에 대한 두 이진화 영상을 AND 연산한 이진화 영상을 ,
, 라 한다. 그 후 세 후보 영상으로부터 최 종적인 하나의 후보영상 를 생성한다. 식 (3)
~ 식 (6)과 Fig. 2는 위의 과정을 수식과 그림으로 나 타낸 것이며, 이진화 영상에서 검정색 영역은 점등 후보영역이다.
∘ (3)
∘ (4)
∘ (5)
(6) 여기에서 °는 AND연산, +는 OR 연산을 의미한다.
Fig. 2 Detection process of light regions
Real Time Traffic Signal Recognition Using HSI and YCbCr Color Models and Adaboost Algorithm
2.2 점등 후보영역 블랍(Blob)화 및 필터링 Fig. 2에서 보인 바 있는 영상 에 블랍칼라 링(blob coloring)을 적용하여 인접한 픽셀들을 블랍 화하여 사각형의 바운딩 박스(Bounding Box, BB)로 둘러싼 후 BB의 좌측상단, 우측하단의 좌표를 추출 한다. 그러나 배경에 신호등 점등색과 유사한 색상 이 많이 존재하는 도심지의 경우 실제 점등영역이 아닌 영역들이 다수 검출된다. 따라서 신호등 점등 영역의 특징을 이용하여 다음과 같이 후보 블랍들 의 조밀도(compactness)와 높이와 폭 비율(ratio)을 이용하여 필터링(filtering)을 수행한다.
각 블랍(B)의 면적을 , 이 블랍의 BB 면적을
라 하고, BB의 세로 길이는 , 가로 길이는
라 한다. 이때 각 블랍의 조밀도(
)와 비율( )을 측정하 여 식 (7)의 조건을 만족하지 못하면 번째 블랍() 내에 모든 픽셀들의 값을 0으로 반환하고 후보에서 제거한다. Fig. 3은 점등후보 영역의 필터링 결과를 보인 것이다.
i f
or or
(7)
여기에서 n은 추출된 블랍의 수이고, ε 과 η 는 실험 적으로 정한 상수로서 각각 0.5와 0.7이다.
(a) Original images
(b) Binary images of candidate areas of lighting before filtering
(c) Binary images of candidate areas of lighting after filtering Fig. 3 Blob filtering of lighting candidates in an urban road
2.3 교통신호등 후보 검출
신호등 후보영역을 검출하여 그 후보 영역이 실
Fig. 4 Standard of a domestic LED traffic light
제 신호등인지의 판단은 에이다부스트 알고리즘을 적용하는데, 먼저 검출된 블랍 주변을 탐색하여 신 호등 후보 외곽을 검출한다. 이때 탐색영역 설정은 후보 블랍과 점등 색 정보, 그리고 국내 교통신호등 표준 규격을 이용한다.7)
신호등 후보의 외곽검출 과정에서 후보 블랍만으 로 수평 3색, 4색 신호등을 구분할 수 없기 때문에 신 호등 후보의 외곽검출을 위한 탐색영역 설정 시 3색 신호등도 포함되도록 설정한다. 점등영역 블랍의 색상이 적색 또는 황색일 경우 좌측으로 ⋅
만큼과 우측으로 ⋅ 만큼을 신호등 관심영 역의 가로 폭으로 설정하고, 상, 하로는 에 5 픽셀의 여유를 두어 관심영역의 세로 폭을 설정한 다. 블랍의 색상이 적색과 황색일 때 따로 구분해서 관심영역을 설정하지 않는 이유는 Table 1과 Table 2 에 보인 바와 같이 두 색상의 임계값의 범위가 상당 부분 겹쳐 구분이 어렸기 때문이다. 블랍의 색상이 녹색일 때 4색 수평 신호등의 화살표로 표시된 좌회 전 신호까지 고려하여 우측으로 ⋅만큼, 좌 측으로는 ⋅만큼을 관심영역의 가로 폭으로 설정하고, 세로 폭은 적색 또는 황색일 경우와 동일 한 방법을 적용한다.
여기에서 파라미터 과 는 각각 실험적으로 2.5와 3.5를 택했다. Fig. 5는 추출된 점등 후보영역 블랍을 BB로 표현하고 후보 블랍의 색상이 녹색일 때 설정한 관심영역을 보인 것으로서 그림의 우측 에 이 영역을 확대해 보였다.
Fig. 5 Extraction of the area of interest to detect the border of a traffic light
박상훈․이준웅
추출된 관심영역에서 신호등 외곽검출을 위해 에 지(edge)정보를 이용한다.6) 그 이유는 신호등 함체 (housing)가 주변에 비해 어둡다는 특징을 이용하기 위해서다. 에지추출은 Fig. 6에 보인 3×3크기의 소 벨 연산자(sobel operator)5,6)를 사용하는데 영상에서 고려중인 픽셀(Fig. 6의 )의 수평방향으로의 밝기 변화, 와 수직방향으로의 밝기 변화, 의 검출은 Fig. 6에 보인 두 개의 마스크를 이용해서 식 (8), (9) 로 구한다. 이때 상, 하, 좌, 우 외곽경계를 효과적으 로 검출하기 위해 Fig. 7과 같이 관심영역을 후보 블 랍 중심을 기준으로 상단부(), 하단부(), 좌측(), 우측() 이렇게 네 영역으로 나눈다.
(8)
(9) 신호등 후보영역의 상하좌우 경계검출은 다음의 특징을 이용한다. 1)신호등 상단 경계는 값이 0보 다 작다. 2)신호등 하단 경계는 값이 0보다 크다.
3)신호등 좌측 경계는 값이 0보다 작다. 4)신호등 우측 경계는 값이 0보다 크다.
에서는 각 행에 대해 가 0보다 작은 픽셀 들의 를 누적시키고, 에서는 각 행에 대해
(a) Mask for (b) Mask for Fig. 6 Sobel operator for edge detection
Fig. 7 Separation of four small sub-areas of the area of interest
Fig. 8 Detection of candidate areas of a traffic light
가 0보다 큰 픽셀들의 를 누적시킨다. 에 서는 각 열에 대해 가 0보다 작은 픽셀들의 를 누적시키고, 에서는 각 열에 대해 가 0 보다 큰 픽셀들의 를 누적시킨다. 그리고 각 영 역의 누적값이 가장 큰 위치를 찾는다. 이렇게 찾 은 위치가 신호등 후보영역의 상하좌우 경계가 된 다. Fig. 8은 2장 2절에서 검출된 점등 후보영역을 바탕으로 위의 과정을 수행하여 신호등 후보를 검 출한 결과이다.
3. 신호등 후보 검증
검출된 신호등 후보 중에는 신호등뿐 만 아니라 비신호등도 포함되어 있다. 따라서 신호등과 비신 호등의 분류를 위해 Viola8)의 Haar-like 특징과 에이 다부스트(AdaBoost) 알고리즘을 이용한다.
3.1 Haar-like 특징
Haar-like 특징에는 기본적으로 Fig. 9에 보인 바 와 같이 에지(Fig. 9(a), (b)), 라인(Fig. 9(c), (d)), 대각 선(Fig. 9(e))을 나타내는 세 가지가 있다.9) 이 세 특 징은 정해진 검출 윈도우(search window) 내에서 흰 사각형 영역과 검은 사각형 영역이 일정 비율을 유 지하면서 크기변화와 위치이동을 통해 많은 특징 을 생성한다. 본 논문에서는 검출 윈도우의 크기를
Fig. 9 Haar-like features
HSI/YCbCr 색상모델과 에이다부스트 알고리즘을 이용한 실시간 교통신호 인식
38×16 [pixel]로 설정하여 총 181,088개의 특징을 생성한다. 181,088개 각 특징들은 식 (10)으로 계 산된 흰색 영역에 속한 픽셀들의 밝기 값과 검은 색 영역에 속한 픽셀들의 밝기 값의 차를 특징 값 으로 갖는다.
∈
-
∈
(10)
여기에서 는 픽셀 의 밝기값이다.
3.2 에이다부스트(Adaboost) 알고리즘 신호등 검출을 위하여 181,088개의 특징을 모두 고려하는 것은 무의미하며 많은 소요시간을 요구한 다. 따라서 에이다부스트 알고리즘을 이용하여 181,088개의 특징들 가운데 신호등 외관을 잘 대변 하는 약분류기(weak classifier)들을 선정하고 이들 을 결합하여 양(positive)과 부(negative)를 가장 잘 분리하는 강분류기(strong classifier)를 구축한다.
에이다부스트 알고리즘의 약분류기는 식 (11)로 구축된다. 는 특징의 번호, 는 번째 특징의 값, 는 임계값, 는 식 (11) 조건의 우변이 좌변보 다 크기 위한 부호로 -1 또는 1을 갖는다. 그리고 는 학습데이터이다.
i f (11)는 개의 학습데이터( 은 신호 등, 은 비신호등)가 주어졌을 때, 이 데이터 각각에 대해 번째 특징의 값을 계산한 후 신호등과 비신호등 데이터를 가장 잘 분리하는 임 계값이다. 는 개의 학습데이터에 대한 특
Fig. 10 Determination of threshold value
징값의 분포가 Fig. 10과 같은 가우시안 분포로 가정 하여 계산한다.9)
특징 의 를 구하기 위해 m개의 신호등 학습데 이터에 대한 특징값들의 평균()과 표준편차()를 구하고 l개 비신호등 학습데이터에 대한 특징값들 의 평균()과 표준편차()를 구하여 가우시안 함 수에 적용하면 식 (12)와 식 (13)과 같이 나타낼 수 있다.
(12)
(13)
여기에서 t는 특징값이다. 식 (12)와 식 (13)을 식 (14)와 같이 등식으로 놓고 t에 대해 정리하면 식 (15)와 같다. 식 (15)는 두 개의 근을 제공하는데, 는 오류 확률이 작은 근을 택한다. 그리고 는 식 (16)과 같이 구한다.
(14)
log
(15)
i f (16) 식 (12) ~ 식 (16)을 통해 각 특징의 와 를 구하 며, 식 (11)에 의해 181,088개의 약분류기를 생성하 였다. 이 중 에이다부스트 알고리즘에 의해 신호등 과 비신호등을 가장 잘 구분할 수 있는 약분류기들 이 선택되어 강분류기를 구축한다. 에이다부스트 알고리즘을 이용하여 생성된 강분류기는 식 (17)과 같다. 는 약분류기의 가중치, T는 선택된 약분류 기의 개수로 강분류기의 학습데이터의 오분류율 (false positive rate)에 의해 실험적으로 결정된다.
≥
(17)
Sanghoon Park․Joonwoong Lee
3.3 학습데이터 및 약분류기 선정
Fig. 11에 보인 바와 같이 학습데이터는 총 4,148 개로 신호등 영상 1,648개, 비신호등 영상 2,500개로 구성하였다.
비신호등 학습데이터는 검출된 신호등 후보영역 에서 실제 신호등을 제외한 나머지 후보들에서 선 정한 것이다.
Fig. 12는 에이다부스트 알고리즘의 학습결과를 보인 것이다. Fig. 12(a)는 강분류기를 이루는 약분 류기의 개수(T)에 따른 학습데이터의 오분류율을 나타낸 것이다. 우리는 오분류율이 최초로 0 %가 되는
(a) Data for traffic lights
(b) Data for non-traffic lights Fig. 11 Learning data
(a) Error rate
(b) Selected Haar-like features Fig. 12 Learning result by Adaboost algorithm
51개의 약분류기를 선택하였다. Fig. 12(b)는 선택된 51개의 약분류기 중 상위 40개를 나타낸 것이다.
3.4 신호등 판정
에이다부스트 알고리즘에 의해 선택된 51개의 약 분류기들을 이용하여 영상 내 신호등 후보를 신호 등과 비신호등으로 분류한다. 선택된 약분류기들을 신호등 검출에 적용하기 위해 2장에서 추출한 신호 등 후보영역을 38 × 16 (pixel)로 조정한 뒤 식 (13)을 적용하여 신호등 가부를 판정한다.
4. 교통신호 인식
영상에서 신호등이 검출되면 신호를 인식하여 운 전자에게 전달할 수 있어야 한다. 하지만 2장 3절에 서 언급했듯이 적색과 황색의 색상구분 임계값이 상당부분 겹치며 4색 수평 신호등의 경우 두 영역이 동시에 점등되는 직직/좌회전, 정지/좌회전 신호가 있어 색상만으로 교통신호를 인식하기에는 어려움 이 있다. 따라서 검출된 신호등이 수평 3색 신호등 인지, 수평 4색 신호등인지를 파악하고 점등영역의 위치에 따라 신호를 인식한다. Table 3은 국내 수평 신호등(TS)의 가로 폭(), 점등영역의 가로 폭 (), 이들의 비율( )을 나타 낸 것이다. Table 3을 바탕으로 식 (18)에 의해 신호 등의 종류를 판별한다. 3색 신호등일 경우 3, 4색 신 호등일 경우 4를 반환한다.
i f ≤ ≤ i f ≤ ≤ (18) 여기에서 위첨자 는 검출된 신호등의 인덱스이다.
Table 4는 3색 신호등과 4색 신호등의 신호를 분 류한 것으로 3색 신호등은 3가지, 4색 신호등은 5가 지 신호가 있다. 검출된 신호등 영역을 이진화한 영 상을 라 하고, Table 4에 보인 38 × 16 (pixel) 크 기의 템플레이트 영상을라 한다. 검출된 신호
Table 3 Classification of 3-color and 4-color traffic lights Classification
3-color traffic light 1,065 mm 300 mm 3.55 4-color traffic light 1,420 mm 300 mm 4.73
Real Time Traffic Signal Recognition Using HSI and YCbCr Color Models and Adaboost Algorithm
Table 4 Classification of traffic signals Detected traffic
light Type Classification Template image
3-color Traffic light
Go Go slowly
Stop
4-color Traffic light
Go Go & left
Stop Go slowly Stop & left
등이 3색 신호등이라면 3색 신호등 3개의 템플레이 트 영상에 대해서, 4색 신호등이라면 5개의 템플레 이트 영상에 대해서 와 유사도 계산을 한다.
유사도는 식 (19)로 나타낸 NCC(Normalized Corre- lation Coefficient)10)를 사용한다. 은 입력영상과 템 플레이트 영상의 상관계수이며 값의 범위는 -1 ~ 1 이다.
(19)
여기에서 은 영상의 픽셀 수이고, 가장 큰 을 갖는 템플레이트 영상의 교통신호를 검출된 신호등의 교 통신호로 인식한다. Fig. 13(a)는 앞서 2장 3절에서 검출한 신호등 후보영역에 대해 신호등 가부를 판 정한 결과이고 Fig. 13(b)는 검출된 신호등의 교통신 호를 인식하는 과정을 나타낸 것이다. Fig. 13(c)는 교통신호 인식 결과이다.
5. 실험결과
제안된 알고리즘 검증은 640 × 480(pixel) 크기의 영상에서 상단 1/2영역을 신호등 검출 및 신호인식 대상영역으로 설정하고, 윈도우7 64 bit 운영체제 (CPU는 Intel Core i3-2100 3.10 GHz, RAM은 4.00 GB) 환경에서 수행되었다. Table 5는 제안된 알고리즘의 단계별 수행시간을 나타낸 것이다. 알고리즘 수행
(a) Result of detecting of traffic light
(b) Traffic signal recognition process
(c) Result of traffic signal recognition Fig. 13 Recognition of a traffic signal
Table 5 Processing time of the proposed algorithm
단계 평균처리 시간(s/frame)
신호등 후보 생성 0.012
신호등 판정 0.007
신호 인식 0.005
전체 수행 시간 0.024
에 소요된 시간은 24(ms/frame)으로 1초당 41프레임 을 처리할 수 있다.
알고리즘의 성능평가를 위해 도심지의 다양한 주 간 시간대 영상을 사용하였다. Table 6은 총 18,215 장의 영상으로 오분류 행렬(Confusion matrix)을 작 성한 것으로 TP(True positive)는 신호등이 존재하는 프레임에서 교통신호를 인식한 수, TN(True negative) 은 신호등이 존재하지 않는 프레임에서 교통신호를 인식하지 않는 수, FN(False negative)은 신호등이 존 재하는 프레임에서 교통신호를 인식하지 못한 수, FP(False positive)는 신호등이 존재하지 않는 프레임 에서 교통신호를 인식한 수이다. 카메라 캘리브레 이션 정보11)를 바탕으로 자차량과 신호등과의 거리
박상훈․이준웅
Table 6 Confusion matrix
Test result Positive Negative
Actual condition
Positive TP
1,432(frame)
FN 965(frame)
Negative FP
108(frame)
TN 15,710(frame)
Table 7 Performance of recognition of traffic signals
Recall Accuracy
Performance result 59.8 % 94.1 %
가 50 m일 때부터 영상에서 신호등이 더 이상 보이 지 않을 때까지를 신호등이 존재하는 프레임으로 하였다.
Table 7은 제안한 알고리즘의 성능 지표를 나타낸 것으로 Table 6을 바탕으로 식 (20), (21)로부터 재현 도(Recall)와 검출 정확도(Accuracy)를 구하였다.
(20)
(21) 이 결과를 보면 신호등이 존재하는 곳에서 교통 신호 인식율은 60 % 정도지만, 시스템 처리속도를 고려했을 때 초당 41프레임 중 25프레임 정도 운전 자에게 해당 교통신호를 알릴 수 있다.
(a) Recognition result of a green signal
(b) Candidate areas of lighting
Fig. 14 Recognition of a green signal in an urban environment
(a) Recognition result of a green signal in an environment with blue colors similar to the signal color
(b) Candidate areas of lighting
Fig. 15 Recognition of a green signal in an environment with blue colors similar to the signal color
(a) Recognition result of a red signal in an environment with red colors similar to the signal color
(b) Candidate areas of lighting
Fig. 16 Recognition of a red signal in an environment with red colors similar to the signal color
다음은 신호등의 점등색과 유사한 색상이 다수 존재하는 환경에서 신호등을 검출하고 신호를 인식 한 결과를 보인 것이다. Fig. 14는 적색과 유사한 색 상이 다수 존재하는 환경에서 신호등을 검출하고 직진신호를 정확히 인식한 결과이고, Fig. 15는 파란 색이 많이 보이는 환경에서 직진 신호를 정확히 인 식한 결과이다.
Fig. 16은 차량 후미등과 적색 표지판이 있는 환
HSI/YCbCr 색상모델과 에이다부스트 알고리즘을 이용한 실시간 교통신호 인식
(a) Recognition result of a green signal at sunset
(b) Candidate areas of lighting Fig. 17 Recognition of a green signal at sunset
(a) Result of some undetected traffic lights
(b) Candidate areas of lighting Fig. 18 Result of some undetected traffic lights
경에서 정지신호를 정확히 인식한 결과를 보였다.
기존 교통신호 인식 연구들 중 해질 무렵 때와 같 이 조도변화가 심한 환경에서는 신호등 점등색상이 미리 설정한 색상 임계값에서 벗어나 교통신호 인 식에 실패한 사례들을 볼 수 있다. 그러나 제안하는 알고리즘은 Fig. 17에 보였듯이 조도변화가 심한 환 경에서도 교통신호를 정확히 인식하였다. Fig. 18은 점등 후보영역을 생성하는 단계에서 실제 세 개의 신호등 가운데 하나의 점등영역이 후보에서 제외되어 신호등 검출에 실패한 사례를 보인 것이다. Fig. 18(a) 에서 타원으로 표시된 영역 내에 실제 신호등이 존
재하지만 Fig. 18(b)에서 같은 위치인 타원영역 내에 는 점등 후보영역이 존재하지 않는 것을 볼 수 있다.
6. 결 론
제안된 알고리즘은 신호등 후보영역 생성, 신호 등 검출 및 검출된 신호등의 신호인식 세 단계로 나 누어져 있다. 신호등 후보영역 생성단계에서는 RGB 색 공간에서 HSI, YCbCr 색 공간으로 전환한 뒤 후보 점등영역을 검출하고 점등 후보영역 주변 에지 정보를 이용하여 신호등 후보영역을 추출했 다. 두 번째 단계로 신호등 후보영역에 대해 에이다 부스트 알고리즘을 이용하여 신호등과 비신호등으 로 구분한 뒤 템플레이트 매칭을 이용하여 신호를 인식하였다. 프레임 당 처리시간이 평균 0.024초로 실시간 처리가 가능하도록 했다.
실험 결과에서 보였듯이 광량에 따라 조명변화가 심한 주간 시간대와 자동차 후미등, 표지판, 건물외 벽 등 신호색과 유사한 색이 많이 존재하는 도심지 에서 제안된 알고리즘을 통해 94.1 %의 검출 정확도 를 얻었다. 하지만 점등 후보영역 생성 시 필터링 과 정 중 실제 신호등의 점등영역이 탈락하는 경우도 발생하였다. 따라서 추후 신호등 검출성능의 향상 을 위해 점등영역 필터링 알고리즘의 개선과 추적 (tracking)에 관련된 연구가 진행 될 것이다.
후 기
본 연구는 2011년도 교육과학기술부의 재원으로 한국연구재단 지원을 받아 수행된 기초연구사업임 (No : 2011-0012323).
References
1) J. I. Jeong and D. H. No, “Real Time Detection and Recognition of Traffic Light Using Com- ponent Subtraction and Detection Masks,”
Journal of the Institute of Electronics and Infor- mation Engineers, Vol.43, No.2, pp.65-72, 2006.
2) M. Shneier, “Road Sign Detection and Recog- nition,” IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005.
3) U. Franke, D. Gavrila, S. Goerzig, F.Lindner,
Sanghoon Park․Joonwoong Lee
F. Paetzold and C. Woehler, “Autonomous Driving Goes Downtown,” IEEE Intelligent Systems, Vol.13, No.6, pp.40-48, 1998.
4) J. B. Kim, “Traffic Lights Detection Based on Visual Attention and Spot-Lights Regions Detec- tion,” Journal of the Institute of Electronics and Information Engineers, Vol.51, No.6, pp.132-142, 2014.
5) J. B. Kim, “Detection of Visual Attended Reg- ions in Road Images for Assisting Safety Driv- ing,” Journal of the Institute of Electronics En- gineers, Vol.49SC, No.1, pp.94-102, 2012.
6) R. C. Gonzalez, and R. E. Woods, Digital Image Processing, Addison-Wesley, New York, 1992.
7) LED 교통신호등 표준지침, 경찰청, 2011.
8) P. Viola and M. Jones, “Rapid Object Detection
Using a Boosted Cascade of Simple Features,”
IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.511-518, 2001.
9) G. Y. Song, K. Y. Lee and J. W. Lee, “Vehicle Detection Using Edge Analysis and Adaboost Algorithm,” Transactions of KSAE, Vol.17, No.1, pp.1-11, 2009.
10) Wikipedia, Cross-correlation, https://en.wikipedia.
org/wiki/Cross-correlation#Normalized_cros s-correlation, 2015.
11) R. Y. Tasi, “A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the Shelf TV Cameras and Lenses,” IEEE J. Robotics and Automation, Vol.3, No.4, pp.323-344, 1987.
