An Improved License Plate Recognition Technique in Outdoor Image

(1)

1. 서 론

양호한 조명과 미리 제작된 영상취득 환경에서 차량 번호판 검출과 인식은 다양한 방법들이 개발되어 실생활에서 상용화되고 있다. 하지만 CCTV 등으로 임의의 위치에서 촬영된 옥외영상에서 차량번호판을 검출하고 인식하는 것은 인위적인 환경에서와는 다르게 기하학적으로 왜곡되어 있을 뿐만 아니라 조명의 변화도 심하기 때문에 단순한 문제가 아니다. 기하학적인 왜곡이란 투영변환에 의해 카메라와 번호판사이의 거리 방향등에 따라서 문자나 숫자의 크기가 변화하고 형태도 변화됨을 의미한다. 또한 조명 역시 다른 물체에 의해 부분 또는 전체가 그늘이 지는 등 인식에 충분한 대조도가 확보되지 못하는 경우가 많다. 그림 1은 옥외에서 촬영된 번호판 영상의 기하학적인 왜곡과 조명변화를 보여주고 있다.

이런 환경에서 차량번호판을 인식하기 위해서는 먼저 기하학적 왜곡과 조명변화에 강건하게 번호판을 검출할 수 있어야 하고, 조명의 영향을 줄이는 영상처리 방법과 효율적인 인식방법이 필요하다. 본 논문에서는 이러한 문제를 해결하기 위해 다음과 같은 옥외 영상 차량번호판

옥외영상의 개선된 차량번호판 인식기술

An Improved License Plate Recognition Technique in Outdoor Image

김병준*·김동훈**·이준환**^†

Byeong-jun Kim, Dong-hoon Kim, and Joonwhoan Lee^†

*전북대학교 전자정보공학부(컴퓨터공학)

**전북대학교 컴퓨터공학부

*,** Department of Computer Science and Engineering, Chonbuk National University

요 약

일반적으로 옥외영상에서의 자동차 번호판 인식은 인위적인 환경에서와는 다르게 기하학적으로 왜곡되어 있을 뿐만 아니라 조명 변화도 크기 때문에 단순환 문제가 아니다. 본 논문에서는 일반 CCTV 카메라로 옥외에서 촬영된 영상에서 자동차 번호판 인식을 위한 개선된 기술들을 제안한다. 먼저 다양한 특징을 상보적으로 사용하는 직렬구조의 다단계 Adaboost 검출기를 제안한다. 제안하는 검출기는 MB-LBP 및 Haar-like 특징을 사용하는 Adaboost 구조를 직렬로 연결하여 번호판 검출의 검출성능을 향상시켰다. 또한 검출된 번호판의 기하학적 왜곡을 보정하고 번호판의 타입을 먼저 결정하여 영상처리를 용이하게 하는 방법을 제안한다. 이런 방법은 그래이 변환, 문자/숫자 분리, 분리된 영상의 영상처리 등에서 사전지식 없이 전체 번호판 영상을 이용하는 경우보다 효율적이다. 본 논문에서 DBN(Deep Belief Network)를 문자/숫자 인식기로 사용하여 영상처리과정에서 기인한 획 손실이나 기울어짐 같은 기하학적인 왜곡에서도 강건한 인식률을 달성하였다.

키워드 : 옥외 영상, MB-LBP, Haar-like, 다단계 Adaboost, DBN(Deep Belief Network) Abstract

In general LPR(License Plate Recognition) in outdoor image is not so simple differently from in the image captured from man- made environment, because of geometric shape distortion and large illumination changes. this paper proposes three techniques for LPR in outdoor images captured from CCTV. At first, a serially connected multi-stage Adaboost LP detector is proposed, in which different complementary features are used. In the proposed detector the performance is increased by the Haar-like Adaboost LP detector consecutively connected to the MB-LBP based one in serial manner. In addition the technique is proposed that makes image processing easy by the prior determination of LP type, after correction of geometric distortion of LP image. The technique is more efficient than the processing the whole LP image without knowledge of LP type in that we can take the appropriate color to gray conversion, accurate location for separation of text/numeric character sub-images, and proper parameter selection for image processing. In the proposed technique we use DBN(Deep Belief Network) to achieve a robust character recognition against stroke loss and geometric distortion like slant due to the incomplete image processing.

Key Words : Outdoor images, MB-LBP, Haar-like, Multi-stage Adaboost, DBN(Deep Belief Network)

이 논문은 2015년도 정부(미래창조과학 부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임(No. 2015R1 D1A1A01058062)

This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://

creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

JKIIS

http://dx.doi.org/10.5391/JKIIS.2016.26.5.423

Received: Aug. 11, 2016 Revised : Oct. 20, 2016 Accepted: Oct. 21, 2016

†Corresponding authors [email protected]

(2)

인식기술들을 제안한다.

첫째 서로 다른 특징을 사용하는 다단계 Adaboost 분류를 기반으로 하는 차량 번호판 검출 방법을 제안한다. 기존의 번호판 검출방법으로는 LBP(Local Binary Pattern), Haar-like[1][2], HoG(Histogram of Gradient), MCT(Modified Census Transform) [3] 등의 특징을 사용하는 다단계 Adaboost 검출기, Hough 변환 등으로 번호판의 외곽선을 검출해 내는 방법[4], Mean-shift 등의 세그멘테이션을 기반으로 하는 방법[5], 기타 수리형태학과 휴리스틱을 적용하는 방법[6][7], MSER과 MB-LGP를 이용하여 다양하고 복잡한 배경을 포함한 일반적인 영상에서 텍스트를 추출하는 방법[8] 등이 사용되었다. 그러나 옥외영상과 같이 개방된 환경에서는 번호판 이외에도 여러 직선성분이 존재할 수 있기 때문에 Hough 변환만으로 번호판의 외곽만을 찾아내기는 어렵고, 세그멘테이션을 할 경우 조명의 불균일 때문에 번호판 영역이 분할 될 수 있으며, 다양한 환경변화 때문에 휴리스틱 방법을 일률적으로 적용하기도 곤란하며, 불균일한 조명과 왜곡에 강건하게 번호판 검출 및 인식에 상대적으로 일괄된 검출결과를 제공하기 곤란하다.

따라서 본 논문에서는 상대적으로 일관된 검출결과를 제공하는 다단계 Adaboost 검출기를 직렬로 연결하여 연속적으로 적용하는 방법을 제안하였다. 제안한 구조는 2단으로 검출기를 구성 하는데 제 1단계에서는 조명변화에 상대적으로 강건한 MB(Multi-Block)- LBP 특징을 기반으로 하는 검출기를 적용하고, 제 2 단계에서는 Haar-like 특징을 이용 다시 정밀하게 검출하는 방법을 제안한다.

이 방법은 2개의 검출기를 직렬로 연결하였지만 더 많은 검출기를 직렬로 연결할 수도 있고, 이전에 검출된 번호판을 다음 단에서는 세련화하기 때문에 계산양의 큰 증가 없이도 검출 정확도를 개선할 수 있다.

둘째 조명변화의 영향을 줄이는 영상처리 방법으로 먼저 번호판의 색상과 종류 등의 타입을 결정하고 각 타입의 번호판 규정을 근거로 문자/숫자 영상으로 분리하고 필요한 영상처리를

시행하는 방법을 제안한다. 통상의 번호판 인식에서는 번호판 영역 전체를 대상으로 하여 영상처리를 진행하기 때문에 조명변화에 취약하다. 그러나 번호판의 타입이 결정되면 번호판 영역을 번호판 규정을 근거로 분할하고 분할된 작은 숫자/문자 영역으로 영상처리 영역을 국한시키면 제한된 영역의 조명변화는 전체 영역의 조명변화 보다 작아져서 상대적으로 조명변화의 영향을 줄이며 영상처리 과정을 단순화 시킬 수 있다. 왜곡된 번호판 영역이 정확하게 정규화 되고, 타입이 올바르게 분류되어야만 문자/숫자 영역이 규정에 맞게 분할될 수 있다. 따라서 제안된 방법에서는 Hough 변환을 연속적으로 적용하여 번호판 경계를 정확하게 찾아내고 기하학적인 변환을 통해 정규화 및 타입 검출 방법과 신경망을 이용한 다수결 의사결정으로 번호판 색상을 얻어내는 방법을 적용하였다.

셋째 본 논문에서는 DBN(Deep Belief Network)[8]를 이용한 문자/숫자 인식방법을 사용한다. 방사형 기저함수 기반 신경회로망을 이용하여 번호판 내 번호 인식[9]보다 DBN 문자 인식기는 기존의 SNN(Shallow Neural Network) 또는 SVM[10]에 비해 MNIST 등 필기체 숫자 데이터에 대해 필체에 관계없이 강건한 인식성능과 재구성을 보였기 때문에 이진화 등의 불완전한 영상처리 결과에도 불구하고 기존의 SNN이나 SVM, 또는 다른 DNN(Deep Neural Network)에 비해 빠르고 효율적인 인식결과를 제공할 것으로 기대되었기 때문이다. 제안된 DBN 문자/숫자 인식기는 실험데이터를 대상으로 이진화 과정에서 약간의 기울어짐, 획 손실이 등이 존재하더라도 98% 이상의 높은 인식률을 보였다.

본 논문의 2절에서는 제안된 번호판 인식방법을 설명하고 3 절에서는 각 부분의 성능을 실험을 통해 살펴보며 4절에서는 결론을 맺는다.

2. 제안한 번호판 인식기술

본 논문에서 제안하는 옥외 영상의 차량 번호판 인식방법의 흐름은 그림 2와 같다. 그림에서 입력영상(input image)은 옥외에서 취득된 여러 개의 번호판을 포함할 수 있는 차량영상이며, 번호판 검출(license plate detect)에서는 서로 다른 특징을 사용하는 직렬로 연결된 다단계 Adaboost 분류기를 기반으로 하는 차량 번호판 검출 방법을 포함한다. 이렇게 검출된 번호판은 영상처리(image 그림 1. 옥외 차량번호판 영상들

Fig. 1. License plates in outdoor image

그림 2. 제안하는 번호판 인식방법의 흐름 Fig. 2. Flow of the proposed license plate recognition method

(3)

processsing)를 통해 세련화하여 정규화 후 번호판 타입을 결정한다.

또한 번호판 제작규정을 근거로 하여 문자/숫자 영역으로 나누고 이진화하여, DBN을 이용한 문자/숫자 인식기(character ,number recognition)에서 최종 인식된다.

2.1 번호판 검출

본 논문에서는 객체검출 기법에 사용되는 다단계 Adaboost 분류기를 기반으로 하는 번호판 검출기를 사용하지만, 다양한 특징을 여러 단에 걸쳐서 직렬로 연결해 사용하는 방법을 제안한다.

본 논문에서는 그림 3과 같이 제 1단계에서는 조명에 비교적 무관한 MB(Multi-Block)-LBP 특징을 기반으로 하는 검출기를 적용하고, 제 2 단계에서는 Haar-like 특징을 이용하여 다시 정밀하게 검출하는 방법을 적용하였다.

그림 3. 다단계 직렬구조 번호판 검출기 Fig. 3. Serial structured multi-stage license plate detector

이러한 구성의 배경은 제 1단계에서의 MB-LBP 특징이 제 2 단계에서 사용되는 Haar-like 특징에 비해 조명에 민감하지 않기 때문에, 먼저 번호판이라 판단되는 부분들을 강건하게 검출하자는 것이다. 제 2단계에서의 Haar-like 특징은 형태를 비교적 잘 반영하기 때문에 일단 번호판이라 판정된 영역에 대해 다시 분별하여 번호판을 정교하게 탐색하고자 함이다. 즉 본 논문의 제안하는 검출방법은 제 1 단계에서 비교적 조명에 무관한 검출을 시도하고, 제 2 단계에서는 번호판 영역이라 판단한 부분에 대해서 다시 정교하게 형태적인 관점을 고려하여 문자열 여부를 검출하고자 하는 목적이다. 다단계 구조 설계에서 고려할 점은 제 1단계에서는 번호판의 검출의 성공률이 작아지더라도 미 검출(mis- detection)은 줄여야 한다는 것이다. 즉 완벽한 검출은 아니더라도 번호판영역에 대해 놓치는 빈도가 적어야 한다는 것이다. 이렇게 되면 제 2단계에서는 비록 번호판이 아닌 부분을 포함한다 하더라도 이를 포함하여 다시 검토하여 전체적인 검출 성공률을 높이고 미 검출율을 낮출 수 있기 때문이다. 이러한 방법을 학습에 반영하기 위해서 제 1단계 검출기의 학습에는 긍정적인 예제 수를 많이 하고 부정적인 예제 수를 작게 하여 검출 성공율과 오검출(false alarm)를 동시에 증가시켰다. 반면에 제 2단계 검출기의 학습에는 긍정 예제 수는 감소시키고 부정 예제 수는 증가시켜서 검출조건을 까다롭게 하여, 오 검출 비율을 줄이는 방향으로 학습을 진행했다. 표 1은

학습에 사용된 예제 수와 각 단계의 AdaBoost 검출기의 단수들을 보여주고 있으며 그림 2는 긍정과 부정 예제들을 보여주고 있다.

표 1. 학습에 사용된 파라메터 값 Table 1. Parameter values for training

stage 1 (MB-LBP)

stage 2 (Haar-like)

number of positive 9300 9986

number of negative 3000 30000

number of stages 14

size of positive 45x14

size of negative 200x100

제안된 방법에서 대상이 되는 옥외 영상의 번호판 크기는 다양하기 때문에 표 1의 긍정 예제와 크기가 같은 다양한 스케일에서 첫 단계 또는 두 번째 단계의 검출을 시도하였다. 다만 첫 단계에서 여러 스케일에서 검출된 번호판의 영역에 대해 인접한 영역이 존재 시 번호판 영역을 합병한다.

제 1단계에서 검출된 결과(좌)와 번호판 영역을 합병된 결과(우) 를 그림 5에 제시한다.

그림 4. 제 1단계 검출결과(왼쪽), 합병된 결과(오른쪽) Fig. 4. Stage 1 result(left) and region merged(right)

제 2단계에서의 검출은 옥외영상 전체를 대상으로 하지 않고 후보 번호판 영역에 대해서만 검출하기 때문에 검출 속도가 제 1 단계에 비해서는 현저하게 줄어들며 계산량 증가가 크지 않다.

2.2 영상처리

본 논문에서 제안하는 영상처리 과정은 그림 6와 같이 왜곡된 번호판의 기하학적인 보정과 번호판의 색을 포함한 타입 분류기를 포함한다. 먼저 기하학적인 보정과정은 그림 6의 Hough변환[11]

등을 이용하여 번호판 영역의 4개 코너 점을 찾고, 이를 2차원 평면의 투영변환을 통하여 직사각형 형태로 만드는 과정을 의미하며, 그림 7은 이 과정을 그림으로 보여주고 있다. 본 논문에서 번호판의 기하학적인 왜곡은 수평라인들이 기울어져 나타나며 수직라인들은 기울어져 나타나지 않는다고 가정하였다. 먼저 4개의 코너점을 찾기 위해 Sobel 수직에지 연산을 통해 수직방향의 에지를 검출하며 이 에지들에 Hough 변환 수행하여 가장 강한 한 쌍의 평행한 수평라인들을 찾는다. 이렇게 찾은 수평라인들 사이에 존재하는

(4)

영상의 Sobel 수평에지 연산을 이용하여 수평방향의 에지들의 수직방향의 프로파일을 구해 가장 강한 한 쌍의 수직라인을 찾고, 두 쌍의 수평과 수직라인의 교점을 찾아낸다. 이렇게 찾은 평행사변형의 번호판 영상은 수직라인의 길이를 보전하며 2차원 투영 변환하여 직사각형의 번호판 영상을 얻는다.

그림 5. 기하학적 왜곡보정과 번호판 타입의 분류 영상처리 Fig. 5. Image processing for correction of geometric distortion and plate type

그림 6. 기하학적 왜곡 보정 Fig. 6. Correction of geometric distortion

제안된 방법에서는 먼저 색을 포함한 번호판 타입을 결정하여 타입에 따라 영상을 분할하며, 이진화 등의 영상처리를 함으로써 조명변화의 영향을 최소화 하였다는 점이다. 본 논문에서 고려한 번호판의 타입은 초록, 노랑, 흰색, 빨강 등의 번호판의 색상과 번호판 크기와 길이에 대해 두껍거나 또는 얇은 번호판으로 분류하였다, 먼저 색상의 구분을 위해서는 번호판의 화소의 색도도와 밝기 정보를 입력으로 하는 신경망 분류기를 이용하였다. 그림 8은 다층 퍼셉트론 신경망(Multi layer perceptron)의 구조를 보여주고 있다.

여기서 고려하는 번호판 색상 이외의 검정색은 흰색 번호판의 글씨 부분을 알아내기 위한 것이다. 실제 번호판의 색상은 일정한 간격으로 번호판 영역의 화소들을 방문하여 분류를 실시하고 다수결 원리에 의해 가장 득표를 많이 얻은 색으로 번호판의 색상을 구분하였다. 이러한 다수결 원리에 의한 색상 결정은 안정적인 분류 결과를 제공하였으며, 최종적으로 번호판 영상의 가로/세로 비율에 따라 두꺼운 번호판과 얇은 번호판으로 분류하였다. 이렇게 분류된 번호판 타입의 규정에 따라 번호판 영상의 문자/숫자를 포함하는 영상을 분해된다.

2.3 문자인식

본 논문에서 제안된 방식의 문자 인식부는 그림 9과 같다. 그림 9의 단계에서는 칼라영상에 대한 그래이 영상을 이용하는데, 이 과정에서 번호판의 색상에 따라 최대의 대조도를 보이도록 그래이 변환을 시도하였다. 즉 흰색바탕의 번호판, 녹색 바탕에 흰색 글씨 번호판, 노란색 바탕에 검은 글씨 번호판 각각을

(1)

과 같이 변환함으로써 변환후의 그래이 준위의 동적범위(dynamic range)이 최대화 되로록 하였다. 식 (1)은 RGB 칼라공간에서 번호판의 배경색과 글자색의 대조도를 가장 크게 만드는 그래이 변환으로, 모든 종류의 번호판 칼라를 식 (1)의 첫째 식으로 변환하는 것보다 변환 후에 그래이 영상에서 배경과 글자의 대조도를 추가적인 영상처리 없이 증가시키는 효과가 있다. 식 (1) 은 마치 FLD(Fisher’s linear descriminant)에서와 같이 각 번호판의 칼라공간에서 배경색과 글자색을 잊는 직선 성분임을 주목하기 바란다[12].

문자/숫자 부분을 분리하는 과정에서는 일단 한 줄 및 두 줄 번호판을 분류해내고 이 정보와 이전 영상처리 과정에서 얻은 번호판의 색과 형태에 따라 관련 규정의 문자와 숫자의 분리 기준위치를 얻는다. 이 과정에서 한 줄 또는 두 줄 번호판은 Sobel 에지 연산 후 수평방향의 프로파일을 얻어 분류하고 문자/숫자 영상의 분리는 번호판 규정에 대하여 문자/숫자 분리 위치와 수직/

수평 프로파일 정보를 이용한다. 여기서 에지 프로파일 정보를 함께 이용하는 이유는 국부적인 조명변화나 기하학적인 왜곡으로 인한 전 단계의 영상처리 부 정확성을 보상하기 위함이다. 즉 이상적으로 규정된 위치만을 이용할 경우 조명변화나 기하학적인 왜곡에 적응적이지 못하기 때문에 규정된 위치를 중심으로 수직 또는 수평 프로파일의 국부최소치를 찾아가는 방법을 적용하였다.

그림 8. 문자 인식부 Fig. 8. Character recognition sub-system

이렇게 문자/숫자의 분리부분이 결정되면 이를 기준으로 영상을 나누어 작은 면적의 단위 문자/숫자 영상으로 분리되며 최종 인식기에 입력에 맞게 크기 정규화를 수행한다. 이렇게 얻은 작은 영상은 전체 번호판에 비해 조명변화가 크지 않기 때문에 이진화와 같은 최종적인 영상처리에 장점이 있다. 즉 넓은 면적의 전체 번호판 그림 7. 신경망을 이용한 번호판 색상 분류기

Fig. 7. Classification of plate color using neural network

(5)

영상보다는 작은 면적의 개별 문자/숫자 영상에서의 조명변화가 상대적으로 적기 때문에 이진화의 문턱치 결정 등 영상처리가 쉬워진다는 의미이다. 분리된 개별 문자/숫자 영상은 top-hat 변환을 이용하여 국부적인 조명변화의 영향을 제거하고, 지역적 Otsu 의 임계값 결정에 의해 이진화 된다. 또한 이진화된 문자 숫자의 영상에서 전체 객체의 무게중심과 영상의 중심이 일치하도록 하여 인식기에 입력되는 형태를 정규화 하였다. 이는 DBN이 CNN(convolutional neural network)등과는 다르게 위치변화에 대해 무관한(translation invariant) 인식이 불가능하기 때문이다

그림 10는 본 논문에서 사용된 DBN 인식기의 구조를 보여주고 있다. DBN(deep belief network)은 여러 층(layer)으로 쌓인 RBM(Restricted Bolzman Machine)으로 취급될 수 있으며, 기본적으로 RBM의 학습방법을 연속적으로 적용하여 학습을 수행하고, 최종적으로 미세 조정(fine tuning)단계의 학습으로 분류기를 구성하였다. RBM은 에너지 함수를 최소화하는 경사 하강법 (gradient descent)인 CD(contrastive divergence)-1 알고리즘을 통해 무감독 학습이 이루어졌으며, 최종적으로 분류기(classifier)를 구성하는 단계에서는 미세조정을 통해 학습을 완성하였다. 그림 10 와 같은 대략적인 DBN 구조의 파라메타와 학습방법은 표 2와 같다.

실제 부류는 숫자의 경우는 0-9의 10종류, 문자의 경우는 23개 (일반- 흰색, 초록색=가나다라거머버고노도모보소오조구누두루무수우), 4개(상업용-노란색=바사아자), 지역식별자는 데이터 부족으로 2개 (서울, 경기)만을 대상으로 하여 숫자, 문자, 지역분류 각각의 DBN 인식기를 훈련하여 사용하였다.

3. 실험 및 검토

본 논문에서 제안한 직렬구조의 서로 다른 특징을 사용하는 다단계 Adaboost를 이용한 번호판 검출 및 영상처리 방법, DBN을 이용한 문자/숫자 인식 실험결과를 보여주고 검토한다.

3.1 서로 다른 특징을 사용하는 다단계 Adaboost 이용한 번호판 검출

제안된 번호판 검출기의 성능을 실험하기 위해 번호판 검출기의 입력영상으로는 학습에 사용되지 않은 100장의 영상을 사용하였다.

이 100장의 영상 중에 50장의 영상에는 번호판이 한 개 존재하였으며, 50개의 영상에는 번호판이 두 개 이상 존재하는 영상이다.

그림 11-(a),(b)은 번호판이 두 개 이상의 영상에 대해 Haar-like 검출기 및 MB-LBP 검출기의 성능을 보여주고 있다. 여기서 Haar- like 검출기와 MB-LBP 검출기는 검출기 단의 수 및 학습데이터 수 등을 변화시키며 파라메터 조종에 의해 가장 성능이 좋은 예를 표현하고 있다. 그림11에사용된 학습 파라메터는 표 1에서 알수가 있고, 제안된 방법에 비해 Haar-like 검출기의 경우 오검출이 많은 것을 확인할 수 있으며, MB-LBP의 경우는 오검출은 줄어들었으나 미검출이 늘어나는 것을 확인할 수 있었다. 표 3에는 번호판이 하나인 영상과 번호판이 두 개 이상인 영상에 대한실험결과를 표로 요약하고 있다. 표 3에서 알 수 있듯이 번호판을 한 개 포함하는 영상에서는 제안한 방법이 단일 특징을 이용하는 방법에 비해 오검출(7개)을 현저히 줄였으며, 번호판이 두개 이상인 경우에는 오검출 뿐만 아니라 미검출도 단일 특징을 이용하는 방법에 비해 줄어들었음을 확인하였다.

(a) Haar-like detector 그림 9. DBN 인식기 구조

Fig. 9. Structure of DBN classifier

표 2. DBN 구조와 학습 파라메터 Table 2. Structure and training parameters for DBN

Parameters of DBN structure (no. of nodes)

input layer single: 50x50 nodes hidden

layers

3 layers:

450-300-150 nodes output

layers no. of classes

Training

no. of epochs

input-hiddens: 200 hidden-output: 1000 size of

mini- batch

50

training

method CD-1

learning

rate eta: 0.1, momentum: 0.5

(6)

(b) MB-LBP detector

(c) Proposed detector 그림 10. 번호판 검출기의 성능 Fig. 10. Performance of License plate detector

표 3. 번호판 검출성능 결과 Table 3. Performance of license plate detection results

(a) Image containing 1 license plate Haar-like

detector

MB-LBP detector

Proposed detector true false true false true false

LP 50

(100%)

0

(0%)

50

(100%)

0

(0%)

50

(100%)

0

(0%)

Not LP 76

(100%)

0

(0%)

33

(100%)

0

(0%)

7

(100%)

0 (0%) (b) Image containing more than 1 license plate

Haar-like detector

MB-LBP detector

proposed detector true false true false true false

LP 104

(94.6%)

6

(5.4%)

102

(92.8%)

8

(7.2%)

107

(97.3%)

3

(2.7%)

Not LP 127

(100%)

0

(0%)

103

(100%)

0

(0%)

26

(100%)

0 (0%)

이들 실험결과는 제안된 방법이 단일 특징을 이용하는 방법에 비해 학습 시 조정할 파라메터가 늘어나는 점이 있으나 단일 특징을 이용하는 방법을 상보적으로 활용하여 강건한 번호판 검출 성능을 보여주는 것을 확인하였다.

3.2 기하학적 왜곡보정 및 번호판 타입결정

그림 12는 기하학적 왜곡보정의 실험결과의 일부를 보여주고 있다. 그림 12에서 알 수 있듯이 번호판과 그 주위의 대조가 뚜렷한

경우는 정확한 보정이 이루어지나 가장 아래의 예에서 같이 주위와의 대조가 뚜렷하지 않은 경우는 완벽한 보정이 이루어지지 않았다.

다만 이어지는 단계에서는 첫 단계에서의 오검출을 포함하는 번호판 객체만을 대상으로 하기 때문에 첫 단계에서 오검출이 생기더라도 미검출을 최소로 하는 조명에 강건한 검출방법을 선택하는 것이 바람직하다.

그림 11. 기하학적 왜곡 보정 Fig. 11. Correction results of geometric distortions

한편 번호판 색상결정의 경우 화소단위로 색상을 판별하고 이를 다수결에 의해 최종 색상을 결정하기 때문에 사람의 눈으로 판별 가능한 경우 모두 정확한 분류가 이루어 졌다. 뿐만 아니라 보정이 정확하게 이루어진 번호판의 경우는 두께도 완벽한 분류성능을 보였다. 그림 13(a)는 왜곡이 보정된 번호판에서 가로, 세로 비를 이용하여 두께를 결정한 결과를 보여주고 있다. 그림 13(b)는 번호판의 색상과 두께의 결과를 보여 주는데 54, 3466, 4, 10, 778 은 각각 녹색, 횐색, 노랑색, 빨강색, 검은색의 화소 수를 표현하며, 다수결에 의해 번호판 색상은 흰색으로 결정되고 굵은(두꺼운) 번호판으로 결정되었음을 알 수 있다.

(a) Corrected LP (b) Type determination by SNN 그림 12. 번호판 타입 결정 Fig. 12. Type determination of license plate

3.3 문자인식

문자 인식부에서는 개별 문자/숫자 영상의 분리로부터 시작된다.

그림 14은 두 줄 번호판의 개별 문자/숫자 영상의 분리과정과 결과를 보여준다. 실험결과는 영상의 기하학적 보정이 완벽하면

(7)

정확한 분해가 이루어짐을 확인할 수 있었다. 그러나 영상보정이 불완전한 경우는 문자/숫자의 기울어짐이 발생하고 이에 따라 정확한 분해영상을 얻는데 어려움이 있었다.

분리된 문자/숫자 영상은 비록 면적이 크게 줄었다 하더라도 조명의 변화가 존재하기 때문에 top-hat 변환을 수행하여 국부적으로 가장 밝기 값이 큰 부분을 찾았으며, 이 과정에서 획의 손실을 최소화하기 위해 획이 두꺼운 부분은 큰 구조적 요소, 가는 부분은 작은 구조적요소를 이용하여 변환을 수행했으며 최종적으로 local Ostu 임계값을 이용하여 이진영상을 얻었다. 그림 15(a)는 이 과정과 결과를 보여주고 있다. 또한 DBN에 입력되는 50x50의 이진영상은 객체의 무게중심과 영상의 무게중심이 일치하도록 객체의 무게중심을 중심으로 객체를 둘러싸는 바운딩 박스를 찾고 이 박스가 50x50 이진영상의 중심에 위치하도록 조정하였다. 그림 15(b)이러한 과정을 보여주고 있다.

그림 13. 문자/숫자 영상의 분해 Fig. 13. Decomposition of character images

(a) input, top-hat transformed, and Otsu’s threshold images

(b) Weight center, bounding box and 50x50 normalized binary images 그림 14. 이진화 및 크기 정규화

Fig. 14. Binarization and size normalization

이렇게 얻어진 이진영상의 DBN 분류실험은 각각 숫자와 문자, 지역식별자로 분리되어 실시하였다. 표 4(a)는 숫자 데이터의 인식성능, 표 4(b)는 문자의 인식성능, 표 4(c)는 지역코드의 인식성능을 보여주고 있다. 표 4에서 알 수 있듯이 개별 숫자의 경우 모두 99%이상의 인식성능을 보였으며, 문자의 경우는 평균 98.7%의 인식성능을 보였다. 한편 지역식별자의 경우 데이터 수의 제약으로

“서울”, “경기”만을 대상으로 했는데 100%의 인식율을 보였다. 그림 16(a)는 특별히 숫자 인식률이 좋지 않은 지역식별자를 포함하는 초록색 번호판의 인식/오인식된 이진 영상표본과 그림 16(b)는 문자 인식에 오류를 포함한 지역식별자를 포함하지 않는 초록색 번호판의 인식/오인식된 이진 영상표본을 보여주고 있다. 그림 16에서 왼쪽은 테스트 데이터 입력을 의미하며 오른쪽은 오인식된 입력을 의미한다. 그림 16에서 볼 수 있듯이 영상의 기울어짐 및 경미한 획 손실 등에 대해서도 안정적인 인식성능을 보이는 것을 관찰할 수 있다. 또한 그림 17는 지역 식별자에 대한 입력 데이터들을 보여주고 있다. 이들 이진 영상에서 확인할 수 있는 점은 본 논문에서 번호판 영상의 기하학적인 왜곡이 완벽하게 보정되지 못하여 이진영상이 기울어지거나 영상처리 과정에서 약간의 획 손실이 있다 하더라도 DBN 인식기가 강건하게 인식을 수행하고 있다는 점이다.

DBN은 생성 모델(generative model)이기 때문에 재구성된 영상으로부터 인식성능을 미루어 짐작할 수도 있다. 그림 18은 초록색 번호판의 이진 문자영상에 대해 재구성된 DBN이 재구성한 영상을 보여주고 있다. 그림에서 알 수 있듯이 “도-두-모-무”등의 경우 서로 유사하게 재구성되어 인식 결과 혼동을 일으키는 것을 알 수가 있다. 이는 DBN이 안정적인 인식 성능을 보인다 하더라도 결국 기하학적 왜곡보정, 획의 손실방지를 위한 영상처리 등이 인식성능을 제고하는데 중요한 과정임을 확인할 수 있다.

표 4. DBN 인식기의 성능 Table 4. Performance of DBN classifiers (a) Classification performance of numeric characters

type total

data

train data

test data

false data

yellow (1 line) 2815 2400 415 2

yellow (2 line) 2899 2400 499 0

green (2 line) 2569 2100 469 0

green (local 2line) 2805 2300 505 7

white (1 line) 3422 3000 432 2

white (thick 1line) 2933 2500 433 5

(b) Classification performance of text characters

type total

data

train data

test data

false data

yellow (1 line) 387 300 87 0

yellow (2 line) 477 400 77 0

green (2 line) 342 250 92 2

green (local 2 line) 276 200 76 4

white (1 line) 363 300 63 0

white (thick 1line) 361 300 61 0

(c) Classification performance of area characters

type total

data

train data

test data

false data

yellow (1 line) 125 100 25 0

yellow (2 line) 413 350 63 0

green (local 2 line) 314 250 64 0

(8)

(a) Numeric characters (b) Text characters 그림 15. 녹색 번호판의 인식/오인식된 숫자와 문자 Fig. 15. Correctly/wrong classified numeric and text characters in green license

plate

그림 16. 지역 식별자 이진 영상들 Fig. 16. Binary images for region identifier

그림 17. 녹색 번호판의 입력 이진영상과 재구성된 영상들 Fig. 17. Input images(left) and corresponding reconstructed images(right) in

green license plate

4. 결론 및 향후 연구

본 논문에서는 기하학적인 왜곡이 심하게 일어나고 조명환경이 열악한 옥외 영상을 통해 차량 번호판을 검출하고 영상처리 및 문자/

숫자 인식하는데 필요한 기술들을 제안하였다.

첫째는 서로 다른 특징을 사용하는 다단계 Adaboost 분류기를 기반으로 하는 차량 번호판 검출 방법을 제안하였다. 본 논문의 실험에서는 제 1단계에서는 조명변화에 상대적으로 강인한 MB(Multi-Block)-LBP 특징을 기반으로 하는 검출기를 적용하고 제 2단계에서는 Haar-like 특징을 이용하여 다시 정밀하게 검출하는 방법을 사용하였다. 단일 특징을 사용하는 방법에 비해 제안된 방법은 단지 2개의 서로 다른 특징을 사용하고 있으나, 연속되는 단계에서는 이전단계의 검출 결과를 재검토하여 세련화하기 때문에 오검출과 미검출을 줄일 수 있음을 보였고, 계산양의 큰 증가 없이

성능을 개선할 수 있는 것을 확인하였다.

둘째 조명변화의 영향을 줄이는 영상저리 방법으로 먼저 번호판의 타입을 결정하고 이를 이용하는 영상처리 방법을 제안 하였다. 제안된 방법에서는 번호판 색상에 맞게 그래이 영상의 대조도를 극대화 하는 영상변환을 시도하였다. 또한 번호판 타입에 맞게 번호판 규정을 참조하여 기준이 되는 문자/숫자 영상의 분할 위치를 알아냈으며, 안정적으로 문자/숫자영상을 분리할 수 있었다.

뿐만 아니라 번호판의 타입이 분류되었기 때문에 문자/숫자 영상을 분리하고 Top-hat 변환의 구조적 요소 크기 선택, Otsu 임계값 설정 등이 사전 지식 없이 전체 번호판 영상을 영상처리 하는 것보다 용이하였다.

셋째 DBN(Deep Belief Network)를 이용한 문자/숫자 인식방법을 사용하였다. 제안된 방법은 개별 숫자의 경우 99%이상의 인식률을 보이고 있으며, 문자의 경우는 98.7%의 평균인식률을 보였다.

물론 전체 번호판을 구성하는 모든 문자와 숫자의 인식 성공률은 개별문자/숫자의 인식률보다 떨어져 약 95%정도로 예상되지만 DNN(Deep Neural Network)모델의 높은 인식률은 영상처리의 부정확성에 기인한 오류를 상당부분 흡수하는 것으로 파악된다.

본 논문에서 제안된 옥외 영상의 번호판 인식기술에서 최종인식에 가장 큰 영향을 주는 부분은 번호판 검출과 검출된 번호판의 기하학적인 왜곡보정 과정이다. 따라서 현재 CNN(Convolutional Neural Network)를 이용하는 번호판 검출 시스템[13]과 정교한 기하학적 왜곡보정 방법을 개발 하고 있다.

References

[1] X. H. Huaifeng Zhang, Wenjing Jia and Q. Wu. “Learning- based license plate detection using global and local features,” 18th International Conference on Pattern Recognition, vol. 02, pp. 1102-1105, 2006.

[2] Moon-Yong Jin, “Real-Time Vehicle License Plate Recognition System Using Adaptive Heuristic Segmentation Algorithm”, Chonbuk National University, 2013.

[3] Byung-Gil Han, Jong Taek Lee, Kil-Taek Lim, and Yunsu Chung, “Real-time License Plate Detection in High- Resolution Videos using Fastest Cascade Classifier and Core Patterns,” Available http://dx.doi.org/10.4218/etrij.15.2314.0077, [Accessed : July 17, 2016]

[4] Tran Duc Duan, Tran Le Hong Du, Tran Vinh Phuoc, Nguyen Viet Hoang, “Building an Automatic Vehicle License- Plate Recognition System,“Intl. Conf. in Computer Science,

(9)

vol. 05, pp. 21-24, 2005,

[5] Wenjing Jia, Huaifeng Zhang, Xiang-jian He, “Region-based license plate detection”, Journal of Network and Computer Applications, vol.30, pp.1324-1333, 2007.

[6] S.-H. Y. Jun-Wei Hsieh and Y.-S. Chen. “Morphology-based license plate detection from complex scenes,” the International Conference on Pattern Recognition, vol. 16, pp. 176-180, 2002.

[7] Jin-Ho Kim, “Vehicle License Plate Recognition for Smart Tolling by Selective Sharpening”, The Journal of the Korea Contents Association, vol. 14, no. 12, pp. 1-9, 2014.

[8] Jae-Ho Kim, Dong-Jung Kang, “An Ensemble Classifier Based Method to Select Optimal Image Features for License Plate Recognition”, KIEE international transactions on power engineering, vol. 65,no. 1, pp.142-149, 2016.

[9] Seon-Hwan Kim, Sung-Kwon Oh, “RBFNNs-based Recognition System of Vehicle License Plate Using Distortion Correction and Local Binarization”, KIEE international transactions on power engineering, vol. 65, no. 9, pp.1531- 1540, 2016.

[9] GE Hinton, S Osindero, YW The, “A fast learning algorithm for deep belief network”, Neural computation MIT Press, 2006.

[10] JAK Suykens, J Vandewalle, “Least squares support vector machine classifiers”, Neural processing letters, 1999.

[11] Hungwen Li, Mark A Lavin, Ronald J Le Master, “Fast Hough transform: A hierarchical approach”, Computer Vision, Graphics, and Image Processing, vol.36, pp.139-161, 1986.

[12] M Welling, “Fisher linear discriminant analysis”, Department of Computer Science, University of Toronto, 2005.

[13] Shaoqing Ren, Kaiming He, Ross Girshock, Jian Sun, “Faster R-CNN: Toward Real-Time Object Detection with Region Proposal Networks”, Advances in Neural Information Processing Systems, vol. 28. 2015.

[14] Dong-Hoon Kim, Byeong-Jun Kim, Joonwhoan- Lee“A Cascaded Detector for Vehicle Number Plate from Outdoor Images”,The Korean Institute of Communications and Information Sciences, vol. 11, pp.71-72, 2015.