An Enhanced Two-Stage Vehicle License Plate Detection Scheme Using Object Segmentation for Declined License Plate Detections

(1)

JKSCI

An Enhanced Two-Stage Vehicle License Plate Detection Scheme Using Object Segmentation for Declined License Plate Detections

1)

Sang-Won Lee*, Bumsuk Choi**, Yoo-Sung Kim*

*Graduate Student, Dept. of Information and Communication Eng., Inha University, Incheon, Korea

**Researcher, Korea Electronics and Telecommunications Research Institute, Daejeon, Korea

*Professor, Dept. of Information and Communication Eng., Inha University, Incheon, Korea

[Abstract]

In this paper, an enhanced 2-stage vehicle license plate detection scheme using object segmentation is proposed to detect accurately the rotated license plates due to the inclined photographing angles in real-road situations. With the previous 3-stage vehicle license plate detection pipeline model, the detection accuracy is likely decreased as the license plates are declined. To resolve this problem, we propose an enhanced 2-stage model by replacing the frontal two processing stages which are for detecting vehicle area and vehicle license plate respectively in only rectangular shapes in the previous 3-stage model with one step to detect vehicle license plate in arbitrarily shapes using object segmentation. According to the comparison results in terms of the detection accuracy of the proposed 2-stage scheme and the previous 3-stage pipeline model against the rotated license plates, the accuracy of the proposed 2-stage scheme is improved by up to about 20% even though the detection process is simplified.

▸Key words: Enhanced vehicle license plate detection scheme, Rotated plate images, Object segmentation, Detection accuracy, Simple detection process

[요 약]

본 논문에서는 실제 도로에서 기울어진 촬영 각도로 인하여 회전된 차량 번호판을 정확하게 탐지 하기 위하여 객체 세그먼테이션 (object segmentation)을 이용하는 개선된 2-단계 차량 번호판 탐지 모 델을 제안한다. 기존 연구에서 제안한 3-단계 차량 번호판 탐지 파이프라인 모델은 차량 번호판이 많 이 기울어져 있을수록 탐지 정확도가 낮아지는 문제가 있다. 이를 해결하기 위해서 기존의 3-단계 모 델에서 사각형 형태만으로 차량 후보 영역과 차량 번호판 후보 영역을 인식하는 전위 2개의 처리 단 계 대신에 임의의 형태로 객체 탐지가 가능한 객체 세그먼테이션을 이용하는 하나의 단계로 대체함 으로써 탐지 과정을 단순화하였으며 궁극적으로는 임의의 형태로 기울어진 차량 이미지에 대해서도 탐지 성능을 개선하였다. 기울어진 차량 번호판 이미지를 대상으로 실시한 차량 번호판 탐지 모델의 정확도 분석 실험 결과에 의하면 기존의 3-단계 차량 번호판 탐지 모델보다 제안된 2-단계 기법이 탐 지 과정을 단순화하였음에도 최대 약 20%의 탐지 정확도를 개선할 수 있는 것으로 분석되었다.

▸주제어: 개선된 차량 번호판 탐지 기법, 회전된 차량 번호판, 객체 세그먼테이션, 탐지 정확도, 단순 탐지 과정

∙First Author: Sang-Won Lee, Corresponding Author: Yoo-Sung Kim

*Sang-Won Lee ([email protected]), Dept. of Information and Communication Eng., Inha University **Bumsuk Choi ([email protected]), Korea Electronics and Telecommunications Research Institute *Yoo-Sung Kim ([email protected]), Dept. of Information and Communication Eng., Inha University

∙Received: 2021. 08. 13, Revised: 2021. 09. 13, Accepted: 2021. 09. 13.

(2)

I. Introduction

최근 지능화된 CCTV의 여러 응용에서 차량을 식별하기 위한 목적으로 차량 번호판 인식(vehicle license plate recognition) 기술이 중요하게 사용되고 있으며, 정확한 차량 번호판 인식을 위해서는 우선 차량 번호판을 정확하 게 탐지(detection)하는 것이 중요하다[1-3]. 최근 컴퓨터 비전 분야에서 딥러닝이 많이 이용됨에 따라 차량 번호판 탐지를 위한 연구에서도 딥러닝을 활용한 연구가 많이 시 도되고 있다[4-9]. 특히, 최근에 발표된 YOLO[10] 등과 같은 실시간 객체 탐지 모델이 높은 인식 속도와 정확도를 갖는 것으로 알려져서 많은 차량 번호판 탐지 모델에서 사 용되고 있다. 하지만, YOLO는 직사각형 형태의 경계박스 (bounding box)로만 객체 탐지 결과를 제시하기 때문에 다양한 촬영 각도로 인해 기울어진 임의의 사각형 형태를 갖는 차량 번호판을 정확하게 탐지하는데 부족할 수 있다.

최근에 실제 도로의 상황에서 촬영된 차량 번호판을 정 확하게 탐지하기 위한 목적으로 WPOD-NET(Warped Planar Object Detection Network)이 제안되었다[9]. 그 러나 외국에서 연구된 [9]의 WOD-NET이 국내의 실제 도 로상에서 어느 정도 정확하게 차량 번호판을 탐지할 수 있 는지 확인되지 않았다. 따라서 [11]에서는 국내의 실제 도 로 상황에서 직접 취득한 실제 원본 이미지와 OpenCV[12]

를 이용하여 차량 번호판 인식을 어렵게 할 수 있는 도로 상황을 묘사하기 위해 다양하게 변형시킨 이미지들까지 추 가하여 국내의 다양한 도로 상황을 표현하는 이미지 세트 로 구성하고, 이 이미지 세트를 이용하여 국내의 다양한 도 로 상황에 대한 WPOD-NET의 차량 번호판 탐지 정확도를 평가하였다. 실험 결과에 의하면 국내의 실제 도로 상황에 대해 WPOD-NET은 기울어진 촬영 각도로 인해 회전된 형 태로 촬영된 차량 번호판을 높은 정확도로 인식 가능함을 보였지만 전체적으로 제안 연구에서 제시된 목표 성능보다 상대적으로 낮은 정확도를 갖는 것을 확인하였다.

이전 연구 [13]에서는 WPOD-NET의 탐지 과정을 점검 하여 차량 번호판 탐지를 위한 전처리과정에서 YOLO_v2[14]를 이용하여 검출된 사각형 형태의 차량 이 미지를 입력받아 사용하여 넓은 탐지 후보 영역으로 인해 탐지 정확도가 낮아지는 것을 확인하고, 이를 개선하고자 차량 번호판 탐지 과정에서 불필요한 노이즈 영역을 배제 하는 방법을 제안하였다. 이를 위해서 기존의 WPOD-NET 의 차량 후보 영역을 검출하기 위한 전처리과정의 결과에 서 차량 번호판이 존재할 가능성이 높은 영역에만 집중할 수 있도록 발전된 실시간 객체 인식 모델인 YOLO_v3[15]

을 이용하여 차량 번호판 후보 영역을 인식하고 이 후보 영 역을 WPOD-NET에 입력하여 차량 번호판을 정확하게 탐 지하기 위한 3-단계 파이프라인 모델을 제안하였다. 그 결 과, 기존 WPOD-NET에 비해 최대 약 20% 더 높은 성능 개선을 이루었지만, 차량 번호판의 회전 정도가 심해질수 록 탐지 정확도가 많이 저하되는 문제가 있었다. 이는 YOLO가 객체를 직사각형 형태로만 인식할 수 있기에 차량 번호판을 탐지하는 과정에서 많이 기울어진 차량 번호판 객체를 정확하게 검출하지 못하기 때문임을 확인하였다.

YOLO는 객체 인식의 결과를 직사각형 형태의 경계박 스(bounding box)로만 제시하는 반면에 객체 세그먼테이 션(object segmentation)은 검출된 객체의 형상을 따라서 임의의 형태로 검출 객체를 구분하여 제시한다[16-18]. 따 라서 본 연구에서는 차량 번호판의 회전 정도가 심해질수 록 탐지 정확도가 떨어지는 문제점을 개선하고자, 기존 3- 단계 차량 번호판 인식 파이프라인 모델에서 직사각형 형 태로만 차량과 차량 번호판 후보 영역을 인식하는 YOLO 기반의 앞 2단계 대신에 임의의 형태로 객체 탐지가 가능 한 객체 세그먼테이션을 이용하여 차량 번호판 후보 영역 을 정확하게 탐지하도록 처리 단계를 단순화하고 성능을 개선한 2-단계의 차량 번호판 탐지 모델을 제안한다.

본 논문의 이후 구성은 다음과 같다. 2절에서는 실제 도 로 환경에서 기울어진 차량 번호판의 탐지 및 인식에 관한 이전 연구를 소개하고 객체 세그먼테이션을 간략하게 소 개한다. 3절에서는 객체 세그먼테이션을 이용하여 기울어 진 차량 번호판의 탐지 정확성을 증진하고 동시에 탐지 과 정을 단순화시킨 개선된 2-단계 차량 번호판 탐지 모델을 설명한다. 4절에서는 제안된 2-단계 차량 번호판 탐지 모 델의 성능 분석 내용을 소개한다, 마지막으로 5절에서는 결론 및 향후 연구에 관해서 기술한다.

II. Related Work

최근 실제도로 환경에서 정확한 번호판 탐지를 위하여 [9]에서 제안된 WPOD-NET는 국내의 실제 도로에서 약간 회전된 형태로 촬영된 차량 번호판을 높은 정확도로 인식 할 수 있지만 국내의 실제도로에서 직접 취득한 원본 이미 지에 대해서는 원래의 논문에서 제시된 정확도보다 낮은 탐지 정확도가 나왔기 때문에 국내의 도로에서 직접 적용 하여 사용하기에 부족할 수 있었다.

본 연구팀의 이전 연구 [13]에서는 WPOD-NET에서 사

용하는 출력 특징 맵의 한 셀이 커버하는 입력 이미지의

(3)

영역은 전체 입력 이미지의 크기에 비례하고, 한 셀로 표 현되는 이미지의 영역이 넓어지면 차량 번호판 이외의 정 보가 잡음으로 포함될 수 있어서 정확한 차량 번호판 탐지 를 방해할 수 있음을 분석하였다. 즉, 전처리 단계에서 차 량 영역을 정확하게 검출하지 못하기 때문에 WPOD-NET 에 불필요한 노이즈가 많이 포함된 탐지 후보 영역이 입력 되기 때문에 결과적으로 차량 번호판 탐지의 정확도가 낮 아지는 것을 분석하였다.

따라서 [13]에서는 이러한 문제를 해결하고자 YOLO_v3 으로 차량 번호판 후보 지역을 검출하고 이를 공간 집중 영 역으로 이용하는 과정을 추가하여 전체적으로 3개의 처리 과정으로 차량 번호판을 탐지하는 3-단계 파이프라인 모델 을 제안하였다. 또한, 제안된 3-단계 파이프라인 모델의 탐 지 정확도 분석을 통해 제안된 3-단계 파이프라인 모델이 차량 번호판 GT 데이터를 기준으로 생성된 최적의 공간 집 중 영역을 설정하여 사용하는 방법보다는 낮은 탐지 정확 도를 갖지만 기존의 WPOD-NET보다는 전체적으로 탐지 정확도를 개선할 수 있음을 확인하였다. 그러나 그러한 성 능 개선의 정도가 촬영 각도가 심하게 기울어져서 취득 이 미지가 많이 회전되었을 때에는 성능의 개선 정도가 크지 않았다. 그 이유는 YOLO_v3이 많이 회전된 이미지로부터 차량 번호판을 정확하게 탐지하지 못하는 경우가 증가하고, 이런 경우에는 기존 WPOD-NET의 차량 번호판 탐지와 같 은 과정으로 차량 번호판을 탐지하기 때문이다.

본 연구에서는 기존 [13]에서 사용했던 직사각형 형태의 경계박스로 객체 인식의 결과를 표시했던 YOLO 대신에 기 울어진 임의의 형태의 차량 번호판까지도 잘 탐지하여 후 보 지역으로 사용할 수 있도록 객체 세스먼테이션(object segmentation) 방법을 이용하고자 한다. 객체 세그먼테이 션을 위해서 [16]에서는 U-NET이라 불리는 이미지의 전반 적인 컨택스트(context) 정보를 얻기 위한 네트워크와 정 확한 위치 정보를 얻기 위한 과정(localization)을 담은 네 트워크를 대칭 형태로 구성한 모델을 제안하였다. 이를 이 용하면 입력된 이미지로부터 차량 번호판 후보 영역을 직 사각형 형태의 경계박스가 아닌 객체의 외곽선으로 객체를 검출함으로써 좀 더 세밀하게 객체를 탐지하고 제시할 수 있으며 이는 이후 단계에서 정확한 차량 번호판 탐지를 가 능하도록 지원할 수 있다. 따라서 기존 [13]의 3-단계 차량 번호판 탐지 모델의 정확도 개선을 위해서 YOLO를 이용하 여 차량 탐지와 번호판 후보 영역 탐지를 위한 2개의 단계 를 임의의 형태로 객체 탐지가 가능한 객체 세그먼테이션 을 이용하여 하나의 단계로 대체하여 전체적으로 2-단계로 구성된 차량 번호판 탐지 모델을 제안한다.

III. An Enhanced Two-Stage Vehicle License Plate Detection Scheme Using

Object Segmentation

본 절에서는 기존 3-단계 파이프라인 모델[13]의 차량 번호판 탐지 과정을 상세 분석하고, 직사각형 형태의 경계 박스보다 더 세밀하게 차량 번호판 후보 영역 탐지가 가능 한 객체 세그먼테이션을 이용하여 차량 번호판 후보 영역 을 찾도록 함으로써 탐지 정확도를 개선하고 탐지 과정을 단순화한 차량 번호판 탐지 모델을 제안한다.

3.1 Detailed analysis of the previous 3-stage vehicle license plate detection pipeline model

먼저, 기존의 3-단계 차량 번호판 탐지 파이프라인 모 델의 각 처리 과정에 대해 상세 분석을 진행하였다. 이전 연구 [11]에서 사용한 원본 이미지 세트(19,240장)와 기울 어진 촬영각도에 의해 회전된 차량 번호판을 묘사한 회전 이미지 세트 4개(반시계방향 10도와 20도, 시계방향 10도 와 20도)에 대해 각 과정별로 탐지 정확도를 분석하였다.

또한, [11]에서와 같은 방법으로 IoU(Intersection over Union)에 따라 분류를 진행하여 IoU가 0.5 이상일 경우를 정답(‘Correct’)으로 분류하였고 IoU가 0.5 미만이면 틀린 것(‘Wrong’)으로 분류하였으며, 0일 경우 못 찾은 것 (‘No’)으로 분류하였다.

[표 1]의 상세 분석 결과를 보면, 회전의 정도가 심해질

수록 단계 1(‘Step 1’)에서 YOLO_v2를 이용하여 차량의

후보 영역을 찾는 과정에서 탐지되는 차량의 수가 적어지

는 것을 확인할 수 있다. 원본(original) 이미지 세트로부

터 차량의 후보 영역이 탐지되는 경우는 전체 입력의

94.88%(89.60%부터 아래 방향으로 1.61%까지의 합)이고

시계방향(clockwise) 20도 회전한 이미지 세트에 대해서

는 52.50%로 약 42% 정도 탐지 정확도가 떨어진 것을 확

인할 수 있었다. 또한, 단계 2(‘Step 2’)에서 YOLO_v3를

이용하여 차량 번호판 후보 영역을 탐지하는 과정에서의

정확도 또한 기존 원본 이미지 세트에 비해 많이 떨어지는

것을 확인할 수 있다. [표 1]에서 단계 2에서 정확

(correct)하게 차량 번호판 후보 영역이 탐지된 경우의 합

은 93.77%(= 89.60% + 0.43% + 0.39% + 3.02% +

0.31% + 0.02%)이고, 반시계 방향 20도 회전한 이미지 세

트에 대해서는 0.75%로 약 93% 정도까지 떨어진 것을 확

인할 수 있다. 따라서 번호판 탐지 과정에 앞서 전처리 과

정인 두 단계에 대해 기울어진 촬영 각도로 인해 발생할

수 있는 회전된 번호판 이미지가 번호판 탐지 단계뿐만 아

(4)

Step 1:

YOLO_v2 (Car area)

Step 2:

YOLO_v3 (License plate area)

Step 3:

WPOD-NET

(License plate) Original

Rotation- CntClockwise

10 Rotation- Clockwise

10 Rotation- CntClockwise

20 Rotation- Clockwise

20 Detected

Correct

Correct 89.60% 56.65% 70.87% 0.73% 1.17%

Wrong 0.43% 0.07% 0.16% 0.00% 0.00%

No 0.39% 0.26% 0.38% 0.00% 0.00%

Wrong

Correct 0.18% 22.35% 5.60% 2.39% 2.75%

Wrong 0.00% 0.09% 0.09% 0.02% 0.02%

No 0.00% 0.00% 0.01% 0.00% 0.00%

No

Correct 2.35% 5.89% 7.68% 51.28% 44.88%

Wrong 0.32% 0.88% 0.62% 2.46% 2.96%

No 1.61% 1.37% 1.20% 0.94% 0.72%

Not Detected

Correct

Correct 3.02% 0.89% 1.19% 0.02% 0.01%

Wrong 0.31% 0.00% 0.00% 0.00% 0.00%

No 0.02% 0.00% 0.00% 0.00% 0.00%

Wrong

Correct 0.00% 0.27% 0.66% 0.02% 0.00%

Wrong 0.00% 0.00% 0.00% 0.00% 0.00%

No 0.00% 0.00% 0.00% 0.00% 0.00%

No

Correct 0.94% 7.52% 7.09% 27.30% 27.52%

Wrong 0.04% 0.29% 0.32% 5.15% 7.46%

No 0.78% 3.48% 4.13% 9.68% 12.52%

Table 1. Accuracy of each stage of the previous 3-stage pipeline detection model

Detection Model Original Rotation- CntClockwise

10 Rotation- Clockwise

10 Rotation- CntClockwise

20 Rotation- Clockwise

20 YOLO_v3 88.65% 48.00% 55.55% 6.27% 4.90%

U-NET based Object

Segmentation 99.49% 98.48% 94.88% 81.54% 84.28%

Table 2. Model comparison for selection of license plate detection candidate areas 니라 차량 탐지 단계에도 많은 영향을 미치므로 차량 번호

판 탐지 전처리 과정에 대해 회전 정도에 구애받지 않는 모델로의 개선이 필요함을 확인하였다. 이에 본 연구에서 는 직사각형 형태가 아닌 임의의 형태의 객체 탐지가 가능 한 객체 세그먼테이션을 이용하여 기존 3-단계 파이프라 인 모델의 차량 탐지와 번호판 후보 영역 선정하는 과정을 대체하기 위해 추가적인 비교를 진행하였다.

3.2 Model comparison for detecting license plate candidate areas

차량 번호판의 후보 영역에 대한 검출 성능을 비교하기 위해서 기존 연구 [13]에서 사용한 실시간 객체 탐지 모델 인 YOLO_v3와 U-NET 기반으로 임의의 형태의 객체 탐 지가 가능한 객체 세그먼테이션을 적용한 모델에 대해서 차량 번호판 탐지의 정확도를 비교하였다. 동등하게 실제 국내도로 CCTV에서 취득한 19,240장의 차량 이미지 세트 와 해당 이미지를 OpenCV를 이용하여 시계방향, 반시계 방향으로 회전시킨 이미지 세트를 토대로 비교를 진행하 였으며, 기존 연구 [11]에서 사용한 방법과 같은 방법으로 원본과 회전 테스트 이미지 세트에 대해 IoU를 비교하여

0.5 이상인 것을 정확하게 탐지한 것으로 분류하였다.

[표 2]의 결과를 보면, 객체 세그먼테이션을 적용한 모 델이 YOLO_v2로 차량을 찾고 YOLO_v3으로 번호판 후 보 영역을 찾았을 때보다 최대 약 79%의 더 높은 탐지 정 확도를 보여줌으로써 더 정확한 번호판 탐지 후보 영역을 선정할 수 있음을 보여주었다.

3.3 An enhanced 2-stage vehicle license plate detection model

3.2절에서 설명한 차량 번호판 후보 영역을 탐지하기 위한 객체 탐지 모델의 정확도 비교 결과에 따라 U-NET 기반의 객체 세그먼테이션을 사용하여 차량 번호판이 존 재할만한 영역에만 집중하여 탐지 후보 영역으로 사용하 도록 하여 전체적으로 [그림 1]과 같은 2-단계의 차량 번 호판 탐지 모델을 구성하였다.

각 과정을 살펴보면, 먼저 입력 이미지에 대해 번호판

탐지와 관련이 없는 영역을 배제하고 공간적 집중 영역으

로 삼기 위하여 첫 번째 단계로써 U-NET 기반의 객체 세

그먼테이션을 이용하여 차량 번호판 후보 영역을 탐지한

다. 첫 번째 단계에서 차량 번호판 후보 영역을 탐지한 경

(5)

Fig. 1. Internal process of vehicle license plate detection model using object segmentation

우, [9]에서 사용한 데이터 추가(data augmentation)를 위한 이미지 크기인 208x208로 발견한 차량 번호판 영역 을 잘라내어 공간적 집중 영역으로 사용하고, 만일 차량 번호판을 찾지 못한 경우에는 전체 입력 이미지를 사용한 다. 다음 단계에서는 입력받은 공간적 집중 영역 이미지 또는 전체 입력 이미지에 대해 WPOD-NET을 이용하여 차량 번호판 탐지를 진행한다.

IV. Experiments

본 절에서는 U-NET 기반의 객체 세그먼테이션을 이용 하여 차량 번호판 후보 영역을 탐지하고 공간 집중 영역으 로 삼은 2-단계의 모델이 기존의 YOLO_v3를 이용하여 차량 번호판 후보 영역을 탐지한 3-단계의 파이프라인 모 델보다 탐지 정확도를 어느 정도 개선하였는지 확인하기 위한 실험을 진행한다. 실험은 Intel i9-9980XE CPU와 NVIDIA Titan RTX * 2 GPU를 갖은 컴퓨터를 이용하여 진행하였으며 [13]에서 사용한 동일한 이미지 세트를 이용 하였으며 기존 연구에서와 같은 기준으로 IoU가 0.5를 넘 는 것을 정확하게 탐지한 것으로 분류하였다.

[그림 2]의 그래프는 차량 번호판 탐지 방법별 탐지 정 확도를 비교한 결과를 보여준다. 결과 그래프와 같이, 제 안한 U-NET 기반의 객체 세그먼테이션을 이용한 2-단계 의 차량 번호판 탐지 모델이 차량 번호판 GT 데이터를 이 용하는 경우만큼 완벽하게 번호판 후보 영역을 선정할 수 없으므로 그보다는 정확도가 낮지만, 기존의 3-단계 파이 프라인 모델과 비교하여 보였을 때 평균적으로 약 7%의 성능이 개선됨을 확인하였다. 특히, 기울어진 촬영 각도로 인해 회전된 차량 번호판을 묘사한 이미지 세트에 대해서

최대 약 20%까지의 많은 성능 개선을 이룬 것을 확인할 수 있다. 하지만, 회전된 차량의 번호판을 묘사한 이미지 세트에 대해 이러한 성능 개선에도 불구하고 실제 도로에 서 취득한 원본 이미지 세트에 대해서는 탐지 정확도가 약 2% 더 낮아지는 것도 확인할 수 있다. 따라서, 원본 이미 지 세트가 훼손되지 않으면서 회전 이미지 세트에 대한 성 능을 개선할 수 있도록 번호판 후보 영역을 선정하는 연구 가 더 이루어져야 함을 확인하였다.

V. Conclusions

본 연구에서는 기존의 3-단계 차량 번호판 탐지 파이프

라인 모델에 대해 각 과정별 탐지 정확도 분석을 통해 기

울어진 촬영 각도에 의해 이미지가 회전될수록 차량 탐지

와 차량 번호판의 탐지 정확도가 저하되는 문제를 확인하

고 이를 개선하고자, 입력된 이미지로부터 직사각형 형태

가 아닌 임의 형태로 탐지가 가능한 객체 세그먼테이션

(object segmentation)을 적용하여 차량 번호판 후보 영

역을 찾고 공간 집중 영역으로 이용하여 차량 번호판 탐지

를 진행하는 2-단계의 차량 번호판 탐지 모델을 제안하였

다. 그 과정에서 U-NET 기반의 객체 세그먼테이션이 기

존 YOLO_v2로 차량을 찾고 YOLO_v3를 이용하여 차량

번호판 탐지 후보 영역을 선정하는 방법을 대체할 수 있는

지 판별하기 위하여 탐지 정확도를 비교하였고, 최대 약

79%의 성능 개선을 보임으로써, U-NET 기반의 객체 세

그먼테이션을 차량 번호판 탐지 후보 영역을 찾는데 적용

하여 차량 번호판 탐지를 위한 모델을 구성하였다. 이를

통해, 기존의 복잡하던 3-단계의 탐지 과정을 2-단계로

줄임으로써 탐지 과정을 단순화하였을 뿐만 아니라 이렇

(6)

Fig. 2. Accuracy comparison graph of vehicle license plate detection schemes

게 구성한 2-단계의 제안 모델이 기존의 3-단계의 파이프 라인 모델보다 최대 성능이 약 20%까지 개선할 수 있음을 분석하였다.

그러나, 제안된 기법이 기존의 3-단계의 파이프라인 모 델보다 실제 도로에서 취득한 원본 이미지 세트에 대한 탐 지 정확도가 약 2% 정도 낮아지는 문제가 있어 이에 대한 개선연구가 필요하다. 또한, 이와 더불어 구성된 2-단계의 모델에 대해서 차량 번호판 탐지를 위한 전체 과정을 하나 로 구성하는 연구를 진행할 예정이다.

ACKNOWLEDGEMENT

This work was supported by Institute of Information & communications Technology Planning & Evaluation (IITP) grant funded by the Korea government (MSIT) (No. 2019-0-00203, Development of 5G-based Predictive Visual Security Technology for Preemptive Threat Response).

REFERENCES

[1] K.M. Sajjad, “Automatic License Plate Recognition using Python and OpenCV”, Department of Computer Science and Engineering M.E.S. College of Engineering, Kuttippuram, Kerala, 2010.

[2] S. Du, M. Ibrahim, M. Shehata, and W. Badawy, “Automatic License Plate Recognition (ALPR): A State-of-the-Art Review”, IEEE Transactions on Circuits and Systems for Video Technology, Vol. 23, No. 2, pp. 311-325, Feb. 2013, DOI:10.1109/tcsvt.2012.2 203741.

[3] B. Li, B. Tian, Q. Yao and K. Wang, “A vehicle license plate recognition system based on analysis of maximally stable extremal regions”, Proceedings of 9th IEEE International Conference on Networking, Sensing and Control, Beijing, pp. 399-404, Apr. 2012 , DOI: 10.1109/icnsc.2012.6204952.

[4] Hendry, R.C. Chen, “Automatic License Plate Recognition via sliding-window darknet-Yolo deep learning”, Image and Vision Computing, Vol. 87, pp. 47-56, Jul. 2019, DOI: 10.1016/j.imavis .2019.04.007 .

[5] R. Laroca, E. Severo, L.A. Zanlorensi, L.S. Oliveira, G.R.

Goncalves, W.R. Schwartz, D. Menotti, “A robust real-time automatic license plate recognition based on the Yolo detector”, 2018 International Joint Conference on Neural Networks (IJCNN), Rio de Janeiro, pp. 1-10, Jul. 2018, DOI: 10.1109/ijcnn.2018.8 489629.

[6] OpenALPR (Automatic License Plate Recognition), http://www.

openalpr.com

(7)

[7] G.R. Gonalves, S.P.G. da Silva, D. Menotti, W.R. Schwartz,

“Benchmark for license plate character segmentation”, Journal of Electronic Imaging, Vol. 25, Oct. 2016, DOI: 10.1117/1.jei.25.5.0 53034 .

[8] G.S. Hsu, J.C. Chen, Y.Z. Chung, “Application-Oriented License Plate Recognition”, IEEE Transactions on Vehicular Technology, Vol.62, No.2, pp. 552-561, Feb. 2013, DOI: 10.1109/tvt.2012.2226 218.

[9] S.M. Silva, C.R. Jung, “License Plate Detection and Recognition in Unconstrained Scenarios”, In: Ferrari V., Hebert M., Sminchisescu C., Weiss Y. (eds) Computer Vision - ECCV 2018, Lecture Notes in Computer Science, Vol 11216. Springer, Cham, Sep. 2018, DOI: 10.1007/978-3-030-01258-8_36.

[10] J. Redmon, S. Divvala, R. Girshick, A. Farhadi, “You Only Look Once: Unified, Real-Time Object Detection”, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, pp. 779-788, Jun. 2016, DOI: 10.110 9/cvpr.2016.91.

[11] S.W. Lee, B.S. Choi, Y.S. Kim, “A Progressing Direction for Vehicle License Plate Detectors Based on Performance Evaluations Using Emulated Images for Various Real-Road Situations”, Video session presented at the 2020 Asia-pacific Society of Convergent Research Interchange 4th Domestic and International Conference, Oct. 2020.

[12] G. Bradski, “The OpenCV Library”, Dr. Dobb’s Journal of Software Tools, 2000.

[13] S.W. Lee, B.S. Choi, Y.S. Kim, “A Vehicle License Plate Detection Scheme Using Spatial Attentions for Improving Detection Accuracy in Real-Road Situations”, Journal of The Korea Society of Computer and Information, Vol.26, No.1, pp.93-101, Jan. 2021. DOI: 10.9708/ksci.2021.26.01.093 [14] J. Redmon, A. Farhadi, “Yolo9000: Better, Faster, Stronger”, 2017

IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 6517-6525, Jul. 2017, DOI: 10.1109/cvpr.2017.690.

[15] J. Redmon, A. Farhadi, “Yolov3: An Incremental Improvement”, Tech Report, Apr. 2018.

[16] O. Ronneberger, P. Fischer, T. Brox, “U-Net: Convolutional Networks for Biomedical Image Segmentation”, In: Navab N., Hornegger J., Wells W., Frangi A. (eds) Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015. MICCAI 2015. Lecture Notes in Computer Science, vol 9351. Springer, Cham, Nov. 2015, DOI: 10.1007/978-3-319-2 4574-4_28

[17] G. Gkioxari, K. He, P. Dollár, R. Girshick, “Mask r-cnn”, 2017 IEEE International Conference on Computer Vision (ICCV), Venice, pp. 2980-2988, Oct. 2017, DOI: 10.1109/iccv.2017.322 [18] K. He, P. Dollár, R. Girshick, X. Chen, “Tensormask: A foundation for dense object segmentation”, 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Seoul,

Korea (South), pp. 2061-2069, Oct. 2019, DOI: 10.1109/ICCV.

2019.00215.

Authors

Sang-Won Lee received the B.S. degrees in Computer Information from Inha Technical College, Korea, in 2019. Sang-Won Lee got his MS degree from Inha University, Incheon, Korea in 2021. He is interesting in Computer Vision and Machine Learning.

Bumsuk Choi received the Ph.D. degree in Computer Science from Chungnam National University, Korea, in 2015. Since 2001, he has been with ETRI, Daejeon, Korea, as a principal researcher. Recently, he participated

in developing AI technology based Smart CCTV monitoring system. He was also the editor of the MPEG-V and MPEG-ARAF standards of ISO/IEC SC29WG11. His current interests include vision A.I., privacy protection, 3D audio

Yoo-Sung Kim received the B.S. degree in Computer Science from Inha University, Korea, in 1986, M.S. and Ph.D. degrees in Computer Science from Korea Advanced Institute of Science and Technology(KAIST),