논문 2015-52-9-11
비전 기반 실시간 원거리 2차원 바코드 검출 시스템
( Vision-based Real-Time Two-dimensional Bar Code Detection System at Long Range )
윤 인 용*, 김 중 규*** ( In Yong Yun and Joong Kyu Kimⓒ)
요 약
본 논문에서는 비전 기술을 기반으로 원거리에서 2차원 바코드를 검출 할 수 있는 실시간 시스템을 제안한다. 제안된 시스 템은 2차원 바코드의 위치 심볼을 찾는 근거리 검출을 먼저 수행하고, 만약 검출이 안 될 경우 원거리 검출로 전환된다. 원거 리 검출은 다음과 같은 순서로 진행된다. 먼저 에지 지도, 영상 이진화, CCL(connect component labeling)을 순차적으로 수행 하여 관심 영역을 설정한다. 설정된 관심 영역을 Bilinear Interpolation을 이용하여 확대한 후, 근거리 검출과 마찬가지로 위치 심볼 패턴을 검출하여 2차원 바코드 영역을 결정한다. 마지막으로 검출된 패턴 정보를 활용하여 역 투영 변환을 적용하여 패 턴을 정렬하게 된다. 실험 결과 제안된 시스템은 기존에 제안된 2차원 검출 알고리즘보다 약 2∼3배정도 더 먼 거리의 바코드 를 검출 할 수 있음을 보였고, 여러 개의 2차원 바코드 검출이 가능함을 보였다. 또한, 실내의 복잡한 환경에서도 강인한 검출 결과를 보였다.
Abstract
In this paper, we propose a real-time two-dimensional bar code detection system even at long range using a vision technique. We first perform short-range detection, and then long-range detection if the short-range detection is not successful. First, edge map generation, image binarization, and connect component labeling (CCL) are performed in order to select a region of interest (ROI). After interpolating the selected ROI using bilinear interpolation, a location symbol pattern is detected as the same as for short-range detection. Finally, the symbol pattern is arranged by applying inverse perspective transformation to localize bar codes. Experimental results demonstrate that the proposed system successfully detects bar codes at two or three times longer distance than existing ones even at indoor environment.
Keywords: QR-Code, Localization, 2D bar code,
Ⅰ. 서 론
바코드는 물품의 정보를 표시하는 라벨로써 물류 시 스템의 발전과 물류량의 증가와 함께 최근 널리 사용되
Received ; April 2, 2015 Revised ; July 20, 2015 Accepted ; September 3, 2015
* 학생회원, ** 정회원, 성균관대학교 정보통신대학 (Department of Information and Communication Engineering, Sungkyunkwan University)
ⓒ Corresponding Author(E-mail: [email protected])
고 있다.
현재 가장 많이 사용되는 1차원 바코드는 데이터 용 량이 작고, 심벌 훼손으로 인해 나타날 수 있는 여러 가 지 에러 정정 기능에 취약한 단점을 갖고 있다. 이러한 문제를 해결하기 위해 다양한 2차원 바코드가 제안되고 있다. 2차원 바코드는 1차원 바코드에 비해 작은 공간 에 많은 데이터를 포함 할 수 있을 뿐만 아니라 심벌 훼손으로 인한 에러 정정 기능도 포함되어 있어 1차원 바코드의 제한성을 극복 하였다. <그림 1>은 현재 많 이 사용되고 있는 2차원 바코드의 종류를 보여 준다.
(a) (b) (c)
(d) (e)
그림 1. 2차원 바코드 종류.
(a) QR-code (b) Aztce (c) Data Matrix (d) Maxicode (e) PDF417
Fig. 1. Type of two-dimensional barcodes.
(a) QR code, (b) Aztce, (c) DataMatrix, (d) Maxicode, (e) PDF417.
본 논문에서는 다양한 2차원 바코드 중 QR코드의 인 식을 다루는데, 전체 시스템에서 가장 중요한 바코드 위치 검출 알고리즘에 초점을 맞춘다. 기존에 연구된 바코드 검출 알고리즘은 근거리 검출에 기반을 두고 있 다. 본 논문에서는 근거리뿐만 아니라 원거리에서도 강 인한 검출 결과를 보이는 알고리즘을 제안한다.
본 논문의 구성은 다음과 같다. 바코드 검출에 관련 된 기존의 연구를 Ⅱ장에서 소개하고, Ⅲ장에서 원거리 바코드 검출 알고리즘을 제안한다. Ⅳ장에서 실험 환경 과 실험 결과를 기술하며, 마지막 V장에서 결론 및 향 후 연구 방향을 제시한다.
Ⅱ. 기존 연구
지금까지 바코드 자동 인식에 관련된 많은 연구가 진 행 되었는데 대부분 1차원 바코드에 대한 방법이다.
Jain et al[1]은 Gabor 필터에 기반 한 텍스처 분석 방법 을 사용하여 바코드 위치를 검출 하였다. 입력 영상을 다수의 Gabor필터 뱅크를 통과 시켜 로컬 에너지를 나 타내는 특징 영상을 생성하고, 이 영상의 각 화소를 클 러스터링 기법으로 후보 영역으로 분할하며 이들의 크 기와 종횡비 등의 기준을 적용하여 바코드 영역을 결정 하였다. Pavlidis et al[2]은 영상 획득 과정에서 발생하는 잡음 영상에 강건한 방법을 개발하기 위해 히스토그램 에 기반을 둔 적응형 알고리즘을 제안 하였다. Normand et al[3]은 Jain의 방법이 주파수 영역으로 변환하여 처 리함으로써 실시간 처리가 힘들다는 문제를 해결하기 위해 공간 영역에서 바코드를 찾는 알고리즘을 제안하 였다. 다중 레벨 영상에 대해 4방향 (0도, 45도, 90도,
135도)에 대한 기울기를 구해 그 중 기울기가 최대인 방 향정보를 이용하여 바코드 위치를 찾고자 하였다. Gallo et al[4]은 바코드의 수평 방향 에지 성분을 구하고 가우 시안 스무딩을 통해 최대값을 찾고, 이를 통해 박스 검 출을 이용하여 바코드의 위치를 결정하였다.
2차원 바코드에 관한 연구는 1990년대 후반부터 진행 되었다. 2차원 바코드 인식에는 텍스쳐 분석이나 1차원 프로젝션, 에지 분석이나 허프 변환 등 1차원 바코드에 서 사용된 다양한 기법들이 부분적으로 적용될 수 있으 나, 많은 부분에서 새로운 접근 방법이 필요하다.
Ouaviani et al[5]은 2차원 바코드 인식을 위한 공통적 인 영상처리 프레임 워크를 제안하였다. 입력 영상에서 바코드가 존재하는 관심 영역을 결정 하는 단계, 관심 영역에서 각 바코드의 특징을 찾아 위치를 결정 하는 단계, 추출된 특징부분을 이용하여 코드 영역을 분리하 는 단계, 마지막으로 분리된 코드를 디코딩 하는 단계 로 구분 하였다. Ohbuchi et al[6]은 핸드폰에 부착된 카 메라를 통해 영상을 입력 받아 QR코드를 인식하는 방 법을 제안 하였다. QR코드를 검출하기 위해 4코너를 검출 하고 역 투영 함수를 이용하여 패턴을 정렬 한다.
Sun et al[7]은 Ohbuchi 방법과 비슷하며, 영상에서 패턴 을 검출 하기 위해 Canny 에지 검출기를 이용한다.
Lin et al[8]는 멀티레벨 이진화를 이용하여 다양한 밝기 환경에서 QR코드를 검출 할 수 있는 방법을 제안 하였 다. 2차원 바코드는 일정한 구조를 갖고 있어, 이를 활 용하여 허프 변환을 이용한 연구도 많이 진행 되었다.
Wang et al[9]는 허프 변환을 통해 2차원 바코드의 4코 너를 검출하고 이차 미분 이미지를 이용하여 바코드를 디코딩 하였다. 또한 2차원 바코드의 측정한 텍스처 정 보를 이용한 방법도 연구 되었다. Hu et al[10]은 2차원 바코드가 갖는 패턴 방향 정보를 이용하여 위치를 검출 하였다.
Ⅲ. 제안하는 방법
본 논문에서 제안하는 검출 방법은 크게 두 부분으로 나뉜다. 기존의 QR코드 검출을 위한 Find Pattern(FIP) 를 기반으로 하는 근거리 검출과 QR코드의 Quite Zone 의 특징을 이용하는 원거리 검출이다. 본 논문에서 제 안하는 시스템의 흐름은 <그림 2>와 같다.
그림 2. 제안하는 바코드검출 시스템의 흐름도 Fig. 2. Flow of the proposed bar code detection
system.
3.1 전처리
웹카메라를 통하여 입력 받은 영상의 포맷은 YUV2 이다. 영상 처리를 간단하게 하기 위해 입력된 영상의 Y 채널만을 이용하여 따로 컬러 영상을 Gray 영상으로 변환 하지 않았다. 또한 바코드 검출을 위한 가장 중요 한 전처리 과정인 영상 이진화를 수행 한다. 본 논문에 서는 효과적인 이진화를 위해 적분 이미지[11]를 활용하 여 Savola et al[12]방법을 사용하였다.
3.2 근거리 검출
근거리 검출을 위한 FIP는 QR코드의 세 모서리 사 각형 패턴을 말한다. FIP를 검출하기 위해서 검출 패턴 의 비율을 이용하였다. <그림 3>에서 보이듯 FIP는 1:1:3:1:1의 일정한 흑/백 비율을 갖고 있다[14]. 이러한
그림 3. QR코드의 구조 Fig. 3. Structure of QR code.
특징을 이용하여 영상에서 QR코드의 위치를 빠르게 검 출 할 수 있다. 본 논문에서 FIP를 검출하기 위해 Zxing[13]알고리즘에서 제안하는 방법을 사용하였다.
3.3 원거리 검출
근거리 검출을 위한 FIP를 찾는 것만으로 원거리에 위치한 QR코드를 검출하기에는 부족하다. 물론, 프린트 되는 QR코드의 크기를 크게 하면 원거리에서도 검출이 가능하지만 박스나, 기타 물류 상품에 무조건 QR코드 의 크기를 크게 해서 부착하기에는 어려움이 따른다.
이러한 문제를 해결하기 위해 본 논문에서는 다음과 같 은 알고리즘을 제안한다. QR코드를 사용하기 위해서는 마진(여백)을 확보 해야 한다[14]. 버전 및 cell의 크기를 결정하면 QR코드의 자체 크기가 결정되고, 결정된 크 기에서 상하좌우 4면을 감싸는 아무것도 표시 되지 않 는 여백을 4cell이상 확보해야 한다. 본 논문에서는 이 러한 여백의 특징을 이용하여 원거리 검출을 수행한다.
<그림 2>의 시스템 흐름도에서 보듯 근거리 검출에
(a) (b) (c)
(d) (e) (f)
(g)
그림 4. 원거리 검출 알고리즘. (a) 입력 영상, (b) 에지 지도, (c) 이진 영상, (d) CCL 영상, (e) 관심 영 역 설정, (f) 영역 확대, (g) QR코드 영역 검출 결과
Fig. 4. Long range detection algorithm. (a) Input image, (b) Edge map, (c) Binary image, (d) CCL image, (e) Set of ROI, (f) Scale up(zoom in), (g) localization result.
실패 하게 되면 원거리 검출로 넘어 가게 된다. 원거리 검출을 하기 위해서 이전에 사용된 이진 영상 대신 원 본 Gray 영상이 다시 사용된다. 먼저, Gray 영상을 sobel edge 검출기를 이용하여 영상의 에지 지도를 구 한다. 영상의 에지 지도를 구하는 이유는 QR코드의 구 조적 특징과 노이즈에 의한 영향을 최소화하기 위함이 다. 에지 지도를 구한 이후에 Otsu's 방법을 이용하여 전역 이진화를 수행한다. 이진화를 수행하게 되면 QR 코드의 내부 패턴과 배경부분이 코드의 마진(여백)영역 에 의해 분리가 된다. 이 후 Connect Component Labeling (CCL)[15]를 통하여 관심 영역을 설정한다.
CCL을 통하여 분리된 객체는 다음의 두 가지 조건을 만족할 경우 관심 영역으로 결정 해주었는데, 첫 번째 조건은 관심 영역의 가로/세로 비가 정사각형에 가까울 경우이고, 두 번째 조건은 관심 영역내부의 정보량이 일정량을 넘어설 경우이다. 정보량은 관심영역 에서의 픽셀 카운트 개수를 의미하며, 최대 화소수와의 비율을 비교하여 일정 임계값 Ti(실험적 최적치 0.4 이상으로 설정)를 넘어선 경우이다. 결정된 관심 영역에서 곧바 로 FIP(근거리 검출 알고리즘)을 찾는 알고리즘을 수행 하면 찾을 수 없기 때문에 Bilinear interpolation을 통하 여 관심 영역 영상을 확대하고, 그 이후 FIP를 찾는 알 고리즘을 수행 하였다. <그림 4>는 원거리 검출 과정 을 보여 준다.
3.4 패턴 정렬
검출된 QR코드의 패턴이 항상 정방향으로 정렬되어 있지 않다. 왜냐하면 QR코드는 360도 어느 방향에서도 검출 가능하기 때문이다[14]. 그래서 디코딩을 하기 위해 서 검출된 패턴을 정렬 시켜 주어야 하는데, 패턴 정렬 을 하기 위해 본 논문에서는 Inverse Perspective
그림 5. 역 투영 변환
Fig. 5. Inverse Perspective Transformation.
Transformation을 사용하여 정렬하였다.
<그림 5>의 왼쪽 좌표와 같이 원 영상에서 바코드 영역이 검출되었을 경우, 이를 정규화 하기 위해 투시 변환 행렬을 찾아야 한다. 투시 변환은 다음과 같은 식 으로 주어진다.
(1)
이때, (u, v)는 투시 변환에 의해 변형된 원 영상좌표 를 의미하고, (x, y)는 정규화 된 좌표계에서의 좌표를 의미한다. 투시변환에 사용될 대응점을 구하기 위하여 검출된 FIP 정보를 이용한다. <그림 6>는 대응 패턴 위치 결정의 수행을 보여준다. 간단한 연산을 통하여 패턴의 위치가 결정되면 <식 1>에 대응점 정보를 입력 하여 패턴을 정렬한다. 정렬 결과는 <그림 7>과 같다
(b) (a)
1. Calculate “AB”, “AC”, “BC” distance 2. Check “AB”, “AC”, “BC” distance ratio 3. Determine Position
(c)
그림 6. 패턴 위치 결정, (a) 검출된 FIP, (b) 기준 FIP위 치, (c) 위치 결정 방법
Fig. 6. Determination of Pattern Position. (a) Result of FIP Detection , (b) Reference of FIP Position, (c) sorting method.
그림 7. 패턴 정렬 결과
Fig. 7. Result of rectified Pattern.
Ⅳ. 실험 결과
본 논문에서 제안하는 알고리즘의 실험을 위해 로지 텍사의 c930e Web-Cam을 이용하여 영상을 입력 받았 다. 입력 영상의 해상도는 HD급 영상(1280 x 720)으로 고정 하였고, Auto focus기능을 이용하여 자동으로 초 점을 맞추었다. 또한 본 논문의 모든 실험은 Windows 7 64bit를 기반으로 하였고, CPU는 i5-Core 3.4GHz.
RAM은 8GB이다. 프로그램은 Microsoft사의 Visual studio 2013을 사용 하였으며, 모든 프로그램은 영상의 입/출력을 위해 Open Computer Vision(OpenCV) 라이 브러리[16]를 사용한 것을 제외하고 직접 구현 하였다.
실험을 위해 <그림 8>과 같이 실제 상품에 사용되는 QR코드와 임의적으로 생성한 다양한 크기의 QR코드를 사용하였다. QR코드 검출 성능 비교를 위해 동일한 영 상 환경을 조성 할 수 있도록 Windows PC에서 수행 가능한 프로그램 파일을 제공하거나, 소스 코드가 공개 된 방법인 Zxing[13], Zbar[17], QuickMark[18] 방법과 비교 하였다. 실험 방식은 <그림 9>와 같이 웹카메라를 고 정 하고, 10mm 단위로 QR코드 이동하면서 검출 실험 을 수행 하였다.
또한, 검출 성공 조건은 바코드가 검출되고 디코딩 결과가 나왔을 경우로 한정 하였다. 다음 <표 1>은 실
그림 8. 실험에 사용된 다양한 QR코드 Fig. 8. Experimental images.
그림 9. 실험 환경 구성
Fig. 9. Test environment construction.
험에 대한 결과를 보여 주고, <그림 10>은 거리별 QR 코드의 검출 결과를 보여준다.
<표 1>에서 나타나는 것과 같이 제안하는 방법이 기 존의 방법보다 약 2∼3배 더 먼 거리에 바코드 검출이 가능 하였다.
본 논문에서 제안하는 검출 방법으로 원거리에 위치 한 다수의 QR코드도 검출 가능 하였다. CCL을 통하여 코드 영역과 배경 영역을 분리 하는데, 각 각 독립적으 로 관심 영역을 설정해 주기 때문이다. 검출된 관심 영 역 전부를 검사하기 때문에 영역내에 바코드 정보를 갖 고 있다면 제안하는 바코드 검출 알고리즘을 통하여 다 수의 바코드를 검출 할 수 있다.
<그림 11>은 다양한 크기와 방향을 갖는 바코드 검 출 결과를 보여준다. 그림 (a)에서 다양한 크기(7cm ∼ 12cm)의 QR코드를 확인 할 수 있으며, 카메라와의 거 리는 1.2m이다. 여기서 빨간색 선분과 초록색 텍스트를 포함하는 QR코드는 검출과 인식을 모두 성공한 결과이 고, 검은색 선분만 표시된 영역은 위치는 검출이 되었
QR size (mm)
Detection distance (mm)
Zxing Zbar QuickMark Proposed
10 50 60 40 190
11 80 110 50 200
13 120 120 70 200
14 110 140 70 290
15 110 140 70 300
70 640 980 280 1760
100 910 1210 730 1980
120 1010 1300 780 2560
표 1. 실험 결과
Table 1. Experimental result.
(a) (b) (c)
그림 10. 거리별 QR코드 검출 결과, (a) 근거리 (b) 원거 리 (Min) (c) 원거리(Max)
Fig. 10. Detection result of QR-Code per distance.
(a) Short-range (b) Long-range (Min) (c) Long-range (Max)
(a)
(b)
그림 11. 멀티 심볼 검출 결과. (a) QR코드 크기가 7cm 보다 큰 경우, (b) QR코드 크기가 15mm보다 작은 경우
Fig. 11. Detection result of multi symbols, (a) QR-code larger than 7cm (b) QR-Code smaller than 15mm.
으나 바코드 인식은 안 된 경우를 나타낸다. 그림 (b)는 실생활에 활용되는 15mm이하 QR코드에 대한 원거리 검출 결과를 보여 준다.
V. 결 론
본 논문에서는 웹카메라를 통하여 입력받은 영상을 이용하여 원거리에서도 효과적으로 QR코드를 검출 할 수 있는 방법을 제안하였다. 먼저 QR코드의 구조적 특 징인 FIP를 찾는 방법으로 근거리 QR코드를 검출하고, 만약 검출이 안 될 경우 본 논문에서 제안하는 원거리 검출 방법으로 전환된다. 원거리 검출을 수행하기 위해 Gray 영상에서 에지 지도를 구하고, Otsu's 방법을 이 용하여 에지 영상을 이진화 한다. 그 후, CCL을 통하여 전경과 배경을 분리하고, 분리된 영상은 보간법을 이용 하여 일정한 크기로 확대한 이후에 FIP를 찾는 알고리 즘을 통하여 QR코드를 인식하였다. 실험을 통하여 제 안하는 원거리 검출 알고리즘이 기존의 방법보다 원거 리에서 QR코드를 더 정확하게 검출하는 것을 확인 할
수 있었고, 여러 QR코드가 존재하더라도 검출 가능함 을 보였다. 또한, 검출에 필요한 시간이 약 20ms∼80ms 정도로 실시간에 가까운 속도를 보였다.
향후 연구로는 제안한 모델의 정확도 향상과 임베디 드 시스템(모바일 환경)에서의 처리속도를 줄일 수 있 도록 최적화를 수행하는 것과, Data matrix등과 같이 다른 종류의 2D바코드에서도 적용 가능도록 보완 하는 데 집중할 예정이다.
REFERENCES
[1] A. K. Jain and Y. Chen, “Bar Code Localization Using Texture Analysis”, Proc. IEEE, pp. 41-44 October 1993.
[2] E. Joseph and T. Pavlidis, “Bar Code Waveform Recognition Using Peak Locations”, IEEE Trans.
on PAMI, Vol. 16, No. 6, June 1994
[3] N. Normand, C. Viard-Gaudin, “A Two-Dimensional Bar Code Reader”, IEEE, 1994.
[4] O. Gallo and R. Manduchi. “Reading 1D barcodes with mobile phones using deformable templates”, IEEE Trans. on PAMI, Vol 33, No, 9, Sept 2011.
[5] E. Ohbuchi,, H. Hanaizumi, and L. A. Hock,
“Barcode Readers using the Camera Device in Mobile Phones”, Proceedings of the 2004 International Conference on Cyberworlds, pp.
260- 265, November 2004.
[6] E. Ottaviani, A. Pavan, M. Bottazzi, E. Brunclli, F Caselli, and M. Guerrero, “A Common Image Processing Framework for 2D Barcode Reading”, Image Processing and Its Applications, Conference Publication No. 465, IEE, pp. 652-655 1999.
[7] A. Sun, Y. Sun, C. Liu, “The QR-code reorganization in illegible snapshots taken by mobile phones”, ICCSA Workshops, pp.532-538, IEEE Computer Society, August 2007.
[8] Y. Liu, J. Yang, M. Liu, “Recognition of QR Code with mobile phones”, Control and Decision Conference, pp 203 - 206, IEEE, July 2008.
[9] H. Wang, Y. Zou, “Camera Readable 2D Bar Codes Design and Decoding for Mobile Phones”, IEEE International Conference on Image Processing, pp 469-472, Oct 2006.
[10] H. Hu, W. Xu, Q. Huang, “A 2D Barcode Extraction Method Based on Texture Direction Analysis”, Fifth International Conference on
저 자 소 개 윤 인 용(학생회원)
2010년 제주대학교 해양산업공학 과 학사 졸업.
2013년 3월∼현재 성균관대학교 정보통신대학 석박사통합 과정.
<주관심분야 : 영상신호처리, 디지털신호처리>
김 중 규(정회원)-교신저자 1980년 서울대학교 전자공학과 학사 졸업.
1982년 서울대학교 전자공학과 석사 졸업.
1989년 The Univ. of Michigan, Electrical Engineering 박사 졸업.
1980년∼1981년 한국전자통신연구소 위촉연구원.
1989년∼1990년 University of Michigan, Post Doctoral Fellow.
1990년∼1991년 삼성전자 선임연구원.
1992년∼현재 성균관대학교 정보통신공학부 교수.
<주관심분야 : 통신, 컴퓨터, 신호처리, 반도체>
Image and Graphics, pp 759-762, IEEE, Sept 2009.
[11] P. Viola, M. Jones, “Rapid object detection using a boosted cascade of simple features”, Computer Vision and Pattern Recognition, pp 511-518, IEEE, Dec 2001.
[12] J. Sauvola, T, Seppanen, S. Haapakoski, M.
Pietikainen, “Adaptive Document Binarization”, 4th Int. Conf. On Document Analysis and Recognition, Ulm, Germany, pp.147-152, 1997.
[13] Zxing(Zebra Crossing) Project home, http://github.com/zxing/zxing/
[14] ISO/IEC 18004:2000, “Information technology:
Automatic identification and data capture techniques - Bar code symbology - QR Code”
[15] Wikipedia, “Connect Component Labeling”, http://en.wikipedia.org/wiki/Connected-component _labeling
[16] OpenCV Library, http://opencv.org/
[17] Zbar bar code reader, http://zbar.sourceforge.net/
[18] QuickMark for PC,
http://www.quickmark.com.tw/En/basic/index.asp
