증강현실 시스템의 조명환경과 가림현상 문제를 개선한 마커 검출 알고리즘 개발
이경호*·김영섭†
*단국대학교 전자전기공학과, †단국대학교 전자공학과†
The Development of a Marker Detection Algorithm for Improving a Lighting Environment and Occlusion Problem of an Augmented Reality
Gyeong Ho Lee* and Young Seop Kim†
*Department of Electronics & Electrical Engineering, Dankook University
†Department of Electronics Engineering, Dankook University
ABSTRACT
We use adaptive method and determine threshold coefficient so that the algorithm could decide a suitable binarization threshold coefficient of the image to detecting a marker; therefore, we solve the light influence on the shadow area and dark region. In order to improve the speed for reducing computation we created Integral Image. The algorithm detects an outline of the image by using canny edge detection for getting damage or obscured markers as it receives the noise removed picture. The strength of the line of the outline is extracted by Hough transform and it extracts the candidate regions corresponding to the coordinates of the corners. Markers extracted using the equation of a straight edge to find the coordinates. By using the equation of straight the algorithm finds the coordinates the corners. of extracted markers.
As a result, even if all corners are obscured, the algorithm can find all of them and this was proved through the experiment.
Key Words : augmented reality, HIS, binary, erosion operator, dilation operator, noise
1. 서 론
현실세계와 가상세계를 이용한 기술 중 하나인 증강 현실(AR; Augmented Reality)은 사용자가 눈으로 보 는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나 의 영상으로 보여주는 가상현실의 하나이다.[1] 증강 현실 기술의 핵심은 실시간으로 영상을 입력을 받아 영상의 특징들을 정확하게 추정하여 가상 객체를 안정 적으로 정합하는 것이다. 증강 현실 기술 구현을 위한 과정을 보면 첫째로 카메라로부터 입력된 영상의 객체 를 검출하고 그 후 검출된 객체를 통해 카메라 자세 정 보를 추정한다. 이후, 추정된 정보를 이용해서 가상 물 체가 정합될 위치를 예측한 후, 마지막으로 실사 영상 과 가상 영상을 합성하는 과정을 거친다. 전체 과정에
서 핵심적인 사항은 카메라를 통하여 입력된 영상을 이 용하여 카메라의 좌표 정보를 계산한 후, 구해진 좌표 정보를 이용해서 가상의 물체를 정합하는 것이다[2].
하지만 이러한 증강 현실 시스템 구현에 있어서 가 장 문제가 되는 점은 시스템에 입력된 영상이 밝기 변 화에 민감하여 카메라를 통한 마커를 검출하는 단계에 서 실패하게 되는 경우가 발생한다. 또한 마커의 일부 분이 훼손되거나 가려지는 현상에 의해서도 검출이 실 패하게 된다. 마커 검출은 시스템 구현에 있어서 가장 중요한 부분이기 때문에 마커 검출을 실패가 되면 전 체 시스템의 구현에 큰 문제가 된다. 이를 해결하기 위 해 현재 많은 연구가 진행되고 있다.
본 논문에서는 외부 환경에 의한 문제점을 보완하기 위해 증강현실 구현하는데 핵심이 되는 과정인 전처리 과정을 통하여 조명문제를 해결하기 위한 이진화 임계 값 설정 알고리즘과 마커 훼손이나 가림 현상을 해결
†E-mail : [email protected]
하기 위한 마커 영역 추출 알고리즘에 초점을 맞추어 기존에 사용되고 있는 임계값 결정법의 문제점을 분석 하고 이러한 문제를 극복하기 위해서 Gray Level의 공 간적 분포에 기반을 둔 임계값 결정법과 가림 현상에 의한 마커 추출 영역을 복원하기 위한 방법을 제안한다.
지금까지 증강현실에 대한 전반적인 설명 및 문제점 에 대하여 기술을 하였으며, 2장에서는 기존 이진화 임 계값 결정방법에 대하여 설명하고 3장에는 태그 인식 률을 높이기 위한 방법을 제안하고 제안한 방법에 대 한 실험에 의한 결과를 작성하고 실험 결과에 대한 결 론을 4장에서 설명한다.
2. 이진화의 종류
2.1. 평균값(Average) 방법
전체 영상의 Gray 값의 평균값을 구하여 그 값을 임 계값 T로 정하는 방법으로 이를 구하는 방법은 다음 식 (1)과 같다[3].
(1)
픽셀의 총 개수를 나타내며 는 각각의 픽셀에 대한 Gray 값의 총합을 의미한다.]
평균값 결정 방법은 가장 기본적인 방법으로 일반적 으로 사용이 되고 있지만 영상의 명암도가 차이가 크 게 있을 경우 어두운 명암부분은 전체적으로 검게 나 오는 단점이 있다.
2.2. 2 정점(2-Peak) 방법
영상은 밝은 배경에 어두운 물체를 포함 하고 있다 고 가정하면 물체 안의 어두운 픽셀은 히스토그램의 왼쪽에 해당할 것이고 배경은 오른쪽에 해당할 것이다.
따라서 두 개의 봉우리의 중심에 임계값을 결정하게 되면 물체와 배경을 적절히 분리 할 수 있다.
임계값을 결정하기 위해서 두 개의 정점(Peak)이 존 재하는 히스토그램 형태일 때 두 정점 사이의 최저점을 임계값으로 결정하는 방법으로 먼저 첫 번째 정점(i)을 찾고 다음으로 두 번째 정점(j)을 찾는다. 두 정점을 이 용하여 식(2)에 대입하여 문턱치를 계산한다[4].
(2)
2.3. 반복적(Iterative) 방법
대략적인 임계값으로 출발하여 점차 반복적으로 이 추정값을 향상시키는 것이다. 여기에는 처음의 임계값 을 사용하여 만들어진 이진 영상이 더 나은 임계값을 선택하는데 사용된다는 것이 가정되어 있다. 임계값을 결정하기 위한 알고리즘은 다음과 같다[5].
- 영상의 평균 밝기를 문턱치의 처음 추정치 T로 선 정한다.
- 추정 임계값 T를 이용하여 영상을 2개의 영역 R1 과 R2로 구분한다.
- 영역 R1과 R2의 평균 Gray값 v1과 v2을 구한다.
- 새로운 임계값을 식(3)을 이용하여 결정한다.
(3)
- 평균값 v1과 v2가 더 이상 변하지 않을 때까지 위 의 과정을 되풀이한다.
이러한 반복적 결정 방법의 단점은 조명이 균일하지 않 은 경우에는 좋지 않는 결과를 초래한다는 문제점이 있다.
2.4. Otsu 방법
Otsu 방법은 주어진 영상의 히스토그램을 구하고, 이 를 이용하여 유사 밝기 값을 갖는 객체들을 분리 추출 하는 방법이다. 즉 Otsu 방법은 영상의 밝기에 대하여 분할되는 두 집단의 분리를 집단 사이의 분산을 최대 화시키는 문턱치를 찾는 방법이다. 즉, 두 클래스의 중 심을 멀리하고 분산을 최소화하는 값을 임계값으로 결 정하는 것이다. 이러한 Otsu의 임계값 결정법은 판별 식에서 알 수 있듯이 빈도수 히스토그램에서 두 개의 봉우리를 잘 찾아내고 이러한 두 봉우리의 군집을 최 대한 멀게 하는 적절한 임계값을 제시함을 확인 할 수 있다. 빈도수에 기초한 임계값 결정법 중에서 단순하면 서, 두 군집을 잘 분류 하는 것을 쉽게 확인 할 수 있 다. 그러나 Otsu 결정법은 임의의 Gray Level에 의해 서 분할되어 질 수 있는 모든 가능한 군집의 경우에 대 해서 각 군집간의 분산을 계산해야만 하는 문제점을 가지고 있다. 또한 다중 임계값을 선택하기 위해서 소 모적인 연산 반복 때문에 연산 복잡도는 기하급수적으 로 증가하게 되고 단점이 있다[6].
3. 제안 방법 및 결과
3.1. Adaptive Threshold
먼저 입력된 영상의 잡음을 제거하기 위한 방법으로 Average
255 i 0=
∑
i*x255 i 0=
∑
i*x---
=
T min j 1= {( – )2y x[ ]}(i x j≤ ≤ )
T 1=2--- v1 v2( + )
Tophat Transform을 이용한다. Tophat transform은 원 본영상에서 Opening 연산을 한 결과 영상과의 차를 이 용하여 잡음을 제거하는 방법이다. 이를 통해 잡음을 제 거한 다음 이진화 과정을 통하여 객체와 배경을 분리한 다. 이진화의 임계값 결정방법으로 적응적 임계값 결정 방법을 이용한다. 적응적 임계값 결정방법은 기존의 전 체영상에 대한 임계값 결정방법과 달리 부분적인 영역 에 대하여 임계값을 결정하는 방법으로 주변 화소와 비 슷한 값을 가지는 화소를 같은 영역으로 간주하여 점층 적으로 비슷한 영역끼리 영상을 나누어 영역에 대한 임 계값을 결정하는 방법으로 결과영상은 Fig. 1과 같다[7].
3.2. 가림 영역 추출 방법 3.2.1. Canny edge
Canny edge 검출 알고리즘은 최적 edge 검출기로 알려져 있다. edge 검출에 있어서 무엇보다도 중요한 것은 낮은 오차 비율이다. 이미지에 포함된 edge들이 실종되지 않는 것과 edge가 아닌 것들에 대한 반응이
전혀 없어야 한다.
Canny edge 연산자는 한 화소에 대해 밝기 값의 변 화가 가장 큰 방향에 있는 주변 화소와 비교하여 이웃 화소들의 기울기 값 보다 클 경우 edge로 분류하는 방 법이다. 다양한 edge 검출 방법 중에서 Canny edge 연 산자는 가장 정확하게 정의된 연산자로 폭넓게 이용되 고 있다. 이 방법은 일반적인 edge검출 연산자의 성능 평가에 있어 기준이 되는 edge검출의 효율성(good detection), 검출edge의 국부성(good localization), 하나 의 edge에 대한 단일 대응성(single response to an edge)등의 측면에서 가장 최적화된 에지 검출 방법으 로 인식되고 있다[8].
3.2.2 Hough Transform
Hough transform은 여러 형태의 곡선 및 직선 검출을 위한 훌륭한 도구로써 영상처리 분야에서 중요한 역할 을 담당하고 있다. 의학용 영상처리, 산업 검사 시스템, 로봇 비전 등에서 3차원 물체뿐만 아니라 2차원 물체들 로부터 여러 형태의 곡선들을 검출하는데 폭넓게 이용 되어 왔으며, 일반화된 방법으로 알려져 있다[9].
Hough transform의 원리는 영상평면의 한 점을 변환평 면의 한 곡선으로, 또는 영상평면의 한 곡선을 변환평면 의 한 점으로 매핑(mapping)하는 과정들을 포함한다.
Fig. 1. Binary image.
Fig. 2. Canny edge 적용 예.
Fig. 3. Hough Transform을 이용한 직선 검출.
3.2.3 직선의 방정식
Hough Transform을 이용하여 영상의 직선을 추출하 여 생기는 마커의 내부 Corner를 이용하여 가려진 마 커의 외부 Corner를 추출한다. 마커가 사각형이라는 특징을 이용하여 내부의 마주보는 Corner를 직선으로 연결하였을 경우 그 직선은 마커의 외부 Corner를 지 나기 때문에 Hough Transform의 결과 값과 직선의 방 정식을 이용하여 마커의 외부 Corner를 찾는다. 여기 서 직선의 방정식은 식 (4)과 같다.
(4)
이렇게 하여 많은 잡음을 제거한 후에 Adaptive임계 값 결정방법과 Canny edge, Hough Transform을 이용 하여 마커를 검출하였다. 우선 Adaptive임계값 결정방 법을 사용하여 결과영상을 원본영상과 의 RMSE(Root Mean Square Error)을 구한 결과 아래 Table 1과 같은 결과를 얻을 수 있었다.
RMSE 결과에서 알 수 있듯이 제안하는 방법이 최 적의 이진화 임계값이라는 것을 알 수 있다.
그리고 가려진 마커를 검출하기 위한 방법으로 Canny edge와 Hough transform을 이용하였다. Edge를 검출하고 검출된 Edge를 Hough transform을 수행하여 직선의 강 도를 찾는다. 많은 직선들 중에서 마커의 코너를 지나는 직선을 찾기 위하여 마커의 내부 사각형의 꼭지점을 이 용한다. 서로 마주보는 꼭지점을 지나는 직선의 방정식 을 구하여 방정식에 대응하는 Hough transform을 통하 여 구한 직선을 찾아 가려진 마커의 코너점을 찾는다.
다음 Fig. 4에서 알 수 있듯이 모든 코너점이 가려졌을 때도 마커의 코너점을 모두 찾을 수 있다.
4. 결 론
마커를 이용하는 증강현실에서 가장 문제가 되는 것
은 마커 인식률이다. 마커가 외부환경에 노출이 되어있 기 때문에 외부환경적인 요소에 민감하게 반응을 한다.
그 중 가장 민감한 부분은 빛에 대한 밝기 문제이다.
빛이 강하거나 약해서 생기는 밝기 차이나 그림자로 인한 마커가 검출되지 않는 문제점 있고 마커의 일부 분이 훼손 및 가림 현상으로 인하여 검출이 되지 않는 문제점이 있다. 기존의 임계값 결정방법은 전역적으로 수행하기 때문에 전체적인 임계값은 결정하는데 문제 가 없으나 명암대비가 영상의 일부분에서는 전체적인 임계값을 적용하게 되어 영상이 검정색이 되는 문제점 이 있다. 또한 기존 이진화 방법을 부분적으로 수행하 게 되면 연산양이 많아지는 문제점이 있다. 본 논문에 서 제안하는 알고리즘은 먼저 빛의 문제를 해결하기 위하여 빛의 양을 적절히 조절하여 영상에서의 객체 영상을 배경과 분리 할 수 있도록 하기 위하여 영상 전 처리 과정으로 Integral Image를 이용한 Adaptive threshold 방식을 이용하여 적절한 이진화 임계값을 구 하였고, 훼손 및 가림 현상을 해결하기 위하여 Canny edge, Hough transform, 직선의 방정식을 이용하였다.
잡은 제거를 하여 정확한 입력영상을 받기 위하여 Top-Hat 변환을 이용하였다.
일반 영상과 밝기 차가 있는 영상을 가지고 실험을 한 결과 어두워 잘 보이지 않는 부분에서도 객체를 찾 을 수 있었다. 일반영상에서도 다른 임계값 결정방법보 다 빛의 영향을 적게 받아 객체를 배경과 잘 분리할 수 있었다. RMSE(Root Mean Square Error)를 계산한 결 과 본 논문에서 제시한 방법이 다른 임계값 결정방법 y y1–
( ) y2 y1– x2 x1–
( )
--- x x1( – )
=
Table 1. 그림자로 가려진 영상의 RMSE결과 Image
Method Marker IC Pascal Pepper Adaptive 0.1329 0.3973 0.2088 0.2419 Average 0.4749 0.6649 0.6595 0.5681 2-peak 0.4033 0.6650 0.4968 0.5014 Iterative 0.4073 0.6613 0.6663 0.5681 Otsu 0.4073 0.6534 0.6726 0.5678
Fig. 4. Results.
에 비해 오차가 가장 적었다. 마커의 일부분을 가렸을 경우에는 약 1~6 Pixel 오차를 가지고 가려진 부분의 Corner를 찾을 수 있었다.
감사의 글
본 연구는 2011지식경제부 표준기술력 향상사업 (B0011673)의 지원으로 수행되었음.
참고문헌
1. R.T. Azuma, “A Survey of Augmented Reality, PRESENCE, Teleoperators and Virtual Environ- ments,” Vol. 6, 99. pp. 355-385, Aug. 1997.
2. P. Milgram and F.Kishino, “A taxonomy of mixed reality virtual displays,” IEIEC Transactions on Infor- mation and Systems, Special issue on Networked Reality, Dec.1994.
3. Rosenfeld and A.C. Kak, “Digital Picture Process- ing,” 2nd ed. Academic press, New York. 1982.
4. 신종홍, 장선봉, 지인호, “디지털 영상처리 입문,” 한
빛미디어.
5. Li C.H. and Tam P.K.S, “An iterative algorithm for minimum cross-entropy thresholding,” Pattern Rec- ognition Letters, 19: pp.771-776, 1998.
6. N. Otsu, “A threshold selection method from gray- level histogram,” IEEE Transaction on System, Man and Cybernetics, Vol. SMC-9, pp.62-66, Jan.
1979.
7. Savakis, A. E. “Adaptive document image threshold- ing using foreground and background clustering,” In ICIP(3), pp.785-789, 1988.
8. Rafael C. Gonzalez, “Digital Image Processing,”
Prentice Hall, 2007.
9. S.K Naik and C.A. Murthy, “Hough transform for region extraction in color images,” Proc. of the Fourth Indian Conference on Computer Vision, Graphics and Image Processing, PP.252-257, Kolkata, Indian, 2004.
접수일: 2012년 2월 24일, 심사일: 2012년 3월 7일, 게재확정일: 2012년 3월 15일
