고유값 분석을 이용한 효과적인 후판 인식
박상현*
An Effective Steel Plate Detection Using Eigenvalue Analysis
Sang-Hyun Park* 요 약
본 논문에서는 여러 장의 후판이 포함된 영상에서 고유값을 이용하여 직선 패턴을 검출하고 이를 바탕으로 각각의 후판을 인식하는 간단하면서도 정확한 알고리즘을 제안한다. 후판 영상으로부터 후판에 관련된 정보를 분석 및 인식하기 위해서 먼저 후판의 직선 에지를 검출한다. 후판 영상의 직선 에지 검출을 위해 제안하는 알고리즘에서는 마스크를 이용하여 전체 영상을 탐색하면서 에지 영상을 분석한다. 먼저 마스크에 위치한 에 지 패턴의 픽셀들에 대한 공분산 행렬을 계산하고 공분산 행렬의 고유값과 에지 패턴의 통계적 특성과 기하학 적인 특성 사이의 관계를 분석하여 직선 에지를 검출한다. 다음으로 직선 에지의 방향 정보와 원점에서의 거 리 정보를 분석하여 전체 영상에서 각각의 후판을 검출한다. 다양한 후판 영상에 대해서 실험을 수행한 결과 는 제안하는 알고리즘이 전체 영상에서 각각의 후판을 효과적으로 검출함을 보여준다.
ABSTRACT
In this paper, a simple and robust algorithm is proposed for detecting each steel plate from a image which contains several steel plates. Steel plate is characterized by line edge, so line detection is a fundamental task for analyzing and understanding of steel plate images. To detect the line edge, the proposed algorithm uses the small eigenvalue analysis. The proposed approach scans an input edge image from the top left corner to the bottom right corner with a moving mask. A covariance matrix of a set of edge pixels over a connected region within the mask is determined and then the statistical and geometrical properties of the small eigenvalue of the matrix are explored for the purpose of straight line detection. Using the detected line edges, each plate is determined based on the directional information and the distance information of the line edges. The results of the experiments emphasize that the proposed algorithm detects each steel plate from a image effectively.
키워드
Steel plate detection, Pattern recognition, Line detection, Edge clustering 후판 검출, 패턴인식, 직선 검출, 에지 군집화
* 순천대학교 컴퓨터공학과 교수([email protected])
접수일자 : 2012. 08. 27 심사(수정)일자 : 2012. 09. 20 게재확정일자 : 2012. 10. 05
Ⅰ. 서 론
후판은 두꺼운 철판으로 선박과 같은 큰 구조물을 만들 때 사용된다. 후판은 무게가 많이 나가기 때문에
생산된 제품을 이동할 때 큰 비용이 발생하게 된다.
따라서 후판의 이동을 최소화하여 후판을 효율적으로 출하하기 위한 자동 공정에 대한 연구가 활발히 진행 되고 있다[1]. 자동 공정에 있어서 가장 기본이 되는
것은 처리할 객체를 정확하게 인식하는 것이고 이때 다양한 영상처리 기법들이 사용된다[2][3][4].
본 논문에서는 후판 출하 공정의 자동화에 필요한 영상 인식 기술 중에서 가장 기본이 되는 후판 인식 알고리즘을 제안한다. 이를 위해 먼저 후판의 직선 검 출 알고리즘을 제안한다. 후판의 직선 에지 검출은 후 판의 개수를 세고, 후판을 확인하기 위하여 후판에 인 쇄된 제품번호를 인식하는 알고리즘에 필수적이다. 후 판 영상의 경우 동일한 후판이 여러 겹으로 쌓아진 형태를 띤다. 그리고 영상의 밝기가 어두운 경향을 띤 다. 이러한 조건을 고려하여야 효과적인 후판 인식 알 고리즘을 개발할 수 있다[5].
직선 검출은 패턴인식 분야에서 가장 기본이 되는 분야로 많은 연구가 진행되어온 분야이다. 가장 대표 적인 알고리즘이 허프변환 (Hough Transform)이다 [6]. 허프 변환은 각 에지 픽셀을 파라미터 공간으로 변환하여 누적시키고 누적된 파라미터를 분석하여 직 선을 검출한다. 허프변환은 모든 직선을 검출할 수 있 지만 하나의 에지 픽셀에 대해서 가능한 모든 파라미 터들을 누적하여야 하기 때문에 계산량이 많은 단점 이 있다. 또한 허프 변환은 직선의 파라미터만 결정하 기 때문에 에지 영상에서 직선 패턴의 위치를 알려주 지 못한다[7][8].
최근에 관심을 많이 받고 있는 방법은 에지 픽셀에 대한 공분산 행렬의 고유값을 이용하는 것이다[9]. 고 유값을 이용하는 방법의 계산량은 공분산 행렬을 정 의하기 위한 마스크의 크기와 에지 픽셀의 개수에 영 향을 받기는 하지만 전체적인 허프변환에 비해서 4배 에서 10배 정도로 줄어든다. 그리고 허프변환과 달리 직선 에지의 위치를 정확하게 찾아준다. 고유값을 이 용한 방법은 알고리즘의 효율성 때문에 에지 검출에 도 사용되고 있다. 하지만 고유값을 이용한 알고리즘 은 임펄스 노이즈에 약한 특성을 보여준다[8]. 본 논 문에서는 기존의 고유값을 이용한 직선 에지 검출 알 고리즘을 후판 영상에 효과적으로 적용하기 위하여 개선한 알고리즘을 제안한다.
전체 영상에서 각각의 후판을 분리하기 위해서 본 논문에서는 검출된 직선 에지의 거리 정보를 이용한 다. 고유값 분석을 통해 에지를 검출하면 추가적으로 에지의 방향 성분과 거리 성분을 구할 수 있는데, 이 때 얻어지는 거리 성분을 바로 이용하면 오차의 범위
가 넓기 때문에 정확한 후판의 경계를 판단하기 어렵 다. 본 논문에서는 오차를 줄이기 위해 먼저 방향 정 보를 이용하여 후판을 수평으로 보정한 후 수평 투영 정보를 이용하는 알고리즘을 제안한다.
본 논문의 구성은 다음과 같다. 2장에서는 직선 검 출과 관련된 연구 동향을 정리한다. 3장에서는 후판에 맞는 직선 검출 알고리즘 및 후판 검출 알고리즘을 제안한다. 4장에서는 제안된 알고리즘의 성능을 비교 분석하고 마지막으로 5장에서 결론은 맺는다.
Ⅱ. 관련 연구
직선 검출 알고리즘은 영상 인식 분야에서 가장 기 본적인 알고리즘으로 오랜 기간 동안 연구가 진행된 분야이다. 많은 문헌들에서 다양한 알고리즘들을 제안 하였는데 크게 직선 검출 알고리즘을 분류하면 네 가 지로 분류할 수 있다. 통계 정보를 기반으로 한 방법, 그레디언트를 기반으로 한 방법, 픽셀의 연결성을 기 반으로 한 방법, 허프 변환을 기반으로 한 방법이 그 것이다. 또한 이 네 가지 분류는 서로 조합되어 사용 되기도 한다. 하지만 이 방법들은 서로 장⦁단점이 있 고 따라서 알고리즘이 적용되는 응용에 맞게 각 알고 리즘의 장점을 최대화하여 사용되어지고 있다[8]. 최 근에 기존 의 네 분류와 별개인 주성분 분석을 이용 한 새로운 방식 (Guru 알고리즘)이 제안되었다 [9].
Guru 알고리즘은 에지의 좌표값에 대한 공분산 (Covariance) 행렬을 정의하고 공분산 행렬의 고유값 을 분석하여 직선을 검출함으로써 기존의 알고리즘에 비해 계산량을 크게 감소시킨다. 먼저 에지 영상에 마 스크를 적용하고 마스크에 중심에 해당되는 에지와 연결된 에지들에 대해서 좌표값의 공분산행렬을 정의 하고 고유값을 계산한다.
마스크의 크기가 × 인 경우의 고유값은 다음과 같이 계산할 수 있다. 여기서 는 홀수이다. 마스크의 중앙에 에지 픽셀을 위치시킨다. 중앙에 위치한 에지 픽셀과 연결된 픽셀 중 마스크 영역에 있는 픽셀들을 식 (1)과 같이 패밀리로 정의한다.
⋯ (1)
여기서 마스크 영역에서의 좌표가 , 인 에지 픽셀을 의미하여 은 패밀리에 속한 에지 픽셀의 개수이다. 에지 픽셀들의 좌표에 대한 공분산 행렬은 다음과 같이 정의된다.
, ,
⋅ ⋅, (2)
,
, .
공분산행렬은 두 개의 고유값을 가지는데, 그 중에 서 값이 작은 고유값은 식 (3)과 같이 구할 수 있다.
(3)
패밀리에 속한 에지 픽셀들의 형태가 직선이면 공 분산행렬의 고유값은 0의 값을 가진다. 하지만 실제 영상에는 잡음이 존재하고, 영상을 디지털 형태로 표 현함에 따른 왜곡이 존재한다. 또한 영상을 획득하는 과정에서 실제 직선이 변형될 수 있고, 경우에 따라서 는 완벽하지 않은 직선도 검출이 필요할 때가 있다.
따라서 적절한 임계값을 설정하고 그 값보다 작은 고 유값을 가지는 에지 패밀리를 직선 에지로 처리하게 된다.
Ⅲ. 제안하는 알고리즘
후판 영상으로부터 후판을 검출하는 과정은 크게 두 단계로 이루어진다. 첫 번째 단계에서는 후판 영상 에서 직선 에지를 검출한다. 두 번째 단계에서는 검출 된 직선 에지로부터 군집화를 이용하여 각각의 후판 을 인식한다.
알고리즘 구현을 위해 실제 부두에 야적된 후판을 촬영하였다. 그림 1은 × 의 해상도로 촬영 된 후판 영상 중의 하나이다.
그림 1. 후판 영상 Fig. 1 Image of steel plates
그림 2. 그림 1의 에지 영상 Fig. 2 Edge image of Fig. 1
그림 3. Guru 알고리즘 결과 영상 ( × 마스크) Fig. 3 Result of Guru algorithm ( × mask) 직선을 검출하기 위해서는 먼저 입력영상의 에지를 검출하여야 한다. 본 논문에서는 에지를 검출하기 위 하여 Canny 알고리즘을 적용하였다[10]. 그림 2는 그 림 1에 Canny 알고리즘을 적용하여 에지를 구한 것 이다.
3.1 후판의 직선 에지 검출
그림 3은 그림 2의 에지 패턴에 Guru 알고리즘을
적용한 결과를 보여준다. 원도우의 크기는 × 이고 임계값은 0.15를 사용하였으며 패밀리에 속한 에지의 개수가 3개 이하는 잡음으로 처리하였다. 그림에서 볼 수 있듯이 불필요하게 많은 직선 에지들이 검출되는 것을 볼 수 있다. 이것은 직선 에지가 아닌 에지도 마 스크 범위에서는 직선으로 보일 수 있기 때문이다. 이 문제를 해결하기 위해서는 마스크의 크기를 크게 하 면 어느 정도 해결할 수 있다. 그림 4는 마스크의 크 기를 × 로 설정한 결과이다.
그림 4. Guru 알고리즘 결과 영상 ( × 마스크) Fig. 4 Result of Guru algorithm ( × mask) 그림 4는 그림 3에 비해 직선이 아닌 에지들을 많 이 제거하고 있지만 작은 에지들이 여전히 존재하고 있음을 알 수 있다. 그리고 Guru 알고리즘에서 마스 크의 크기는 연산량에 직접적으로 영향을 미친다. 이 는 모든 에지 픽셀에 대해서 마스크에 해당하는 픽셀 들은 검색하고 고유값을 계산해야 하기 때문이다. 일 반적으로 Guru 알고리즘을 사용할 때 마스크의 크기 는 × 이상을 넘지 않는다.
제안하는 방법은 크게 두 가지 방법으로 Guru 알 고리즘에 비해 연산량을 줄인다. 첫 번째 방법은 마스 크의 형태이다. 본 논문에서는 후판을 인식하기 위해 직선을 검출하는 것이고 후판을 구분하기 위한 직선 에지는 경계면의 직선 에지이다. 경계면의 직선 에지 의 특징은 수평 방향에 가깝다는 것이다. 따라서 제안 하는 알고리즘에서는 × 형태의 마스크를 사용한 다. 이때 은 보다 작은 값을 가지고 홀수이다. 즉, 가로 방향으로 긴 형태의 마스크를 사용하는데, 이것 은 수평 방향으로 연결된 에지 패턴이 있을때만 직선 에지로 판단함을 의미한다. 수직 방향이나 대각선 방 향으로 직선 패턴이 존재해도 이런 직선 에지는 후판
의 경계에 해당하는 에지가 아니기 때문에 무시하기 위한 마스크이 형태이다.
(a)
(b)
(a) 마스크 영역의 에지 픽셀, (b) 패밀리 멤버 그림 5. 패밀리 정의 ( × 마스크) Fig. 5 Definition of family member ( × mask)
그림 6. 제안하는 알고리즘 결과 영상 ( × 마스크) Fig. 6 Result of the proposed algorithm ( × mask) 두 번째 방법은 패밀리를 구성하는 방법이다. Guru 알고리즘의 경우 마스크의 가운데 점을 시작점으로 하여 가운데 픽셀과 연결된 모든 점을 패밀리로 정의 하고 패밀리에 대해서 고유값을 계산하였다. 제안하는 방법에서는 시작점을 좌측 가운데로 한다. 즉,
를 시작점으로 하여 좌표가 증가하는 방향 으로 연결된 에지 픽셀들을 패밀리 멤버로 정의한다.
그림 5는 × 크기의 마스크를 사용할 때의 예를 보여준다.
시작점은 이고 방향으로 하나씩 이동하면서 패밀리 멤버를 검색한다. 가 패밀리 멤버일 때 다음 검색에서 패밀리 멤버가 될 수 있는 에지 픽셀 은 , , 세 픽셀이다.
이 셋 중에서 에지 픽셀인 경우는 모두 패밀리 멤버 가 된다. 그림 5의 (b)에서 검은색은 패밀리 멤버이고 회색 픽셀은 에지 픽셀이지만 패밀리 멤버가 아닌 픽 셀들이다. 제안하는 방법은 단순히 를 증가시키면서
이전 패밀리 멤버에 대해서 세 개의 화소가 에지 픽 셀인지를 검사하는 방식이기 때문에 Guru 방법에 비 해서 패밀리 멤버를 쉽고 빠르게 구할 수 있다. 그림 6은 × 마스크를 이용한 직선 검출 결과이다. 그 림 4와 비교했을 때 마스크의 크기는 작지만 수평 직 선 검출 성능이 더 뛰어난 것을 알 수 있다.
그림 7. 직선에지의 방향 정보 Fig. 7 Directional information of line edges
3.2 후판 검출
에지검출을 위해 고유값을 이용하면 고유값과 함께 에지의 방향도 계산할 수 있다. 즉, 에지를 구성하는 픽셀들의 공분산 행렬을 이용하면 에지의 방향 정보 도 쉽게 계산할 수 있다. 먼저 공분산 행렬에 대한 두 개의 고유값 중 큰 고유값을 식 (4)와 같이 계산한다.
(4)
에지의 방향은 큰 고유값을 이용하여 식 (5)와 같 이 계산한다.
tan
(5)
에지의 방향을 알면 원점에서 에지의 거리를 계산 할 수 있다. 이론상으로 동일한 후판 경계면에 대한 에지는 원점에서의 거리가 같다. 하지만 실제로 각 에 지에 대해서 방향정보를 이용하여 거리를 계산하면 동일한 경계면의 에지들에 대한 거리가 하나의 점으 로 모이지 않고 분산되어 나타난다. 이것은 그림 7에 서 예상할 수 있듯이 에지의 방향의 변화가 존재하고 이런 약간의 변화가 거리 계산에서는 크게 나타나기
그림 8. 수평 투영 결과 Fig. 8 Horizontal projection results
때문이다. 따라서 본 논문에서는 식(5)로 구해진 방향 정보를 에지의 거리를 계산하는데 직접 사용하지 않 는 다른 방법을 제안한다.
먼저 식(5)를 이용하여 전체 영상의 방향을 계산한 후 영상을 회전하여 후판 경계면이 영상에서 수평이 되게 보정한다. 그리고 보정된 영상에 대해서 수평 투 영을 수행한다. 영상을 수평에 맞게 보정하였기 때문 에 수평 투영 정보는 각 에지의 원점에서의 거리가 된다. 그림 8은 영상을 회전하여 경계면 에지를 수평 으로 보정한 후 수평 투영을 실시한 결과를 보여준다.
경계면에 해당하는 에지들의 군집이 잘 이루어진 것 을 볼 수 있다. 제안하는 알고리즘에서는 수평 투영 결과에서 피크 값을 찾고 특정 임계값을 넘어서는 피 크 값을 후판의 경계면으로 처리하여 전체 영상에서 각각의 후판을 분리한다.
Ⅳ. 실험 결과
제안하는 알고리즘의 성능을 검증하기 위하여 다양 한 후판 영상에 대해서 알고리즘을 적용하였다. 그림 9, 그림 10, 그림 11은 다양한 후판 영상 중 세 가지 후판 영상에 대해서 제안하는 알고리즘을 적용하여 전체 영상에서 후판을 분리한 결과이다. 그림 9는 일 반적인 후판 영상이고 그림 10과 그림 11은 후판 사 이에 끼워두는 나무가 영상에 포함된 경우이다. 그림 9와 그림 11은 지붕이 있는 곳에 보관된 후판 영상이 고 그림 10은 야외에 보관된 영상이다. 따라서 그림 10의 경우 제품 번호가 있는 부분이 상당히 밝게 촬 영되었다.
(a) 후판 영상
(b) 분리된 후판들 그림 9. 후판 영상 1 Fig. 9 Steel plate image 1
(a) 후판 영상
(b) 분리된 후판들 그림 10. 후판 영상 2 Fig. 10 Steel plate image 2
(a) 후판 영상
(b) 분리된 후판들 그림 11. 후판 영상 3 Fig. 11 Steel plate image 3
제안하는 알고리즘은 다양한 노이즈 환경에서도 수 평방향의 에지를 정확하게 검출하고 있다. 또한 조명 의 변화에도 민감하지 않아서 야외와 지붕이 있는 상 황 모두에서 정확하게 후판을 검출하고 있다. 실험 결 과에 제시되지 않은 다양한 영상에 대한 실험에서도 정확하게 후판 경계면을 검출하였고 이를 바탕으로 후판 영역을 정확하게 분리하였다.
Ⅴ. 결 론
본 논문에서는 후판 영상 인식에 기본적으로 사용 되는 직선 검출 알고리즘과 이를 바탕으로 후판을 검 출하는 알고리즘을 제안한다. 후판 영상의 경우 경계 면에 의한 에지뿐만 아니라 다양한 에지가 존재하기 때문에 에지 검출 결과 영상은 불필요한 많은 에지들 을 함께 포함하게 된다. 제안하는 알고리즘은 결과 에 지 영상으로부터 불필요한 에지들을 효과적으로 제거 하여 필요한 직선 에지를 추출한다. 세부적으로 효과 적인 직선 추출을 위하여 수평 방향의 마스크를 제안 하였고, 효율적인 연산을 위한 직선 패턴을 검색 방법
을 제시하였다. 또한 검출된 직선 에지의 방향 정보를 이용한 후판 경계면 검출 방법을 제안하였다. 실험 결 과 제안하는 알고리즘이 기존 알고리즘에 비해 불필 요한 에지를 잘 제거하여 효과적으로 직선 에지를 찾 고 이를 바탕으로 후판을 정확하게 검출하였다.
참고 문헌
[1] 명영수, “후판적치문제의 복잡성 연구”, 한국경 영과학회지, 28권, 4호, pp. 31-37, 2003.
[2] 조재현, 양황규, “컬러 정보 및 형태학적 특징과 신경망을 이용한 차량 번호판 인식”, 한국전자 통신학회논문지, 5권, 3호, pp. 304-308, 2010.
[3] 이종희, 김진환, “컬러 정보와 오류역전파 신경 망 알고리즘을 이용한 신차량 번호판 인식”, 한 국전자통신학회논문지, 5권, 5호, pp. 471-476, 2010.
[4] 박기정, 송하주, “영상인식 기술을 이용한 프로 젝션용접 자동화시스템”, 한국전자통신학회논문 지, 6권, 4호, pp. 517-522, 2011.
[5] 최종현, 최성후, 윤종필, 구근휘, 김상우, “문자 열 검출을 위한 슬라브 영역 추정”, 전지학회논 문지, 58권, 5호, pp. 1025-1034, 2009.
[6] R.O. Duda and P.E. Hart, "Use of Hough transformation to detect lines and curves in pictures," Commun. ACM, Vol. 15, No. 1, pp 11-15, 1972.
[7] C.-T. Ho, L.-H. Chen, "A high speed algorithm for line detection," Pattern Rec- ognition Lett., Vol. 17, pp. 467-473, 1996.
[8] Y.S. Lee, H.S. Koo, and C.S. Jeong, "A straight line detection using principal component analysis," Pattern Recognition Lett., Vol. 27, pp. 1744-1754, 2006.
[9] D.S. Guru, B.H. Shekar, P. Nagabhushan, "A simple and robust line detection algorithm based on small eigenvalue analysis," Pattern Recognition Lett., Vol. 25, pp. 1-13, 2004.
[10] J.F Canny, "A computational approach to edge detection," IEEE Trans. Pattern Anal. Machine Intell., Vol. 8, No. 6, pp. 679-698, 1986.
저자 소개
박상현(Sang-Hyun Park) 1995년 고려대학교 전자공학과 졸업(공학사)
1997년 고려대학교 대학원 전자 공학과 졸업(공학석사)
2002년 고려대학교 대학원 전자공학과 졸업(공학박사) 2004년 순천대학교 컴퓨터공학과 교수
※ 관심분야 : 영상처리, 패턴인식
