칼라특징공간별 SLIC기반 슈퍼픽셀의 특성비교 *
이 정 환*
A Comparison of Superpixel Characteristics based on SLIC(Simple Linear Iterative Clustering) for Color Feature Spaces
Lee, Jeong Hwan
<Abstract>
In this paper, a comparison of superpixel characteristics based on SLIC(simple linear iterative clustering) for several color feature spaces is presented. Computer vision applications have come to rely increasingly on superpixels in recent years. Superpixel algorithms group pixels into perceptually meaningful atomic regions, which can be used to replace the rigid structure of the pixel grid. A superpixel is consist of pixels with similar features such as luminance, color, textures etc. Thus superpixels are more efficient than pixels in case of large scale image processing. Generally superpixel characteristics are described by uniformity, boundary precision and recall, compactness. However previous methods only generate superpixels a special color space but lack researches on superpixel characteristics. Therefore we present superpixel characteristics based on SLIC as known popular. In this paper, Lab, Luv, LCH, HSV, YIQ and RGB color feature spaces are used. Uniformity, compactness, boundary precision and recall are measured for comparing characteristics of superpixel. For computer simulation, Berkeley image database(BSD300) is used and Lab color space is superior to the others by the experimental results.
Key Words : Superpixel Characteristics, Color Image Processing, SLIC
Ⅰ. 서론
1)
최근 동영상에서 자동차, 보행자, 이륜차 등 특정 물체를 추적하는 방법에서 입력되는 대용량 영상의 효과적인 영상분할을 위해서 슈퍼픽셀(superpixel)을
* 이 논문은 2013학년도 안동대학교 국제학술교류보조금에 의해 연구되었음
** 안동대학교 전자공학과 교수
적용하는 연구가 활발하게 진행되고 있다[1, 4, 13].
비디오에서 특정물체를 추적하는 과정에는 영상분할 [2-3]은 필수적인 단계인데 영상데이터가 많으면 이를 효과적으로 처리하기 위한 알고리즘이 요구된다. 즉 대용량 영상을 화소단위로 처리하면 많은 시간이 소 요되어 최근 슈퍼픽셀을 도입한 방법이 제안되었다 [13].
슈퍼픽셀은 격자(grid)구조인 화소와 다르게 성질
<그림 1> 슈퍼픽셀 생성 흐름도 이 비슷한 인접화소를 묶어서 작은 균일영역으로 만
들어 이를 기본단위로 취급하는 것으로 작게 나누어 진 균일영역을 슈퍼픽셀이라고 한다[6]. 따라서 슈퍼 픽셀은 비디오와 같은 대용량 영상을 고속으로 처리 하기 위한 효과적인 방법 중 하나이다.
슈퍼픽셀은 구하는 방법에 따라 그래프(graph)기 반 [7, 11-12]과 기울기(gradient)기반 방법[5-6, 14]으 로 나눌 수 있다. 그래프기반 방법은 각 화소를 그래 프의 노드로 생각하고 화소와 화소사이의 특징을 그 래프의 에지값(가중치)으로 하여 그래프를 구성한다.
그리고 그래프의 모든 노드에 대한 가중치 행렬로부 터 고유벡터 및 고유치를 구하여 그래프를 반복적으 로 두 개의 부그래프(subgraph)로 나누어 슈퍼픽셀을 구한다. 이 방법은 이론적으로 최적인 영상분할을 할 수 있으나, 크기가 큰 영상의 경우 가중치 행렬로부 터 고유벡터 및 고유치를 구하는데 계산시간과 메모 리가 많이 필요하다.
기울기기반 방법은 영상의 기울기 값을 구하고 이 를 기초로 하여 초기화소(seed)를 정하고 각 화소에 대해 초기화소와의 유클리드 거리를 계산하여 성질 이 비슷한 작은 영역으로 나누어 슈퍼픽셀을 구하는 방법이다. 이의 대표적인 방법은 평균이동(MS:mean shift), SLIC (simple linear iterative clustering) 등이 있다. 평균이동[5]은 척도값이 수렴할 때까지 반복적 으로 지역적 모드를 찾는 방법으로 슈퍼픽셀의 균일 성을 제어할 수 없으며 초기값에 결과가 민감한 단점 이 있다. SLIC방법[6, 10]은 가장 최근에 제안된 방법 으로 Lab칼라공간과 좌표를 포함하는 5차원 특징공 간에서 슈퍼픽셀을 구하는 방법으로 다른 방법에 비 해 상대적으로 성능이 우수한 알고리즘이다[13]. 그림 1은 SLIC방법으로 슈퍼픽셀을 구하는 흐름도이다.
또한 슈퍼픽셀은 다음과 같은 몇 가지 성질을 갖는 다. 즉 균일성(uniformity), 밀집성(compactness), 원 영상과의 경계일치도(boundary precision & recall)등
이 있다[6, 13]. 영역의 균일성은 슈퍼픽셀의 특징이 얼마나 균일한가를 나타내는 값이며 밀집성은 슈퍼 픽셀의 둘레가 얼마나 단순한가를 표시하는 척도이 다. 그리고 원영상과의 경계일치도는 슈퍼픽셀과 원 영상에 있는 물체의 경계가 얼마나 일치하는 지를 표 시하는 척도이다.
그러나 비디오영상에서 특정물체를 추적하거나 대 용량 영상분할에 슈퍼픽셀을 적용하는 알고리즘이 제안되었지만 칼라특징공간별로 슈퍼픽셀의 특성이 어떤 변화를 보이는가에 대한 연구는 부족하다. 즉 슈퍼픽셀과 관련된 현재까지 제안된 여러 가지 방법 은 응용에 따라 임의의 한 칼라특징공간에서 슈퍼픽 셀을 구한다. 따라서 본 연구에서는 기존연구에서 많 이 이용하는 SLIC방법을 사용하여 Lab, Luv, LCH, HSV, YIQ, RGB 칼라특징공간별로 슈퍼픽셀을 생성
하고 생성된 슈퍼픽셀의 균일성, 밀집성, 경계일치도 를 계산하여 칼라특징공간의 변화에 따른 슈퍼픽셀 의 특성을 비교하고자 한다.
Ⅱ. 슈퍼픽셀 생성 및 특성비교 2.1 슈퍼픽셀
슈퍼픽셀의 특성을 비교하기 위한 균일성, 경계일 치도, 밀집성을 구체적으로 기술한다. 균일성은 슈퍼 픽셀내 화소값의 균일한 정도를 나타내는 것으로 각 슈퍼픽셀의 분산을 평균한 값으로 표시할 수 있다. 영상 하나의 균일성()은 아래 식(1)과 같다.
(1)여기서 은 슈퍼픽셀 수이고, 는 번째 슈퍼픽 셀내의 화소수이다. 와 는 각각 번째 화소값과
번째 슈퍼픽셀의 평균이다.
경계일치도는 슈퍼픽셀과 원영상에 있는 물체 경 계와의 일치도를 표시하는 매우 중요한 척도이다. 경 계일치도는 boundary precision과 boundary recall로 나눌 수 있는데[6], precision은 분할영상( )에 대한 표준영상( )과의 경계일치도를 의미하고, recall은 표준영상(ground truth)에 대한 분할영상과 의 경계일치도를 나타내는데 식(2)와 같이 구한다.
Pr
(2)
여기서 precision은 과분할(over-segmentation) 정 도를 측정하는 값이고 recall은 부족분할(under- segmentation) 정도를 의미한다. 밀집성은 슈퍼픽셀 들의 모양이 서로 얼마나 닮은꼴인지를 나타내는 값 으로 각 슈퍼픽셀의 둘레와 면적을 구하여 아래 식(3) 과 같이 구한다[6, 13].
(3)
여기서 는 밀집성이고 및 는 각각 번째 슈퍼픽셀의 둘레와 면적이다.
SLIC방법으로 슈퍼픽셀을 구할 때 입력변수로는 구하고자하는 슈퍼픽셀의 수 과 밀집성을 제어하는 변수 이다. 성질이 비슷한 화소들을 묶기 위한 초기 격자의 한 변은 로 구한다. 여기서 은 영상의 화소수이다. 슈퍼픽셀을 구하기 위한 거리척 도 는 칼라 및 공간 거리척도 와 의 가중치 합 으로 계산한다.
(4)
여기서 을 증가시키면 공간거리척도의 반영비율 이 증가하여 밀집성이 높아지고 그 반대이면 밀집성 이 낮아진다. 본 논문에서는 슈퍼픽셀의 특성을 비교 하기 위해 모든 칼라특징공간에 대해 =10으로 실험 하였다.
2.2 칼라특징공간별 슈퍼픽셀 특성비교
칼라특징공간은 칼라영상변환으로 구할 수 있는데 선형변환과 비선형변환으로 나눌 수 있다[1]. 선형변
환은 YIQ, YUV, YCbCr등이 있고, 비선형변환은 Lab, Luv, LCH, HSV 등이 있다. 영상변환은 칼라성분간 의 상관관계를 줄이기 위한 목적으로 수행되는데 일 반적으로 선형변환은 행렬식을 이용하여 비교적 쉽 게 구할 수 있으나 여전히 상관관계가 존재한다. 반 면에 비선형변환은 칼라성분사이의 상관도를 낮출 수 있는 방법으로 알려져 있다. 본 논문에서는 Lab, Luv, LCH, HSV, YIQ, RGB 여섯 가지의 변환을 적용 하여 슈퍼픽셀을 구하고 특성을 비교하였다.
YIQ는 NTSC방식의 TV디스플레이에 사용되는데 다음과 같은 변환식을 사용한다.
(5)여기서 ≦ ≦ 이며, Y는 밝기, I 및 Q는 색 상(hue)과 채도(saturation)를 복합적으로 표시한다.
Lab는 CIEXYZ 색공간에서 밝기(L) 및 색정보(a, b)를 표시한다. 변환은 식(6)으로 XYZ공간으로 변환 하고,
(6)이를 식(7)에 적용하여 Lab특징공간을 구한다. 여 기서 는 표준백색(standard white)이다.
(7)
같은 방법으로 Luv는
′
′
(8)
로 구하며, 밝기 L은 식(7)과 같으며 는 표준백 색이다. 또한 ′ 및 ′은 식(9)와 같이
′
′
(9)
로 구한다.
그리고 LCH는 Lab로부터 구할 수 있는데 식(10) 과 같다.
tan
(10)
여기서 밝기성분 L은 식(7)과 같다. 마지막으로 인 간시각시스템과 가장 유사한 특징공간으로 알려진 HSV에서 밝기 V는 식(7)의 L과 같으며, 색상 H는 식 (10)과 동일하게 계산된다. 그리고 채도 S는 식(11)로 구한다.
(11)
Ⅲ. 실험결과 및 검토
칼라특징공간별로 슈퍼픽셀의 특성을 알아보기 위 해 본 논문에서는 버클리대학 영상데이터베이스 (BSD300) [9] 중 임의로 10개의 영상으로 실험하였다.
이 영상은 JPEG형식이며 기준분할영상(ground truth) 를 제시하고 있어 분할방법의 성능비교를 할 수 있다.
(a)슈퍼픽셀 100개 (b)슈퍼픽셀 500개
(c)슈퍼픽셀 영역 (d)슈퍼픽셀 영역
(e)슈퍼픽셀 에지 (f)슈퍼픽셀 에지
(g)표준분할영역 (h)표준에지
<그림 2> Lab공간에서의 결과 및 표준분할영역과 에지
<그림 3> 균일성 결과(SLIC)
<그림 4> 밀집성 결과(SLIC)
<그림 5> 경계일치도(SLIC) 그림2는 실험에 사용한 한 영상에 대하여 슈퍼픽
셀을 구한 결과이다. 그림2(a)는 RGB영상을 Lab 칼라 특징공간으로 변환한 후 100개의 슈퍼픽셀을 구한 후 원영상과 함께 표시한 것이고, 그림2(b)는 500개의 슈 퍼픽셀의 결과이다. 그림2(c)와 (d)는 각각의 슈퍼픽 셀 영역을 레이블링한 것으로 슈도(pseudo)칼라로 표 시하였다. 또한 그림2(e)와 (f)는 슈퍼픽셀의 에지를 표시한 것이다. 그림2(g) 및 (h)는 BSD300에서 제공하 는 표준분할영역과 에지이다.
그림3 및 그림4는 칼라특징공간에 따른 균일성과 밀집성을 슈퍼픽셀에 따라 표시한 것이다. 그림5는 슈퍼픽셀의 경계와 원영상의 경계일치도이다. 각 데 이터는 실험에 사용한 전체영상으로부터 얻은 결과 를 평균한 것이다. 그림6은 동일한 영상에 대하여 칼 라특징공간별로 슈퍼픽셀의 수를 증가하면서 구한 것이고, 마지막 열은 원영상과 슈퍼픽셀(600개)을 함 께 표시한 것이다.
슈퍼픽셀/특징
공간 100개 300개 500개 600개 및 원영상
RGB
YIQ
HSV
LCH
Luv
Lab
<그림 6> 칼라특징공간 및 개수에 따른 슈퍼픽셀에지
슈퍼픽셀 수/
비교알고리즘 100개 300개 500개 600개 및 원영상
QuickMS[5]*
Turbopixel[14]
GraphSP[11]*
EntropySP[8]
SLIC(Lab)[6]
<그림 7> SLIC(Lab)와 다른 방법과의 비교결과(*의 슈퍼픽셀 수는 근사값)
실험결과로부터 Lab 특징공간에서 균일성 및 밀집 성이 가장 우수함을 알 수 있다. 그리고 Luv공간에서 가장 균일하지 않고, HSV, RGB, Luv공간에서는 밀 집성이 떨어짐을 알 수 있다. 경계일치도는 Lab특징
공간이 가장 높고, Luv, HSV, LCH, YIQ공간이 중간 이며 RGB공간이 가장 낮은 결과를 보였다. 본 논문 에서는 SLIC(Lab) 방법의 슈퍼픽셀 특성을 비교하기 위해 QuickMS[5], Turbopixel[14], GraphSP[11],
<그림 8> 균일성 비교
<그림 9> 밀집성 비교
<그림 10> 경계일치도 비교 EntropySP[8] 방법을 컴퓨터모의 실험하였다.
그림7은 기존방법과 SLIC(Lab)로 구한 슈퍼픽셀을 비교한 것이다. 그림8부터 그림10까지는 기존방법과 SLIC(Lab)방법의 균일성, 밀집성, 경계일치도를 각각 비교한 결과이다. 균일성은 QuickMS방법이 가장 우 수하며 밀집성은 GraphSP 및 Turbopixel방법은 슈퍼 픽셀의 수에 큰 변화가 없으며 SLIC(Lab)는 슈퍼픽셀 수가 증가함에 따라 밀집성이 낮아짐을 알 수 있다. 경계일치도 중 평균 precision은 는 Turbopixel을 제 외하고는 대부분 높은 값을 나타내며 SLIC(Lab)는 평 균recall이 다른 방법에 비해 높은 값을 갖는다.
또한 슈퍼픽셀의 수가 증가함에 따라 경계일치도 가 증가함을 알 수 있다. 즉 슈퍼픽셀의 수가 증가함 에 따라 영역이 과분할되어 원영상에서의 에지와 슈 퍼픽셀 에지의 일치도가 증가하므로 정교한 영상분 할을 위해서는 슈퍼픽셀 수가 많아야 한다. 실험결과 Turbopixel방법의 경우 슈퍼픽셀의 개수가 작을 경우 원영상과의 경계일치도가 낮아지는 것을 알 수 있는 데 이는 슈퍼픽셀의 모양이 균등하게 되도록 하기 위 해 영상 에지와의 일치도를 고려하는 정도가 낮은 것 으로 판단되며 이는 그림7에서 에지의 모양과 영상경 계의 비교에서도 알 수 있다.
Ⅳ. 결론
본 논문에서는 칼라특징공간별로 SLIC기반 슈퍼픽 셀의 특성을 비교하였다. 즉 버클리대학의 영상데이 터베이스를 이용하여 6개의 칼라변환을 수행하고 각 특징공간별로 슈퍼픽셀을 구한다. 그리고 슈퍼픽셀의 수를 변화시키면서, 각 슈퍼픽셀에 대한 균일성, 밀집 성, 경계일치도를 계산하고 여러 영상에 대한 평균값 을 구하였다. 컴퓨터모의 실험결과 Lab특징공간에서 균일성, 밀집성, 경계일치도가 가장 우수함을 알 수
있었다. 또한 SLIC(Lab)와 다른 방법과의 비교를 위 해서 4가지의 기존알고리즘을 컴퓨터모의 실험하였 다. 실험결과 SLIC (Lab)방법이 경계일치도 측면에서 우수함을 알 수 있었다. 향후 연구과제는 슈퍼픽셀에 대한 특성을 이용하여 슈퍼픽셀을 이용한 칼라영상 분할 알고리즘에 대한 연구가 필요하다.
이 정 환 Lee, Jeong Hwan
1990년 3월~현재
안동대학교 전자공학과 교수 1992년 8월 KAIST전기및전자공학과(공학박사) 1986년 2월 KAIST전기및전자공학과(공학석사) 1983년 2월 경북대학교 전자공학과(공학사) 관심분야 : 영상처리, 컴퓨터비젼 등 E-mail : [email protected]
참고문헌
[1] Feng Ge, Song Wang, and Tiecheng liu, “New Benchmak Image Segmentation Evaluation,”
Journal of Electronic Imaging, Vol. 16, No. 3, 2007.
[2] 이현구, 김동주, “2DPCA와 영상분할을 이용한 얼 굴인식,” 디지털산업정보학회 논문지, 제8권, 제2 호, 2012, pp. 31-40.
[3] 이현구, 김동주, “얼굴영상과 음성을 이용한 멀티 모달 감정인식,” 디지털산업정보학회 논문지, 제8 권, 제1호, 2012, pp. 29-40.
[4] Fan Yang, Huchuan Lu, and Ming-Hsuan,
“Robust Superpixel Tracking,” IEEE Transaction on Image Processing, Vol. 23, No. 4, 2014, pp.
1639-1651.
[5] Andrea Vedaldi and Stefano Soatto, “Quick Shift and Kernel Methods for Mode Seeking,”
Lecture Notes in Computer Science, Vol. 5305, 2008, pp. 705-718.
[6] Radhakrishna Achanta, Appu Shaji, Kevin Smith, Aurelien Lucchi, Pascal Fua, and Sabine Susstrunk, “SLIC Superpixels,” EPFL Technical Report 149300, June 2010.
[7] J. Shi and J. Malik, “Normalized Cuts and Image Segmentation,” IEEE Trans. Pattern Anal.
Mach. Intell. Vol. 22, No. 8, 2000, pp. 888-905.
[8] Ming-Yu Liu, Oncel Tuzel, Srikumar Ramalingam, and Rama Chellappa, “Entropy Rate Superpixel Segmentation,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR), June 2011, pp.
2097-2104.
[9] The Berkeley Segmentation Dataset and
Benchmark,” http://www.eecs.berkeley.edu /Research/Projects/CS/vision/bsds/.
[10] Carl Yuheng Ren and Ian Reid, “gSLIC:A Real-time Implementation of SLIC Superpixel Segmentation,” Computer and Information Science, 2011, pp. 1-6.
[11] G. Mori, “Guiding Model Search Using Segmentation,” IEEE International Conference on Computer Vision, Vol. 2, 2005, pp. 1417-1423.
[12] D. H. P. Felzenszwalb, “Efficient Graph-based Image Segmentation,” Journal of Computer Vision, Vol. 59, No. 2, 2004, pp. 167-181.
[13] R. Achanta, A. Shaji, K. Smith, A. Lucchi, P.
Fua, and S. Susstrunk, “SLIC Superpixel Compared to State-of-the-art Superpixel Method,” IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol. 34, No. 11, 2012, pp. 2274-2282.
[14] Shiming Xiang ; Chunhong Pan ; Feiping Nie ; Changshui Zhang, “TurboPixel Segmentation Using Eigen-Images,” IEEE Transactions on Image Processing, Vol. 19, 2010, pp. 3024-3034.
▪저자소개▪
논문접수일: 2014년 9월 29일 수 정 일: 2014년 10월 15일 게재확정일: 2014년 10월 22일
