Korean Journal of Remote Sensing, Vol.37, No.2, 2021, pp.257~274
https://doi.org/10.7780/kjrs.2021.37.2.7 ISSN 1225-6161 ( Print )ISSN 2287-9307 (Online)
Article
영상분할 결과 평가 방법의 적용성 비교 분석
서원우 1)·이규성 2)†Comparative Analysis of Evaluation Methods for Image Segmentation Results
Won-Woo Seo 1)·Kyu-Sung Lee 2)†Abstract: Although image segmentation is a critical part of object-based analysis of high resolution imagery, there has been lack of studies to evaluate the quality of image segmentation. In this study, we aimed to find practical and effective methods to obtain optimal parameters for image segmentation. Evaluations of image segmentation are divided into unsupervised, supervised, and qualitative visual interpretation methods. Using the multispectral UAV images, sampled from urban and forest over the Incheon Metropolitan City Park, three evaluation methods were compared. In overall, three methods showed very similar results regardless of the computational costs and applicability, although the optimal parameters determined by the evaluations were different between the urban and forest images. There is no single measure that outperforms in the unsupervised evaluation. Any combinations of intra-segment measures (V, COV, WV) and inter-segment measures (MI, BSH, DTNP) provided almost the same results. Although supervised method may be biased by subjective selection of reference data, it can be easily applied to detect object of interest. The qualitative visual interpretation on the segmentation results corresponded with the unsupervised and supervised evaluations.
Key Words: image segmentation, unsupervised evaluation, supervised evaluation, OBIA, SLIC, UAV,
multispectral image 요약 : 고해상도 원격탐사 영상의 객체기반 분석에서 영상분할의 결과는 매우 중요한 부분이지만, 영상분할 품질의 평가는 간과되고 있다. 본 연구에서는 영상분할의 최적 매개변수를 구하기 위한 실용적이고 효율적인 방법을 제시하고자 한다. 영상분할 평가는 크게 무감독 평가, 감독 평가, 그리고 시각적 판독에 의한 정성적 평 가로 나눈다. 인천대공원 무인기 다중분광영상에서 추출한 도시 지역과 산림을 대상으로 세 가지 영상분할 평 가 방법을 비교하였다. 영상분할 평가 방법은 계산 및 적용의 효율성에 따라 차이가 있지만, 표본영상에 대한 평가 결과 도출된 최적의 매개변수는 세 평가 방법에서 거의 동일하게 나타났다. 영상분할 평가를 통하여 도출 된 최적의 매개변수는 도시영상과 산림영상에서 다르게 나타났다. 세 가지 조각 내부변이 척도(V, WV, COV) Received March 31, 2021; Revised April 13, 2021; Accepted April 15, 2021; Published online April 21, 2021
1)인하대학교 공간정보공학과 석사과정생 (Master Student, Department of Geoinformatic Engineering, Inha University) 2)인하대학교 공간정보공학과 정교수 (Professor, Department of Geoinformatic Engineering, Inha University)
†Corresponding Author: Kyu-Sung Lee ([email protected])
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
1. 서론
원격탐사 영상의 공간해상도가 날로 향상되는 추세에 따라 기존의 화소 기반 영상분석 방법이 적합하지 않은 경우가 많다. 2000년 이후 등장한 1 m급 고해상도 위성 영상을 비롯하여, 최근에는 무인기 영상을 포함하여 다 양한 종류의 항공영상이cm급 초고해상도를 갖고 있다. 고해상도 광학영상은 높은 공간해상도 때문에, 화소 기 반 영상분석을 적용하면 사용자가 요구하는 정보와 거 리가 있는 결과가 도출될 수 있다. 가령 사용자는 건물이 나 특정 수목과 같은 공간객체에 대한 정보를 원하지만, 화소 단위로 처리할 경우 건물 옥상 및 수관에 포함되 는 개별 화소값의 변이로 객체를 제대로 탐지 또는 분 류하기 어려울 수 있다(Yu et al., 2006; Ming et al., 2015).객체기반 영상분석(object-based image analysis, OBIA) 는 고해상도 영상을 화소 단위로 처리할 때 나타나는 문
제점을 해결하기 위한 대안으로, 영상을 객체단위로 분
리하여 처리하는 방법이다. 고해상도 광학영상의 분석
을 위하여 다양한 종류의 객체기반 영상처리 방법을 활
용하고자 하는 연구가 꾸준히 수행되고 있다(Chen et al.,
2014; Crommelinck et al., 2017; Franklin, 2018; Najafi et al., 2021). 그러나 고해상도 영상에서 건물 또는 수목과 같 은 특정 관심 객체를 완전히 분리하는 기술은 여전히 보완이 필요한 단계이다. 따라서 현재 객체기반 영상처 리에서는, 유사한 특성을 갖는 인접 화소들을 결합한 ‘조각(segment)’ 단위로 분리하는 영상분할 기법을 사용 한다. 조각은 유사한 신호 및 공간 특성을 갖는 인접 화 소들의 집합이며, 객체의 하부 단위로 하나 이상의 조 각이 합쳐서 객체가 될 수 있다. 따라서 객체기반 영상 분석은 영상분할부터 시작한다고 할 수 있다(Su and Zhang, 2017). 고해상도 영상을 이용한 토지피복 분류 또는 특정 지 표물 탐지를 위한 객체기반 영상 분석에서, 분류 및 탐 지 정확도는 중간 처리 과정인 영상분할 결과에 따라 크 게 달라질 수 있다(Chung et al., 2011; Cao et al., 2018). 분 석자의 입장에서 어려운 문제는 모든 영상분할 방법에 서 요구하는 적정 매개변수의 선정에 뚜렷한 기준이 없 다는 점이다. 많은 연구에서 시행착오(trial-and-error) 과
정을 반복적으로 수행하거나, 분류 및 탐지 정확도를 이
용하여 적정 매개변수를 결정한다(Smith, 2010; Dronova
et al., 2012; Duro et al., 2012). 이러한 방법은 분석자의 주
관적 판단에 의존적이며, 최종 결과물을 이용하여 영상 분할 품질을 평가하는 것은 다소 소모적이라고 할 수 있다. 객체기반 영상분석은 영상분할 결과에 따라 분석 결 과가 달라질 수 있기 때문에, 영상분할 결과를 평가하 는 과정이 중요하다. 본 연구에서는 영상분할 결과의 품 질을 평가하기 위한 다양한 방법을 비교 검토하고, 실 무에 적용할 수 있는 영상분할 매개변수를 선정하는 방 안을 제시하고자 한다. 영상분할 평가 방법의 난이도와 함께 실제 적용의 효율성을 함께 비교하고자 한다.
2. 영상분할 평가 방법의 종류
영상분할은 의료, 산업, 보안, 자율주행 등 다양한 분 야에서 많이 사용하는 영상처리 기법이며, 원격탐사 영 상에도 사용이 증가하고 있다. 영상분할 결과를 평가하 기 위한 여러 방법이 개발되었는데, 크게 무감독 평가 와 감독 평가로 나눌 수 있다. 본 장에서는 원격탐사 영 상에 쉽게 적용할 수 있는 대표적 영상분할 평가 방법 의 종류와 특징에 대해 살펴보고자 한다. 1) 무감독 평가 방법 영상분할 결과에 대한 무감독 평가(unsupervised evaluation)는 일체의 참조자료를 사용하지 않기 때문에, 와 세 가지 조각간 이질성 척도(MI, BSH, DTNP)의 조합을 적용한 무감독 평가로 선정한 최적의 매개변수는 거 의 같았다. 무감독 평가를 위한 척도마다 처리 과정의 난이도는 다르지만, 실험에 적용된 여러 종류의 척도는 대부분 동일한 성능을 보여주었다. 감독 평가 방법은 참조자료를 구성하는 과정에서 분석자의 주관으로 편향 될 가능성이 있지만, 특정 공간객체를 탐지하는 데 간편하게 적용할 수 있다. 정성적 평가는 무감독 및 감독 평 가 결과와 일치했다.객관적인 평가 방법으로 알려져 있다(Zhang et al., 2008). 무감독 평가는 분할된 조각의 내부 동질성(intra-segment homogeneity)을 나타내는 내부변이와 조각간 이질성 (inter-segment heterogeneity)을 기본 척도로 사용한다. 그 러나, 일반적으로 조각 내부변이가 낮으면 과다분할 (over segmentation)이 되며, 반대로 조각간 이질성을 높 이면 과소분할(under segmentation)된다(Chen et al., 2018). 따라서 조각 내부변이와 조각간 이질성을 절충하기 위 하여, 두 가지 척도를 결합한 단일의 척도를 사용하여 영상분할 결과를 평가한다. Table 1은 고해상도영상의 분할 결과를 평가하기 위하여 개발된 조각 내부변이 및 조각간 이질성을 평가하는 척도와, 두 척도를 결합하는 지표를 구하는 여러 방법을 보여준다. (1) 조각 내부변이 척도 분산(variance, V)은 조각 내부변이를 나타내는 가장 간단한 척도다. 영상분할 결과로 얻어진 모든 조각마다 분산을 구하고, 이를 평균한 값을 내부변이로 사용한다. 다중분광영상은 모든 밴드별 영상의 평균 분산을 다시 평균하여 영상 전체의 내부변이 척도로 사용한다. 분산
Table 1. Measures of unsupervised evaluation in image segmentation Measure Equation Reference
Intra-segment homogeneity
V ———∑bm=1vb
m vb: mean variance of segments in band b
WV ∑bm=1wvb ∑ni=1ai∙ vib ————, wvb= ———— m ∑n
i=1ai
ai: area of segments i
n : total number of segments in band b
(Espindola et al., 2006) COV ∑ni=1∑utr(covi)
——————n covΣutr : sum of upper triangular matrix elementsi: covariance matrix of segments i T 10N n1 ∑n
(
)
i=1
ei2 1 + log ai
N : size of input image
ei2: squared difference between mean and pixels in segment i (Zhang et al., 2012) Inter-segment heterogeneity MI m1
∑
m b=1 n∑ni=1∑nj=1wij(yib– –yb)(yjb– –yb) (∑n
i=1(yib– –yb)2)(∑i≠j ∑wij)
wij: spatial proximity matrix
yib, yjb: spectral mean of band b for segment i and j –yb: spectral mean of image in band b
(Espindola et al., 2006) BSH 1nm1
∑
n i=1 m∑
b=1 ∑kj=1wij(yib– –yib)(yjb– –yib) 1—∑n
i=1(yib– –yib)2 n
wij: weight of shared boundary between adjacent segments –yib: spectral mean of segments that are adjacent to segment i in band b (Wang et al., 2019) DTNP , DTNPi= ∑n i=1 ai· DTNPi ∑n i=1 ai ∑m b=1 | –cb(pi) – –cb(Bi(d) – Pi) | m
Bi(d) : bounding box of segment i with distance d
Pi : set of pixels of segment i
–cb: spectral mean of band b (Zhao et al., 2020) D n (y∑mb=1 ∑ni=1———–ib– –yb)
n
–yb: mean of all segment’s mean in band b (Zhang et al., 2012) Combination measure F-score 1 1α ——– + (1 + α) ——–1 Intran Intern α : weight
Intran: normalized intra-segment homogeneity
Intern: normalized inter segment heterogeneity (Zhang et al., 2015)
Z Intra + λ * Inter
λ : normalization weight Intra : intra-segment homogeneity Inter : inter-segment heterogeneity
(Zhang et al., 2012) FGS w * Intern– (1 – w) * Intran w : weight(Zhao et al., 2020)
은 가장 빠르고 간단하게 산출할 수 있는 장점이 있으나, 다중밴드영상의 밴드 간 공분산을 고려하지 않는 단점 이 있다. 면적가중 분산(area-weighted variance, WV)은 모든 조 각의 분산(V)을 해당 조각의 면적에 비례하여 산출한 가중평균이다. 면적이 큰 조각이 상대적으로 높은 가중 치를 가지므로, 면적이 작은 조각들이 갖는 이상 값의 영향을 최소화할 수 있다(Espindola et al., 2006). 공분산 (covariance, COV)은 V와 WV가 밴드별 분광특성에 관 계없이 밴드별 조각의 분산을 평균하는 문제를 보완하 기 위하여, 본 연구에서 제시한 내부변이 척도다. 영상 분할이 주로 흑백영상이나 가시광선RGB영상을 기반 으로 개발되었기 때문에V와 WV만으로 내부변이를 충 분히 나타낼 수 있었지만, 다중분광 영상은 밴드별 신 호가 상이하므로 공분산 개념을 고려한 조각 내부변이 척도를 제안하였다. COV는 조각마다 분산공분산 행렬 을 도출한 후, 대칭행렬에서 상삼각행렬의 요소를 모두 더한 값을 해당 조각의 내부변이로 사용했다. 조각 내부의 동질성을 나타내는 척도로Zhang et al. (2012)이 제안한 T는 분산과 비슷한 개념이지만, 조각 의 면적과 전체 조각 수를 이용하여 내부변이를 조정하 였다. 내부변이는 밴드별로 조각에 포함된 모든 화소값 벡터와 조각의 평균벡터의 차이를 합한 결과이며, 이를 해당 조각의 면적과 전체 조각 수를 이용하여 과다분할 및 과소분할의 차이를 조정한다. 조각 내부변이를 나타 내는 척도는 위에서 열거한 방법 외에도 엔트로피, 질 감 기반의 평가 척도가 있으나, 원격탐사 영상에 적용 된 사례는 많지 않다. (2) 조각간 이질성 척도 영상분할 결과에 나타나는 조각간 이질성을 평가하 는 척도는, 모든 조각마다 인접한 조각과의 차이를 비 교하는 방법과 각 조각과 전체 영상과의 차이를 비교하 는 방법으로 나눌 수 있다. 전자는 각 조각마다 그 조각 과 경계를 공유하고 있는 인접한 조각을 찾아내기 위한 별도의 처리(region adjacency graph, RAG)과정이 필요
하므로, 계산이 복잡하고 처리 시간이 증가한다. Moran’s I (MI) 통계값은 공간적 자기 상관성을 나타 내는 척도로서, 영상분할 평가와 관련된 분석에서 조각 간 이질성을 표시하는 척도로 많이 사용하고 있다 (Espindola et al., 2006). 영상분할 결과에 나타난 모든 조 각에 대하여 인접한 조각과의MI를 산출하고 이를 평 균하여 조각간 이질성을 나타내는 척도로 사용한다. MI는 조각의 크기와 관련된 매개변수에 민감하게 반응 하며, 조각의 크기가 커질수록 MI는 낮아진다(Gao et al., 2017).
Wang et al. (2019)이 제안한 조각간 이질성(between segmentation heterogeneity, BSH)는 MI 산출 과정에서 영 상 전체의 평균 화소 값 벡터를 이용하는 문제점을 보 완하였다. BSH는 각 조각의 이질성을 구하기 위하여 영 상 전체의 평균 화소 값 벡터를 사용하는 대신 인접한 조각들의 평균벡터를 사용하기 때문에 과소분할에 민 감하다고 알려져 있다. MI와 BSH는 공통적으로 인접 조각을 먼저 찾아내는 과정이 필요하므로 많은 처리 시 간이 필요하다.
인접화소 차이(difference to neighbor pixels, DTNP)는
각 조각에 인접한 조각들을 찾아야 하는MI와 BSH 방 법과 다르게, 각 조각의 가장 바깥의 상하좌우 지점에 서 한 화소 간격만큼 확장한 사각형에 포함한 조각 외 부의 화소들을 비교 대상으로 이질성을 산출한다(Zhao et al., 2020). 이 방법은 영상 전체의 통계값을 이용하지 않고, 또한 인접 조각을 찾아야 하는 별도의 처리 과정 이 필요하지 않기 때문에 간단한 조각간 이질성을 산출 하는 방법이다. Zhang et al. (2012)이 내부변이 척도인 T와 함께 제안 한D는 가장 간단하게 조각 이질성을 평가하는 척도라 고 할 수 있다. D는 각 조각의 평균 벡터와 영상 내 모든 조각들의 평균과의 차이를 나타내며, 결국 분할된 조각 들의 평균벡터의 분산이라고 할 수 있다. 현재 발표된 조 각 이질성을 나타내는 척도 중 가장 간단한 방법이지만, scale 매개변수에 거의 비례하는 관계를 보여준다. 조각 이질성 척도는 이 밖에도 다른 방법이 있으나, 원격탐 사 영상에는 위의 네 가지 척도가 많이 사용된다. (3) 조각 내부변이와 조각간 이질성을 결합한 척도 조각 내부변이가 낮고 조각간 이질성이 높을수록 좋 은 품질의 영상분할이 되지만, 전자를 강조하면 과다분 할이 되며 후자를 강조하면 과소분할 되는 상충효과가 있다. 따라서 두 조건을 최대한 만족하는 영상분할 매 개변수를 구하기 위해서는, 두 척도를 결합한 하나의 척
도가 필요하다. F-score는 상충관계의 두 척도를 결합한 조화평균으로, 영상처리에서 객체탐지 모델의 정확도 를 표시하는 정밀도(precision)와 재현율(recall)을 결합 한 지표로 자주 사용한다. F-score는 두 척도의 단순 합 과 함께 두 척도 값의 크기와 범위를 고려하기 때문에, 내부변이와 조각 이질성과 같이 상충관계인 두 척도를 결합하는 척도로 사용된다. 두 척도를 F-score로 결합하 기 전에, 각각을 동일한 규모로 표시하는 정규화 과정 을 거쳐야 한다. 또한 F-score 계산에서 각 척도에 가중 치 α를 다르게 적용하여, 분석자가 원하는 척도의 비중 을 조절할 수 있다. Z는 조각의 내부 동질성과 외부 이질성 척도의 최고 값이 각각 과다분할과 과소분할을 나타낼 때, 두 척도 의 단순 합이 가장 클 경우에 최적의 영상분할을 결과 로 결정한다(Zhang et al., 2012). 결합 방법이 간단하면서 두 척도의 비중을 가중치 λ를 통하여 조절할 수 있는 장 점이 있지만, 특정 매개변수에서 나타나는 조각의 내부 변이와 이질성 척도에 발생하는 특이점에 영향을 받을 수 있다. FGS(fast global score)는 조각의 내부변이 척도 가 최소값에서 과다분할이고, 조각 이질성 척도가 최고 값에서 과소분할을 나타낼 경우, 두 값의 차이가 가장 클 때 최적의 영상분할 결과로 판단한다(Zhao et al., 2020). F-score와 동일하게 두 척도의 정규화 과정이 필 요하며, 가중치 w를 이용하여 두 척도의 비중을 다르게 설정할 수 있다. 2) 감독 평가 방법 감독 평가(supervised evaluation)는 영상에서 선정한 공간객체의 경계를 참조자료로 하여 영상분할 결과를 중첩하여 객체와 조각의 일치여부를 평가하는 방법이 다(Zhang et al., 2008). 감독 평가는 공간객체의 경계가 상대적으로 명확한 도시지역 영상에 많이 적용하는 방 법이다(Chung et al., 2018). 참조자료 선정에서 분석자의 주관을 배제할 수 없지만, 적용이 간단하고 빠른 평가 방법이다. Table 2는 원격탐사 영상에서 자주 사용되는 감독 평가 방법의 척도와 산출식을 보여준다.
과다분할도(over segmentation, OS), 과소분할도(under segmentation, US), 유클리드 거리(Euclidean distance, ED) 는 참조 공간객체에 상응하는 조각들이 일치하는 중복 면적의 비율과 조각의 개수로 과다분할과 과소분할의 정도를 나타낸다(Clinton et al., 2010). 중복면적의 비율에 따라OS와 US는 0과 1 사이의 값을 가지며, 참조객체에 상응하는 조각의 중복면적이 일치할수록, 두 척도의 값 은0에 가까워진다. OS와 US를 결합한 유클리드 거리 ED도 낮을수록 좋은 영상분할 품질을 표시한다. Fig. 1 은OS와 US 산출과정을 보여주는 데, (a)의 과다분할 예 시에서 각각의 조각y1, y2, y3는 중복면적이 참조객체보 다 작기 때문에OS가 높아지며, (b)의 과소분할 예시에 서는 조각y1의 중복면적이 참조 객체보다 크기 때문에 US가 높게 나타난다. 조각의 수와 중복면적이 참조객체 x1와 유사하면OS와 US는 모두 0에 수렴하기 때문에, 가장 정확한 영상분할 결과가 된다. 참조자료 내 객체 가2개 이상이면, 각 조각에서 산출된 OS와 US는 조각 수로 나눈 평균을 이용한다. 품질도(quality rate, QR)는 참조객체에 포함되는 조각 의 중복면적 뿐만 아니라, 각각의 면적의 차이도 결과 에 반영하여 영상분할 품질을 평가한다(Weidner, 2008). 영상분할 결과가 과다분할 혹은 과소분할일 경우, 객체
Table 2. Measures of supervised evaluation on image segmentation
Measure Equation Reference
OS 1n m1 1 – , yj∈Yj n
∑
i=1 m∑
j=1 area(xi∩yj)area(xj) xi: reference object i
yj: image segment j
Yjset of overlapped segments with reference object xi
m : number of overlapped segments with reference object n : number of reference objects
(Clinton et al., 2010). US 1n m1 1 – , yj∈Yj n
∑
i=1 m∑
j=1 area(xi∩yj) area(yj) ED OS22+ US2 QR QRij, QRij= 1 –area(xarea(xi∩yj), yj∈Yj i∪yj) 1 n m1 n∑
i=1 m∑
j=1 (Weidner, 2008)와 조각을 포함하는 전체면적은 중복면적보다 항상 크 기 때문에1에 가깝게 되므로, QR은 0에 가까운 값을 나 타낼수록 좋은 영상분할 품질을 나타낸다.
3. 실험방법
영상분할 평가 방법을 비교하고 적용성 여부를 비교 하기 위하여, 지표물의 분포와 공간객체의 특징이 다 른 도시 및 산림지역의 무인기 영상을 사용하여 분석 하였다. 1) 실험 영상 실험에 사용한 영상은 인천광역시 남동구에 위치한 인천대공원 지역의 무인기 영상에서, 지표물의 신호 특성과 분포가 상이한 도시 및 산림영상을 발췌했다 (Fig. 2). 도시영상은 단독주택, 슬라브 구조의 건물, 도로, 가로수 등이 혼재되어 있다. 산림영상은 인천대공원 중 심에 위치한 관모산 지역으로 주로 신갈나무(Quercusmongolica), 아카시나무(Robinia pseudoacacia), 리기다소나무
(Pinus rigida), 스트로브잣나무(Pinus strobus) 등이 많이 분
포하고 있다. 해당 산림에서는 또한 참나무시들음병으 로 인한 피해목이 곳곳에서 관측되고 있다. 산림은 평 균3영급의 중경목으로 이루어져 있으며, 일부 탐방로 와 휴게소를 제외한 산림의 수관울폐도는70% 이상으 로 밀집된 상태다. 무인기 영상은2018년 8월 13일 MicaSense사의 Red Edge-M 다중분광카메라로 촬영하였으며, 약 300 m 고 도에서 촬영하여19.3 cm의 공간해상도를 갖는다. 다중 분광카메라는 산림 및 식생 관측에 유리한 근적외선 및 적색경계 밴드와 가시광선 밴드를 포함하여 모두5개 분광밴드로 가지고 있다. 충분한 중복도로 촬영된 낱장 영상은 정사보정 및 모자이크 처리되어 지도좌표계에 등록하였다. 전체 영상에서 실험 대상으로 선정된 도 시 및 산림영상은 각각1200×1200개의 화소로 이루어 졌다. 다중분광영상은 대기영향을 최소화하기 위하여, 촬영 시점에 반사율 보정 판넬 측정과 수광량 센서를 영 상촬영과 동시에 작동하여 표면반사율 자료로 변환하 였다(Lee et al., 2019). 2) 영상분할 고해상도 원격탐사 영상에 적용할 수 있는 다양한 종 류의 영상분할 기법이 개발되었으나, 본 실험은 영상분 할 결과에 대한 평가 방법을 비교할 목적이므로 비교적 간단한 영상분할 기법을 적용했다. Achanta et al. (2012) 이 개발한SLIC(Simple Linear Iterative Clustering) 영상분 할 기법은 두 개의 매개변수만을 이용하는 비교적 간단
한 영상분할 방법으로, 다른 영상분할 방법보다 처리 시
간 대비 성능이 우수하다고 알려졌다. SLIC은 기본적으
로K-means 군집화와 유사하지만, 초기 군집중심 배치
방법과 거리 측정 방법에 차이가 있다. 영상 내 총 화소 수(N)와 조각 수(k)를 이용하여 결정된 간격(scale, S)마 다 초기 군집중심을 배치한다. 초기 군집중심이 결정되 면 영상 내 모든 화소는2S 범위 이내에 존재하는 몇 개 의 군집중심과의 거리(D)가 가장 가까운 군집으로 할당 된다. 각 군집에 할당된 화소를 이용하여 군집중심이 갱 신되어 다시 군집화 과정이 반복되며, 새로운 군집중심 과 이전의 군집중심과의 차이가 수렴되면 군집화는 중 단된다. SLIC에서 D는 영상 좌표(x, y)상에서의 공간거리 (spatial distance, ds)와 화소값의 차이를 나타내는 분광 거리(color distance, dc)를 함께 이용하여 계산한다. 원래 SLIC은 흑백영상 또는 자연색 RGB영상을 토대로 간단 한 분광거리를 계산하였으나, 본 실험에서는 5개 밴드 의 다중분광영상에서 각 화소와 군집중심의 반사율 차 이를 분광거리로 산출하였다. 실험에 적용된 공간거리 와 분광거리는 아래와 같이 산출한다. ds= (xi– xc)2+ (yi– yc)2 (1) dc= (2) D = dcnorm+ m * dsnorm (3) 여기서, xc, yc는 군집중심의 좌표, xi, yi는 화소의i의 좌표, ρcb는 밴드b에서 군집중심의 반사율, ρib는 밴드b 의 화소i의 반사율이 된다. 거리 D는 공간거리와 분광 거리의 합이며, m은 각 조각의 밀집도(compactness, m) 매개변수다. 매개변수 m은 공간거리와 분광거리의 상 대적 가중치이며, D 계산에서 공간거리의 가중치 m을 최대로 하면 각 군집의 형태는 일정한 크기의 육각형에 가깝지만, 분광거리의 가중치가 커질수록 군집의 모양 이 육각형에서 벗어난 자유 형태를 갖게 된다. D 계산 에서 단위가 다른dc와 ds를 각각 0과 1사이 값으로 정 규화(dcnorm, dsnorm)하여 사용한다. 밀집도 m이 1보다 작 을수록 분광거리의 가중치가 높아져서, 영상분할에서 화소값의 영향을 많이 받는다. 3) 영상분할 매개변수 조합 도시 및 산림영상을 분할하기 위하여 적정 매개변수 조합을 적용하고, 매개변수 조합에 따른 영상분할 결과 를 평가하고자 하였다. SLIC은 조각의 크기(scale)와 밀 집도(m)의 두 매개변수를 필요로 하는 데, 해당 영상에 5 ∑(ρib– ρcb)2 b=1
Fig. 2. Mosaic image of the UAV multi-spectral image taken on August 13, 2018 over the Incheon Metropolitan Park including the test image of urban (a) and forest (b) area.
분포하는 주요 공간객체의 크기와 분광특성을 고려하 여 적정 범위의 매개변수를 적용했다. 도시영상은 주로 주택과 건물로 이루어져 있으며 또한 가로수와 같은 작 은 객체도 포함하고 있기 때문에, 조각 크기를 결정하 는 매개변수scale은 15부터 70까지 5 간격으로 모두 12 개의 값을 적용했다. 산림영상은 임목의 수관 크기를 고 려하여10부터 42까지 4 간격으로 9개의 값을 적용했다. 밀집도m은 분광거리와 공간거리의 가중치가 같은 1부 터 분광거리에 더 큰 가중치를 부여한0.6과 0.2의 세 가 지 값을 적용하였다. 4) 무감독 평가 본 실험에서는 조각의 내부변이를 나타내는 분산(V), 면적가중 분산(WV), 공분산(COV)의 세 가지 척도를 적 용했다. 조각간 이질성을 나타내는 척도로는 인접한 조 각과의 차이를 계산하는MI 및 BSH와, 별도의 RAG 처 리가 필요없이 각 조각의 이질성을 계산하는DTNP와 D를 포함하여 모두 네 가지를 적용하였다. 조각의 내부 변이와 외부 이질성을 결합한 지표로F-score를 이용하 여 최적의 매개변수 값을 분석했다. 5) 감독 평가 감독 평가를 위해서는 정확한 경계선을 구획할 수 있 는 참조 공간객체를 선정해야 한다. 도시영상을 구성하 는 주요 공간객체인 단독주택, 연립주택, 상가 건물과 상대적으로 크기가 작은 도로 시설물과 가로수도 일부 포함하여 총35개의 객체의 경계선을 영상에서 추출하 여 참조자료를 구성했다. 산림영상에서는 개체목의 수 관 형태 및 동질성을 고려하여 두 그룹으로 나누어 참 조자료로 선정했다. 개체목의 수관 경계가 비교적 뚜렷 하고 수관의 분광특성이 유사한 화소들로 구성된 리기 다소나무, 낙엽송, 아카시나무, 밤나무에서 모두 30본의 개체목 수관을 참조자료로 추출하였다(Forest-1). 신갈 나무, 상수리나무, 굴참나무의 수관은 잎이 부분적으로 뭉쳐 있고, 잎 사이로 그늘이 존재하는 등 이질적인 요 소로 구성된 수관 형태를 보인다. 참나무류의 수관 특 성에 따른 영상분할 결과의 차이를 평가하기 위하여, 참 나무류에 해당하는25본의 개체목과 참나무시들음병 에 감염된 피해목5본을 포함하여 모두 30본의 수관 경 계를 획득하여 별도의 참조자료(Forest-2)를 준비했다. 감독 평가는 분할 결과와 참조자료를 중첩하여 중복 된 면적과 분할된 조각의 수에 따라 계산되는, 과다분
할도(OS), 과소분할도(US), 유클리드 거리(ED), 품질도
(QR)의 네 가지 척도를 이용했다.
4. 결과 및 토의
1) 무감독 평가 결과 영상분할의 무감독 평가는 기본적으로 분할된 조각 내부변이가 낮고, 조각간 차이가 크면 좋은 영상분할 결 과로 간주한다. 먼저 도시영상 및 산림영상에서 생성된 36가지(12scales×3밀집도) 및 27가지(9scales×3밀집도) 영상분할 결과를 대상으로 조각의 내부변이와 이질성 척도를 비교하였다. Fig. 3은 도시영상과 산림영상에서 세 가지 내부변이 척도를0부터 1사이 값으로 정규화 한Fig. 3. Intra-segment homogeneity measured by V, WV, COV for the segmentation results using different scale and compactness parameters.
결과를 보여준다. F-score는 상충관계인 두 척도의 값이 클수록 높은 값을 나타내기 때문에, 내부변이는 최소값 이 아닌 최대값을 기준으로 정규화를 수행하여 값이 클 수록 동질성이 높도록 했다. 먼저 조각의 크기(scale)가 커지면서 내부 동질성은 낮아지는 경향을 보여주는 데, 세 가지 내부변이 척도인V, WV, COV는 큰 차이가 없 이 나타났다. 계산과정이 가장 간단한 평균 분산인 V와 공분산을 이용한COV를 사용해도 차이가 없으며, 심지 어 분산을 각 조각의 면적에 따라 가중치를 부여하여 계 산한WV를 적용해도 내부변이를 나타내는 데 큰 차이 를 보이지 않았다. 세 가지 내부변이 척도는 도시영상 과 산림영상에서 모두 유사하게 나타났다. 영상분할 결과는 밀집도m에 따라 도시와 산림영상 에서 모두 뚜렷한 차이를 보여준다. 밀집도 m이 낮아지 면, 분광거리의 가중치가 높아져 유사한 화소끼리 결합 되는 효과가 증가하므로, 조각 내부 동질성은 높아졌다. 반면에m이 1인 경우는 공간거리와 분광거리의 가중치 가 같으므로 내부 동질성은 감소하는 경향성을 보였다. SLIC은 scale과 밀집도의 두 가지 매개변수를 이용하므 로, 주어진 scale에서 분광거리를 강조하여 m을 낮게 적 용하면 내부 동질성이 높아지는 영상분할 결과를 얻을 수 있었다. 조각간 이질성 척도를 비교하기에 앞서, 척도간 차이 를 직접 비교하기 용이하도록 정규화 작업을 적용했다. MI와 BSH는 값이 낮아질수록 이질성이 증가하는 반면 에, DTNP와 D는 값이 클수록 이질성이 증가한다. 따라 서MI와 BSH는 최대값을 기준으로 정규화를 적용하여, D 및 DTNP와 동일하게 값이 클수록 이질성이 증가하
Fig. 4. Inter-segment heterogeneity measured by MI, BSH, DTNP, D for the segmentation results in the urban (a) and forest area (b).
도록 하였다. Fig. 4는 도시 및 산림영상에서 생성된 모든 영상분할 결과를 대상으로 조각간 이질성을 네 가지 척도로 평가 한 결과를 보여준다. 네 가지 척도는 scale이 증가하면 다른 조각과의 차이가 커지는(이질성이 높아지는) 양상 을 보여준다. 최대 이질성은 대부분 가장 큰 scale에서 얻어지지만, 중간 구간에서 최대값에 근접한 국소적인 최대값을 보여주었다. 도시영상의 조각간 이질성은 D 를 제외한 세 가지 척도에서scale이 45에서 60 사이에서 국소적인 최대값을 나타냈다. 산림영상에서는 scale이 26에서 38사이에서 국소적인 최대값을 보여주며, 특히 scale 26에서 높은 조각간 이질성을 보여주었다. 조각간 이질성은 조각 내부변이와 서로 상충되므로, 조각간 이 질성만으로 최적의 매개변수를 선정할 수 없다. 조각의 크기가 커지면 조각간 이질성은 당연히 증가하므로, 도 시 및 산림영상에 적용한scale보다 큰 값의 scale을 적용 하면 이질성은 더욱 증가한다. 네 가지 조각간 이질성 척도는 밀집도(m) 매개변수 에 의한 차이가 다르게 나타났다. 네 척도에서 모두 화 소값에 의한 분광거리에 높은 가중치를 부여한 밀집도 (m=0.2)에서 가장 좋은 조각간 이질성을 보여준다. Fig. 3의 조각 내부변이 평가와 마찬가지로 분광거리의 가 중치가 높아지면, 유사한 화소끼리 결합하여 조각을 형 성하게 되므로 내부변이가 낮아지고 조각간 차이가 커 짐을 확인할 수 있다. 특히 인접 조각들을 찾아내는 처리 과정(RAG)을 통 하여 각 조각과 이웃한 조각의 차이를 계산한BSH는 밀 집도에 따른 차이를 뚜렷하게 보여준다. 반면에 이웃한 조각의 정보를 전혀 고려하지 않고 전체 영상과의 차이 에 기반하여 계산된D는 밀집도에 의한 차이가 가장 미 미하게 나타났다. MI는 BSH와 마찬가지로 RAG을 이 용하여 계산하지만, 영상 전체 평균과의 차이를 함께 고 려하므로BSH 보다 밀집도에 의한 차이가 상대적으로 작았다. DTNP는 인접 조각을 찾는 RAG을 이용하지 않고 산출되지만, 각 조각을 둘러싼 화소들과 차이를 기 반으로 이질성이 계산되므로, 밀집도에 의한 차이가 BSH와 마찬가지로 크게 나타났다. 영상분할 결과에 대하여 조각 내부변이와 이질성 척 도를 결합한F-score를 비교한 결과, 모든 조합에서 공 통적으로 밀집도가 낮은0.2에서 가장 높은 값을 보여주 었다. 이는 밀집도가 낮으면 조각 내부의 동질성과 조각 간 이질성이 모두 높기 때문에, 높은 F-score를 보였다. 따라서F-score 비교는 밀집도 m에 0.2를 적용한 분할 결과만을 대상으로 비교하였다. Fig. 5은 도시와 산림영 상을 분할한 결과에 대하여 세 가지 내부변이 척도와 네 가지 조각간 이질성 척도를 적용하여 모두12개 조합에 서 산출한F-score의 분포를 보여준다. 비록 12개 조합 별로 각 분할 결과의F-score 분포를 그렸지만, 흡사 네 개의 선으로 보일 정도로 조각간 이질성 척도에 의한 영 향이 절대적이다. 즉 F-score 산출에서 조각 내부변이에 의한 차이는 매우 작게 나타났다. Fig. 3에서 보듯이 조 각의 내부 동질성은scale 매개변수에 따라 거의 선형으 로 감소하므로, F-score는 조각간 이질성 척도에 좌우됨 을 알 수 있다. 이는 F-score 계산에서 조각 내부변이와
Fig. 5. Distribution of F-scores that combine intra-segment homogeneity and inter-segment heterogeneity for the segmentation results with different scales.
이질성의 가중치를 동일하게 적용한 결과다. 영상분할 목적에 따라 조각 내부변이가 중요하거나 반대로 조각 간 이질성이 강조될 필요가 있으면, F-score 산출에서 내부변이와 조각간 이질성에 부여하는 가중치(α)를 조 정하면, 그에 합당한 F-score를 얻을 수 있다. F-score 그래프는 scale에 따라 종 모양의 포물선 형태 를 띠고 있는데, 최고 F-score는 과소분할과 과다분할의 중간에서 나타났다. 도시영상은 scale이 40에서 50 사이 에서 높은F-score를 보이며, scale 55를 기점으로 다시 감소한다. F-score가 높은 상위 5개 분할 결과는 대부분 scale 45를 적용했을 때 얻어졌으며, 최고 F-score는 WV 와DTNP을 이용하여 평가했을 때 얻어졌다. 그러나 상 위5개 F-score의 범위는 0.796부터 0.750사이로 절대적 차이가 미미하다. 높은 F-score는 조각 이질성 척도를 DTNP와 BSH로 사용하여 평가했을 때 나타났다. 조각 이질성 척도D를 적용하면 다른 평가 조합과 상이한 결 과를 보여주었다. D를 적용하여 산출한 최고 F-score는 scale 55에서 나타났는데, 이는 D가 인접 조각과의 차이 가 아니라 영상의 모든 조각들의 평균과의 차이를 나타 내기 때문이다. 산림영상의 분할결과는 도시영상과 다르게D를 제 외한 나머지 평가 조합에서scale 26에서 최고 F-score를 보였다. 이는 산림을 구성하는 주요 객체인 임목의 수 관크기에 해당하는scale이며, 주택과 건물로 이루어진 도시영상과 구별되는 적정 매개변수의 특징을 보여준 결과다. 산림에서도 F-score가 높은 상위 5개 평가 결과 는 모두scale 26를 적용했을 때 얻어졌으며, 조각간 이 질성 척도는 도시영상과 마찬가지로DTNP와 BSH를 이용했을 때 크게 나타났다. Table 3은 각 평가 조합에서 최고 F-score를 보인 영상 분할 결과에 적용된scale를 보여준다. 도시영상의 분할 결과 평가에서 최고F-score는 scale 45에서 가장 많이 나 타났으며, 그 다음으로는 scale 50에서 나타났다. 조각 이질성 척도D를 사용한 평가 조합에서는 최고 F-score 가scale 55에서 나타났다. 산림영상의 분할 결과에 대한 평가에서 최고F-score는 D를 사용한 조합을 제외하면 모두scale 26에서 나타났다. 조각간 이질성 척도 D를 이 용한 평가조합에서는 최고F-score가 scale 34로, 도시영 상 결과와 마찬가지로 다른 평가조합보다 조각이 크게 분할되었을 때 높은 평가점수를 얻었다. 조각 이질성 평가에서D를 제외한 나머지 척도는 대 부분 같은scale에서 최고 F-score를 보여주었다. 특히 산 림에서는D를 제외한 나머지 조합에서 모두 scale 26에 서 최고의F-score를 보여주었다. 네 가지 조각 이질성 평가 척도 중, BSH와 DTNP가 비교적 높은 F-score를 보여주었고, D는 가장 낮은 F-score를 보여준다. 세 가지 조각간 이질성 평가 척도는 각 조각과 인접 한 조각 및 화소와의 차이를 계산한 결과지만, D는 각 조각과 전체 영상과의 차이를 나타내기 때문에 조각간 이질성을 나타내는 척도로는 다소 부적합한 결과를 보 여주었다. Table 3에서 볼 수 있듯이 세 가지 내부변이 척도의 평균은 도시 및 산림영상 분할 결과에서 거의 차 이가 없으므로, 어느 것을 사용해도 최적의 매개변수를 구하는F-score에 큰 영향을 미치지 않았다. 도시영상 분할 결과에서 각 조각의 면적으로 분산을 조정한WV 를 적용했을 때, 최적의 scale이 모두 45로 나타났다. 영상분할 결과의 무감독 평가는 다양한 조각 내부변 이 척도와 외부변이 척도가 개발되었지만, F-score에 의 하여 산출한 최적의 영상분할 매개변수는 척도에 따라 큰 차이가 나타나지 않았다. 특히 세 가지 조각 내부의
Table 3. The highest F-score and corresponding scale(parentheses) obtained from each of the 12 combinations of three intra-segment homogeneity and four inter-segment heterogeneity measures applied to the segmentation results with difference scales
Area Urban Forest
Measure V WV COV Mean V WV COV Mean MI 0.686 (50) 0.692 (45) 0.687 (50) 0.688 0.894 (26) 0.894 (26) 0.891 (26) 0.893 BSH 0.731 (45) 0.771 (45) 0.728 (45) 0.743 0.934 (26) 0.930 (26) 0.934 (26) 0.933 DTNP 0.749 (50) 0.796 (45) 0.749 (50) 0.765 0.901 (26) 0.898 (26) 0.901 (26) 0.900 D 0.641 (55) 0.641 (55) 0.640 (55) 0.641 0.722 (34) 0.729 (34) 0.742 (34) 0.731 Mean 0.702 0.725 0.701 – 0.863 0.863 0.867 –
동질성을 나타내는 척도인V, WV, COV는 어느 척도 를 사용해도 최적 매개변수는 차이가 없었다. 계산 과 정의 효율성을 감안하면V와 COV가 적합한 선택일 수 있으나, 각 조각의 면적을 고려하지 않기 때문에 아주 작은 크기의 조각들에 의하여 다소 편중된 평균 분산이 될 수 있다. 비록 본 연구에 적용된 표본 영상에서는 세 가지 내부변이 척도에 따른 차이가 없었지만, 도시 및 산림 등이 복잡하게 혼재된 영상의 분할에서는 각 조각 의 면적으로 가중평균한WV가 전체 조각의 내부 동질 성을 나타내는 척도로 보다 나은 선택이 될 수 있다. 조각간 이질성을 나타내는 척도로 네 가지가 적용되 었는데, 각 조각에 이웃하는 조각 또는 화소와의 차이 를 계산한MI, BSH, DTNP는 거의 동일한 결과를 보여 주었다. 영상분할 결과에 대한 무감독 평가에서 세 가 지 이질성 척도가 최적의 매개변수 선정에 동일한 결과 를 제공한다면, 가장 간단하게 산출할 수 있는 척도가 바람직할 것이다. MI와 BSH를 계산하기 위해서는 각 조각마다 인접한 조각을 찾아야 하는RAG 처리과정을 거쳐야 한다. 반면에 DTNP는 각 조각을 둘러싼 화소와 의 차이를 계산하므로, 별도의 인접 조각을 찾는 과정 이 필요없이 간단하고 빠르게 조각간 이질성을 산출할 수 있다. 조각간 이질성 척도의 계산 효율성을 비교하기 위하
여 일반PC(i7-8700 CPU와 16GB memory)에서 실험영
상을 대상으로 처리시간을 측정하였다. 영상 전체 조각 의 평균 분산과의 차이를 계산하는D의 처리시간이 1~3초로 가장 빠르며, 사각형 경계에 포함된 이웃 화소 와의 차이를 계산하는DTNP의 처리시간은 1.3~5초로 측정되었다. 반면에 인접한 조각을 찾는 RAG 과정이 필요한MI와 BSH의 처리시간은 350~1400초로 약 300 배의 연산 시간이 소요되었다. 따라서 동일한 평가 결 과를 얻을 수 있다면, 처리 시간이 훨씬 절약되는 DTNP가 보다 효과적인 선택이 될 수 있다. 2) 감독 평가 결과 영상에서 직접 선정한 공간객체를 참조자료로 하여, 영상분할 결과 얻어진 조각과의 일치 여부를 측정하는 감독 평가는 비교적 간단한 최적 매개변수 도출 방법이 라고 할 수 있다. 즉 감독 평가는 선정된 공간객체와 분 할된 조각의 비교이므로, 일치하는 면적과 조각의 개수 에 따라 평가 결과가 결정된다. Table 4는 도시영상과 산 림영상에서 추출한 공간객체를 기준으로 산출한 네 가 지 감독 평가 척도의 값을 보여준다. 무감독 평가에서 는 영상분할 매개변수인 밀집도m이 낮을수록 최종 평 가 지표인F-score가 높아지므로, m=0.2을 적용한 분할 결과만을 비교하였다. 그러나 감독 평가는 공간객체와 해당 조각과의 비교이므로, 각 조각이 형성되는 과정에 서 화소값에 의한 분광거리의 영향을 분석하고자 밀집 도를 구분하여 평가하였다. 도시영상 분할 결과에 대한 감독 평가에서 가장 높은 정확도(낮은 ED 및 QR)를 보여주는 매개변수 조합은
Table 4. Supervised evaluations on the segmentation results with several parameters in the urban and the forest area
Urban
compactness Measure scale
35 40 45 50 55 0.2 OS 0.458 0.424 0.376 0.318 0.297 US 0.268 0.348 0.354 0.456 0.440 ED 0.375 0.388 0.365 0.393 0.375 QR 0.405 0.320 0.270 0.365 0.419 1 OS 0.479 0.439 0.387 0.371 0.269 US 0.298 0.385 0.390 0.499 0.491 ED 0.399 0.413 0.389 0.440 0.396 QR 0.422 0.364 0.360 0.371 0.460 Forest-1
compactness Measure 22 26 scale30 34 38
0.2 OS 0.422 0.300 0.309 0.314 0.263 US 0.245 0.266 0.303 0.518 0.587 ED 0.345 0.284 0.306 0.428 0.455 QR 0.371 0.307 0.347 0.346 0.429 1 OS 0.416 0.296 0.303 0.304 0.228 US 0.217 0.293 0.368 0.544 0.629 ED 0.332 0.295 0.337 0.441 0.473 QR 0.368 0.311 0.356 0.418 0.442 Forest-2
compactness Measure scale
22 26 30 34 38 0.2 OS 0.529 0.431 0.417 0.360 0.395 US 0.242 0.331 0.354 0.430 0.581 ED 0.411 0.385 0.387 0.397 0.497 QR 0.467 0.437 0.524 0.514 0.517 1 OS 0.553 0.372 0.355 0.325 0.348 US 0.224 0.232 0.348 0.383 0.500 ED 0.422 0.310 0.352 0.355 0.431 QR 0.449 0.364 0.465 0.552 0.514
scale 45, 밀집도 0.2로 나타났다. 이는 앞의 무감독 평가 와 거의 같은 결과로서, scale 45에서 과다분할 및 과소 분할 정도가 가장 낮게 나타났다. 영상분할에서 화소값 의 변이를 최대한 고려하여 분광거리의 비중을 높게 한 밀집도0.2에서 가장 높은 정확도가 나타나는 이유는 도 시영상의 공간객체에 해당하는 참조 객체인 주택 지붕 및 건물 옥상에 해당하는 화소들의 변이가 낮아 조각의 외부경계와 공간객체의 경계가 잘 일치하기 때문이다. Forest-1은 개체목 수관이 비교적 유사한 화소로 구 성된 수종을 참조자료로 이용했는데, 감독 평가 결과는 무감독 평가와 동일하게scale 26, 밀집도 0.2에서 가장 높은 정확도를 나타냈다. 이는 앞의 도시영상의 감독 평 가와 마찬가지로 동질의 화소로 구성된 개체목의 수관 경계와 조각의 외부 경계가 잘 일치하기 때문이다. 개 체목 수관이 상대적으로 이질적인 요소로 구성된 참나 무류를 참조자료로 한Forest-2에 대한 감독 평가 결과 는scale 26와 밀집도는 1.0을 적용한 분할에서 가장 높 은 정확도를 보여주었다. Forest-2에서 밀집도를 높게(m=1.0) 적용하여 분할한 결과가 가장 높은 정확도를 보이는 이유는, 참나무류 수 관이 분광특성이 다른 이질적인 요소로 구성되어 있기 때문이다. 밀집도를 낮게 하여 분광거리 가중치를 높게 적용하면, 유사한 값을 갖는 화소끼리 뭉치기 때문에 이 질적 요소로 구성된 수관은 많은 조각으로 과다분할 될 수 있다. Fig. 6은 Forest-2에 참조자료로 사용된 신갈나 무 개체목 수관의 경계(점선)와, scale 26에서 세 가지 밀 집도를 적용하여 분할한 조각의 경계(실선)을 중첩한 결과를 보여준다. 밀집도 m=0.2를 적용하면 분광거리 의 가중치가 공간거리보다5배이므로, 유사한 화소값 을 갖는 조각이 형성되어 하나의 개체목 수관이 많은 조 각으로 분할된다. 반면에 밀집도 m=1.0을 적용하면 분 광거리와 공간거리의 비중이 동일하게 적용되므로, 다 소 이질적인 분광특성을 갖는 요소도 공간거리에 따라 하나의 조각으로 합쳐지는 효과를 얻을 수 있다. 따라 서 높은 밀집도를 적용한 분할 결과, 개체목 수관내에 포함된 조각의 수도 작고 조각의 외부경계도 수관의 경 계와 상당히 일치하는 결과를 보여주었다. 참나무류와 같은 이질적 요소를 포함한 특정 공간객 체를 탐지하려면 밀집도를 높게 하여 분광거리의 영향 을 최소화하여 분할해야 한다. 반면에 모든 수종을 분 류하고자 한다면, 동질적인 수관특성을 가진 수종과 이 질적 수관특성을 가진 수종의 구성에 따라 적절한 밀집 도 선정이 필요하다. 결국 영상분할의 감독 평가는 영 상분할 목적에 따라 기준이 되는 참조자료 선정이 필요 하다. 특히 특정 공간객체를 탐지하고자 할 경우, 해당 공간객체에 가장 적합한 영상분할 매개변수를 감독 평 가를 통하여 도출할 수 있을 것이다. 3) 정성적 평가 결과 본 실험에서 사용한 도시 및 산림영상의 분할 결과에 대한 무감독 및 감독 평가 결과, 선정된 최적의 매개변 수는 거의 동일한 결과를 나타냈다. 그러나 F-score 및 감독 평가에 의한 정확도가 적정한 지 여부를 검증하고 자, 분할 결과에 대한 육안 판독을 통하여 정성적인 평 (a) (b) (c)
Fig. 6. Comparison between an oak tree crown and image segments obtained by applying three compactness (m) of (a) 0.2, (b) 0.6, (c) 1.0.
Fig. 7. Qualitative visual evaluation on the segmentation results by scale parameters. scale House roof Flat rooftop Factory Street trees
Pinus Robinia Quercus Quercus Mongolica Rigida Pseudoacacia Mongolica (damaged)
scale 35 45 55 22 26 30
가를 수행했다. Fig. 7은 도시지역 자연색 합성영상과 산림의 근적외 선 합성영상 위에scale을 다르게 적용하여 분할된 조각 들을 중첩한 결과를 보여준다. 판독 대상은 무감독 및 감독 평가 결과 선정된 최적의scale 및 주변 scale을 적용 한 분할 결과를 비교했으며, 매개변수 밀집도는 두 영상 에서 모두 분광거리가 강조된m=0.2를 적용한 결과다. 도시영상에서는 무감독 및 감독 평가에서 최적의 매개 변수로 선정된scale 45를 적용한 분할 결과를 scale 35와 55를 적용한 결과와 비교했으며, 주택, 건물 옥상, 공장, 가로수와 같이 경계가 뚜렷한 공간객체를 중점적으로 판독했다. 판독은 분할된 조각의 외부 경계와 공간객체 의 경계의 일치 여부와 공간객체 내부에 포함되는 분할 조각의 수를 기준으로 했다. Fig. 7에서 볼 수 있듯이, 도시영상에 분포하는 대부 분의 공간객체는 지붕 및 건물 옥상과 같이 유사한 분 광특성을 갖고 있기 때문에, 하나의 객체에서 과다분할 문제가 크게 나타나지 않는다. 매개변수 scale 45를 적용 한 결과는 건물의 경계와 분할된 조각들의 외부 경계가 가장 잘 일치한다. 매개변수 scale 35를 적용한 분할 결 과는 외부 경계가 어느 정도 일치하고 있으나, 조각이 과다하게 분할되었음을 볼 수 있다. 조각을 크게 하고 자scale 55를 적용한 분할 결과는 객체에 포함된 조각의 수는 줄었지만, 객체 경계와 불일치하는 부분이 많이 나 타났다. 건물이 아닌 가로수는 영상에서 분포하는 비율 이 매우 낮으므로, 판독에 적용된 scale에서는 개체목의 수관보다 큰 여러 그루의 나무가 하나의 조각으로 분할 된 결과를 볼 수 있다. 산림영상에서는 무감독 및 감독 평가에서 최적의 매 개변수로 선정된scale 26을 적용한 분할 결과와 scale 22 와30을 적용한 결과를 비교했다. 개체목 수관이 동질적 분광특성을 갖는 리기다소나무, 아카시나무와 수관특 성이 이질적인 참나무류를 함께 비교했다. 매개변수 scale 26을 적용하여 분할된 조각들의 외부 경계가 개체 목 수관 경계와 가장 일치하고 있음을 볼 수 있다. 특히 수관의 분광특성이 매우 동질적인 아카시나무는 개체 목의 수관이 하나로 분할된 조각의 경계와 거의 일치하 고 있다. 그러나 수관이 매우 이질적인 요소로 구성된 신갈나무 및 참나무시들음병에 감염된 피해목에서는 scale 26를 적용한 결과는 많은 부분에서 경계 불일치를 볼 수 있다. 물론 scale 26을 적용한 결과는 분할된 조각 수가scale 22를 적용한 결과보다 적으며, scale 30을 적용 한 결과보다 많게 보인다. 판독에 사용된 분할결과는 밀 집도 매개변수m=0.2를 적용하여 분광거리의 비중을 높게 했기 때문에 참나무 수관에서 이러한 경계 불일치 가 많이 나타났다. 앞의 Fig. 6에서 설명했듯이 이질적 요소가 혼재된 참나무 수관의 경우, 매개변수 m을 1로 했을 때 감독 평가 정확도가 높게 나타나며 육안 판독 결과 또한m=1.0을 적용한 결과가 가장 우수한 분할결 과를 보여준다. 영상분할 결과에 대하여 육안으로 경계 일치 여부와 조각 수를 기준으로 판독한 결과, 무감독 및 감독 평가 를 통하여 선정된 최적의 매개변수와 일치하는 결과를 보여주었다. 최적의 매개변수 선정을 위한 무감독 및 감 독 평가 방법은F-score 및 정확도와 같은 숫자만을 사 용한다. 그러나 다양한 공간객체의 크기, 형태, 분광특 성에 따라 분할 결과는 숫자로 평가하는 결과와 다를 수 있다. 예를 들어 다양한 수관 특성을 가진 산림에서 특 정 수종을 탐지하거나 또는 모든 수종을 개체목 단위로 분류하고자 한다면, 무감독 및 감독 평가와 함께 분할 결과에 대한 정성적인 평가도 함께 수행되어야 한다.
5. 결론
고해상도 영상은 관심 대상인 공간객체보다 훨씬 작 은 크기의 화소 때문에, 기존의 화소기반 처리 방법을 그대로 적용하는 데 문제가 있다. 영상분할은 객체기반 영상분석에서 반드시 필요한 처리 과정이며, 영상분할 결과에 따라 최종 분석결과의 정확도가 좌우된다. 본 연 구에서는 영상분할 결과에 대한 무감독 평가와 감독 평 가를 위한 여러 척도를 비교하였고, 정량적으로 제시된 최적의 매개변수에 의한 영상분할 결과를 육안 판독에 의한 정성적 평가로 검증하였다. 무감독 평가는 기본적으로 분할된 조각의 내부변이 가 낮고 조각간 이질성이 큰 경우를 가장 우수한 분할 결과로 판단한다. 따라서 무감독 평가는 토지피복 분류 및 수종 분류와 같이 영상 전체를 분류하기 위한 영상 분할에 적합한 평가 방법이라고 할 수 있다. 감독 평가 는 평가 기준이 되는 참조 공간객체를 선정하는 과정에서 분석자의 주관을 배제할 수 없지만, 비교적 빠르고 효과적으로 적용할 수 있는 평가 방법이다. 특히 영상 에서 특정 공간객체를 탐지하고자 할 경우, 해당 공간 객체의 크기 및 분광특성을 고려한 감독 평가는 매우 효 과적인 영상분할 평가 방법이 될 수 있다. 인천대공원 지역의 고해상도 무인기 다중분광영상 을 이용하여 영상분할 결과에 대한 무감독 평가에서 세 가지 조각 내부변이 척도와 네 가지 조각간 이질성 척 도를 조합하여 평가했으나, 가장 우수한 분할결과를 나 타내는 최고F-score는 평가 척도에 관계없이 대부분 동 일한 매개변수 조합에서 나타났다. 특히 조각간 이질성 을 나타내는MI와 BSH와 같이 많은 처리시간을 요구하 는 평가 척도와 비교적 간단한DTNP는, 최적의 매개변 수를 구하는 데 큰 차이가 없었다. 따라서 인접 조각을 찾는RAG 처리과정을 요구하지 않으면서, 조각간 이질 성을 잘 나타내는DTNP를 사용하는 조합이 최적의 무 감독 평가 방법으로 사용될 수 있다. 분할 결과에 대한 감독 평가 및 육안에 의한 정성적 평가 결과는 무감독 평가에 의하여 선정된 최적 매개변 수와 동일하게 나타났다. 감독 평가 및 육안에 의한 정 성적 평가는 간단하게 시험적으로 적용할 수 있는 효과 적인 방법이다. 그러나 감독 평가와 정성적인 평가를 적 용하려면 기준이 되는 참조 공간객체를 선정하는 과정 에서 분석자의 주관을 최대한 배제하는 방안이 마련되 어야 한다. 일반적으로 가장 좋은 영상분할 결과는 존재하기 어 렵다. 영상분할은 고해상도 영상을 분석하기 위한 중간 단계이며, 활용목적에 따라 최적의 영상분할 결과를 얻 기 위한 평가방법은 다르게 적용되어야 한다. 영상 전 체를 정해진 등급으로 분류하기 위한 영상분할이라면, 조각의 내부변이가 작고 조각간 차이가 커야 하는 무감 독 평가방법이 보다 적합하다. 반면에 영상에서 특정 공 간객체를 탐지하기 위한 영상분할이라면, 특정 공간객 체와 일치하는 조각의 수가 작고 경계선의 일치 여부를 측정하는 감독 평가 또는 정성적 평가가 보다 효과적인 방법이 될 수 있다. 영상분류 또는 공간객체 탐지를 위 한 표본영상을 추출하여, 목적에 맞는 영상분할 평가를 적용하면 최적의 매개변수를 선정할 수 있을 것이다. 객 체기반 영상분석을 위한 영상분할 기법은 인공지능 기 법을 포함하여 날로 발전하고 있으며, 이와 함께 영상 분할 품질을 평가할 수 있는 효과적이고 효율적인 방법 이 충분히 고려되어야 한다.
References
Achanta, R., A. Shaji, K. Smith, A. Lucchi, P. Fua, and S. Süsstrunk, 2012. SLIC superpixels compared to state-of-the-art superpixel methods, IEEE
Transactions on Pattern Analysis and Machine Intelligence, 34(11): 2274-2282.
Cao, J., W. Leng, K. Liu, L. Liu, Z. He, and Y. Zhu, 2018. Object-based mangrove species classification using unmanned aerial vehicle hyperspectral images and digital surface models, Remote
Sensing, 10(1): 89.
Chen, G., K. Zhao, and R. Powers, 2014. Assessment of the image misregistration effects on object-based change detection, ISPRS Journal of
Photogrammetry and Remote Sensing, 87: 19-27.
Chen, Y., D. Ming, L. Zhao, B. Lv, K. Zhou, and Y. Qing, 2018. Review on high spatial resolution remote sensing image segmentation evaluation,
Photogrammetric Engineering and Remote Sensing,
84(10): 629-646.
Chung, M., Y. Han, J. Choi, and Y. Kim, 2018. Optimal parameter analysis and evaluation of change detection for SLIC-based superpixel techniques using KOMPSAT data, Korean Journal of Remote
Sensing, 34(6-3): 1427-1443 (in Korean with
English abstract).
Chung, S.Y., J.S. Yim, and M.Y. Shin, 2011. A comparison of pixel-and segment-based classification for tree species classification using QuickBird imagery,
Journal of Korean Society of Forest Science,
100(4): 540-547 (in Korean with English abstract). Clinton, N., A. Holt, J. Scarborough, L.I. Yan, and
P. Gong, 2010. Accuracy assessment measures for object-based image segmentation goodness,
Crommelinck, S., R. Bennett, M. Gerke, M.N. Koeva, M.Y. Yang, and G. Vosselman, 2017. SLIC superpixels for object delineation from UAV data, ISPRS Annals of the Photogrammetry,
Remote Sensing and Spatial Information Sciences,
4: 9-16.
Dronova, I., P. Gong, N.E. Clinton, L. Wang, W. Fu, S. Qi, and Y. Liu, 2012. Landscape analysis of wetland plant functional types: The effects of image segmentation scale, vegetation classes and classification methods, Remote Sensing of
Environment, 127: 357-369.
Duro, D.C., S.E. Franklin, and M.G. Dubé, 2012. A comparison of pixel-based and object-based image analysis with selected machine learning algorithms for the classification of agricultural landscapes using SPOT-5 HRG imagery, Remote
Sensing of Environment, 118: 259-272.
Espindola, G.M., G. Câmara, I.A. Reis, L.S. Bins, and A.M. Monteiro, 2006. Parameter selection for region-growing image segmentation algorithms using spatial autocorrelation, International Journal
of Remote Sensing, 27(14): 3035-3040.
Franklin, S.E., 2018. Pixel-and object-based multispectral classification of forest tree species from small unmanned aerial vehicles, Journal of Unmanned
Vehicle Systems, 6(4): 195-211.
Gao, H., Y. Tang, L. Jing, H. Li, and H. Ding, 2017. A novel unsupervised segmentation quality evaluation method for remote sensing images, Sensors, 17(10): 2427.
Johnson, B.A., M. Bragais, I. Endo, D.B. Magcale-Macandog, and P.B.M. Magcale-Macandog, 2015. Image segmentation parameter optimization considering within-and between-segment heterogeneity at multiple scale levels: Test case for mapping residential areas using landsat imagery, ISPRS
International Journal of Geo-Information, 4(4):
2292-2305.
Lee, H.S., W.W. Seo, C. Woo, and K.S. Lee, 2019.
Derivation and evaluation of surface reflectance from UAV multispectral image for monitoring forest vegetation, Korean Journal of Remote
Sensing, 35(6-2): 1149-1160 (in Korean with
English abstract).
Ming, D., J. Li, J. Wang, and M. Zhang, 2015. Scale parameter selection by spatial statistics for GeOBIA: Using mean-shift based multi-scale segmentation as an example, ISPRS Journal of Photogrammetry
and Remote Sensing, 106: 28-41.
Najafi, P., B. Feizizadeh, and H. Navid, 2021. A Comparative Approach of Fuzzy Object Based Image Analysis and Machine Learning Techniques Which Are Applied to Crop Residue Cover Mapping by Using Sentinel-2 Satellite and UAV Imagery, Remote
Sensing, 13(5): 937.
Smith, A., 2010. Image segmentation scale parameter optimization and land cover classification using the Random Forest algorithm, Journal of Spatial
Science, 55(1): 69-79.
Su, T. and S. Zhang, 2017. Local and global evaluation for remote sensing image segmentation, ISPRS
Journal of Photogrammetry and Remote Sensing,
130: 256-276.
Wang, Y., Q. Qi, Y. Liu, L. Jiang, and J. Wang, 2019. Unsupervised segmentation parameter selection using the local spatial statistics for remote sensing image segmentation, International Journal of
Applied Earth Observation and Geoinformation,
81: 98-109.
Weidner, U., 2008. Contribution to the assessment of segmentation quality for remote sensing applications. International Archives of Photogrammetry, Remote
Sensing and Spatial Information Sciences, 37(B7):
479-484.
Yu, Q., P. Gong, N. Clinton, G. Biging, M. Kelly, and D. Schirokauer, 2006. Object-based detailed vegetation classification with airborne high spatial resolution remote sensing imagery, Photogrammetric
Zhang, H., J.E. Fritts, and S.A. Goldman, 2008. Image segmentation evaluation: A survey of unsupervised methods, Computer Vision and Image Understanding, 110(2): 260-280.
Zhang, X., P. Xiao, and X. Feng, 2012. An unsupervised evaluation method for remotely sensed imagery
segmentation, IEEE Geoscience and Remote
Sensing Letters, 9(2): 156-160.
Zhao, M., Q. Meng, L. Zhang, D. Hu, Y. Zhang, and M. Allam, 2020. A Fast and Effective Method for Unsupervised Segmentation Evaluation of Remote Sensing Images, Remote Sensing, 12(18): 3005.
