Korean Journal of Remote Sensing, Vol.37, No.2, 2021, pp.177~198
https://doi.org/10.7780/kjrs.2021.37.2.1 ISSN 1225-6161 ( Print )ISSN 2287-9307 (Online)
Article
소형객체 변화탐지를 위한 화소기반 변화탐지기법의 성능 비교분석
서정훈 1)·박원규2)·김태정 3),4)†Comparison of Pixel-based Change Detection Methods
for Detecting Changes on Small Objects
Junghoon Seo 1)·Wonkyu Park2)·Taejung Kim 3),4)†
Abstract: Existing change detection researches have been focused on changes of land use and land cover (LULC), damaged areas, or large vegetated and water regions. On the other hands, increased temporal and spatial resolution of satellite images are strongly suggesting the feasibility of change detection of small objects such as vehicles and ships. In order to check the feasibility, this paper analyzes the performance of existing pixel-based change detection methods over small objects. We applied pixel differencing, PCA (principal component analysis) analysis, MAD (Multivariate Alteration Detection), and IR-MAD (Iteratively Reweighted-MAD) to Kompsat-3A and Google Map images taken within 10 days. We extracted ground references for changed and non-changed small objects from the images and used them for performance analysis of change detection results. Our analysis showed that MAD and IR-MAD, that are known to perform best over LULC and large areal changes, offered best performance over small object changes among the methods tested. It also showed that the spectral band with high reflectivity of the object of interest needs to be included for change analysis.
Key Words: change detection, pixel-based, small object, high resolution
요약 : 변화탐지 연구는 주로 토지이용/피복의 변화, 재난/재해 피해지역과 같은 토지의 변화, 수역, 식생과 같 은 특정 넓게 분포하는 객체의 변화에 대한 연구가 진행되어 왔다. 한편, 위성영상의 공간/시간 해상도가 지속 적으로 향상됨에 따라 위성영상으로부터 선박, 차량과 같은 면적이 작은 객체의 변화탐지의 가능성이 높아지 고 있다. 이러한 가능성을 확인하기 위하여 본 논문에서는 위성영상으로부터 소형객체 변화탐지를 수행하기 위해 기존 화소기반 변화탐지기법의 성능을 분석하였다. 10일 이내의 짧은 시기에서 촬영된 Kompsat 3A 위성 Received November 19, 2020; Revised January 26, 2021; Accepted January 28, 2021; Published online March 9, 2021
1)인하대학교 스마트시티공학전공 석사과정생 (Master Student, Program in Smart City Engineering, Inha University) 2)쎄트렉아이 방산사업부문 전무 (Director, Defense Division, Satrec Initiative)
3)인하대학교 공간정보공학과 정교수 (Professor, Department of Geoinformatic Engineering, Inha University) 4)인하대학교 스마트시티공학전공 정교수 (Professor, Program in Smart City Engineering, Inha University)
†Corresponding Author: Taejung Kim ([email protected])
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
1. 서론
기술발전에 따라 인공위성 영상의 공간해상도와 시 간해상도가 지속적으로 향상되고 있다. 국내의 경우, 가 용한 고해상도 위성영상으로Kompsat 3호 및 3A호가 있으며 추후에0.5 m 해상도를 갖는 국토관측위성 1, 2 호가 발생 예정이다. 이러한 서브미터급 공간 해상도를 갖는 고해상도 위성영상에 대한 관심과 활용도가 증대 되고 있다. 특히, 영상의 해상도 증가에 따라 관측되는 객체의 형태가 상세히 표현 가능하므로 소형객체의 변 화탐지를 기대할 수 있다. 위성영상을 활용한 전통적인 변화탐지 연구는LULC(Land Use and Land Cover)의 변화, 재난/재해 피해지역
과 같은 토지의 변화, 수역, 식생과 같은 지표면에 넓게
분포하는 객체의 변화에 대한 연구가 진행되어 왔다.
Choi et al. (2017)는 Kompsat 2호 및 3호 영상을 이용하 여 변화탐지를 통한 산림황폐화 분석을 수행하였다. 해
외 연구의 경우에도 토지이용변화(Nielsen et al., 1998;
Nielsen, 2007; Li et al., 2017; Seydi et al., 2018; Du et al., 2019),
홍수피해탐지(Zang et al., 2016), 습지변화 (Ballanti et al.,
2017), 산림변화 (Housman et al., 2018) 등을 위한 변화탐
지기법들이 연구되었다. 고해상도 위성영상을 이용하
여 건축물에 대한 변화탐지 연구(Leichtle et al., 2017;
Wan et al., 2018; Wu et al., 2020) 및 도심지 변화탐지 (Saha
et al., 2019) 연구가 수행되었다. 최근 고해상도 위성영 상을 이용하여deep learning 등 감독방식으로 자동차, 선박, 항공기 등 소형객체에 대한 변화탐지가 보고된 바 가 있다(Peng et al., 2019). 그러나, 소형객체에 대한 화소 기반 무감독 변화탐지 연구는 본격적으로 진행된 바가 없다. 위성영상 해상도의 지속적 향상에 따라 높아지고 있는 소형객체 변화탐지의 가능성에 부응하기 위해서 고해상도 위성영상을 활용한 소형객체 변화탐지 연구 가 반드시 필요하다고 판단된다. 또한 상대적으로 빠른 시간에 수행될 수 있는 무감독 방식 소형객체 변화탐지 를 통해서 처리시간이 오래 걸리는 감독방식 변화탐지 의 작업범위를 줄여주기 위해 화소기반 소형객체 변화 탐지 연구가 필요하다. 본 연구의 목적은 고해상도 위성영상을 이용하여 소 형객체의 변화탐지 가능성을 점검하는 것이다. 본 연구 에서는 기존에 제안된 화소기반 변화탐지기법을 사용 하여 소형객체의 변화지역을 탐지하고 기존 화소기반 변화탐지 기법의 성능 분석을 수행하고자 한다. 화소기 반 변화탐지 기법은 영상의 화소값을 이용하여 훈련자 료 없이 변화탐지를 수행하는 무감독 방식으로서, 변화 전후 영상의 화소값을 차분하는 방식, 비율(ratio) 기법, 특정 지수(Index)를 계산 방법, 영상을 변환하여 변화
탐지로 주성분 분석(PCA, Principal component analysis),
MAD(Multivariate Alteration Detection), IR-MAD(Iteratively Reweighted-Multivariate Alteration Detection) 등이 있다.
본 연구에서는 차분방식, 주성분 분석, MAD, IR-MAD 를 적용하였으며 소형객체의 변화특성을 감안하여 변 화 전후 영상 간의 시간차이가 적은Kompsat-3A 영상 과Google 영상을 사용하였다. 영상의 전처리로 기하/ 정사보정과 영상 융합을 수행하였다. 각 영상에서 변화 지역 및 비변화지역 참조자료를 영상에 존재하는 소형 객체를 대상으로 추출하였다. 추출된 소형객체에 대해 각 변화탐지기법을 적용하여 성능을 분석하였으며 ROC(Receiver Operating Characteristic)와 AUC(Area Under Curve)를 이용하여 성능 비교 및 분석하였다.
영상 및Google Earth 영상을 이용하여 대표적인 화소기반 변화탐지기법인 차분, 주성분 분석, MAD 및 IR-MAD을 적용하였다. 영상에서 관측 가능한 소형 객체 주변으로 변화/비변화 참조자료를 정의하고 각 기법을 적용하여 얻어진 변화탐지 결과영상과 참조자료를 비교하여 성능을 분석하였다. 성능분석 결과 실험에 사용 한 모든 영상에서MAD, IR-MAD 기법이 상대적으로 우수한 성능을 제공하였다. LULC, 식생변화 등 대규모 지역의 변화탐지에 우수한 성능을 보인MAD, IR-MAD 기법이 소형객체의 변화탐지에도 적용될 수 있음을 확 인할 수 있었다. 아울러 변화탐지 대상인 소형객체에 높은 반사율 특성을 가지는 분광밴드를 변화탐지를 위한 분석에 포함하는 것이 소형객체 변화탐지율을 높일 수 있었다.
2. 사용 DATA
Kompsat 3A 위성영상은 5개의 연구지역, Google Earth 영상은 3개의 연구지역을 선정하였으며 각 연구 지역은 소형 차량, 선박, 트럭, 컨테이너와 같은 소형객 체의 변화가 존재하는 지역으로 선정하였다. 소형객체 특성상 면적이 작고 이동성이 뛰어나서 높은 공간/시간 해상도를 요구하기 때문에 가능한 짧은 시기로 선정하 기 위해 시기차이가10 일 이내의 고해상도 영상으로 구 성하였다. 소형객체를 구성하는 물체는 다양하며 객체 마다 서로 다르기 때문에 색상의 정보와 반사율 특성이 다양하다. 따라서 다양한 분광 특성을 반영하기 위해 다수의Spectral band의 정보를 사용하였다. Kompsat 3A
위성영상의 공간 해상도는 약0.5 m이며 Panchromatic
영상과 융합된 청색(Blue), 녹색(Green), 적색(Red), 근적
외선(Near Infrared) 4개의 밴드를 사용하였다. Google
Earth 영상의 경우 공간해상도 정보는 제공하지 않기 때
문에KML(Keyhole Markup Language)를 이용하여 고도
(altitude)를 1000 m로 설정하여 일정한 공간해상도를 갖
는 영상을 사용하였다. Google Earth 영상은 청색, 녹색,
적색3개의 밴드로 이루어져 있으며 각 밴드는 Spectral
특성을 반영하지 않고 색상 정보만을 제공한다. 각 데이
터 셋의 상세 정보는Table 1과 Fig. 1, Fig. 2와 같다.
각 데이터 셋의 성능 분석을 위해 소형객체 변화 지 역과 비변화 지역을 추출하여 참조자료(Ground Truth) 를 제작하였다. 소형객체에 대한 자세한 정보는 Table 2 와 같으며 배, 차량, 버스, 트럭, 대형 차량, 컨테이너 등 소형객체 지역을 참조자료로 사용하였다. 분석 객체의 수량을 증량하기 위해 버스와 트럭과 크기가 비슷한 컨 테이너와 같은 객체를 추출하였다. Google Earth 영상 인 연구지역 상하이1, 상하이2, 톈진의 경우 비변화객체 는 변화객체 지역을 제외한 지역으로 설정하였다. 연구 지역 마다 소형객체의 개수를 다르게 하여 다양한 환경 에서 변화탐지기법의 성능을 관측하였다. 사용된 소형 객체는Fig. 2와 같이 참조자료가 구성되어 있다.
Table 1. Study Data informations
Study Area Source resolutionSpatial resolutionSpectral BeforeTime resolutionAfter Image Size Incheon1 Kompsat 3A 0.5 m Blue: 450-520 nm Green: 520-600 nm Red: 630-690 nm NIR: 760-900 nm 18.01.19 18.01.27 6498 × 4810 Incheon2 18.01.19 18.01.27 6534 × 5811 Incheon3 18.01.19 18.01.27 4735 × 3365 Gyeongbuk 18.10.24 18.11.01 5612 × 4932 Seoul 17.02.23 17.02.24 4369 × 3281 Shanghai1
Google Earth – GreenBlue Red
17.04.23 17.12.18 4800 × 2337 Shanghai2 17.05.14 17.05.26 4800 × 2337 Tianjin 17.09.08 17.09.21 4800 × 2448
Table 2. Small object ground truth informations
Study Area Number of change Ground Truth Small object type objects Number of changeobject pixels Number of non-change objects change object pixelsNumber of
non-Incheon1 400 264061 350 139446 Ship/Vehicle/Container Incheon2 100 129858 100 78390 Ship/Vehicle/Container Incheon3 100 8844 25 2485 Vehicle/Container Gyeongbuk 71 8734 30 3059 Vehicle/Container Seoul 149 13482 152 40385 Ship/Vehicle Shanghai1 154 62470 – 11155081 Vehicle Shanghai2 53 21342 – 11196249 Vehicle Tianjin 112 57040 – 11693346 Vehicle
Fig. 1. Study area Data (From the Left: Before image, After image, Ground Truth), (a) Seoul, (b) Incheon1, (c) Incheon2, (d) Incheon3, (e) Gyeongbuk.
(a)
(b)
(c)
(d)
3. 연구방법
본 연구에서는Kompsat 3A 영상과 Google Earth 영
상에 기존 화소기반 변화탐지 기법을 적용하여 소형객 체의 변화 탐지 적용 가능성을 분석하였다. 정확한 변 화지역 탐지를 위한 전처리과정으로 다중시기의 전후 영상에 대하여 기하/정사 보정을 수행하였다. 이후 화 소 기반 변화탐지 기법인 차분, 주성분 분석, MAD, IR-MAD를 적용하여 변화량을 계산하였다. 각 기법의 결 과로 계산된 변화량 영상에 대하여 임계값을 적용해 변 화/비변화 이진영상을 생성하였다. 참조자료를 이용해 소형객체에 대한 변화탐지 성능곡선ROC과 성능지표 AUC를 계산하여 결과영상의 변화탐지 성능을 비교하 였다. 이러한 연구의 흐름을 Fig. 3에 요약하였다. 1) 전처리 수행 정확한 변화탐지 결과를 추출하기 위해 영상 전처리 과정은 필수적이다. 동일한 위치의 변화를 탐지하기 위
Fig. 2. Study area Data (From the Left: Before image, After image, Ground Truth), (a) Shanghai1, (b) Shanghai2, (c) Tianjin.
(a)
(b)
(c)
해 다수의 지상기준점(Ground Control Points)과 DEM (Digital Elevation Model)를 이용하여 KOMPSAT 3A Level 1R 영상에 기하/정사보정이 수행되었다. 소형객 체의 정밀한 변화를 탐지하기 위해 영상 융합 기법을 이 용하여 공간해상도를 향상시켰다. 영상 융합 기법은 주
로Multi-resolution Analysis(MRA) 기반과
Component-Substitution(CS) 기반으로 구분된다. 각 기법의 특성으 로MRA 기법은 분광왜곡이 적지만 공간해상도가 저하 되는 단점이 있다. 그러나 CS 기반의 기법은 공간해상 도 왜곡이 상대적으로 적어MRA보다 높은 활용도를 보인다(Oh et al., 2015). 따라서 소형 객체의 크기가 공간 해상도 왜곡이 적은Component-Substitution(CS) 기반의 영상 융합 기법을 적용하여 다중 밴드의 공간 해상도를 Pan 밴드의 공간 해상도와 동일하게 처리하였다. Google Earth 영상의 경우 기하/정사 보정이 미리 수행 되어 제공해주기 때문에 별도의 전처리를 수행하지 않 았다. 2) 화소 기반 변화탐지 기법 적용 (1) 차분기법 차분 방식은 변화탐지 기법 중 가장 쉽게 적용할 수 있는 기법이다. 이전시기와 이후시기의 영상 화소를 차 분하는 방식으로 직관적인 변화 결과를 제공한다. 차분 기법의 결과는 다양한 오차 요인으로 인해 정확한 변화 강도를 제공하지 않으며 변화지역의 정확도는 임계값 에 따라 결정되어 정확도가 임계값에 민감하다. 이러한 차분 기법을 이용해 소형객체에 대한 밴드 별 결과에서 소형객체의 변화 강도를 관측하고, 소형객체에 대한 밴 드 별 분광 특성을 파악하기 위해 사용하였다. (2) 주성분 분석 주성분 분석인PCA는 다중분광 밴드의 정보를 이용 하여 다수의 주성분으로 변환하여 새로운 영상을 얻는 기법이다. 주성분 분석은 서로 연관성 있는 고차원의 데 이터들을 연관성이 없는 저차원의 데이터인 주성분으 로 변환하여 사용한다. 따라서 높은 연관성을 갖는 다 중 시기 영상에서 변화 정보를 주성분으로 표현이 가능 하며 밴드 간 중복된 정보를 감소할 수 있다. 이러한 주 성분 분석의 장점을 이용하여2가지 방법으로 절대값 처리한 차분 결과를 주성분 계산하여 변화지역을 탐지 한 경우(D-PCA)와 원 영상의 정보를 주성분 계산한 후 차분 기법을 이용해 변화지역을 탐지한 경우(O-PCA) 의 두 가지로 나누어서 진행하였다. 주성분을 계산 과 정은 다음과 같다. 식 (1)과 같이 원본 영상 X는 m개의 분광밴드와 각 밴드마다N개의 화소로 구성되어 있으
며pixel jband i은band i의 j번째의 화소값을 의미한다.
X =
(
)
(1)영상X의 각 밴드 별 공분산을 구하면 식 (2)와 같은
공분산 행렬(COV)을 구성된다.
COV{Xband 1, …, Xband m} =
(
)
(2)공분산 행렬에 해당되는COVband i, band i은 식(3)과 같
이 밴드의 화소값과 화소값의 평균인meanband로 계산
된다.
covband i, band i= (3)
식(4)와 같이 영상 X의 공분산 행렬 Cov(Xband 1, …,
Xband m)에 대하여 특이값 분해를 하면 고유 벡터(eigen
vector) vec와 고유값(eigen value) λ을 계산하였다. COV{Xband 1, …, Xband m} = vec λ vect (4)
식(5)와 같이 영상 X의 데이터를 계산한 고유 벡터로
투영하여 각 고유 벡터에 대한 주성분 값인PCA_Img을
계산하였다.
PCA_Img = vectX (5)
(3) MAD 및 IR-MAD 기법
MAD는 정준상관분석(CCA, Canonical Correlation Analysis)을 기반으로 두 개의 다변량 변수 집단에 대한 연관성을 변수들의 선형결합의 상관계수를 이용하여 두 집단의 가장 높은 상관관계를 갖는 벡터를 계산하는 방식이다. 두 개의 집단의 높은 상관관계를 갖는 벡터 를 분광변환 계수로 이용해 다시기 영상간 편차를 최대 화된 변화지역을 탐지할 수 있다. 개념적으로 정준상관 분석과 주성분 분석과 유사하지만 다중시기 영상간 편 차를 최대화하는 새로운 분광 변환 영상을 생성하는 특 pixel 1band 1 ⋮ pixel 1band m pixel Nband 1 ⋮ pixel Nband m … ··· ⋮
covband 1, band 1
⋮
covband m, band 1
covband 1, band m
⋮
covband m, band m
… ··· ⋮
N
∑(pixel jband i– meanband i)2 j=1
징을 지닌다(Choi, 2015). n개의 분광 밴드를 갖는 원영 상X, Y에 분광변환 계수 a, b를 적용하여 변환영상 W, P를 식 (6)과 같이 생성한다. W = atX = a 1X1+ … + anXn P = btY = b 1Y1+ … + bnYn (6) 변환영상W, P의 분산은 식 (8)과 같이 변환계수 a, b 와 영상X, Y의 공분산으로 표현된다. 영상 X, Y의 공분 산은 식(7)과 같이 covXY로 계산된다. COV{X, Y} =
[
]
(7) Var{W} = atcov XXa Var{P} = btcov YYb (8) X, Y 영상간 상관도 ρ가 최대가 되는 a, b를 계산한다. 식(10)과 같이 상관도 ρ는 Corr{W, P}로 표현할 수 있으 며 변환영상W, P의 공분산은 식 (9)와 같이 계산된다. COV{W, P} = atcovXYb (9) ρ = Corr{W, P} = (10) 식(10)를 전개하며 식 (11), 식 (12)로 표현 가능하며Generalized eigenvalue problem을 이용하여 변환계수 a, b를 추정한다.
covXYcovYY–1covYXa = ρ2covXXa (11)
covYXcovXX–1covXYb = ρ2covYYb (12)
추출된 변환계수a, b는 식 (13)과 같이 변환영상 W, P 를 생성하여 변환영상의 차이에 대한 영상을MAD의 결과영상으로 사용한다. MAD = W – P (13) K =
(
)
2 (14) 변화지역을 탐지하기 위해 영상K를 사용할 수 있으 며 영상K는 식 (14)와 같이 생성한다. 이때 σMAD는MAD 의 관측값에 대한 표준편차이다. MAD를 이용하여 산 출된 영상K는 카이제곱 분포를 이룬다고 가정한다. IR-MAD는 반복적으로 원영상 X, Y에 다른 가중치를 적용 후MAD기법을 수행하여 변화지역을 탐지한다. 가중치는 영상K의 화소값을 이용해 가중치를 계산하 였으며 작은 변화지역에 큰 가중치를 입력하여 변화지 역을 강조하였다. 3) 성능 지표 계산 각 기법에 대한 결과를 성능을 분석하기 위해 성능곡 선인ROC커브와 AUC값을 사용하였다. 각 기법의 변 화량을 표현하고 있는 결과 영상에 임의의 임계값을 적용해False Alarm rate와 Recall 값을 계산한다. 임의의 임
계값들로 계산된False Alarm과 Recall 값을 이용해 ROC
커브를 생성한다. ROC는 X축으로 False Alarm rate와 Y
축으로Recall rate 이루어져 False Alarm와 Recall의 관계
를 나타낸다. 따라서 ROC 커브가 Y축에 근접할수록 좋
은 성능임을 나타낸다. ROC를 이용하여 정성적으로 각
기법 별 성능을 비교할 수 있으며 정성적으로 비교가 어
려운 경우 정량적인 지표인AUC를 이용하여 비교할 수
있다. ROC의 넓이를 AUC라 정의하며 False Alarm 비율
이 낮고Recall 높을 수 록 AUC 값이 1에 근접한다, 따라 서AUC 값이 1에 근접할수록 좋은 성능임을 나타낸다.
4. 화소기반 소행객체 변화탐지 결과
1) 차분기법 적용결과 차분 기법을 사용하여 소형객체의 분광특성을 파악 하기 위해 각 밴드 별 차분 기법을 적용하여 밴드 별 성 능을 관측하였다. KOMPSAT 3A 데이터 셋의 경우 각 밴드의 차분 결과는Fig. 4와 같다. KOMPSAT 3A 데이터셋의 차분 결과를 통해 사용된 소형객체는Fig. 5과 같이 육안적으로 적색, 근적외선 밴 드에서 높은 변화량을 갖고 있다. 밴드 별 변화탐지 성 능을 정량적으로 판단하기 위해Table 3와 같이 각 밴드 별AUC의 값으로 비교하였고 근적외선 밴드에 근접할 수록 좋은 성능 결과를 제공해주었다. KOMPSAT 3A의 데이터 셋의 차분 결과는 모든 연구지역에서 근적외선 밴드 차분결과가 가장 우수한 성능을 보여주었다. Google Earth 데이터 셋의 경우 3개의 밴드에 대하여 차분 기법을 적용하였다. 각 밴드 차분 결과는 Fig. 6과 같다. 상하이1의 경우 모든 밴드에서 비슷한 성능을 보여 주었으며 청색 밴드, 상하이2, 톈진 경우 적색 밴드에서 좋은 성능을 제시하였다. 그러나 Google Earth 데이터 셋의 결과로 분광 특성을 반영하지 않아 밴드에 따른 일 covXX covXY covYX covYY COV{W, P} Var{W}Var{P} n ∑ i=1 MAD i σMADiFig. 4. Difference result fore each Kompsat 3A Image band (From the Left: Blue, Green, Red, NIR), (a) Seoul, (b) Incheon1, (c) Incheon2, (d) Incheon3, (e) Gyeongbuk.
(a)
(b)
(c)
(d)
관성 있는 결과를 제공하지 않았다. 왜냐하면 Google Earth 영상은 반사율의 정보가 없어 소형객체의 색상에
따른 성능 결과를 제공하였다. 계산된 ROC와 각 연구
지역의ROC와 AUC는 Fig. 7, Table 3과 같다.
2) 주성분 분석 적용결과 단일 밴드 차분결과의 성능보다 향상시키기 위해 다 중 밴드의 정보를 융합하여 해석하기 위해 주성분 분석 과MAD, IR-MAD을 이용하였다. 주성분 분석에 사용 된 밴드로 청색, 녹색, 적색, 근적외선 밴드의 정보를 이 용하였다. 주성분 별 변화탐지 결과는 Fig. 8과 같다. D-PCA, O-PCA 모두 주성분1(PC1)에서 소형 객체의 변화 형태가 뚜렷하며 다른 지역의 노이즈가 적은 결과 를 제공하였다. 또한 Table 4와 같이 일반적으로 주성분 1에서 가장 좋은 변화탐지 성능을 제공하였다. 그러므 로 각 주성분 분석 기법 별 주성분1을 사용하였으며 각 연구지역의 주성분1 결과는 Fig. 9와 같다. 주성분 분석 의 경우 차분 결과의 변화 정보량을 주성분 분석한 D-PCA가 원 영상을 주성분 처리 후 주성분(Principal component)간의 차분한 O-PCA 경우보다 미세하게 좋
Fig. 5. Small object difference result fore each band, (a) Before image, (b) After image, (c) Blue, (d) Green, (e) Red, (f) NIR.
(a) (c) (d)
(b) (e) (f)
(a) (c) (d)
은 성능을 제공하였다. 단일 밴드의 차분 성능 보다 향
상된 경우도 있지만 대부분NIR 차분 성능 보다 하락된
성능을 제공하였다. Google Earth 데이터 셋은 K3A 데
이터 셋과 동일하게O-PCA, D-PCA 두 가지 방법으로
주성분 분석을 수행하였다. Kompsat 3A 데이터셋과 동
일하게O-PCA, D-PCA의 성능차이는 미세하게 D-PCA
가 우수하였으며 청색, 녹색, 적색밴드의 차분 성능보다
향상된 성능을 제공하였다. 각 연구지역의 ROC와 AUC
는Fig. 10, Table 4와 같다.
3) MAD 및 IRMAD 적용결과
MAD, IR-MAD의 경우 PCA와 동일하게 청색, 녹색,
적색, 근적외선 밴드의 정보를 이용하였다. 각 밴드 별 영향을 보기 위해 밴드를 조합하여MAD, IR-MAD를 수행하였다. Fig. 11과 같이 육안적으로 보았을 경우 차 분 결과에서 미흡한 성능을 보인 청색 밴드가 포함될 경 우 변화탐지에 적합하지 않은 결과를 도출하였다. 이를 정량적으로 평가하기 위해AUC값으로 분석할 결과 청색밴드가 포함되면 상대적으로 성능이 하락하 였으며 근적외선 밴드가 포함된 경우 높은 성능을 제공 해 주었다. 각 연구지역의 MAD, IR-MAD 결과는 Fig. 12와 같다.
Google Earth의 경우 객체의 색상에 따라 밴드의 성
능을 결정하였다. 따라서 모든 밴드를 사용하여 MAD
와IR-MAD를 수행하였다. 각 연구지역의 결과는 Fig.
13과 같다. IR-MAD가 MAD보다 미세하게 우수한 결과
Fig. 6. Difference result fore each Google Earth Image band (From the Left: Blue, Green, Red), (a) Shanghai1, (b) Shanghai2, (c) Tianjin.
(a)
(b)
Fig. 7. Difference method ROC for each band, (a) Seoul, (b) Incheon1, (c) Incheon2, (d) Incheon3, (e) Gyeongbuk, (f) Shanghai1, (g) Shanghai2, (h) Tianjin.
(a) (b)
(c) (d)
(e) (f)
(g) (h)
Fig. 8. Small object change magnitude Result for each PCA (From the left: PC1, PC2, PC3, PC4), (a) D-PCA result, (b) O-PCA result.
(a)
(b)
Table 3. AUC values for each difference bands
Study area Blue Green Red Near-Infrared Incheon1 0.5860 0.6820 0.7970 0.8773 Incheon2 0.5421 0.5733 0.6393 0.7289 Incheon3 0.6380 0.6993 0.7468 0.7487 Gyeongbuk 0.6373 0.7285 0.7967 0.8064 Seoul 0.7275 0.8582 0.8856 0.9077 Shanghai1 0.7597 0.7591 0.7359 – Shanghai2 0.6452 0.6655 0.7289 – Tianjin 0.8354 0.8370 0.8440 – mean 0.6714 0.7254 0.7718 0.8138
Table 4. AUC of PC1 values for each PCA methods
Study area O-PCA D-PCA
PC1 PC2 PC3 PC4 PC1 PC2 PC3 PC4 Incheon1 0.8093 0.8264 0.6904 0.6714 0.8263 0.2307 0.3328 0.4253 Incheon2 0.6802 0.6263 0.6697 0.5153 0.6784 0.7690 0.5514 0.5859 Incheon3 0.7237 0.6537 0.4825 0.5966 0.7383 0.6397 0.6005 0.4694 Gyeongbuk 0.7991 0.6837 0.5660 0.6300 0.8112 0.4651 0.6439 0.5790 Seoul 0.8783 0.8087 0.6794 0.6135 0.8976 0.5739 0.3761 0.4473 Shanghai1 0.7584 0.5306 0.5655 – 0.7616 0.4564 0.5409 – Shanghai2 0.6934 0.5080 0.6115 – 0.6884 0.6463 0.5239 – Tianjin 0.8422 0.5963 0.5397 – 0.8561 0.3689 0.6403 – mean 0.7731 0.6542 0.6006 0.6054 0.7822 0.5188 0.5262 0.5014
Fig. 9. PCA methods result (From the left: O-PCA, D-PCA), (a) Seoul, (b) Incheon1, (c) Incheon2, (d) Incheon3, (e) Gyeongbuk, (f) Shanghai1, (g) Shanghai2, (h) Tianjin.
(a) (b)
(c) (d)
(e) (f)
Fig. 10. PC1 ROC for each PCA, (a) Seoul, (b) Incheon1, (c) Incheon2, (d) Incheon3, (e) Gyeongbuk, (f) Shanghai1, (g) Shanghai2, (h) Tianjin. (a) (b) (c) (d) (e) (f) (g) (h)
O-PCA D-PCA
Fig. 11. MAD, IR-MAD result for each band composition, (a) BGR MAD, (b) BGR IR-MAD, (c) BGRN MAD, (d) BGRN IRMAD, (e) GRN MAD, (f) GRN IR-MAD.
(a) (c) (e)
(b) (d) (f)
(a) (c) (e)
Fig. 12. MAD, IR-MAD result for each Kompsat 3A band composition (From the left: BGR, BGRN, GRN band composition), (a) IR-MAD of seoul area, (b) MAD of seoul area, (c) IR-MAD of Incheon1 area, (d) MAD of Incheon1 area, (e) IR-MAD of Incheon2 area, (f) MAD of Incheon2 area, (g) IR-MAD of Incheon3 area, (h) MAD of Incheon3 area, (i) IR-MAD of Gyeongbuk area, (j) MAD of Gyeongbuk area.
(a)
(b)
(c)
Fig. 12. Continued.
(e)
(f)
(g)
Fig. 12. Continued.
(i)
(j)
Fig. 13. MAD, IR-MAD result for each Google Earth study area, (a) IR-MAD of shanghai1 area , (b) MAD of shanghai1 area, (c) IR-MAD of shanghai2 area, (d) MAD of shanghai2 area, (e) IR-MAD of Tianjin area, (f) MAD of Tianjin area.
(a) (c) (e)
Fig. 14. ROC of MAD, IR-MAD for each band composition, (a) Seoul, (b) Incheon1, (c) Incheon2, (d) Incheon3, (e) Gyeongbuk, (f) Shanghai1, (g) Shanghai2, (h) Tianjin.
(a) (b)
(c) (d)
(e) (f)
(g) (h)
IR-MAD_BGR IR-MAD_BGRN IR-MAD_GRN MAD_BGR MAD_BGRN MAD_GRN
를 제공하였다. 각 연구지역의 ROC와 AUC은 Fig. 14, Table 5과 같다.
5. 결론
소형객체의 변화를 탐지하기 위해 기존의 화소 기반 변화탐지 기법을 적용 후 각 기법의 성능을AUC 값을 이용하여 비교하였다. 단일 밴드의 차분 결과로 근적외 선밴드(NIR), 적색밴드, 녹색밴드, 청색밴드 순으로 좋 은 성능을 보여주었다. 이러한 결과는 소형객체의 반사 율과 색상의 특성이 다양하지만NIR 밴드에서 대부분 의 물체가 높은 반사율을 제공하기 때문에 우수한 변화 탐지 결과를 제공한다. 이후 차분 기법의 성능 향상을 위해 상대 방사보정을 적용할 필요가 있다. 주성분 분 석은 주성분 순서대로 많은 정보를 담고 있기 때문에 대 부분 연구지역에서 주성분1이 좋은 성능을 보여주었으 며D-PCA 방법이 O-PCA보다 약소하게 우수한 성능을 제공하였다. 그러나 주성분 1이외의 주성분에서 좋은 성능을 제공한 경우도 있으며 차분 결과보다 감소된 성 능 결과를 보여주었다. 이러한 성능 제공은 안정적으로 우수한 성능을 보장하지 못하므로 주성분을 이용한 소 형객체 변화탐지는 적합하지 않다. MAD와 IR-MAD의 결과로 다중 밴드 정보 융합으로 성능이 향상됨을 확인 할 수 있었으며 대부분의 연구지역에서 좋은 성능을 제 공하였다. 밴드의 영향을 보기 위해 밴드 조합에 따른 결과를 추출하였고NIR 밴드를 포함할 경우 성능이 향 상되었음을 확인하였다. MAD, IR-MAD를 사용하여 다 중 밴드 정보를 융합할 시 소형객체에 높은 반사율을 갖 은NIR 밴드를 사용하는 것이 변화탐지에 유리함을 알 수 있었다. 기존 변화탐지 논문에서 주요 관심 대상인 식생, 토 지이용 등 일정한 반사율 특성을 갖는 객체와 다르게 소 형객체는 색상과 반사율이 객체마다 서로 다르다. 그러 나 기존 변화탐지 연구사례와 동일하게 단일 밴드의 결 과 보다 다중 분광밴드를 사용한 결과가 우수하였으며 높은 반사율을 갖는 밴드를 사용하는 것이 좋은 성능을 제공하였다. 기존의 식생, 습지, 재난 피해지역 및 토지 이용의 변화와 같은 면적이 큰 객체에 대한 변화탐지 연 구와 동일하게 소형객체의 특성을 활용하면 변화탐지 가능할 것이다. 변화탐지의 성능을 향상시키기 위해 오탐지를 감소 시켜야 한다. 본 연구도 전체 지역에서 소형 객체 외 다 른 지역에서 변화가 발생하였다. 이는 오탐지이며 이 를 제거하는 방안이 필요하다. 오탐지 감소 방안으로 Feature를 이용할 계획이다. Feature는 객체의 하위 개념 으로 점, 선, 면과 같은 객체를 구성하는 요소이다. 이러 한feature는 컴퓨터 비전 분야에서 객체를 탐지하기 위 해 사용되고 있다. 따라서 Feature는 객체를 나타내기 때문에Feature 변화를 통해 객체 위치와 형태의 변화를 관측할 수 있다. Feature의 변화 정보와 반사율 변화 정 보를 융합하여 통해 소형객체 위주의 변화탐지의 연구 가 필요하다.Table 5. AUC value of MAD, IR-MAD for each band composition
Study area BGR IR-MADBGRN GRN BGR BGRNMAD GRN Incheon1 0.8430 0.8770 0.8983 0.8619 0.9042 0.9296 Incheon2 0.6031 0.7064 0.7047 0.6852 0.7133 0.7328 Incheon3 0.8052 0.7638 0.8175 0.8098 0.8050 0.8162 Gyeongbuk 0.8383 0.8389 0.8490 0.8134 0.8239 0.8395 Seoul 0.8974 0.8279 0.9054 0.8771 0.8787 0.9006 Shanghai1 0.7424 – – 0.7322 – – Shanghai2 0.9253 – – 0.9200 – – Tianjin 0.8575 – – 0.8562 – – mean 0.8140 0.8028 0.8350 0.8195 0.8250 0.8437
사사
본 연구는 쎄트렉아이의 연구비지원에 의해 수행되 었습니다.
References
Ballanti, L., K.B. Byrd, I. Woo, and C. Ellings, 2017. Remote sensing for wetland mapping and historical change detection at the Nisqually River Delta,
Sustainability, 9(11): 1919-1950.
Choi, J., 2015. Unsupervised Change Detection for Very High-spatial Resolution Satellite Imagery by Using Object-based IR-MAD Algorithm,
Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography,
33(4): 297-304 (in Korean with English abstract). Choi, J., H. Park, N. Park, S. Han, and J. Song, 2017.
Deforestation Analysis Using Unsupervised Change Detection Based on ITPCA, Korean
Journal of Remote Sensing, 33(6-3): 1233-1242
(in Korean with English abstract).
Du, B., L. Ru, C. Wu, and L. Zhang, 2019. Unsupervised deep slow feature analysis for change detection in multi-temporal remote sensing images, IEEE
Transactions on Geoscience and Remote Sensing,
57(12): 9976-9992.
Housman, I.W., R.A. Chastain, and M.V. Finco, 2018. An evaluation of forest health insect and disease survey data and satellite-based remote sensing forest change detection methods: Case studies in the United States, Remote Sensing, 10(8): 1184-1204.
Oh, K., H. Jung, and N. Jeong, 2015. Pansharpening Method for KOMPSAT-2/3 High-Spatial Resolution Satellite Image, Korean Journal of Remote Sensing, 31(2): 161-170 (in Korean with English abstract). Li, Z., W. Shi, H. Zhang, and M. Hao, 2017. Change
detection based on Gabor wavelet features for very high resolution remote sensing images,
IEEE Geoscience and Remote Sensing Letters,
14(5): 783-787.
Leichtle, T., C. Geiß, M. Wurm, T. Lakes, and H. Taubenböck, 2017. Unsupervised change detection in VHR remote sensing imagery-an object-based clustering approach in a dynamic urban environment,
International Journal of Applied Earth Observation and Geoinformation, 54: 15-27.
Nielsen, A.A., K. Conradsen, and J.J. Simpson, 1998. Multivariate alteration detection (MAD) and MAF postprocessing in multispectral, bitemporal image data: New approaches to change detection studies, Remote Sensing of Environment, 64(1): 1-19.
Nielsen, A.A., 2007. The regularized iteratively reweighted MAD method for change detection in multi-and hyperspectral data, IEEE Transactions on Image
Processing, 16(2): 463-478.
Peng, D., Y. Zhang, and H. Guan, 2019. End-to-end change detection for high resolution satellite images using improved unet++, Remote Sensing, 11(11): 1382-1404.
Seydi, S.T. and M. Hasanlou, 2018. Sensitivity analysis of pansharpening in hyperspectral change detection,
Applied Geomatics, 10(1): 65-75.
Saha, S., F. Bovolo, and L. Bruzzone, 2019. Unsupervised deep change vector analysis for multiple-change detection in VHR images, IEEE Transactions on
Geoscience and Remote Sensing, 57(6): 3677-3693.
Wan, L., T. Zhang, and H.J. You, 2018. Multi-sensor remote sensing image change detection based on sorted histograms, International Journal of Remote
Sensing, 39(11): 3753-3775.
Wu, J., B. Li, W. Ni, and W. Yan, 2020. An adaptively weighted multi-feature method for object-based change detection in high spatial resolution remote sensing images, Remote Sensing Letters, 11(4):
333-342.
Zhang, P., M. Gong, L. Su, J. Liu, and Z. Li, 2016. Change detection based on deep feature representation and mapping transformation for
multi-spatial-resolution remote sensing images,
ISPRS Journal of Photogrammetry and Remote Sensing, 116: 24-41.
