https://doi.org/10.7848/ksgpc.2019.37.3.199
전이학습과 딥러닝 네트워크를 활용한 고해상도 위성영상의 변화탐지 Change Detection for High-resolution Satellite Images Using Transfer
Learning and Deep Learning Network
송아람1) · 최재완2)· 김용일3)
Song, Ah Ram · Choi, Jae Wan · Kim, Yong Il Abstract
As the number of available satellites increases and technology advances, image information outputs are becoming increasingly diverse and a large amount of data is accumulating. In this study, we propose a change detection method for high-resolution satellite images that uses transfer learning and a deep learning network to overcome the limit caused by insufficient training data via the use of pre-trained information. The deep learning network used in this study comprises convolutional layers to extract the spatial and spectral information and convolutional long-short term memory layers to analyze the time series information. To use the learned information, the two initial convolutional layers of the change detection network are designed to use learned values from 40,000 patches of the ISPRS (International Society for Photogrammertry and Remote Sensing) dataset as initial values. In addition, 2D (2-Dimensional) and 3D (3-dimensional) kernels were used to find the optimized structure for the high-resolution satellite images. The experimental results for the KOMPSAT-3A (KOrean Multi-Purpose SATllite-3A) satellite images show that this change detection method can effectively extract changed/unchanged pixels but is less sensitive to changes due to shadow and relief displacements. In addition, the change detection accuracy of two sites was improved by using 3D kernels. This is because a 3D kernel can consider not only the spatial information but also the spectral information. This study indicates that we can effectively detect changes in high-resolution satellite images using the constructed image information and deep learning network. In future work, a pre-trained change detection network will be applied to newly obtained images to extend the scope of the application.
Keywords : High-resolution Satellite Images, Change Detection, Deep Learning, Transfer Learning, Fully Convolutional Layer, Convolutional Long Short Term Memory Layer
초 록
운용 가능한 위성의 수가 증가하고 기술이 진보함에 따라 영상정보의 성과물이 다양해지고 많은 양의 자료가
축적되고 있다. 본 연구에서는 기구축된 영상정보를 활용하여 부족한 훈련자료의 문제를 극복하고 딥러닝(deep
learning) 기법의 장점을 활용하고자 전이학습과 변화탐지 네트워크를 활용한 고해상도 위성영상의 변화탐지를 수행하였다. 본 연구에서 활용한 딥러닝 네트워크는 공간 및 분광 정보를 추출하는 합성곱 레이어(convolutional layer)와 시계열 정보를 분석하는 합성곱 장단기 메모리 레이어(convolutional long short term memory layer)로 구 성되었으며, 고해상도 다중분광 영상에 최적화된 정보를 추출하기 위하여 커널(kernel)의 차원에 따른 정확도를 비
교하였다. 또한, 학습된 커널 정보를 활용하기 위하여 변화탐지 네트워크의 초기 합성곱 레이어를 고해상도 항공영
상인 ISPRS (International Society for Photogrammetry and Remote Sensing) 데이터셋에서 추출된 40,000개의 패치로 학습된 값으로 초기화하였다. 다시기 KOMPSAT-3A (KOrean Multi-Purpose SATllite-3A) 영상에 대한 실
험 결과, 전이학습과 딥러닝 네트워크를 활용할 경우 기복 변위 및 그림자 등으로 인한 변화에 덜 민감하게 반응하
며 분류 항목이 달라진 지역의 변화를 보다 효과적으로 추출할 수 있었으며, 2차원 커널보다 3차원 커널을 사용할
때 변화탐지의 정확도가 높았다. 3차원 커널은 공간 및 분광정보를 모두 고려하여 특징 맵(feature map)을 추출하
기 때문에 고해상도 영상의 분류뿐만 아니라 변화탐지에도 효과적인 것을 확인하였다. 본 연구에서는 고해상도 위
성영상의 변화탐지를 위한 전이학습과 딥러닝 기법의 활용 가능성을 제시하였으며, 추후 훈련된 변화탐지 네트워
크를 새롭게 취득된 영상에 적용하는 연구를 수행하여 제안기법의 활용범위를 확장할 예정이다.
핵심어 : 고해상도 위성영상, 변화탐지, 딥러닝, 전이학습, 완전 합성곱 레이어, 합성곱 장단기 메모리 레이어 Original article
Received 2019. 06. 04, Revised 2019. 06. 18, Accepted 2019. 06. 21
1) Member, Dept. of Civil and Environmental Engineering, Seoul National University (E-mail: [email protected]) 2) Member, School of Civil Engineering, Chungbuk National University (E-mail: [email protected])
3) Corresponding Author, Member, Dept. of Civil and Environmental Engineering, Seoul National University (E-mail: [email protected])
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://
creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium,
1. 서 론
변화탐지는 원격탐사의 주요 연구 분야이며, 서로 다른 시 기에 취득된 영상을 이용하여 동일한 지역에서 발생한 공간 및 분광 변화를 분석하여 자연재해로 인한 피해지역 검출, 식 생 및 도심지 모니터링 등에 활용되는 기술이다(Han et al., 2017; Yu et al., 2017).
전 세계적으로 운용 가능한 위성의 수가 증가하고 센서 (sensor) 제작 기술의 발달로 공간 해상도 1m 이내의 영상이 취득됨에 따라 관심 지역에 대한 많은 양의 고해상도 영상이 구축되고 있다. 그러나 고해상도 영상을 변화탐지에 활용하 기 위해서는 영상의 공간적 복잡도가 증가하는 문제, 영상 간 의 기하학적인 불일치 등에서 기인하는 문제를 고려해야 한다 (Jeong, 2005; Dellinger et al., 2014).
고해상도 영상의 변화탐지 기법은 크게 화소 기반과 객체 기반으로 구분할 수 있다. 화소 기반 기법은 변화로 인한 분 광 특성의 미세한 차이를 분석할 수 있으나 주변화소와의 상 관성을 반영하기 어렵고, 잡음에 대한 영향을 많이 받기 때문 에 상대적으로 잡음과 기하학적 오차에 덜 민감한 객체 기반 기법의 연구가 진행되었다(Hussian et al., 2013; Choi, 2015;
Chung et al., 2018; Wang et al., 2018; Tan et al., 2019).
그러나 객체기반 변화탐지의 경우 유의미하지만 작은 객체 를 고려하지 못할 가능성이 있고 객체의 크기를 결정하는 최 적의 스케일 파라미터(scale parameter)들이 영상에 따라 달 라질 수 있기 때문에 다시기 영상에서 일관된 크기의 객체를 추출하기 어렵다. 또한 객체 분할 과정에서 과분할 오류(over- segmentation error) 및 미분할 오류(under-segmentation error)가 발생할 수 있다(Hussian et al., 2013).
최근에는 많은 양의 데이터로부터 스스로 유의미한 정보 를 추출하고 특징을 학습할 수 있는 딥러닝(deep learning) 기 반의 변화탐지 기법이 주목받고 있다. CNN (Convolutional Neural Network)은 대표적인 딥러닝 구조로써, 합성곱 레이 어(convolutional layer)를 통해 영상의 유의미한 특징을 추 출하고 이를 기반으로 분류를 수행한다. CNN을 활용한 변 화탐지의 경우, 다시기 영상에서 각각 유의미한 특징을 추출 하고 이를 기반으로 분류된 결과를 비교하는 방법과(Lim et al., 2018; Zhang et al., 2019), 차영상(difference image)을 추 출한 뒤 이를 CNN에 입력자료로 활용하여 변화탐지를 수행 하는 연구(Wang et al., 2018; Wiratama et al., 2018)가 있다.
CNN은 영상의 특징을 찾아내기 위하여 일정한 크기의 커널 (kernel)을 활용한다. 따라서 특정 화소를 중심으로 커널 내 의 주변화소와의 관계를 반영하여 학습할 수 있으므로 화소
기반과 객체기반 기법의 특징을 모두 가지고 있는 장점이 있 다(Zhang et al., 2019). 그러나 CNN은 구조 내에서 시계열 정 보를 처리할 수 없기 때문에 end-to-end 방식, 즉 자료변환 및 후 분류 작업과 같은 전·후처리를 수행하지 않고 네트워크의 학습만으로 변화를 추출할 수 없다는 단점이 있다.
딥러닝 기법 중 시계열 자료를 처리할 수 있는 대표적인 네트워크로는 LSTM (Long Short Term Memory)이 있다.
LSTM은 두 입력 자료의 시간적 관계를 분석하여 다시기 영상에서 변화 화소를 추출한다(Lyu et al., 2016). 그러나 LSTM은 계산 과정에서 모든 화소를 1차원 으로 변환하기 때 문에 입력영상의 공간구조를 유지하기 어렵다는 한계가 있다.
이러한 한계를 극복하기 위하여 최근에는 CNN과 LSTM의 장점을 혼합한 변화탐지 네트워크들이 개발되고 있다. Mou et al. (2019)은 변화탐지를 위한 2차원 합성곱 레이어와 LSTM 을 합성하여 다중분광영상의 변화지역을 추출하였고, Song et al. (2018)은 3차원 합성곱 레이어와 합성곱 LSTM을 합성 한 네트워크를 활용하여 초분광 영상의 변화탐지를 수행하였 다. 그러나 기존의 혼합 네트워크의 경우 공간해상도 30m의 중·저해상도의 영상을 대상으로 성능이 검증되었으며, 부족 한 훈련자료의 문제가 한계로 지적되고 있다.
따라서 본 연구에서는 부족한 훈련자료의 한계를 극복하 고자 전이학습(transfer learning)을 통하여 기구축된 고해상 도 항공 영상으로 학습된 정보를 활용하였으며, 고해상도 영 상의 변화탐지를 위한 최신 딥러닝 네트워크의 적용가능성 을 평가하고자 커널의 차원에 따른 변화탐지 네트워크 성능 을 분석하였다.
2. 실험데이터
2.1 ISPRS 데이터셋 (International Society for Photogrammetry and Remote Sensing dataset)
본 연구에서는 부족한 훈련자료의 한계를 극복하고자, 많 은 양의 데이터셋에서 훈련된 네트워크의 파라미터를 변화 탐지 네트워크에 활용하는 전이학습을 수행하였다. 전이학 습을 위해 사용된 영상 자료는 ISPRS 2D (two-dimensional) Semantic Labelling Challenge의 Potsdam 지역의 영상으 로 가시광-근적외선 영역에서 취득한 총 4개의 밴드와 영 상에 따른 6개의 항목(불투수면(impervious surface), 건물 (building), 나무(tree), 적은 식생(low vegetation), 자동차 (car), 배경(background))으로 분류된 참조 지도를 제공 한다 (Fig. 1). 학습에 사용된 영상은 6000 × 6000 화소로 구성되
어 있으며, 공간해상도는 5cm 이다. 총 38개의 패치(patch) 중 참조 지도가 구축된 24개의 영상을 사용하였으며, 연산효율 을 위하여 30 × 30 화소로 구성된 총 40,000개의 패치를 저 장하고 이를 학습에 사용하였다.
Fig. 1. The example of ISPRS 2D Semantic Labelling Challenge datasets (http://www2.isprs.org/
commissions/comm3/wg4/semantic-labeling.html)
2.2 다시기 KOMPSAT-3A (KOrean Multi- Purpose SATllite-3A) 영상
변화탐지에 사용된 영상은 2015년 10월()과 2018년 7 월()에 취득된 대전광역시 죽동 국가산업단지 일대의 KOMPSAT-3A 영상으로, 두 영상에는 계절의 차이에 따른 식생 분포의 변화, 건물의 신축 등으로 인한 시가지역의 변 화가 존재한다. KOMPSAT-3A의 공간해상도는 0.55m(전정 색 영상), 2.20m(다중분광 영상)이며, 가시광영역에서 근적 외선 영역에 이르는 총 5개의 밴드로 구성된다. 또한, 공간해 상도가 향상된 영상으로 실험을 진행하기 위하여 전처리단계 에서 NDVI (Normalized Difference Vegetation Index)기반 Hybrid pan-sharpening 기법(Choi et al., 2017)을 적용하였다.
실험지역 1(site 1)과 실험지역 2(site 2)의 영상은 Fig. 2와 같 다. 변화에 따른 참조 지도는 불투수면, 건물, 식생 등과 같이 분류 항목의 변화가 뚜렷한 지역의 공간적 변화 및 화소의 분 광곡선의 차이 등을 분석하여 구축되었으며, 변화/비변화 항 목으로 구분된다. 적은 식생과 나지를 포함하는 배경은 뚜렷 한 분광특성이 차이를 정의하기 어렵기 때문에 둘 사이의 변 화는 변화항목으로 구분하지 않았다. 또한, 자동차의 이동으 로 인한 변화, 기복 변위 및 그림자의 변화도 변화항목으로 구 분하지 않았다.
Fig. 2. Two study sites with multi-temporal KOMPSAT- 3A CIR (Color InfraRed) imagery; site 1 acquired at
times (a) T1, (b) T2and site 2 acquired at times (c)T1, (d) T2
3. 연구 방법
본 연구에서는 전이학습과 딥러닝 네트워크를 사용하여 변 화탐지를 수행하였으며, 연구의 전체 흐름은 Fig. 3과 같다. 고 해상도 다중분광 영상을 대상으로 학습한 정보를 저해상도 초분광영상에 적용한 전이학습을 적용하여 변화탐지 정확도 를 개선한 선행 연구가 있었으나(Song, 2019), 소스(source) 영
(a)
(c)
(b)
(d)
상과 타겟(target) 영상의 분류 항목, 해상도 등의 차이가 큰 한 계가 있었다. 본 연구에서는 고해상도 다중분광 위성영상의 효과적인 변화탐지를 위하여 분광 및 공간해상도가 유사한 고해상도 항공 영상을 활용함으로써 부족한 훈련자료의 한 계를 극복하였으며, 커널의 차원에 따른 네트워크의 성능을 평가하고자 하였다.
Fig. 3. The framework of transfer learning and change detection network
3.1. 딥러닝 네트워크
본 연구에서는 변화탐지를 위하여 공간 및 분광정보를 추 출하는 합성곱 레이어와 시계열 데이터를 분석하는 합성곱 LSTM 레이어를 합성한 구조를 사용 하였으며(Song et al., 2018), 네트워크 끝단에 완전 연결 레이어(fully connected layer) 대신 합성곱 레이어를 배치함으로써 입력영상의 2차 원 구조를 유지하고 영상의 크기에 상관없는 FCN (Fully Convolutional Network) 구조를 사용하였다.
합성곱 레이어는 커널의 윈도우(window)를 일정 간격으로 이동해가며 합성곱 연산을 수행한다. 커널이 2차원인 경우, 타겟 화소를 중심으로 커널의 크기에 해당하는 주변화소와 연산이 수행되며(Eq. (1)), 이는 2차원 공간정보가 반영된다 고 볼 수 있다.
(1)
where is the output feature value targeted at position
, is the activation function, is the weight for the input which is located at in the 2D convolution kernel, is the input value at position
with an offset of to , and is the bias in the convolution neuron (Mei et al., 2017).
다양한 연구에서 고해상도 영상의 분류 및 변화탐지를 위 하여 2차원 커널을 활용한 네트워크를 사용하고 있다(Li et al., 2018; Wang et al., 2018).
반면 3차원 커널의 경우, 타겟 화소를 중심으로 2차원 정보 뿐만 아니라 근접한 밴드의 정보까지 연산에 활용하기 때문 에(Eq. (2)) 공간 정보와 함께 분광정보도 반영할 수 있어 주 로 밴드가 많은 다중분광영상과 초분광 영상에 사용되었다 (Ji et al., 2018; Wang et al., 2018).
(2)
where is the output feature value targeted at position
, is the weight for the input
which is located at in the 3D convolution kernel, is the input value at position
with an offset of to (Mei et al., 2017).
Fig. 4는 2차원과 3차원 합성곱 연산의 구조를 나타낸다. 2 차원 커널의 경우 밴드 간 연산을 수행하지 않지만 3차원 커널 의 경우 밴드 간 연산이 수행되는 것을 확인할 수 있다.
Fig. 4. Comparison of (a) 2D and (b) 3D (three- dimensional) convolution operation (Song, 2019)
합성곱 레이어를 통해 추출된 특징맵들은 합성곱 LSTM 레이어의 입력 데이터가 된다. LSTM 이란 과거의 출력값이 다시 입력값이 되는 구조로써 시계열 정보를 처리하는 RNN (Recurrent Neural Network)의 대표적인 모델이다. LSTM은 셀 스테이트(cell state)를 통해 이전정보를 반영하는데, 세 개 의 게이트(망각게이트(forget gate), 입력게이트(input gate), 출 력게이트(output gate))를 통해 셀 스테이트의 삭제할 부분, 기 억할 부분, 읽어 들일 부분을 학습한다. 망각게이트는 과거의 정보를 잊기 위한 게이트이며, 입력 게이트는 현재의 정보를 기억하기 위한 게이트, 출력 게이트는 무엇을 내보낼지 결정 하는 게이트이다. 셀 스테이트는 타임 스텝(time step)마다 일 부 기억을 삭제하고 추가하는 과정을 거치게 된 후, 단기 상태
를 출력값으로 내보낸다. LSTM의 경우, 음성, 문자와 같은 시 계열 데이터를 처리하는 과정에서 데이터를 1차원으로 변환 하여 처리한다. 따라서 영상에 적용될 경우에 공간정보가 손 실될 가능성이 있다. 입력 자료의 공간정보를 고려하기 위하 여 합성곱 연산과 LSTM의 장점을 결합한 합성곱 LSTM이 개발되었다(Xingjian et al., 2015). 합성곱 LSTM은 LSTM 내 부의 행렬곱 연산이 합성곱 연산으로 대체되며 Eqs. (3)-(8)과 같이 계산된다.
W *W* ), (3)
W *W* ), (4)
WW , (5)
tanhWW , (6)
where is forget gate, is input gate, is output gate, and is candidate cell state at time . is input and is hidden state. ∙ terms denote the weight matrices and ∙ term is the bias variable. for examples, is input- output gate matrix and is bias of output gate. is the logistic sigmoid function,‘*’denotes the convolution operator and ‘∘’ denotes the Hadamard product. ∘ ∘ (7)
∘ tanh . (8) where is cell state at and it can be updated by using Eqs. (3)-(6). The is controlled by and .
합성곱 LSTM 레이어의 출력 특징맵은 분류를 위한 하나 의 추가 합성곱 레이어를 통과하게 되고 손실함수를 통해 출 력값과 참값의 오차가 최소화 되도록 네트워크 파라미터를 학습한다. 학습이 끝난 뒤 최종적으로 모든 화소는 변화 또는 비변화 항목으로 분류된다.
3.2. 전이학습
본 연구에서 활용한 변화탐지 네트워크의 합성곱 레이어 는 다시기 영상에서 각각 유의미한 특징맵을 추출하며, 합 성곱 LSTM 레이어에서 특징맵들의 시계열 정보를 분석하 여 변화탐지를 수행한다. 변화탐지 네트워크는 입력 영상을
× ×(h는 입력 영상의 밴드 수)로 나눈 3차원 패치를 사
용하여 학습을 수행한다. 이때 입력 영상의 내부의 패치들로 학습을 진행되기 때문에 훈련자료의 수와 다양성이 부족한 문제가 존재한다. 본 연구에서는 이러한 문제를 해결하기 위 하여 합성곱 레이어의 무작위 초기화 대신, 많은 양의 영상 자료로 학습된 값으로 초기화하여 부족한 훈련자료의 한계 를 극복하고 효율적으로 특징맵을 추출하기 위한 전이학습 을 수행하였다. 초기값 설정방법에 따라 네트워크의 예측 정 확도가 향상될 수 있기 때문에 적절한 초기값을 설정하는 것 은 매우 중요하다(Liu et al., 2018). 전이학습을 수행하기 위하 여 우선 ISPRS 데이터셋에 대하여 화소기반 분류를 수행하 는 FCN을 정의하였으며 구조는 Fig. 5와 같다. FCN에 학습 된 정보를 변화탐지 네트워크에 적용하기 위해서는 커널의 크 기가 동일해야하기 때문에 2차원과 3차원 커널을 사용한 두 개의 FCN을 정의하였다. FCN의 낮은 계층일수록 모서리나 곡선 같은 일반적인 특징을 추출하기 때문에 영상의 해상도 에 크게 영향을 받지 않고 전이학습을 수행할 수 있다 (Song, 2019). 따라서 본 연구에서는 변화탐지 네트워크의 초기 두 개 의 합성곱 레이어를 ISPRS 데이터셋으로 학습된 FCN의 파라 미터로 초기화하는 작업을 수행하였다.
Fig. 5. The fully convolutional network for multi- spectral image classification
4. 실험결과
두 실험지역의 변화탐지 결과는 Figs. 6-8과 같으며, 전체 정확도(OA: Overall Accuracy) 및 Kappa 계수는 Table 1과 같다. 변화탐지의 성능은 전체정확도, Kappa 계수, 생산자정 확도(PA: Producer’s Accuracy), 사용자정확도(UA: User’s Accuracy)를 통해 검증하였다. 또한 본 연구에서 사용한 변 화탐지 기법의 효율성을 비교하기 위하여 PCA (Principal Component Analysis)와 SVM (Support Vector Machine)을 활용한 기법, fully connected LSTM에 의한 변화탐지 결과를 비교하였고, 변화탐지 및 분류 네트워크에 각각 2차원과 3차 원을 커널을 적용한 결과를 비교분석 하였다. PCA를 통한 변 화탐지는 n1, n2개의 밴드를 갖는 다시기 영상을 n1+n2개의 밴드를 갖는 하나의 영상으로 만든 뒤, PCA를 수행하여 생성 된 주성분을 활용하여 감독 및 무감독 기반으로 변화지역을
추출하는데 (Deng et al., 2008), 본 연구에서는 감독기반으로 수행된 제안기법과의 비교를 위하여 추출된 주성분 영상에 SVM을 적용하여 변화탐지를 수행하였다. Fully connected LSTM의 경우, Lyu et al. (2016)가 제안한 네트워크와 동일한 구조로 설계하였으며, 입력 데이터를 1차원으로 변환하는 과 정을 포함한다.
참조 지도에서 총 250,000개의 화소를 무작위로 추출하 여 훈련자료로 사용하였으며, 모든 기법에서 동일한 개수의 훈련자료를 사용하였다. 특히 실험에 활용된 딥러닝 네트워 크 실행 시, Epoch(3000), Learning rate(0.000045), Batch size(100) 등의 조건을 동일하게 설정하였다.
실험지역 1은 주로 식생, 건물 등의 분류 항목의 변화가 많 았고, 실험지역 2는 분류 항목 자체의 변화보다는 기복변위 및 지붕 색깔 등으로 인한 변화가 발생한 곳이다. 실험결과, 전 반적으로 실험지역 1보다 실험지역 2의 정확도가 높게 나타났 으며, 두 실험지역에서 딥러닝 기반의 변화탐지 기법이 PCA- SVM 기법보다 OA와 Kappa계수가 높았다. PCA-SVM의 경 우, 실험지역 1에서는 주요 변화지역을 비교적 잘 추출하였으
나 ( ), 실험지역 2에서는 비변화 지역을 변화
지역으로 오분류한 화소가 많았다 ( ). 이러 한 경향은 Figs. 6 and 7에서 확인할 있다. 이는 PCA-SVM은 주성분 영상에서 나타난 분광값의 차이를 기반으로 변화를 추출하기 때문에, 기복변위, 지붕색의 차이, 그림자 등으로 인 한 변화도 최종 변화 항목으로 분류할 가능성이 크기 때문이 다. 반면 딥러닝 기법들은 이러한 변화를 비변화 항목으로 분 류하도록 학습되었기 때문에 상대적으로 해당화소를 비변화 항목으로 분류하였다. 예를 들어, Fig. 8(c)는 실험지역 1에서 기복변위로 인한 변화가 발생한 지역이다. PCA-SVM의 경우 해당지역의 화소를 대부분 변화항목으로 분류하였으나, 딥러 닝 기법들은 비변화 항목으로 분류하는 경향을 보였다. Fully connected LSTM의 경우, PCA-SVM보다 높은 정확도를 보였 으나 합성곱 레이어를 적용한 변화탐지 네트워크 보다 낮은 정 확도를 나타냈다 ( , ;
, ). 이는 LSTM의 경
우 계산 과정에서 주변화소와의 관계는 고려하지 않기 때문 에 2차원 공간정보를 제대로 반영하지 못할 가능성이 있기 때 문이다. 실제로 실험지역 1에서 나지에서 건물이 증축된 지역 을 변화지역으로 제대로 탐지하지 못하였으며(Fig. 8(b)), 합성 곱 레이어를 사용한 다른 딥러닝 네트워크에 비하여 변화가 특정 군집으로 보여지기 보다는 스팟 노이즈(spot noise)같이 산발적으로 나타났다(Fig. 8(d)).
전이학습과 3차원 커널을 사용한 딥러닝 네트워크
의 경우, 두 실험지역에서 가장 높은 정확도를 보였으며 (
, ;
, ), 분류 항목이 변화된 화소를 중심으 로 변화탐지를 수행하였다. 그러나 실험지역 1의 상단부의 돔 (dome)건축물 증축으로 인한 변화지역에서 오분류가 발생하 였는데(Fig. 8(a)), 돔 건축물 주변으로 전반적으로 변화가 발 생한 영역을 기준으로 참조지도 및 훈련자료가 구축되었으나 3차원 커널을 활용할 경우 해당 영역에서 도로가 증축된 부 분은 비변화 항목으로 분류되었다. 2015년 영상에서 건물 증 축 전 나지와 2018년 증축된 도로의 분광특성이 유사하기 때 문에 분광특성의 차이가 적은 화소는 비변화 항목으로 분류 되었다. 따라서 분광특성이 유사할 경우, 전반적으로 변화되 었다고 보아야 하는 지역의 경우에도 비변화지역으로 구분될 수 있는 가능성이 있기 때문에, 3차원 커널을 적용한 변화탐 지 네트워크 적용 시 변화탐지의 목적과 대상을 고려하여 적 용이 필요하다.
(a) (b) (c) (d) (e)
(a) (b) (c) (d) (e)
Fig. 6. Change detection maps obtained from the proposed method and other methods for site 1 (a) PCA with SVM, (b) fully connected LSTM, (c) CD network with 2d kernel, (d) CD
network with 3d kernel, and (e) ground truth (white color represents changed areas and black color represents unchanged areas)
Fig. 7. Change detection maps obtained from the proposed method and other methods for site 2 (a) PCA with SVM, (b) fully connected LSTM, (c) CD network with 2d kernel, (d) CD
network with 3d kernel, and (e) ground truth (white color represents changed areas and black color represents unchanged areas)
2015 2018 Ground
truth map PCA+SVM Fully
connected LSTM
CD network with 2D
kernel
CD network with 3D
kernel
(a)
(b)
(c)
(d)
Fig. 8. The enlarged images of the change detection results (a) site 1-A, (b) site 1-B, (c) site 1-C, and (d) site 2-A (white color represents changed areas and black color represents unchanged areas)
Table 1. Accuracy comparison of change detection results on site 1 and site 2
Methods OA(%) Kappa
Changed class Unchanged class PA(%)
UA(%)
site1
PCA + SVM 85.20 0.5173 65.17 89.48
56.99 92.31
Fully connected
LSTM 89.26 0.5969 59.09 95.71
74.66 91.62
CD network with
2D kernel 91.86 0.7065 71.28 96.26
80.28 94.00
CD network with
3D kernel 93.43 0.7458 73.53 97.29
84.03 94.99
site2
PCA + SVM 89.89 0.5106 83.62 90.41
42.19 98.51
Fully connected
LSTM 97.71 0.8293 78.69 99.30
90.44 98.24
CD network with
2D kernel 97.96 0.8529 83.88 99.14
89.06 98.66
CD network with
3D kernel 98.23 0.8702 83.81 99.44
92.58 98.66
5. 결 론
본 연구에서는 고해상도 영상의 변화탐지를 위한 최신 딥러닝 네트워크의 적용가능성을 평가하고자 전이학습과 커널의 차원에 따른 변화탐지 네트워크 성능을 분석하였 다. KOMPSAT-3A와 공간해상도 및 분광해상도가 유사한 ISPRS 데이터셋에 대하여 분류네트워크를 학습시켰으며, 학 습된 파라미터를 변화탐지 네트워크에 초기값으로 활용하는 전이학습을 수행하였다. 또한 커널의 차원에 따른 변화탐지 성능을 분석하기 위하여 합성곱 레이어에 2차원 및 3차원 커 널을 사용한 결과를 비교하였다. 실험결과, 전이학습과 딥러 닝 네트워크를 활용한 변화탐지 기법이 기존의 PCA-SVM, fully connected LSTM 기법들 보다 높은 정확도를 보였으며, 특히 딥러닝 기법들은 기복변위, 그림자 등으로 인한 변화를 비변화지역으로 분류할 수 있었다. 또한 3차원 커널을 사용할 경우 2차원 커널을 사용할 때 보다 OA와 Kappa계수가 각각 1.57%, 0.0393(실험지역1), 0.27%, 0.0173(실험지역 2) 상승하 였다. 본 연구에서 제안한 기법을 통하여 고해상도 영상의 변 화지역을 효과적으로 추출하였으나, 제안 기법은 ISPRS 데이 터셋의 자체 정확도 문제, ISPRS 영상과 변화탐지 영상의 분 류 항목 및 해상도의 차이로 발생하는 문제 등을 포함하고 있 다. 또한 3차원 커널을 사용할 경우, 공간 뿐 만 아니라 분광 특성의 변화를 고려한 변화탐지를 수행할 수 있었으나, 효율 적인 변화탐지를 위해서는 ‘변화’의 기준이 되는 분광특성의 차이를 설정하는 것이 중요하며 그에 따른 변화의 대상과 범 위를 고려해야 한다. 추후 실험 영상과 ISPRS 데이터셋의 분 광 및 공간해상도의 차이를 최소화하는 실험을 통하여 전이 학습의 정확도를 향상시키는 실험을 진행할 예정이며, 학습 된 변화정보를 새롭게 취득된 영상에 적용하는 실험을 통하 여 제안 기법의 활용가능성을 증명할 계획이다.
감사의 글
이 논문은 2018년도 서울대학교 융·복합 연구과제 지원사 업과 2019년도 국토교통부 위성정보 활용센터 설립운영 사업 의 연구비지원(18SIUE-B148326-01)에 의해 수행된 연구임.
References
Choi, J. (2015), Unsupervised change detection for very high-spatial resolution satellite imagery by using object- based IR-MAD algorithm, Journal of the Korean Society
of Surveying, Geodesy, Photogrammetry and Cartography, Vol. 33, No. 4, pp. 297-304. (in Korean with English abstract)
Choi, J., Kim, G., Park, N., Park, H., and Choi, S. (2017), A hybrid pansharpening algorithm of VHR satellite images that employs injection gains based on NDVI to reduce computational costs, Remote Sensing, Vol. 9, No. 10. pp.
976.
Chung, M., Han, Y., Choi, J., and Kim, Y. (2018), Optimal parameter analysis and evaluation of change detection for SLIC-based superpixel techniques using KOMPSAT Data, Korean Journal of Remote Sensing, Vol. 34, No. 6_3, pp.
1427-1443. (in Korean with English abstract)
Dellinger, F., Delon, J., Gousseau, Y., Michel, J., and Tupin, F. (2014), Change detection for high resolution satellite images, based on SIFT descriptors and an a contrario approach, In 2014 IEEE Geoscience and Remote Sensing Symposium 2014, 13-18 July, Quebec, Canada, pp. 1281- 1284.
Deng, J.S., Wang, K., Deng, Y.H., and Qi, G.J. (2008), PCA‐based land‐use change detection and analysis using multitemporal and multisensor satellite data, International Journal of Remote Sensing, Vol. 29, No. 16, pp. 4823-4838.
Han, Y., Kim, T., Han, S., and Song, J. (2017), Change detection of urban development over large area using KOMPSAT optical imagery, Korean Journal of Remote Sensing, Vol. 33, No. 6-3, pp. 1223-1232. (in Korean with English abstract)
Hussain, M., Chen, D., Cheng, A., Wei, H., and Stanley, D.
(2013), Change detection from remotely sensed images:
from pixel-based to object-based approaches, ISPRS Journal of photogrammetry and remote sensing, Vol. 80, pp.
91-106.
Jeong, J. (2005), Developments of urban change detection methods according to spatial resolution of satellite images -application of KOMPSAT 1 images into urban area-, The Geographical Journal of Korea, Vol. 39, No. 1, pp. 161-170.
(in Korean with English abstract)
Ji, S., Zhang, C., Xu, A., Shi, Y., and Duan, Y. (2018), 3D convolutional neural networks for crop classification with multi-temporal remote sensing images, Remote Sensing, Vol. 10, No. 1, pp. 75.
Lim, K., Jin, D., and Kim, C.S. (2018), Change detection in high resolution satellite images using an ensemble of convolutional neural networks, In 2018 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC), 12-15 November, Honolulu, Hawaii, USA, pp. 509-515.
Li, Y., Zhang, H., Xue, X., Jiang, Y., and Shen, Q. (2018), Deep learning for remote sensing image classification: A survey, Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, Vol. 8, No. 6, pp. e1264.
Liu, B., Yu, X., Yu, A., and Wan, G. (2018), Deep convolutional recurrent neural network with transfer learning for hyperspectral image classification, Journal of Applied Remote Sensing, Vol. 12, No. 2, pp. 026028.
Lyu, H., Lu, H., and Mou, L. (2016), Learning a transferable change rule from a recurrent neural network for land cover change detection, Remote Sensing, Vol. 8, No. 6, pp. 506.
Mei, S., Yuan, X., Ji, J., Zhang, Y., Wan, S., and Du, Q.
(2017), Hyperspectral image spatial super-resolution via 3D full convolutional neural network, Remote Sensing, Vol. 9, No. 11, pp. 1139.
Mou, L., Bruzzone, L., and Zhu, X.X. (2019), Learning spectral-spatial-temporal features via a recurrent convolutional neural network for change detection in multispectral imagery, IEEE Transactions on Geoscience and Remote Sensing, Vol. 57, No. 2, pp. 924-935.
Song, A., Choi, J., Han, Y., and Kim, Y. (2018), Change detection in hyperspectral images using recurrent 3D fully convolutional networks, Remote Sensing, Vol. 10, No. 11, pp. 1827.
Song, A. (2019), A Novel Deep Learning Framework for Multi- Class Change Detection of Hyperspectral Images, Doctoral Thesis, Seoul National University, Seoul, Korea, 137p.
Tan, K., Zhang, Y., Wang, X., and Chen, Y. (2019), Object- based change detection using multiple classifiers and multi-scale uncertainty analysis, Remote Sensing, Vol. 11, No. 3, pp. 359.
Wang, W., Dou, S., Jiang, Z., and Sun, L. (2018), A fast dense spectral–spatial convolution network framework for hyperspectral images classification, Remote Sensing, Vol.
10, No. 7, pp. 1068.
Wang, Q., Yuan, Z., Du, Q., and Li, X. (2018), Getnet: A
general end-to-end 2-d CNN framework for hyperspectral image change detection, IEEE Transactions on Geoscience and Remote Sensing, Vol. 57, No. 1, pp. 3-13.
Wang, Q., Zhang, X., Chen, G., Dai, F., Gong, Y., and Zhu, K.
(2018), Change detection based on Faster R-CNN for high- resolution remote sensing images, Remote sensing letters, Vol. 9, No. 10, pp. 923-932.
Wiratama, W., Lee, J., Park, S. E., and Sim, D. (2018), Dual- dense convolution network for change detection of high- resolution panchromatic imagery, Applied Sciences, Vol. 8, No. 10, pp. 1785.
Xingjian, S.H.I., Chen, Z., Wang, H., Yeung, D.Y., Wong, W.K., and Woo, W.C. (2015), Convolutional LSTM network: A machine learning approach for precipitation nowcasting, In Advances in Neural Information Processing Systems, 7-12 December, Montreal, Canada, pp. 802-810.
Yu, H., Yang, W., Hua, G., Ru, H., and Huang, P. (2017), Change detection using high resolution remote sensing images based on active learning and markov random fields, Remote Sensing, Vol. 9, No. 12, pp. 1233.
Zhang, C., Wei, S., Ji, S., and Lu, M. (2019), Detecting large- scale urban land cover changes from very high resolution remote sensing images using CNN-based classification, ISPRS International Journal of Geo-Information, Vol. 8, No. 4, pp. 189.
