CycleGAN을 활용한 항공영상 학습 데이터 셋 보완 기법에 관한 연구
A Study on the Complementary Method of Aerial Image Learning
Dataset Using Cycle Generative Adversarial Network
최형욱1) · 이승현2) · 김형훈3) · 서용철4)
Choi, Hyeoung Wook·Lee, Seung Hyeon·Kim, Hyeong Hun·Suh, Yong Cheol
Abstract
This study explores how to build object classification learning data based on artificial intelligence. The data has been investigated recently in image classification fields and, in turn, has a great potential to use. In order to recognize and extract relatively accurate objects using artificial intelligence, a large amount of learning data is required to be used in artificial intelligence algorithms. However, currently, there are not enough datasets for object recognition learning to share and utilize. In addition, generating data requires long hours of work, high expenses and labor. Therefore, in the present study, a small amount of initial aerial image learning data was used in the GAN (Generative Adversarial Network)-based generator network in order to establish image learning data. Moreover, the experiment also evaluated its quality in order to utilize additional learning datasets. The method of oversampling learning data using GAN can complement the amount of learning data, which have a crucial influence on deep learning data. As a result, this method is expected to be effective particularly with insufficient initial datasets.
Keywords : GAN, CycleGAN, Learning Data, Aerial Image
초 록
본 연구에서는 최근 영상판독 분야에서 활발히 연구되고, 활용성이 발전하고 있는 인공지능 기반 객체분류 학습 데이터 구축에 관한 내용을 다룬다. 영상판독분야에서 인공지능을 활용하여 정확도 높은 객체를 인식, 추출하기 위해서는 알고리즘에 적용할 많은 양의 학습데이터가 필수적으로 요구된다. 하지만, 현재 공동활용 가능한 데이터 셋이 부족할 뿐만 아니라 데이터 생성을 위해서는 많은 시간과 인력 및 고비용을 필요로 하는 것이 현실이다. 따라 서 본 연구에서는 소량의 초기 항공영상 학습데이터를 GAN (Generative Adversarial Network) 기반의 생성기 신 경망을 활용하여 오버샘플 영상 학습데이터를 구축하고, 품질을 평가함으로써 추가적 학습 데이터 셋으로 활용하 기 위한 실험을 진행하였다. GAN을 이용하여 오버샘플 학습데이터를 생성하는 기법은 딥러닝 성능에 매우 중요한 영향을 미치는 학습데이터의 양을 획기적으로 보완할 수 있으므로 초기 데이터가 부족한 경우에 효과적으로 활용 될 수 있을 것으로 기대한다.
핵심어 : 생성적 적대 신경망, CycleGAN, 학습데이터, 항공영상
Received 2020. 09. 09, Revised 2020. 10. 09, Accepted 2020. 11. 13
1) Dept. of Civil Engineering, Ph.D. student, Pukyong National University (E-mail: [email protected]) 2) Dept. of Computer Science & Engineering, Ph.D. student, Korea University (E-mail: [email protected]) 3) Team of Satellite Image Processing, Researcher, CONTEC Co., Ltd (E-mail: [email protected])
4) Corresponding Author, Member, Professor, Dept. of Civil Engineering, Pukyong National University (E-mail: [email protected])
https://doi.org/10.7848/ksgpc.2020.38.6.499 Original article
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://
creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
1. 서 론
최근 공간정보 분야에서는 인공위성, 항공, 드론 등에 의한 원격탐사 기반의 영상이미지 취득 정확도 향상 및 대용량 데 이터 처리 기술 진보를 통해 인공지능 모델 적용연구가 활발 히 진행되고 있다. 원격탐사는 짧은 시간에 넓은 지역을 촬영 함으로써 광범위한 데이터를 손쉽게 수집할 수 있고, 수집된 영상데이터는 디지털 형식이기 때문에 데이터를 처리하고 분 석하기 용이한 장점이 있다(Kim and Yeom, 2012). 더욱이 원 격탐사를 이용하는 가장 큰 이유는 관찰하고자 하는 지역에 대해 직접 현장 조사를 하지 않고 그 지역을 연구하는 데 있어 서 손쉽게 자료를 취득할 수 있기 때문에 항공기, 인공위성 등 을 이용하고 있다(Park et al., 2016).
또한, 전 세계적인 4차 산업혁명의 대두와 스마트시티 서 비스의 발굴, 자율주행 자동차의 기술적 진보, 스마트 디바 이스 기능 확대를 통해 공간정보 기반 융합 분야로 확대·적 용되고 있다. 더욱이 인공지능을 활용한 공간영상 기반 객체 분류 및 판독 기술은 1차원적 육안분석에 대한 시간적, 비용 적 부담을 감소시킬 뿐만 아니라 고정밀 위치정보 기반의 GIS (Geographic Information System)와 연계 활용을 통해 지리 정보 기반의 정확한 분석 결과를 제공하여 다양한 국토관리 및 모니터링 분야에 효과적인 도구로 사용되고 있다.
특히, 고해상도 영상데이터를 이용한 변화탐지는 국지 단 위 환경변화 탐지를 위해 그 필요성이 꾸준히 제기되어 왔으 며, 변화가 심하고 주기적인 갱신이 필요한 도심지역의 변화 탐지는 지역계획 연구에 대한 정보제공이 가능하여 그 활용 에 주목받고 있다(Oh et al., 2010). 국토의 변화와 토지피복의 시공간적 현황을 제공하는 토지피복지도는 다양한 활용성에 의해 지난 수십년간 K-means clustering과 같은 무감독분류 기법과 최대우도법과 같은 통계적 감독분류 등 다양한 기법 에 의해 제작되었으며, 다층 퍼셉트론, SVM (Support Vector Machine), RF (Random Forest)와 같은 기계학습 알고리즘이 일찍이 도입되어 연구가 활발히 진행되고 있다(Zhang et al., 2018; Lee et al., 2019; Choi and Seo., 2020).
하지만 정확도 높은 분류 및 판독 산출물을 획득하기 위해 서는 많은 양의 관측 데이터는 물론 이에 따른 학습데이터 셋 확보가 필수적으로 요구된다. 현재 대부분의 영상기반 학습 데이터는 사람에 의한 수동적 레이블링 과정에 의해 구축이 되며, 이러한 전처리 과정은 많은 불확실성과 오류를 내재하 고 있다. 더욱이 현재 공동활용 가능한 학습 데이터 셋이 부 족할 뿐만 아니라 데이터 셋 구축을 위해서는 많은 시간과 비 용, 인력을 필요로 하는 것이 현실이다(Choi and Seo, 2020).
따라서 현재 금융, 영상의학 분야에서는 GAN을 활용한 오버 샘플링 연구를 통해 이러한 단점을 보완하여 분류 정확도를 향상하고 있다.
GAN 기반의 이미지 생성 및 오버샘플링 연구는 이안 굿펠 로우(Ian Goodfellow, 2014)의 적대적 과정을 통해 생성모델 을 평가하는 새로운 프레임워크 제안을 시작으로 많은 연구가 시작되었다. GAN은 데이터들의 분포를 학습하여 새로운 데 이터를 분포에 맞게 생성하는 기법이며, 이미지 데이터를 다 룰 때 주로 사용된다. 최근에는 GAN을 통해 이미지 데이터에 관한 연구뿐만 아니라 정형 데이터를 오버샘플링 하는 연구 들이 진행되고 있다. 하지만 일찍부터 위성, 항공, 드론 등 원 격탐사를 통해 영상정보를 취득하고 이를 활용하는 지리정보 분야에서의 활용은 전무한 실정이다. 따라서 본 연구에서는 공간정보 분야 딥러닝 성능에 매우 중요한 영향을 미치는 초 기 학습데이터 부족을 보완하기 위해 GAN을 활용하여 오버 샘플 학습데이터 셋을 생성하고, 생성된 영상데이터 셋의 품 질을 평가하여 공간정보 분야의 활용 가능성을 검증하였다.
2. 연구방법
본 연구에서는 인공지능 기반 토지피복분류 시 소량의 영 상 데이터의 효과적 활용 및 학습데이터 수량 보완을 위해 GAN 모델을 적용하여 오버샘플 학습영상 데이터 셋을 생성 하고 결과의 품질을 평가하였다. 학습데이터 보완을 위한 오 버샘플 영상 생성은 CycleGAN 모델을 활용하였으며, 25 cm 해상도, 1000*1000 사이즈의 무작위로 수집된 소량의 항공 영상 80장을 기반으로 실험을 진행하였다.
먼저, 초기 학습데이터 확보를 위해 환경부 토지피복분류 체계를 기반으로 39개 계층을 분류하여 레이블 작업을 수행 하였으며, 효과적 알고리즘 연산 수행을 위해 원본 항공영상 의 크기를 250*250으로 분할 적용하였다. 초기 학습데이터 레이블링은 Q-GIS 소프트웨어를 활용하였으며, 생성된 오버 샘플 합성 학습데이터의 품질평가는 초기 입력된 원본영상 (GT: Ground Truth) 대비 SSIM (Structural Similarity Index for Image) 값을 산정하여 활용하였다.
2.1 생성적 적대 신경망
기계학습은 크게 지도학습과 비지도학습, 강화학습 분야 로 구분된다. 과거에는 전통적인 머신러닝에 대한 연구가 활 발하였으나 최근 빅데이터의 영향으로 비지도학습 및 강화학 습 분야의 연구도 활발히 진행되고 있으며 특히, 비지도 학습 의 생성모델 분야의 연구가 활발히 이루어지고 있다. 이안 굿
펠로우는 노이즈로부터 이미지를 생성하는 아이디어를 가지 고, 이른바 GAN을 설계하였다. GAN의 구조는 생성기와 판 별기 신경망 구조로 이루어져 있는데 생성기는 실제에 가까 운 거짓 데이터를 생성하는 것을 목표로 하며, 판별기는 생 성자가 생성한 거짓 데이터를 밝혀내는 것을 목적으로 한다 (Fig. 1).
Fig. 1. Learning process of GAN
즉, 먼저 판별자가 실제 이미지의 학습을 진행한다. 다음은 생성기가 노이즈를 이용하여 가짜 이미지를 생성하고, 이 생 성된 이미지를 판별기를 통해 이미지가 거짓 이미지라고 판별 하게 한다. 이때 생성기는 판별자가 거짓이라고 판별된 이유를 이용하여 모델을 변경하게 된다. 이러한 방법을 반복하여 생 성기는 판별기가 판별하지 못할 정도의 이미지를 생성해 낸다 는 것이 GAN의 기본 이론이다.
minmax ∼
log
∼
log (1) where, is value function, is entropy, is discriminator, is Generator, and is discrete random distribution, is input noise variables
위 Eq. (1)에서 ∼ 는 실제 데이터에 대한 확률분 포에서 샘플링한 데이터를 의미하고, ∼는 일반적으 로 가우시안 분포를 사용하는 임의의 노이즈에서 샘플링한 데이터를 의미한다. 여기에서
는 통상적으로 잠재적 벡터 (latent vector)라고 일컫는데 차원이 줄어든 채로 데이터를 설 명할 수 있는 잠재 공간에서의 벡터를 의미한다. 또한,
는 분류자이고 진짜일 확률을 의미하는 0과 1사이의 값이라 서 데이터가 참이면
는 1, 거짓이면 0의 값을 출력하 게 되며, 두 번째 항의 분류자인 는 생성모델 가 생성한 데이터 가 참이라고 판단되면 1, 거짓이라고 판 단되면 0의 값을 가지게 된다. 먼저 판별모델
가 목적함수
를 최대화하기 위해서는 우변의 첫 번째 항과 두 번 째 항 모두 최대가 되어야 한다. 따라서 는 1이 되어야 하며, 이는 실제 데이터를 참값으로 분류하도록 판별모델
를 학습하는 것을 의미한다. 마찬가지로 항 의 값이 1이 되면 의 값은 0이 되어야 하므로 이는 거짓 데이터를 거짓이라고 분류하도록 분류모델을 학습하는 것을 의미한다. 즉, 목적함수
가 최대가 되도록 판 별모델
를 학습하는 것은 참값 데이터를 참으로, 거짓 데이 터를 거짓으로 분류하도록 학습하는 과정이다. 또한, 생성모 델
가 최소화되도록 학습하기 위해서는 가 최소화되어야 한다. 따라서, 는 0의 값을 가 져야 하고, 는 1의 값을 가져야 한다. 이는 판별모델
가 참값으로 분류할 만큼의 완벽에 가까운 거짓 데이터를 생성하도록 생성모델을 학습시키는 것을 의미한다. 이와 같은 학습 과정을 반복하면 분류모델과 생성모델이 서로를 적대적 인 경쟁자로 인식하며 결과적으로, 생성모델은 진짜 데이터와 완벽히 유사한 가짜 데이터를 만들 수 있게 되고 이에 따라 분 류모델은 참값 데이터와 거짓 데이터를 구분할 수 없게 된다.즉, 생성모델은 분류에 성공할 확률을 낮추려 하고, 분류모델 은 분류에 성공할 확률을 높이려 하면서 서로서로 경쟁적으 로 발전시키는 구조를 이루고 있다.
따라서, 본 연구는 GAN 모델의 구성 요소인 생성기 신경망 을 활용하여 손실함수 기반의 인위적 합성영상을 생성하고, 출력물을 활용하여 소량의 학습데이터 보완을 위한 오버샘 플 학습데이터로서의 활용 가능성을 정성적, 정량적으로 평 가하였다.
2.2 CycleGAN
Zhu et al.(2017)은 컴퓨터 비전 연구 분야 중 하나인 이미 지 대 이미지 변환 분야에서 쌍을 이루지 않는 이미지 데이터 를 통해 원본 이미지를 합성영상으로 전환할 수 있는 GAN 의 변형 알고리즘인 CycleGAN을 제안하였다. 즉, 기존의 이 미지 번역 분야에서 사용하던 GAN 모델의 경우 형태는 같 지만, 짝을 이루는 데이터가 필수적으로 요구되었다. 하지만 CycleGAN은 이러한 짝을 이루는 데이터 대신 짝을 이루지 않는 데이터를 사용하여 데이터를 생성한다는 점에서 차이를 보인다. 또한, CycleGAN은 데이터의 특성을 추출하여 학습
한 후 나머지 데이터에 대립하는 형식으로 새로운 데이터를 생성한다. 따라서, 기존 GAN 구조와 달리 생성기와 판별기가 하나씩 더 추가되어 있다.
Fig. 2. Structure of CycleGAN (Zhu J.Y et al., 2018) Fig. 2는 CycleGAN의 구조를 간략히 나타낸다. Fig. 2(A) 는 네트워크와 데이터를 표현한 것으로,
,
는 변환하고자 하는 각 도메인의 데이터를 의미하고,
,
는 변환에 사용 하는 생성자,
,
는 각 도메인 영상의 참과 거짓을 구별 하는 판별기이다. Fig. 2(B)에서
도메인의 샘플
는 생성자
를 통해
로 변환되고
에 의해 판별된다.
는 다시 생성자
를 통해
로 돌아오며, 최초의 입력 샘플이었던
와 손실함수를 산정한다. Fig. 2(C)의 경우
는 생성자
를 통해
로 변환되고,
에 의해 판별된다.
는 생성자
를 통해
로 돌아오며 입력 샘플이었던
와 손실함수를 산정한 다. 이처럼 Figs. 2(B), 2(C)에서 손실함수를 구하는 구조를 Cycle-consistency loss라 한다.→log log
∥ ∥ (2)
→log log
∥ ∥ (3) therefore, = →→ (4) where, are generators that convert
즉, CycleGAN에서
도메인에서
도메인으로 변환하 는 손실함수는 Eq. (2)와 같다. 반대로,
도메인에서
도 메인으로 변환하는 손실함수는 Eq. (3)과 같다. 따라서, Eq.(2)과 Eq. (3)에서의 순환 일관성 손실은 가중치를 주어 영향 을 제어하게 되어있고, 각 도메인에서의 손실함수의 합을 전 체 손실함수로 산정한 Eq. (4)로 학습을 진행한다. 이 손실함 수를 사용하면 원래의 이미지 형태로 다시 돌아오도록 제약 조건을 주는 것이기 때문에 형태는 크게 변하지 않으면서 이 미지 스타일만 변화된 출력물을 얻을 수 있다. 본 연구에서는
CycleGAN 모델을 활용하여 소량의 학습데이터 셋 보완을 위 한 추가적 항공영상 및 레이블 영상 오버샘플 데이터를 취득 하기 위해 서로 짝을 이루는 초기입력 데이터를 적용하였다.
즉, CycleGAN을 항공영상 생성 및 레이블 데이터 생성에 모 두 적용하기 위함이며, 이는 지도학습 기반 이미지 분류 시 소 량의 초기 학습데이터 셋 보완을 위한 추가적 학습 데이터 셋 으로 활용성을 검증하기 위함이다.
2.3 오버샘플 학습영상 품질평가 지표
영상의 구조적 유사성을 검증하는 지표인 SSIM은 두 이 미지 간의 픽셀별 차이를 계산하는 MSE (Mean Squared Error) 기반의 PSNR (Peak Signal to Noise Ratio)과 달리 VDP (Visual Difference Predictor)에서 이미지의 구조적인 차이를 판별하도록 설계되었다. 즉, 구조적 유사성은 휘도 (Luminance), 명암비(Contrast), 구조(Structure)로 식을 구성 하고 이들을 곱함으로써 SSIM을 표현한다. 또한 휘도, 명암 비, 구조는 서로 독립적이며 각각 1에 가까울수록 원본 이미 지에 가깝고, 0에 가까울수록 원본 이미지와 상이함을 나타 낸다(Jeong and Kim, 2014).
SSIM의 수식은 휘도(I), 명암비(C), 구조(S) 함수로 구성되 며, 각 함수는 Eq. (5), (6), (7)으로 나타낸다.
(5)
(6)
(7)
where, represents mean and represents standard deviation. is the covariance in image.
또한, 최종적으로 산출된 휘도와 명암비, 구조의 값을 통하 여 SSIM 지수를 Eq. (8)로 나타내고, 일반적으로 사용하는 식 으로 표현하기 위해 , , , 로 설 정해 기본적으로 사용하는 Eq. (9)로 나타낸다. 일반적으로 SSIM 지수의 값이 0.96 이하일 경우 품질이 낮다고 평가하며, 0.98 이상일 경우 우수하다고 판단한다.
∙ ∙ (8)
(9)
3. 초기학습 Dataset 구축 및 오버샘플 생성결과
3.1 CycleGAN 생성기 입력을 위한 초기 학습 데이터 구축
본 연구에서는 인공지능 기반 객체 분류 시 소량의 영상데 이터 활용의 정확도 향상 방법론을 제시하기 위해 비교적 쉽 게 확보 가능한 항공영상 데이터를 실험에 사용하였다. 수집 된 항공영상은 촬영 지역과 시기에 국한되지 않은 랜덤영상 데이터로 공간해상도 25 cm, 격자구성 1000*1000이며 전체 80장의 영상을 활용하였다.
Table 1. Summary of aerial image dataset Area Resolution Pixel size Number of
image Random 25 cm 1000*1000 80EA
Fig. 3. Samples of collected aerial image
지도학습 기반의 CycleGAN을 활용한 합성영상 생성을 위 해서는 초기 학습데이터 레이블링 과정이 필수적으로 요구 Table 2. Defined the classification layer of aerial image
Layer1 Layer2 Layer3 color Layer1 Layer2 Layer3 color
Field area
Field Readjusted
Road Road area
Vehicle road Not yet
readjusted Airport
Vinyl green
house Greenhouse Seaport
Other Other arable land Farm road
Rice
areapad Rice pad Readjusted
Water area
River Natural Not yet
readjusted Artificial
Orchard Orchard Orchard Swamp Swamp
Urban and dry
area
Residential area
Independent
residence Sea Sea coast
Group residence Sea water
Industrial Industrial Coastal
swamp
Mud flat Commercial Comm &
business Salt pond
Mixed
Levee Levee
River levee
Entertainment Entertainment Coast levee
Public facilities
Basic
environment facilities
Education &
Adm
Forest
area Forest area
Broadleaf tree forest Other Other public
facilities Needle leaf tree
forest
Ranch Ranch Other Mixed stand forest
Ranch Barren land
Railroad Railroad Railroad Other other Vehicle Subway
Aerial image Labeling image Aerial image Labeling image
(A) (B)
(C) (D)
(E) (F)
(G) (H)
(I) (J)
(K) (L)
Fig. 4. Sample of labeling data for aerial image 된다. 따라서 본 연구에서는 공간데이터 편집 및 분석 S/W인
Q-GIS를 활용하여 영상데이터 레이블링 과정을 수행하였다.
레이블링 분류는 환경부 토지피복분류를 기반으로 11개 대 분류, 21개 중분류에 대한 39개 항목에 대한 분류를 수행하 였다(Table 2).
3.2 CycleGAN 입력 Dataset 구성 및 생성기 알고 리즘 구현
일반적 GAN 모델은 랜덤한 노이즈를 입력값으로 하는 랜 덤벡터 노이즈 입력방식인 반면에 CycleGAN 모델은 영상을 입력받아 다른 형식의 영상을 출력하는 알고리즘 방식을 사 용하기 때문에 일종의 지도학습 방법에 속한다. 즉, 이를 학
습시키기 위해서는 입력으로 사용될 데이터 셋과 생성된 합 성영상이 적용 모델을 통해 출력될 참값 영상이 필수적으로 요구된다.
정확도 비교 분석을 위한 모델 적용 데이터 셋은 앞서 구축 된 학습데이터 및 원본영상을 적용하였으며, 효율적 알고리 즘 적용을 위해 원본 입력 영상데이터를 250*250 크기로 분 할 적용하였다.
일반적으로 인공지능 알고리즘 적용 시 훈련데이터 수가 적 으면 트레이닝 모델의 정확도가 낮아지는 언더 핏(underfit)이, 반대로 너무 방대하면 오버 핏(overfit)이 발생할 수 있다(Lee et al., 2019). 따라서 기존 연구 및 일반적 적용 비율은 7:3, 8:2 를 선호한다.
본 실험 역시 전체 생성데이터의 정확도 확보를 위해 Table 3과 같이 랜덤샘플링을 통한 7.5:2.5의 비율을 적용하였으며, 항공영상 및 레이블 오버샘플 영상 생성을 위한 CycleGAN 모델을 각각 수행하였다. 이는 앞서 언급한 것처럼 소량의 학 습데이터 보완을 위한 추가적 오버샘플 데이터 셋을 확보하기 위함이다. 또한, 오버 핏 및 언더 핏 방지를 위해 150번, 200번,
Category Source Usage Number of Image Size Resolution Format
Image data Aerial image
Train 960
250*250 25cm
(RGB)PNG
Test 320
Label Data Classification
image Train 960 PNG
(RGB)
Test 320
Table 3. Summary of dataset
Table 4. Development and experimental environment
Category Contents Details
Hardware
Processor Intel®, Core™ i7-6700K @4.00GHz 4.01GHz
RAM 64GB
Graphic card 2 of GeForce GTX TITAN (2 of GPUs)
Software
Operating system Windows 10 Education
Deep learning platform Anaconda 3, Tensorflow 1.9, python 3.5, Cuda 9 with CuDNN, Visual Studio community 2017
250번의 에포크(epoch)를 각각 적용하였으며, 모델의 수행은 Anaconda 3 환경에 설치된 Tensorflow 1.9 환경에서 학습과 검증을 모두 진행하였다(Table 4).
3.3 오버샘플 학습 영상데이터 셋 생성 결과 초기 구축된 소량의 지도학습 데이터를 활용하여 학습데 이터 보완을 위한 짝을 이루는 320장의 오버샘플 영상데이 터 셋을 각각 생성하고, 생성된 결과를 분석하였다. 먼저 생성 된 오버샘플 영상의 정량적 품질 분석을 위해 SSIM 지수의 분포를 분석하였다.
그 결과, 앞서 제시한 각각의 학습 횟수 변화에 따른 SSIM 지수 분포는 Fig. 5와 같이 200번의 반복학습을 수행하였 을 때 가장 고품질의 오버샘플 영상이 생성되었다. 또한, 분 류 계층별 오버샘플 합성영상의 세밀한 분석을 위해 200번의 epoch 학습 결과를 대상으로 품질 평가지수별 대표적 생성 사례를 Table 6과 같이 정성적으로 비교 제시하였으며, SSIM 지수 등급에 따른 정량적 분포를 Table 5와 같이 분석 제시 하였다.
Table 5. SSIM evaluation by CycleGAN by 200 epoch Category Image size
SSIM index
Max Min Mean 0.98 More 0.98~0.96 0.96~0.94 0.94 Less
High Medium Low Unacceptable
Aerial image 250*250 0.99 0.90 0.97 43% 37% 9% 11%
Label image 250*250 0.99 0.87 0.97 38% 50% 5% 7%
Table 6. Results of CycleGAN by 200 epoch Fig. 5. Results of SSIM index distribution by epoch
Category SSIM Input Output Ground truth
Aerial image
0.999
0.992
0.970
0.964
0.941
(a) Aerial image (b) Label image
Label image
0.9990
0.989
0.961
0.924
0.889
(a) Aerial image (b) Label image Fig. 6 Results of SSIM index distribution by 200 epoch
소량의 지도학습데이터를 기반으로 CycleGAN 모델의 생 성기 신경망을 적용하여 구축된 오버샘플 영상 학습데이터의 구조적 품질평가를 위한 SSIM 지수 분포는 대부분 보통등급 이상인 0.96 이상의 값을 나타내었다(Fig. 6). 좀 더 세밀한 결 과의 분석을 위해 Table 6과 같이 SSIM 지수 산출에 따른 분 류 계층별 품질 정확도를 비교해본 결과, GT 영상 내에서 비 교적 넓은 영역과 정형적 구조 분포를 나타내는 논(경지정리 가 잘된 논), 밭(경지정리가 잘된 밭), 넓은 도로, 공장지대 등 의 분류 계층은 상대적으로 높은 품질의 오버샘플 영상이 생 성되었다. 또한, 정형적 구조영역으로 분포하지만, 복합적 분 류 계층으로 구성된 영상은 중간 정도의 품질이 나타났다. 하 지만, 분류 계층이 복합적으로 분포하고 비정형적 구조적 계 층으로 구성된 지역 계층에서는 상대적으로 낮은 SSIM 지수 값이 산출되었으며, 이는 초기 지도학습데이터 생성을 위한 레이블링 과정의 불확실성과 입력 GT의 그림자 등의 노이즈 에 따른 결과로 판단된다. 또한, Table 5와 같이 생성된 오버샘 플 합성영상의 전체적 SSIM 지표 평균은 약 0.97인 중간 정도 의 품질이 측정되었으며, 약 40%의 결과물이 매우 우수한 품 질의 영상으로 분석되었다.
4. 토의 및 결론
본 연구에서는 딥러닝을 활용한 영상기반 객체 분류 시 학 습데이터 부족 문제를 효과적으로 보완하기 위해 소량의 지 도학습 데이터와 생성적 적대 신경망을 이용한 오버샘플 학습 데이터 생성 실험에 관해 서술하였다. 이를 위해 지도학습 기 반의 CycleGAN 모델의 생성기 신경망을 활용하여 항공영상 합성 학습데이터를 구축하였으며, 원본영상과의 정확도 비교 를 위해 SSIM-Score를 산정 제시하였다. CycleGAN 기반 생 성기 신경망을 활용한 오버샘플 학습데이터 구축에 대한 결 론은 다음과 같다.
첫째, 현재 영상기반 토지피복분류 및 객체 판독분야의 딥 러닝 적용을 위해 공동으로 활용 가능한 학습데이터 셋이 부 족하며, 정확도 높은 분류 결과를 얻기 위해 많은 양의 초기 학습데이터를 확보해야 한다는 전제적 조건이 내재되어 있다.
이러한 많은 양의 초기 학습데이터 확보는 많은 시간과 인력 을 필수적으로 요구한다. 이에 본 연구에서는 이러한 문제점 을 효과적으로 보완하고자, GAN 모델의 생성기 신경망 모델 을 활용하여 오버샘플 학습영상을 생성함으로써 효과적으로 학습데이터 셋을 확보하는 방안을 제시하였다.
둘째, 소량의 항공영상 학습데이터 셋 보완을 위한 오버샘 플 학습데이터 생성 검증을 위해 CycleGAN 모델을 기반으
로 150, 200, 250번의 학습 횟수 변수에 따라 알고리즘을 적 용한 결과 200번의 학습 횟수를 적용하였을 때 가장 고품질 의 SSIM 지수 분포가 나타났다. 이처럼 다양한 학습 횟수 변 수 적용을 통한 알고리즘 적용으로 출력 영상에 대한 오버 핏 및 언더 핏을 방지할 수 있었으며, 최적의 품질을 내재한 오버 샘플 영상 데이터 셋을 획득할 수 있었다.
셋째, 200번의 학습 횟수를 적용하여 생성된 오버샘플 데이 터 셋 중 항공영상의 80%, 레이블 영상의 87%가 SSIM 지수 중간등급 이상으로 나타났으며, 약 40%가 매우 우수한 품질 을 나타내었다. 이를 통해 생성된 오버샘플 학습데이터 셋의 구조적 품질에 대해 분류 계층 특성에 따라 정량적으로 비교 할 수 있었고, 객체 분류 및 판독의 학습데이터 셋 보완 방법 으로의 활용 가능성을 검증하였다.
현재 GAN을 활용한 오버샘플 생성 활용 및 데이터 불균 형 보완 등의 연구는 영상의학, 금융, 서명 판독, 안면 및 음성 인식 분야에 활발히 활용 중이며, 더욱 진보된 모델이 지속적 으로 개발되고 있다. 이처럼 충분한 학습데이터 확보를 위한 GAN 알고리즘의 적용은 딥러닝 기반 객체 분류 분야의 충분 한 학습데이터 셋 확보를 위한 하나의 방법론으로 활용할 수 있다. 즉, 딥러닝 성능에 매우 큰 영향을 미치는 학습데이터의 양을 획기적으로 보완할 수 있으므로 데이터가 부족한 경우 효과적으로 활용될 수 있을 것으로 기대한다. 하지만 지금까 지 공간정보 분야 딥러닝 활용을 위한 학습데이터 보완 방법 으로 고려된 사례는 전무하다. 본 연구를 통해 제시된 방법론 과 평가된 출력물을 통해 부족한 학습데이터를 보완하고, 딥 러닝을 활용한 소량의 항공영상기반 객체 분류 정확도 향상 에 효과적으로 활용될 수 있기를 기대한다.
하지만, 본 연구에서 실험한 결과에 대한 실제적 활용성과 소량의 학습데이터 셋 보완을 위한 실용성 검증을 위해 출력 된 오버샘플 데이터 셋을 통합 데이터베이스로 활용한 객체분 류 검증 과정이 추가적으로 진행되어야 한다. 이를 위해 적합 한 딥러닝 모델 선정을 위한 연구가 추가적으로 필요할 것으 로 판단된다. 또한, 더욱더 정확도 높은 GAN 기반의 오버샘플 데이터 생성을 위해 다양한 GAN 모델의 활용이 이루어져야 하며, 모델간 성능 검증을 위한 인셉션 모형 기반의 인셉션 점 수(IS: Inception Score) 및 프레쳇 인셉션 거리(FID: Fréchet Inception Distance) 기반의 정량적 평가가 추가적으로 진행되 어야 할 것이다. 더욱이 생성적 적대 신경망 기반의 더욱더 품 질 높은 오버샘플 데이터 취득을 위해 육안에 의해 구축되는 초기 레이블 데이터의 불확실성 해소와 이에 대한 기술적 보 완 기법 또한 개발되어야 할 것이다.
감사의 글
이 논문은 부경대학교 자율창의학술연구비(2020년)에 의 하여 연구되었음.
References
Choi, H.W. and Seo, Y.C. (2020), Construction of synthesis training data using generative adversarial network, The Korea Association of Geographic Information Science Spring Conference-2020, pp.101-105. (in Korean)
Isola, P., Zhu, J.Y., Zhou, T., and Alexei, A.E. (2018), Image-to-image translation with conditional adversarial networks, arXiv preprintarXiv: 1611.07004.
Goodfellow, I., Pouget, J.A., Mirza, M., Xu, B., Warde D.F., Ozair, S., Courville, A., and Bengia, Y. (2014), Generative adversarial nets, Advances in Neural Information Processing Systems, pp. 2672-2680.
Jeong, J.S. and Kim, Y.J. (2014), Structural similarity index for image assessment using pixel difference and saturation awareness, Journal of Korea Institute of Information Scientists and Engineers, Vol. 41, No. 10, pp. 847-858. (in Korean with English abstract)
Kang, M.S., Park, S.W., and Yoon, K.S. (2006), Land cover classification of Image data using artificial neural networks, Journal of Korean Society of Rural Planning, Vol. 12, No. 1, pp. 75-83. (in Korean with English abstract) Kang, S.M. and Lee, J.J. (2019), Depth map extraction from
the single image using Pix2Pix model, Journal of Korea Multimedia Society, Vol. 22, No. 5, pp. 547-557. (in Korean with English abstract)
Kim, H.O. and Yeom, J.M. (2012), A study on object-based image analysis methods for land cover classification in agricultural area, Journal of Korean Association of Geographic Information Studies, Vol. 15, No. 4, pp. 26-41.
(in Korean with English abstract)
Kim. K.H. and Park, S.S.(2008), A comparative study on broadcasting video quality using PSNR in IPTV network adopted transition mechanism, Journal of Korea.Institute of Maritime Information & Communication Sciences, Vol.
14, No. 1, pp. 156-166. (in Korean with English abstract) Lee, S.H. and Kim, J.S. (2019), Land cover classification
using sematic image segmentation with deep learning, Korean Journal of Remote Sensing, Vol. 35, No. 2, pp. 279- 288. (in Korean with English abstract)
Oh, C.H., Park, S.Y., Kim, H.S., Lee, Y.W., and Choi, C.U.
(2010), Comparison of landcover map accuracy using high resolution satellite imagery, Journal of Korean Association of Geographic Information Studies, Vol. 13, No. 1, pp. 89- 100. (in Korean with English abstract)
Park, J.S., Lee, W.H., and Jo, M.H. (2016), Improving accuracy of land cover classification in river basins using Lansat-8 OLI image, vegetation index, and water index, Journal of Korean Association of Geographic Information Studies, Vol. 19, No. 2, pp. 98-106. (in Korean with English abstract)
Zhu, J.Y., Park, T.S., Isola, P., and Efros., A.A. (2018), Unpaired image translation using cycle-consistent adversarial networks, arXiv:1703.10593.
