A Study on Classifying Sea Ice of the Summer Arctic Ocean Using Sentinel-1 A/B SAR Data and Deep Learning Models

Korean Journal of Remote Sensing, Vol.35, No.6-1, 2019, pp.999~1009

https://doi.org/10.7780/kjrs.2019.35.6.1.10 ISSN 1225-6161 ( Print )

ISSN 2287-9307 (Online)

Article

Sentinel-1 A/B 위성 SAR 자료와

딥러닝 모델을 이용한 여름철 북극해 해빙 분류 연구

전현균¹⁾·김준우²⁾·수레시 크리쉬난³⁾·김덕진 ^4)†

A Study on Classifying Sea Ice of the Summer Arctic Ocean Using Sentinel-1 A/B SAR Data and Deep Learning Models

Hyungyun Jeon

·Junwoo Kim

·Suresh Krishnan Palanisamy Vadivel

·Duk-jin Kim

Abstract: The importance of high-resolution sea ice maps of the Arctic Ocean is increasing due to the possibility of pioneering North Pole Routes and the necessity of precise climate prediction models. In this study, sea ice classification algorithms for two deep learning models were examined using Sentinel- 1 A/B SAR data to generate high-resolution sea ice classification maps. Based on current ice charts, three classes (Open Water, First Year Ice, Multi Year Ice) of training data sets were generated by Arctic sea ice and remote sensing experts. Ten sea ice classification algorithms were generated by combing two deep learning models (i.e. Simple CNN and Resnet50) and five cases of input bands including incident angles and thermal noise corrected HV bands. For the ten algorithms, analyses were performed by comparing classification results with ground truth points. A confusion matrix and Cohen’s kappa coefficient were produced for the case that showed best result. Furthermore, the classification result with the Maximum Likelihood Classifier that has been traditionally employed to classify sea ice. In conclusion, the Convolutional Neural Network case, which has two convolution layers and two max pooling layers, with HV and incident angle input bands shows classification accuracy of 96.66%, and Cohen’s kappa coefficient of 0.9499. All deep learning cases shows better classification accuracy than the classification result of the Maximum Likelihood Classifier.

Key Words: Sentinel-1 A/B, sea ice, thermal noise, Deep Learning, classification

요약 : 북극항로의 개척 가능성과 정확한 기후 예측 모델의 필요성에 의해 북극해 고해상도 해빙 지도의 중요 성이 증가하고 있다. 그러나 기존의 북극 해빙 지도는 제작에 사용된 위성 영상 취득 센서의 특성에 따른 데이

Received November 18, 2019; Revised November 29, 2019; Accepted December 17, 2019; Published online December 27, 2019

1)

서울대학교 지구환경과학부 석·박사과정생 (Combined MS/PhD Student, School of Earth and Environmental Sciences, Seoul National University)

2)

서울대학교 지구환경과학부 박사후연구원 (Postdoctoral Researcher, School of Earth and Environmental Sciences, Seoul National University)

3)

서울대학교 지구환경과학부 박사수료생 (PhD Candidate, School of Earth and Environmental Sciences, Seoul National University)

4)

서울대학교 지구환경과학부 정교수 (Professor, School of Earth and Environmental Sciences, Seoul National University)

†Corresponding Author: Duk-jin Kim ([email protected])

This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License

(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in

any medium, provided the original work is properly cited.

1. 서 론

북극해 해빙 면적을 나타내는 보다 정확한 북극 해빙 지도는 기존의 항로보다 경제적이라 여겨지는 북극항 로의 개척 (Inoue et al., 2015)과 기후변화 관련 연구에서 북극해의 빙권으로서의 역할과 해빙 규모 변화 파악에 필수적인 자료이다 (Notz and Stroeve, 2016). 특히 두께 가 두꺼운 다년빙 (Multi Year Ice, 이하 MYI)과 두께가 얇은 초년빙(First Year Ice, 이하 FYI)을 분류한 북극 해 빙지도는 쇄빙선의 항로개척과 기후모델 연구에서 해 빙의 상태를 보다 정확히 반영해 예측모델의 정확도를 향상시킨다 . 이러한 이유들로 인해 북극해를 MYI, FYI, 및 해빙이 아닌 영역 , 즉 바닷물(Open Water, 이하 OW) 로 분류한 지도가 제작되고 있다 .

원격탐사에 의한 해빙연구는 많은 경우에서 북극해 해빙의 extent(해빙의 분포 범위)를 해빙의 면적을 나타 내는 지표로 사용하고 있다. Extent 지표는 해빙의 실면 적을 의미하는 area와 달리 대상 지역을 격자로 나눈 후 격자에서 해빙이 차지하는 비율이 15% 이상이면 그 지 역을 해빙이 있는 지역으로 본다 (Parkinson et al., 1999).

현재 폭넓게 활용되고 있는 해빙지도는 미국의 National Snow and Ice Data Center(NSIDC)에서 AMSR-2 수동 마 이크로파 위성 및 MODIS 광학 위성을 사용해 제작한 지도이다. 수동 마이크로파 위성은 대상지역에서 자연 적으로 발생하는 마이크로파를 사용하므로, 상대적으 로 약한 신호 세기와 위상정보가 없어 SAR와 같이 합 성구경을 만들 수 없기 때문에 해상도가 수 km에 달할

만큼 저해상도인 문제점이 있다 . 또한 광학센서는 영상 의 취득에서 광량과 기상상태에 큰 영향을 받는 한계가 있다 .

합성개구레이더 , 즉 SAR(Synthetic Aperture Radar)는 수동 마이크로파 위성과 광학위성의 영상취득과 자료 갱신의 한계를 극복할 수 있다 . SAR는 영상취득을 위해 능동 센서 (active microwave sensors)를 사용하여 대상지 역에 직접 마이크로파를 방출하며 , 합성개구기술을 사 용하기 때문에 거대한 안테나 및 렌즈를 사용한 것과 같 은 효과가 생겨 고해상도의 영상을 획득할 수 있다. 또 한 대기의 창 효과에 의해 지구의 대기에 의해 흡수되 지 않으므로 주 /야 및 기상 상태와 관계없이 북극해를 촬영할 수 있다 . 하지만 이러한 영상취득의 장점에도 불 구하고 북극해는 대상영역이 광대하므로 육안 판독에 의한 수작업(manual visual interpretation)으로 북극해 전 체에 대해 SAR 영상 기반의 해빙지도를 만드는 것에는 많은 인력과 시간이 소요된다 . 따라서 SAR 영상을 기반 으로 하는 북극 해빙지도의 제작은 자동 분류방법 (digital classification)의 활용을 필요로 한다.

자동 분류 알고리즘 중 원격탐사 분야에서 인공지능

의 활용이 증가함에 따라 머신러닝 (machine learning)을

활용해 해빙의 분류를 시도한 사례가 있다 (see Liu et al.,

2014; Hong and Yang, 2018). 머신러닝은 샘플과 기댓값

이 주어졌을 때 , 데이터 처리 작업을 위한 실행 규칙을

찾는 것이다. 전통적인 프로그래밍에서는 규칙과 규칙

에 따라 처리된 데이터를 입력하면 해답이 출력되나 , 머

신러닝에서는 데이터와 데이터로부터 기대되는 해답

을 입력하면 규칙이 출력된다 . 따라서 머신러닝은 명시 적으로 프로그래밍 되는 것이 아니라 훈련 (training) 된 다 (Chollet, 2017). 또한 최근에는 머신러닝의 한 부류인 딥러닝 (deep learning)을 이용한 SAR 영상 기반의 해빙 분류 또한 시도되고 있다 (e.g. Wang et al., 2016; Chi and Kim, 2017). 딥러닝은 연속된 층에서 점진적으로 의미 있는 표현을 배우는 데 강점이 있으며, 데이터로부터 표 현을 학습하는 새로운 방식이다. 딥러닝에서는 기본 층 을 겹겹이 쌓아 올려 구성한 신경망을 사용하여 표현 층 을 학습한다 . 신경망에서는 정보가 연속된 필터를 통과 하면서 순도 높게 정제되는 다단계 정보 추출 작업을 수행한다 . 즉, 딥러닝을 기술적으로 표현하면 데이터 표현을 학습하기 위한 다단계 처리 방식이라고 말할 수 있다 (Chollet, 2017). 기존의 딥러닝 기법들은 원격탐사 관련 연구에서 이미지 분류와 융합 , 구름의 제거 등을 목적으로 주로 테스트되었으며 (Li et al., 2018; Ma et al., 2019), 아직까지 북극해를 촬영한 SAR 위성 영상을 분류 하기 위해 딥러닝의 어떠한 알고리즘을 사용해야 하고, SAR 위성의 4개 밴드와 입사각 밴드 중 어떠한 조합을 입력 데이터로 넣어야 하며 , 위성 영상의 노이즈에 대 한 노이즈 제거는 어떻게 해 주어야 하는지에 대한 명 확한 합의가 없어 추가적인 연구가 필요한 상태이다 . 최 신 연구에서는 Convolutional Neural Network(CNN)이 좋은 결과를 낸다고 결과가 보고되었지만 , 아직 어떠한 구조의 CNN이 최적인지에 대해서는 더 많은 연구가 필요하다 (Cooke and Scott, 2019).

따라서 본 논문에서는 해빙 지도 제작의 전 단계로 SAR 위성 영상과 머신러닝의 한 종류인 딥러닝 기법 중 CNN의 두 가지 구조를 사용하여 여름철 북극해의 주 어진 영역들을 OW, FYI, MYI로 분류한 북극해 해빙 분 류 연구를 수행하였다 . 그에 따라 딥러닝 모델 및 훈련 자료로 사용될 입력 밴드들을 , thermal noise를 제거한 경우를 포함하여 변화시켜 가며 최적의 결과를 보이는 조합을 탐색하였다.

2. 연구 자료

본 연구에서는 유럽우주국 (European Space Agency, 이 하 ESA)에서 제공하는 Sentinel-1 A/B 위성의 Extra Wide (EW) 모드의 Ground Range Detected Medium Resolution (GRDM) 형태의 자료를 사용하였다. Sentinel-1 위성은 최초로 고해상도의 SAR 자료를 무료로 제공하며, 위성 2대가 동일 궤도를 180도의 위상 차이로 12일의 주기로 돌고 있기 때문에 6일 이내에 북극해 전 지역에 대하여 영상을 확보할 수 있어 본 연구를 위한 최적의 SAR 위성 자료라 판단되었다 (Kim et al., 2018). 본 연구를 위해 사 용한 Sentinel-1 위성자료의 형태는 range 방향으로 93 m, azimuth 방향으로 87 m의 해상도를 가지며, pixel spacing 및 number of looks는 각각 40×40 m와 6×2 m이다.

딥러닝 기반의 해빙 분류 알고리즘 평가를 위한 훈련 자료 제작과 검증을 위해 , 32개의 여름철 Sentinel-1 위성

Fig. 1. 32 scenes of Sentinel-1 A/B SAR data used in this study.

영상이 사용되었다 (Table 1). 마지막으로 본 연구에 사 용된 위성영상의 위치를 Fig. 1에 표시하였다.

3. 연구 방법

1) 전처리

본 연구에서는 ESA에서 제공하는 SNAP 프로그램 (7.0버전)을 사용하여 위성영상에 대해 전처리를 진행

하였다 . Sentienl-1 위성 영상은 Ground Range Detected – Level 1 영상에 대해 테두리에 노이즈가 생기며(Ali et al., 2018), Calibration을 하지 않으면 후방산란계수를 얻을 수 없다. 따라서 Ground Range Detected(GRD) 단계의 영상의 테두리 노이즈를 제거하는 함수를 활용하여 위 성영상의 테두리 노이즈를 제거하였으며 , “Calibration”

을 수행하여 후방산란계수를 계산하였다.

Sentinel-1 A/B 위성 영상은 Extra Wide 모드에서 HH (또는 VV)와 HV 같은 이중편파 위성영상을 제공한다.

Table 1. Sentinel-1 A/B images used to train the models

ID of Satellite Images Ice Conditions Number of

Training Sets

S1A_EW_GRDM_1SDH_20170701T030523_20170701T030628_017272_01CD32_7BD3 OW, FYI, MYI 60

S1A_EW_GRDM_1SDH_20170701T062253_20170701T062357_017274_01CD45_9E26 OW, FYI, MYI 36

S1A_EW_GRDM_1SDH_20170701T080224_20170701T080324_017275_01CD4D_0EF3 OW, FYI, MYI 45

S1A_EW_GRDM_1SDH_20170701T080324_20170701T080424_017275_01CD4D_4BCD OW, FYI, MYI 45

S1A_EW_GRDM_1SDH_20170702T020852_20170702T020952_017286_01CDA9_955A OW, FYI, MYI 45

S1A_EW_GRDM_1SDH_20170702T052518_20170702T052622_017288_01CDB9_FDE2 OW, FYI, MYI 69

S1A_EW_GRDM_1SDH_20170702T070510_20170702T070610_017289_01CDC3_ABD5 OW, FYI, MYI 45

S1A_EW_GRDM_1SDH_20170702T201609_20170702T201700_017297_01CE00_DD22 OW, FYI, MYI 45

S1A_EW_GRDM_1SDH_20170703T011117_20170703T011217_017300_01CE19_B81C OW, FYI, MYI 45

S1A_EW_GRDM_1SDH_20170703T024858_20170703T025002_017301_01CE20_A83D OW, FYI, MYI 60

S1A_EW_GRDM_1SDH_20170703T025102_20170703T025202_017301_01CE20_B248 OW, FYI, MYI 75

S1A_EW_GRDM_1SDH_20170703T060627_20170703T060731_017303_01CE2F_023C OW, FYI, MYI 30

S1A_EW_GRDM_1SDH_20170703T074500_20170703T074604_017304_01CE36_1A3F OW, FYI, MYI 30

S1A_EW_GRDM_1SDH_20170703T074604_20170703T074704_017304_01CE36_8680 OW, FYI, MYI 60

S1A_EW_GRDM_1SDH_20170703T110511_20170703T110614_017306_01CE47_CC62 OW, FYI, MYI 60

S1A_EW_GRDM_1SDH_20170704T015226_20170704T015326_017315_01CE8C_8B70 OW, FYI, MYI 60

S1A_EW_GRDM_1SDH_20170704T033007_20170704T033111_017316_01CE93_4211 OW, FYI, MYI 45

S1A_EW_GRDM_1SDH_20170704T082554_20170704T082658_017319_01CEA9_7A66 OW, FYI, MYI 45

S1A_EW_GRDM_1SDH_20170705T023433_20170705T023533_017330_01CEF7_0047 OW, FYI, MYI 30

S1A_EW_GRDM_1SDH_20170705T041113_20170705T041218_017331_01CEFC_A508 OW, FYI, MYI 60

S1A_EW_GRDM_1SDH_20170705T221724_20170705T221828_017342_01CF59_564E OW, FYI, MYI 45

S1A_EW_GRDM_1SDH_20170705T221828_20170705T221928_017342_01CF59_3AC7 OW, FYI, MYI 45

S1A_EW_GRDM_1SDH_20170707T202320_20170707T202420_017370_01D022_4364 OW, MYI 30

S1A_EW_GRDM_1SDH_20170707T202420_20170707T202515_017370_01D022_6C4C OW, FYI, MYI 30

S1A_EW_GRDM_1SDH_20170707T220202_20170707T220302_017371_01D030_79F4 OW, FYI 20

S1B_EW_GRDM_1SDH_20170701T035350_20170701T035450_006289_00B0E6_7AA1 OW, FYI, MYI 75

S1B_EW_GRDM_1SDH_20170701T053249_20170701T053349_006290_00B0EC_4A44 OW, FYI, MYI 50

S1B_EW_GRDM_1SDH_20170701T071129_20170701T071229_006291_00B0F2_C235 OW, MYI 55

S1B_EW_GRDM_1SDH_20170701T071229_20170701T071329_006291_00B0F2_A070 OW, FYI, MYI 65

S1B_EW_GRDM_1SDH_20170701T152315_20170701T152415_006296_00B11F_1AF2 FYI, MYI 40

S1B_EW_GRDM_1SDH_20170701T152415_20170701T152515_006296_00B11F_CA7B MYI 5

S1B_EW_GRDM_1SDH_20170701T183437_20170701T183541_006298_00B12B_55CA OW, FYI 50

HH(또는 VV) 밴드는 같은 물성을 가지는 지역에 대해 근 거리(Near Range)의 후방산란계수가 높고 원거리(Far Range)의 후방산란계수가 낮은 문제가 있기에 이러한 효 과를 고려할 수 있도록 입사각(incident angle, INC)을 계산 하여 하나의 밴드로 생성하였다 (Mladenova et al., 2012).

또한, HV 밴드는 거리(Range) 방향으로의 후방산란 계수 문제는 적으나 , 각 subswath 별로 thermal noise가 심하게 발생한다(Kim et al., 2018). 이를 해결하기 위해 본 논문에서는 선행연구를 토대로 HV 밴드의 thermal noise를 제거한 corrected HV(이하 HVC) 밴드를 만들 었다 . Thermal noise 제거는 Azimuth 방향의 descalloping 및 noise scaling, interswath의 power balancing 그리고 잔 여 noise power 보정으로 이루어졌다(Park et al., 2017). 그 후 thermal noise가 제거된 밴드를 딥러닝에 사용될 훈련 자료의 제작 및 참고자료로 사용하였다.

2) 훈련자료 제작 및 딥러닝 코드 개발

본 연구에서는 HH, HV뿐만 아니라 입사각 및 HVC 영상을 포함한 밴드 조합으로 SAR 위성영상에서 질감, 모양 , 밝기에 따라 다른 값을 가지는 OW, FYI, MYI의 3 개 클래스로 훈련자료를 제작하였다 . OW는 매끄러운 질감과 평탄한 모양 , 어두운 밝기를 가진다. FYI는 거친 질감과 울퉁불퉁한 모양 , 중간 정도의 밝기를 가진다.

MYI는 OW보다는 거칠고 FYI보다는 매끄러운 질감과 균열이 있는 모양 , 밝은 밝기를 가진다. NSIDC에서 제 공하는 Ice Chart 정보만을 사용하여 학습자료를 판단한 다면 보다 객관적일 수 있지만, SAR 영상과의 공간해상 도 차이로 인해 실제로 비교를 하는 것에 어려움이 있다.

오히려 고해상도 SAR 영상의 경우 NSIDC 자료는 참고 는 하되 육안으로 판독하여 학습자료를 생성하는 것이 실질적인 정확도 측면에서 도움이 된다. 본 연구에서 해 빙 클래스의 분류는 NSIDC의 Sea Ice Concentration 및 Canadian Ice Service(CIS)의 Ice Chart 정보를 토대로, 위

Fig. 2. Selection of training Sets based on Ice Chart (2017/07/06). Training

sets, which are shown as red boxes in the image above, are located

within black, gray, and white regions in the Ice Chart. denoting OW,

FYI and MYI, respectively.

성 원격탐사와 해빙 전문가의 육안판독 (expert’s visual interpretation)으로 수행하였다(Fig. 2).

Table 1에 제시된 총 32개의 Senitnel-1 A/B 영상에서 OW 500개, FYI 500개, MYI 500개의 훈련자료를 제작하 였다 . 총 1,500개의 훈련자료는 32×32 화소의 패치로 분할되어 최종적으로 약 8만개의 패치가 딥러닝 알고 리즘에 입력자료로 사용되었다 .

본 연구를 위해 training time을 포함하는 processing time을 최소화해 대용량 SAR영상 분류에 최적화된 GPU 기반의 딥러닝 framework를 제시하였다. 딥러닝 코드는 Python의 Keras 딥러닝 모듈을 기반으로, GeoTiff 파일 형태의 훈련자료를 받아들일 수 있도록 개발하였다 . 또 한 클래스별로 취득된 훈련자료들이 32×32 화소의 크 기를 가지는 패치로 잘라져 딥러닝 알고리즘 훈련에 입 력 자료로 들어가도록 하였으며, 위성영상이 가지는 밴 드들의 특성이 딥러닝 알고리즘의 훈련과 분석과정에 서 최적화되어 반영될 수 있도록 하였다 .

3) 딥러닝 모델과 입력 밴드 조합

본 연구에서는 해빙 분류와 결과 비교를 위해 대표적 인 딥러닝 모델인 Convolutional Neural Network(CNN) 중 각각 2개씩의 convolution층과 max pooling층을 가지 는 단순한 형태의 CNN(Simple CNN)과 Resnet50을 사 용하였다 . 첫 번째 딥러닝 모델인 Simple CNN은 입력 층 – 합성곱 신경망층 – Max pooling 연산층 – 합성곱 신 경망층 – Max pooling 연산층 – 완전 연결층 – 활성화 함 수 층 – 출력층으로 구성되어 있다. 두 번째 딥러닝 모델 인 Resnet50의 기본 개념은 마이크로소프트 팀이 개발

한 Resnet 네트워크로, 합성곱 신경망이 반복되나 6층마 다 입력 데이터를 합성곱 계층을 건너뛰어 출력에 연결 하는 구조를 가지고 있다 (He et al., 2016)(Fig. 3).

입력 밴드 조합은 ([HH, HVC], [HH, HV], [HH, INC], [HV, INC], [HH, HV, INC])를 이용하였으며, 결과적으 로 두 가지 딥러닝 모델에 대한 5가지 밴드의 조합인 총 10개의 경우에 대해 OW, FYI, MYI 분류 결과를 비교하 였다 . 딥러닝 모델과 밴드 조합에 따른 10가지 조합은 다 음과 같다 (Table 2). 또한 Deep Learning 기법을 이용한 해빙 분류의 유용성을 살펴보기 위해 전통적으로 분류 를 위해 많이 활용되어 온 Maximum Likelihood Classifier (MLC) 기법을 이용한 분류 결과와 비교를 하였다.

Fig. 3. Structure of Resnet Deep Learning Models (He et al., 2016).

Table 2. List of Used Deep Learning Models and combination of input bands. CNN is Convolutional Neural Network and Resnet50 is Residual Network with 50 layers Case

Number Used Deep

Learning Model Combination of input bands

Case 1 Simple CNN HH HVC

Case 2 Simple CNN HH HV

Case 3 Simple CNN HH INC

Case 4 Simple CNN HV INC

Case 5 Simple CNN HH HV INC

Case 6 Resnet50 HH HVC

Case 7 Resnet50 HH HV

Case 8 Resnet50 HH INC

Case 9 Resnet50 HV INC

Case 10 Resnet50 HH HV INC

4) 검증 지역 및 Ground Truth Point 설정

본 연구에서는 Fig. 4의 위성자료의 HVC 영상을 기 준으로 OW, FYI, MYI에 대해 Ground Truth Point를 추 출하였다 . 이때 본 연구에서 Ground Truth Point의 수를 정한 방법은 , 아래와 같다.

N = (1) 여기서 , N: 한 클래스당 필요한 최소한의 샘플 수, Z: 신 뢰도에서의 Z값, P: 기대하는 정확도, E: 허용 오차이며, 사용될 샘플 수는 N보다 클 수 있다(Wulder et al., 2006;

Nusser and Klaas, 2003; Stehman and Czaplewski, 2003).

이에 따라 95% 신뢰도(Z=1.96), 기대하는 정확도 95%, 허용 오차 5%로 계산한 결과 N = 72.99가 도출되 어 한 클래스 당 100개씩의 Ground Truth Point를 설정 하였다 . 이때, 육지를 Ground Truth Point로 잡는 오류를 피하기 위해 육지 부분을 마스킹 한 후 Ground Truth Point를 설정하였다.

Ground Truth Point를 설정한 지역은 OW, FYI, MYI 가 뚜렷하게 구별되는 지역으로 설정하였으며 , 이 지역 에 대해 Ground Truth Point를 설정하였다(Fig. 4). 그 후 Ground Truth Point를 기반으로 정확도를 비교하고, 실 제로 가장 높은 정확도가 나온 case에 대해 confusion matrix 및 Cohen의 kappa 분석을 실시하였다.

4. 결 과

본 연구에서는 제작한 훈련자료에 대해 총 10가지 경 우에 대해 각각 딥러닝 알고리즘을 훈련시켰다. 이 알 고리즘들을 평가하기 위해 OW, FYI, MYI 당 100개씩 총 300개의 Ground Truth Points들을 설정하였으며, Ground Truth Points의 값과 딥러닝 알고리즘에 의해 분 류된 영상의 Ground Truth Points와 같은 위치의 픽셀값 을 비교하였다 .

Z

P(1 – P) E

Fig. 4. Original satellite imagery used to test the accuracies of Deep Learning Cases(a) (ID of satellite Images: S1B_EW_GRDM_1SDH_20170701T035350_20170701T035450_006289_

00B0E6_7AA1), and Ground Truth Points (b: OW, c: FYI, d: MYI). Blue crosses are Ground

Truth Points (Visual). Satellite image to make Ground Truth Points was land masked to

prevent error.

Fig. 5는 OW, FYI, MYI가 뚜렷하게 나타나는 지역에 대해 10가지 경우의 딥러닝 알고리즘을 이용하여 분류 한 결과이다 . 또한 Table 2의 10개 케이스와 MLC를 Ground Truth Point 기반으로 분석한 결과는 Table 3과 같다 .

분석 결과 Input Band가 HV, INC이며 사용된 딥러닝 모델은 Simple CNN인 case4의 분류 정확도가 가장 높은 것으로 나타났다 . HH HVC와 HH HV를 비교한 결과, HV가 입력 밴드로 들어갔을 때의 분류 정확도가 더 높 은 것을 확인할 수 있었다 . 또한 전반적으로 Simple

CNN을 이용하여 분류했을 때의 정확도가 Resnet50 모 델로 분류했을 때의 정확도에 비해 높았다 .

case4에 대해 confusion matrix를 제작한 결과, 정확도 Table 3. Results of comparison between Deep Learning Classified Images and Ground Truth Points. In OW, FYI, MYI rows each row shows how many points have same values with ground truth points. In accuracy row it shows percentage of accuracy based on ground truth point analysis

case1 case2 case3 case4 case5 case6 case7 case8 case9 case10

OW 97 100 92 100 100 96 100 87 100 100

FYI 83 84 86 92 85 40 85 81 78 83

MYI 100 96 75 98 94 99 94 76 98 96

Accuracy

(%) 93.33 93.33 84.33 96.66 93 78.33 93 81.33 92 93

Input

Bands HH

HVC HH

HV HH

INC HV

INC

HH HV INC

HVC HH HH

HV HH

INC HV

INC

HH HV INC Model Simple

CNN Simple

CNN Simple

CNN Simple

CNN Simple

CNN Resnet50 Resnet50 Resnet50 Resnet50 Resnet50 Fig. 5. Classified images derived from ten Deep Learning Algorithms.

Table 4. Confusion matrix for case 4 Confusion matrix

for case4 Ground Truth Points

OW FYI MYI Total

Learning Deep Result

OW 100 0 0 100

FYI 4 92 4 100

MYI 0 2 98 100

Total 104 94 102 300

는 96.66%로 나타났다(Table 4). 여러 개의 클래스에 대 한 Cohen의 kappa 계수를 분석한 결과는 다음과 같다.

P

, 즉 Ground Truth Point와 case4의 결과가 일치할 확 률은 0.9666이다. P

, Ground Truth Point와 case4의 결과 가 우연히 일치할 확률은 0.3333이다. 따라서 kappa 통 계량 k = 0.9499이다. kappa 통계량이 0.801 ~ 1.000 사이 에 있으므로 , 딥러닝 분류 결과와 Ground Truth Point와 높은 일치도를 보인다고 할 수 있다 .

5. 토의 및 결론

지금까지의 북극해 해빙 지도 제작은 넓은 영역에 대 해서는 수동 마이크로파를 사용하여 저해상도의 해빙 지도가 제작되고 있으며 , 좁은 지역에 대한 보다 상세

한 해빙 지도나 Ice Chart의 제작은 NSIDC나 CIS 등에 소속된 Ice Expert들에 의해 수작업으로 이루어지는 한 계가 있었다 . 이러한 한계를 극복하기 위해 SAR 인공위 성을 사용하여 머신러닝 기법을 이용한 선행연구들이 있었으나 , 머신러닝 중 여러 가지 딥러닝 기법과 입사 각 및 thermal noise가 보정된 SAR 영상을 입력 자료로 넣었을 때의 경우들에 대해 어떠한 결과가 나오는지에 대해서는 연구가 이루어지지 않았다 .

본 연구에서는 Sentinel-1 A/B SAR 인공위성 자료에 대해 딥러닝 모델 중 CNN에 관해 4개의 층을 가진 모 델 (Simple CNN)과 Resnet50이라는 딥러닝 기법을 사용 하였으며 , 기존의 HH, HV편파 자료 뿐만 아니라 추가 적으로 입사각 및 보정된 HV 영상도 포함하여 최적의 딥러닝 -입력 영상 조합을 탐구하였다. 그 결과 Simple CNN과 [HV, INC] 조합이 본 연구에서 학습된 알고리 즘에서 가장 높은 정확도의 분류 결과를 보였다. HV밴 드의 경우 thermal noise가 포함되어 있어 HVC로 보정 한 자료를 입력 자료로 했을 때 더 나은 분류 결과를 예 상했지만 , HV밴드와 입사각 정보가 동시에 입력 자료 로 쓰임에 따라 딥러닝 모델자체에서 thermal noise의 특 성을 반영하여 해빙 분류가 이루어졌기 때문인 것으로 추측된다 . 또한 층의 개수가 적은 Simple CNN이 층이 더 많은 모델인 Resnet50보다 분류 결과가 좋게 나왔는 데 , 이는 현재 본 연구에 사용된 훈련 자료의 양이 50개 Fig. 6. Machine Learning Training sets (Left), Result of the MLC (Right).

Table 5. Comparison between results of deep learning case4 and MLC

case4 MLC

OW 100 97

FYI 92 24

MYI 98 81

Accuracy (%) 96.66 67.33

Input Bands HV

INC HVC

Model Simple CNN MLC

층을 학습할 정도로 충분하지 않았거나 또는 잔차를 이 용하여 학습하는 Resnet의 알고리즘이 클래스 간 의존 성이 상대적으로 약한 해빙 분류에 적합하지 않은 것으 로 추정된다 . 그럼에도 불구하고 입력 자료와 모델에 관 계없이 딥러닝 알고리즘은 기존의 MLC를 이용한 해빙 분류결과보다는 좋은 성능을 보였다 (Fig. 6, Table 5).

본 연구에서 딥러닝 훈련 자료는 해빙 영상에 대해 경험이 많은 전문가의 도움 및 Ice Chart 기반으로 제작 되었으나 육안 판독 자체의 오류 및 Ice Chart의 낮은 해 상도 때문에 훈련자료에 불일치하는 해빙 종류가 포함 되었을 수 있었다는 점과 , 딥러닝 모델을 훈련하는 데 에 있어 8만개의 훈련자료가 충분하지 않을 수 있다는 한계점이 있다 . 앞으로 보다 많은 훈련자료를 생성하고 해빙의 종류 구분에 대한 객관성을 확보할 방안을 마련 하여 추가연구가 필요하다 .

사 사

본 연구에 있어 도움을 준 ESA와 코페르니쿠스 센티 넬 자료에 접근할 수 있게 해 준 Copernicus Open Access Hub에 특별히 감사드립니다. 또한 본 연구는 한국해양 과학기술원 부설 극지연구소 위탁연구사업 (PE19120) 의 지원 및 행정안전부 재난안전 산업육성지원 사업의 지원을 받아 (2019-MOIS32-015) 수행되었습니다.

References

Ali, I., S. Cao, V. Naeimi, C. Paulik, and W. Wagner, 2018. Methods to remove the border noise from Sentinel-1 synthetic aperture radar data: implications and importance for time-series analysis, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 11(3): 777-786.

Chi, J. and H. C. Kim, 2017. Prediction of arctic sea ice concentration using a fully data driven deep neural network, Remote Sensing, 9(12): 1305.

Chollet, F, 2017. Deep Learning with Python vol. 1, Manning Publications Company, Shelter Island,

NY, USA.

Cooke, C. L. and K. A. Scott, 2019. Estimating Sea Ice Concentration From SAR: Training Convolutional Neural Networks With Passive Microwave Data, IEEE Transactions on Geoscience and Remote Sensing, 57(7): 4735-4747.

He, K., X. Zhang, S. Ren, and J. Sun, 2016. Deep residual learning for image recognition, Proc. of the IEEE conference on computer vision and pattern recognition, Las Vegas, NV, Jun. 26-Jul. 1, pp. 770-778.

Hong, D. B. and C. S. Yang, 2018. Automatic discrimination approach of sea ice in the Arctic Ocean using Sentinel-1 Extra Wide Swath dual- polarized SAR data, International Journal of Remote Sensing, 39(13): 4469-4483.

Inoue, J., A. Yamazaki, J. Ono, K. Dethloff, M. Maturilli, R. Neuber, P. Edwards, and H. Yamaguchi, 2015. Additional Arctic observations improve weather and sea-ice forecasts for the Northern Sea Route, Scientific Reports 5, 16868(2015), https://doi.org/10.1038/srep16868.

Kim, Y., D. J. Kim, U. J. Kwon, and H. C. Kim, 2018. A Study on the Radiometric Correction of Sentinel-1 HV Data for Arctic Sea Ice Detection, Korean Journal of Remote Sensing, 34(6-2):

1273-1282 (in Korean with English abstract).

Li, Y., H. Zhang, X. Xue, Y. Jiang, and Q. Shen, 2018. Deep learning for remote sensing image classification: A survey, Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 8(6): 1264.

Liu, H., H. Guo, and L. Zhang, 2014. SVM-based sea ice classification using textural features and concentration from RADARSAT-2 dual-pol ScanSAR data, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 8(4): 1601-1613.

Ma, L., Y. Liu, X. Zhang, Y. Ye, G. Yin, and B. A.

Johnson, 2019. Deep learning in remote sensing

applications: A meta-analysis and review, ISPRS Journal of Photogrammetry and Remote Sensing, 152: 166-177.

Mladenova, I. E., T. J. Jackson, R. Bindlish, and S.

Hensley, 2012. Incidence angle normalization of radar backscatter data, IEEE Transactions on Geoscience and Remote Sensing, 51(3): 1791-1804.

Notz, D. and J. Stroeve, 2016. Observed Arctic sea-ice loss directly follows anthropogenic CO

emission, Science, 354(6313): 747-750.

Nusser, S. M. and E. E. Klaas, 2003. Survey methods for assessing land cover map accuracy, Environmental and Ecological Statistics, 10(3): 309-331.

Parkinson, C. L., D. J. Cavalieri, P. Gloersen, H. J.

Zwally, and J. C. Comiso, 1999. Arctic sea ice extents, areas, and trends, 1978-1996, Journal of Geophysical Research: Oceans, 104(C9): 20837- 20856.

Park, J. W., A. A. Korosov, M. Babiker, S. Sandven,

and J. S. Won, 2017. Efficient thermal noise removal for Sentinel-1 TOPSAR cross-polarization channel, IEEE Transactions on Geoscience and Remote Sensing, 56(3): 1555-1565.

Stehman, S. V. and R. L. Czaplewski, 2003. Introduction to special issue on map accuracy, Environmental and Ecological Statistics, 10: 301-308.

Wang, L., K. A. Scott, L. Xu, and D. A. Clausi, 2016.

Sea ice concentration estimation during melt from dual-pol SAR scenes using deep convolutional neural networks: A case study, IEEE Transactions on Geoscience and Remote Sensing, 54(8):

4524-4533.

Wulder, M. A., S. E. Franklin, J. C. White, J. Linke, and

S. Magnussen, 2006. An accuracy assessment

framework for large-area land cover classification

products derived from medium-resolution satellite

data, International Journal of Remote Sensing,

27(4): 663-683.