무인항공기와 딥러닝(UNet)을 이용한 소규모 농지의 밭작물 분류
Use of Unmanned Aerial Vehicle Imagery and Deep
Learning UNet to Classification Upland Crop in Small Scale Agricultural Land
최석근1) · 이승기2) · 강연빈3) · 최도연4) · 최주원5)
Choi, Seokkeun·Lee, Soungki·Kang, Yeonbin·Choi, Do Yeon·Choi, Juweon
Abstract
In order to increase the food self-sufficiency rate, monitoring and analysis of crop conditions in the cultivated area is important, and the existing measurement methods in which agricultural personnel perform measurement and sampling analysis in the field are time-consuming and labor-intensive for this reason inefficient. In order to overcome this limitation, it is necessary to develop an efficient method for monitoring crop information in a small area where many exist. In this study, RGB images acquired from unmanned aerial vehicles and vegetation index calculated using RGB image were applied as deep learning input data to classify complex upland crops in small farmland. As a result of each input data classification, the classification using RGB images showed an overall accuracy of 80.23% and a Kappa coefficient of 0.65, In the case of using the RGB image and vegetation index, the additional data of 3 vegetation indices (ExG, ExR, VDVI) were total accuracy 89.51%, Kappa coefficient was 0.80, and 6 vegetation indices (ExG, ExR, VDVI, RGRI, NRGDI, ExGR) showed 90.35% and Kappa coefficient of 0.82. As a result, the accuracy of the data to which the vegetation index was added was relatively high compared to the method using only RGB images, and the data to which the vegetation index was added showed a significant improvement in accuracy in classifying complex crops.
Keywords : Unmanned Aerial Vehicle, Vegetation Index, Deep Learning, Upland Crops, Classification
초 록
경지면적의 작물 상황에 대한 모니터링 및 분석은 식량자급율을 높이기 위한 가장 중요한 요소이지만, 기존의 모 니터링 방법은 노동 집약적이며 시간이 많이 들어 식량자급율을 높이기 위한 방안으로 그 활용성이 떨어진다. 이 와같은 단점을 극복하기 위하여 국내에 다수 존재하고 있는 소규모 농지에서의 복합 작물 정보를 모니터링 하기위 한 효율적인 방법을 개발할 필요가 있다. 본 연구에서는 복합작물의 분류 정확도를 높이기 위하여 무인항공기에서 취득된 RGB영상과 이를 이용한 식생지수를 딥러닝 입력데이터로 적용하고 복합 밭작물을 분류하였다. 각각의 입 력데이터 분류 결과 RGB 영상을 이용한 분류는 전체정확도 80.23%, Kappa 계수 0.65가 나타났고, RGB영상과 식 생지수를 이용한 방법의 경우 식생지수 3개(ExG,ExR,VDVI) 추가 데이터는 전체정확도 89.51%, Kappa 계수 0.80 이며, 식생지수 6개(ExG,ExR,VDVI,RGRI,NGRDI,ExGR)는 90.35%, Kappa 계수 0.82로 분석되었다. 분류결과 RGB영상만을 이용한 방법에 비하여 식생지수를 추가한 결과 값이 비교적 높게 분석되었으며, 복합작물을 분류하 는데 있어 식생지수를 추가한 데이터가 더 좋은 결과를 나타내었다.
핵심어 : 무인항공기, 식생지수, 딥러닝, 밭작물, 분류
Received 2020. 11. 24, Revised 2020. 12. 03, Accepted 2020. 12. 06
1) Member, Professor, Dept. of Civil Engineering, Chungbuk National University(E-mail: [email protected]) 2) Member, Researcher, Terrapix(E-mail: [email protected])
3) Dept. of Civil Engineering, M.S. student, Chungbuk National University(E-mail: [email protected]) 4) Member, Researcher, Terrapix(E-mail: [email protected])
5) Corresponding Author, Dept. of Civil Engineering, Ph.D. student, Chungbuk National University(E-mail: [email protected])
https://doi.org/10.7848/ksgpc.2020.38.6.671 Original article
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://
1. 서 론
우리나라 국토면적은 세계 제109위에 해당하고, 국토면 적 중 경지면적은 16.9%로 낮을 뿐 아니라 경지 이용률도 1970년 142%에서 2014년 102.5%까지 급속도로 떨어졌다 (MAFRA,2016). 정부는 벼 재배면적을 3만 ha를 감축하여 타 작목재배 시 소득보장, 작업편의성, 수확후 인프라, 안정적 판로 등 여건 조성 및 홍보를 통해 쌀 이외 식량자급률을 높 여나갈 방침이다. 따라서, 소득 증대를 위하여 소득이 가장 높 은 작목을 농가에서는 선택/재배하여야 하지만, 밭작물의 경 우 재배시기가 비슷한 경우가 많아 경합될 수 있어 재배에 있 어 여러가지 조합을 고려하여 재배하여야 한다. 이를 위해 농 촌진흥청에서 제공하고 있는 밭작물 원-스톱 서비스가 있으 나, 재배농가수가 적고 재배면적 비중이 낮은 작목의 경우 조 사대상에 포함되지 않고, 관련 정보가 부족하여, 소면적 작목 의 생산, 유통, 경영 실태를 종합적으로 분석할 필요가 있다 (NCIS,2020). 특히, 작목의 생산, 유통, 경영 분석 등에서 경지 면적의 작물 상황에 대한 모니터링 및 분석이 중요하고, 농업 인력이 현장에서 측정 및 샘플링 분석을 수행하는 기존의 측 정 방법은 시간이 많이 소요되어 비효율적이다. 또한, 측정 중 에 작물에 2차 손상을 입힐 수 있어, 소규모 지역에서의 작물 정보를 얻기 위한 효율적인 방법이 개발되어야 한다.
최근에는 위성을 이용한 방법으로 작물 분류 및 모니터 링에 활용되고 있다(Gallego et al., 2012; Hütt et al., 2016;
Rußwurm et al., 2017). 그러나 시·공간적 해상도의 한계로 인하여 위성을 이용한 방법은 소규모 지역에서의 작물 정보 를 실시간으로 정확하게 모니터링하는데 한계가 있다(Choi et al., 2020).
무인 항공기는 다양한 목적을 위하여 여러 센서를 가지고 활용할 수 있으며, 위성에 비하여 높은 해상도와 적은 비용 및 자유로운 촬영으로 높은 장점이 있어 소규모 지역의 작물 모 니터링 및 분석에 적합하다. 또한, 고해상도 디지털, 멀티 스 펙트럼, 하이퍼 스펙트럼 및 적외선 카메라, LiDAR (Light Detection and Ranging) 및 기타 유사한 장치와 같은 다양한 센서를 장착할 수 있으며, 이는 소규모 지역의 작물 정보를 실 시간으로 제공할 수 있다.
Lottes et al.(2017)는 무인항공기와 식생지수를 이용하여 식생과 비식생을 구분하고, NDVI (Normalised Difference Vegetation Index), ExG (Excess Green Index), NGRDI (Normalized GreenRed Difference Index), ExGR (Excess Green minus Excess Red Index)를 이용한 식생 분류 정확 도를 평가하였다. Barrero and Perdomo(2018)는 UAV영상에
서 취득된 NDVI와 NGRDI를 조합하고, 이를 신경망(NN:
Neural Networks)에 적용하여 벼지역에서의 70~85%의 볍씨 추출 정확도를 나타내었다. Huang et al.(2020)는 객체기반 영 상 분석과 딥러닝를 이용한 씨앗 분류를 비교 분석하여 동 일 지역에서 객체기반 방법은 66.6%, Deep learning은 80.2%
의 정확도로 Deep learning을 이용한 방법이 정확도 및 분 류시간에 있어 장점이 있는 것으로 분석하였다. Sishodia et al.(2020)는 무인항공기를 이용한 방법이 농작물 모니터링에 있어 시간적, 경제적, 정확도 등에서 가장 효율적이라고 분석 하였다. Chew et al.(2020)는 무인항공기 RGB 영상과 딥컨볼 류션 네트워크(deep convolutional neural networks)를 이용 하여 바나나와 레궘 등의 작물을 분류하여 바나나 96%, 레 궘 49%의 분류 정확도를 나타내었다.
이와 같이 기존 연구에서 무인항공기를 이용한 작물 분류 는 특정 작물 혹은 식생과 비식생을 분류한 연구가 수행되었 으며, 딥러닝을 이용한 분석 또한 RGB 영상을 이용한 방법 등 이 수행되어 RGB를 이용한 식생지수와 딥러닝을 이용하여 소규모 지역의 복합작물을 분류한 사례는 드물다.
이에 따라, 본 연구에서는 소규모 농지 지역의 복합 작물 을 분류하기 위하여 무인항공기를 이용한 RGB영상기반 식 생지수를 계산하고, 이를 딥러닝 훈련데이터로 적용함으로써 RGB 영상기반의 식생지수를 활용하여 소규모 농지의 복합 밭작물을 효과적으로 분류하는데 그 목적이 있다.
2. 실험지역 및 자료
2.1 실험자료의 제원
본 연구는 RGB 영상을 취득하고자 Zemuse X5 카메라가 탑재된 DJI 사의 Matrix 100을 사용하였다. Matrix 100은 고 정익 드론으로, GPS가 장착되어 있어 위치를 실시간으로 확 인할 수 있으며, N1 플라이트 컨트롤러가 장착되어 기체를 안 정적으로 유지할 수 있다. Fig. 1 및 Table 1은 실험에 사용한 무인항공기 및 카메라의 특성이다.
(a) Matrix 100 (b) Zenmuse X5 Fig. 1. Description of UAV and camera used for
experiment
2.2 실험지역의 선정 및 자료 취득
연구 대상지는 무인항공기로 촬영 가능하고 농작물 분류 의 적용성 검증이 가능한 대상지를 선정하고자 소규모 지역 에 다양한 작물이 서식하고 있는 충청북도 청주시에 위치한 충북대학교 농업생명환경대학 부속 농장에 위치하고 농작물 실습장을 대상 지역으로 선정하였다(Fig. 2).
본 대상지역은 농업생명환경대학에서 육성한 품종과 재배 기술의 연구를 위하여 쌀, 옥수수, 아마란스, 고추 등 다양한 작물을 경작하고 있는 대상지로 연구가 될 밭작물 모니터링을 위한 데이터 수집에 용이한 지역이다.
Fig. 2. Study area with testing area enlarged on the right 본 연구 대상 지역의 사진 촬영은 작물들의 생육주기를 고 려하여 7월 중 촬영한 영상을 이용하였다. 학습 및 검증자료 와 평가자료의 촬영일시는 각각 2019년 7월 12일과 2019년 7 월 15일이다. 2019년 7월 12일과 2019년 7월 15일의 대상지역 의 범위는 0.013km이며, 비행고도는 60m에서 촬영하였다.
횡중복도는 80%로 동일하며, 종중복도는 각각 80%와 85%
이다. 촬영시기 및 촬영내용은 Table 2와 같다.
Table 2. Specifications of acquisition data Training and
validation data
sets Test data sets Date 2019.07.12. 2019.07.15.
Area 0.013km
Resolution 1.5cm 1.5cm
Number of
image 167 226
Altitude 60m
End overlap 80% 85%
Side overlap 80%
Location 36°37’25.4”N 127°27’16.5”E (Field cultivation practice) 농지의 밭작물 분류 및 검증을 위하여 Figs. 3(a), 3(b)처럼 7 월 12일 및 15일 데이터에 대하여 쌀, 옥수수, 아마란스, 고추 등에 대한 라벨링 작업을 수행하고, 이를 훈련데이터 및 평가 데이터로 사용하였다.
(a) 2019.07.12. (b) 2019.07.15.
Fig. 3. Image of data sets
3. 실험방법
본 대상지역의 피복분류 흐름은 Fig. 4와 같이 무인항공 기 영상 이미지 취득을 시작으로 수행하며, 취득된 RGB 영 상 이미지를 하나의 정사투영 이미지로 생성하였다. 생성된
UAV Camera
Name Matrix 100 Name Zemuse X5
Diagonal wheelbase 650 mm Resolution 16 mega pixel
Max. takeoff weight 3600g Sensor size 17.3 × 13.0 mm
Maximum fight time 40 min ISO range 100~25600
Transmission distance
(free of interference) 5km Diagonal FOV 72 degree
Table 1. Specification of Matrix 100 and Zenmuse X5
이미지는 딥러닝 알고리즘의 학습데이터 및 평가데이터를 추 출하기 위하여 7월 12일과 15일 영상에 대한 라벨링 작업을 수행하였다. 7월 12일 라벨링 된 이미지는 80%는 학습데이 터 셋으로 20%는 평가 데이터 셋으로 적용하였다. 이후 적 은 양의 학습 데이터와 데이터 증대를 활용하여 영상 세분화 (segmentation)에서 우수한 성능을 보여주고 있는 UNet에 적 용하기 위한 식생지수를 생성하고 생성된 식생지수와 RGB 영상을 이용하여 훈련을 수행하였다. 훈련된 모델별 전체정 확도, loss를 평가하고, 각 모델별 가중치를 저장하여 7월 15 일 테스트 영상에 적용하여 각 입력데이터별 정확도를 비교·
평가하였다.
Fig. 4. Flow chart of classification process
3.1 훈련 및 평가 자료 데이터셋
대상 지역의 밭작물을 분류하기 위하여 오픈소스 프로그 램인 GIMP (GNU Image Manipulation Program)를 이용하 여 감독자 라벨링을 수행하였다. 각 라벨링은 픽셀기반으로 고추, 아마란스, 쌀, 옥수수, 그 외로 총 5개의 범주로 구분 하였다(Fig. 5). 또한, 모자이크 RGB 영상은 원 이미지 사이 지가 9,000×9,000이므로 UNet에 적용하기 위하여 256×256 사이즈의 무작위 배치를 데이터 증대와 같이 생성하였다. 무 작위로 추출된 미니 배치에는 256×256 패치 35개를 생성하 고, Epoch 1회마다 2,000개의 미니 배치가 추출되도록 생성 하였다. 생성된 미니배치의 80%는 학습데이터로 20%는 검 증데이터로 무작위로 선택되었다. 그 결과 각 Epoch별 1,600 개의 미니 배치가 학습으로 400개의 미니배치가 검증데이터 로 사용되었다.
Fig. 5. Ilustration of the labeled ground truth on UAV image
3.2 식생지수
소규모 농지에서 밭작물의 분류 정확도를 높이기 위하 여 무인항공기에서 취득된 RGB영상을 이용하여 식생지수 인 ExG, ExR, VDVI (Visible-band Difference Vegetation Index), RGRI (Red Green Ratio Index), NGRD, ExGR 등을 계산하고, 이를 모델 훈련 및 검증 과정에 추가하여 대상 지역 의 작물을 분류하는데 사용하였다. 사용된 6가지의 식생지수 공식은 Table 3과 같다.
Table 3. Formulas of vegetation indices Vegetation
Indices Formula Reference
ExG 2G-R-B Woebbecke
et al.(1995) ExR 1.4R-G Meyer et al.(1999) VDVI (2G-R-B)/
(2G+R+B) Wang et al.(2015)
RGRI R/G Gamon and
Surfus(1999) NGRDI (G-R)/(G+R) Hunt et al.(2005)
ExGR ExG-ExR Neto(2004)
3.3 UNet
의료 영상 분할을 위해 Ronneberger et al.(2015)가 처음 제안한 딥러닝 알고리즘인 UNet은 의미론적 의미분할에서 가장 많이 활용되는 특징점을 자체적으로 추출하는 End- to-End 방식의 Fully-Convolutional Network 기반 모델이다.
UNet은 아주 적은 양의 학습 데이터와 데이터 증대를 활용하 여 여러 영상 세분화(segmentation)에서 우수한 성능을 보여 주었다. 특히, UNet은 다른 딥러닝 네트워크에 비하여 간단하 고 효율적으로 사용할 수 있다.
UNet은 Fig. 6와 같이 U자형 아키텍처와 인코더와 디코더 의 두 부분으로 나누어진다. 고차원 형태의 이미지를 저차 원 형태의 이미지로 변경시켜주는 인코더와 인코딩된 이미
지를 다시 원래 형태로 변경해주는 디코더 구조를 가지고 있 다. UNet은 인코더 과정에서 축약된 정보를 디코더로 연결하 여 기존에 활용하지 못했던 공간정보를 사용할 수 있다는 장 점이 있다(Ghosh et al., 2018; Gu et al., 2019; Jaeger et al., 2020).
Fig. 6. Unet architecture (Ronneberger et al., 2015)
4. 실험결과
본 연구에서 소규모 농지의 밭작물인 고추, 아마란스, 쌀, 옥수수 등을 분류하기 위하여 RGB영상과 식생지수를 사용 하여 입력데이터를 생성하고, 이를 UNet에 적용하여 밭작물 을 분류하였다. 입력데이터 형태는 Table 4와 같다.
Table 4. Composition of spectral
Setting Spectral Band
RGB R-G-B-ExG-ExR-VDVI RGB + 3 kind of
indices R-G-B-ExG-ExR-VDVI RGB + 6 kind of
indices R-G-B-ExG-ExR-VDVI-RGRI- NGRDI-ExGR
4.1 실험환경 및 학습방법
UNet 모델 학습 알고리즘은 matlab 소프트웨어와 deep learning tool로 구현하였다. 구현된 코드는 라이젠 9 3900X CPU, 128GB 메모리 및 NVIDIA Geforce RTX 2080Ti(11G) 그래픽 카드가 탑재된 시스템에서 실행되었으며, 최적 화 알고리즘은 SGDM (Stochastic Gradient Descent with Momentum)을 이용하였다. 손실 함수는 의미론적 분류 분야 에서 일반적으로 사용되는 교차 엔트로피를 초기 학습률은 0.005로 설정하였다.
또한, 훈련 과정에서 매 10 Epoch마다 학습률을 절반으로
줄이며, 배치 크기는 11G 메모리 사용을 극대화하는 조건에 서 10으로 총 50개의 Epoch를 훈련하였다.
4.2 모델 훈련
딥러닝을 이용한 학습의 정확도 평가는 일반적으로 평가 자료를 이용한 전체 정확도와 loss 평가를 통하여 이루어진 다. 전체 정확도는 평가 데이터와 분류 데이터의 비교를 통하 여 추출할 수 있으며, 1에 가까울 수로 정확도가 높다. 손실함 수는 정답에 대한 오류를 숫자로 나타내는 것으로 오답에 가 까울수록 큰 값이 정답에 가까울수록 작은 값이 나오게 된 다. 가장 많이 활용되는 교차 엔트로피 오차(Cross Entropy Error)의 경우 Eq. (1)으로 계산된다. 입력데이터별 훈련정확 도 및 손실함수는 Fig 7과 Fig 8과 같으며, 과적합(overfitting) 을 막기 위해 조기 종료 (early stop) 기능을 통하여 50 Epoch 전에 모든 케이스가 종료되었다. 각 훈련결과는 Table 5와 같 이 RGB(0.8843, 0.2237), RGB+3개 식생지수(0.9425, 0.1226) 및 RGB+6개 식생지수(0.9466, 0.1510)으로 나타났다.
ln (1)
Fig. 7. Validation accuracy by setting according to epoch
Fig. 8. Validation loss by setting according to epoch
Table 5. Model average performance
Setting Loss Accuracy
RGB 0.2237 0.8843
RGB + 3 kind of indices 0.1226 0.9425 RGB + 6 kind of indices 0.1510 0.9466
4.3 모델 평가
대상 실험지역의 분류결과는 Fig. 9와 같고, 정성적 평가 결과 RGB영상이 아마란스와 고추의 오분류가 가장 낮은 분 류 결과를 나타냈고, RGB+3개 식생지수와 RGB+6개 식생지 수 분류는 유사하게 나타났으며, 아마란스 주변의 오분류와 왼쪽 상단 벼 지역에서 RGB+6개 식생지수가 RGB+3개 식생 지수와 비교하여 시각적으로 분류가 잘 된 것으로 분석되었 다. 이는 GT와 각 입력데이터별 결과를 이진화하여 도식화한 Fig. 10에서 보다 명확하게 알 수 있다. RGB 영상의 경우 다 른 두 개의 입력데이터에 비교하여 많은 오차 면적을 나타내 고 있으며, RGB+3개 식생지수는 RGB+6개 식생지수에 비교 하여 왼쪽 상단 쌀 지역의 오차가 두드러지게 나타난 것으로 분석되었다.
(a) Ortho image
(b) GT
(d) Classification result(RGB + 3 kind of indices)
(c) Classification result(RGB)
(e) Classification result(RGB + 6 kind of indices) Fig. 9. Results of classification by setting
(a) RGB (b) RGB + 3 kind
of indices (c) RGB + 6 kind of indices
Fig. 10. Error of classification by setting 각 입력 데이터 별 밭작물 분류 결과를 정량적으로 비교하 기 위하여 5개 피복에 대해 오차행렬을 비교하였다. 오차행렬 은 참조자료와 분류결과 정확도를 산정하는 방법으로 분류 결과의 클래스별로 정확도 산출이 가능하며, 전체 정확도를 산출하여 영상별 비교가 가능하다.
본 연구에서 산출된 분류결과의 전체분류정확도와 클래스별 정확도를 산출한 결과는 Table 6～8과 같고, RGB+6개 식생지수의 전체정확도가 가장 높은 정확도 ( )를 보였으며, 그 다음으 로 RGB+3개 식생지수가 전체정확도는 89%, Kappa는 0.80 으로 나타났다. RGB영상의 경우 다른 입력자료에 비하여 가 장 낮은 정확도( )를 나타났다.
특히 RGB 결과에서의 보는 것과 같이 같은 계열의 색상 인 비농작물 지역의 나무와 초지가 아마란스와 고추로 오분 류 되는 현상이 주로 나타났고, 특히 아마란스와 고추가 식생 지수를 넣은 데이터에 비하여 과대하게 분류된 것을 알 수 있 다. 다른 2개의 식생지수를 넣은 데이터의 경우 RGB에 비하 여 낮은 오류를 보이고 있으나, 다른 피복에 비하여 마찬가지 로 과대분류 현상이 나타난 것으로 분석되었다. RGB+6개 식 생지수는 다른 입력데이터의 비하여 옥수수 분류에서 가장 좋은 분류 결과를 보여주고 있으나, 다른 피복과 마찬가지로 비 농작물 지역에서 옥수수의 과대분류가 나타났다. 이와 같 은 소수클래스에서 발생하는 과대분류는 초기 훈련시 클래 스별 확률 가중치를 반영한 결과로 나타나며, 특정 소수 클래 스에 대하여 확률 가중치가 아닌 데이터 증대를 통하여 클래 스에 대한 훈련데이터를 증가하여 훈련할 필요가 있는 것으 로 분석되었다.
5. 결 론
본 연구에서는 무인항공기 영상과 의미론적 분류 모델인 UNet을 이용하여 소규모 농지의 밭작물 분류를 수행하였다.
소규모 농지의 밭작물 분류 정확도를 향상을 위하여 RGB 영 상에서 계산된 6개의 식생지수를 활용하였고, 식생지수를 활 용한 밭작물 분류 가능성을 분석하기 위하여 총 세 가지 입 력데이터를 구성하여 학습함으로써 그 정확도를 평가하였다.
평가 결과 RGB 영상만 이용한 입력데이터는 80.23%, RGB+3개 식생지수를 이용한 입력데이터는 89.51%, RGB+6 개 식생지수를 이용한 입력데이터는 90.35%의 정확도를 나타
RGB Reference data
Hot pepper Rice Amaranth Corn Non-crop
Hot pepper 354284 0 13351 2 2002
Rice 743615 13659842 523912 13406 3271045
Amaranth 3198 0 1380631 12 10784
Corn 2276 0 287867 3428744 24121
Non-crop 337119 831841 4,053,078 32525265 32525265
Overall accuracy(%) 80.23 kappa 0.65
Table 6. Confusion matrix of classification results(RGB)
Table 7. Confusion matrix of classification results(RGB + 3 kind of indices)
Table 8. Confusion matrix of classification results(RGB + 6 kind of indices) RGB + 3 kind of
indices Reference data
Hot pepper Rice Amaranth Corn Non-crop
Hot pepper 347402 0 1889 17880 2468
Rice 266 15621503 156 376 2589519
Amaranth 13319 276 1153952 2049 225029
Corn 5803 0 4846 3653611 78748
Non-crop 119694 1045634 205700 2397118 36512742
Overall accuracy(%) 89.51 kappa 0.80
RGB + 6 kind of
indices Reference data
Hot pepper Rice Amaranth Corn Non-crop
Hot pepper 360,198 7 4,874 245 4,292
Rice 13,599 16,894,171 150 36 1,303,864
Amaranth 8,558 9,413 975,148 4,711 396,795
Corn 2,128 0 2,479 3,590,031 148,370
Non-crop 197,149 1,860,692 235,823 1,982,703 36,004,521
Overall accuracy(%) 90.35 kappa 0.82
나, RGB 영상만을 이용한 입력데이터의 분류 정확도가 매우 낮았으며, 이는 비작물 지역으로 구분된 초지와 초목을 구분 하기에는 충분한 정보가 제공되지 못한 것과 일부 비작물 지 역의 분류가 불명확한 것으로 분석되었다. 예를 들어, 아마란 스 주변 비작물 지역에 존재하는 잡목의 경우 아마란스와 유 사한 분광정보를 가지고 있어 RGB 데이터만을 이용하는 경 우 학습에 좋지 않은 영향을 미쳤을 것으로 판단되었다. 이와 같은 오분류는 식생지수를 추가함으로써 전체 정확도가 약 10% 정도 향상된 것으로 분석되었다.
따라서 본 연구는 RGB 영상만으로 UNet을 학습 및 예측 한 결과 같은 계열의 색상인 비농작물 클래스의 나무 및 초지
와 벼 클래스 간의 오분류, 색상 범위가 넓은 아마란스 클래 스와 비농작물 클래스의 초지 및 옥수수 클래스 간의 오분 류 등과 같이 발생되는 과대분류는 적은 밴드 수에 따른 모 델 내에서 추출할 수 있는 특징들이 감소됨에 따라 발생하는 문제점이며, RGB 정보만으로 계산할 수 있는 ExG, NGRDI, EXGR 등을 추가함으로써 의미론적 분류 성능을 향상시킬 수 있었다.
감사의 글
본 연구는 2019학년도 충북대학교 학술연구지원사 업에 의하여 연구되었고, 한국연구재단 (교육부) 기초과 학연구프로그램 지원사업에 의해 수행된 연구임(NRF- 2018R1D1A1B07048841).
References
Barrero, O. and Perdomo, S.A. (2018), RGB and multispectral UAV image fusion for Gramineae weed detection in rice fields, Precision Agriculture, Vol. 19, No. 5, pp. 809-822.
Chew, R., Rineer, J., Beach, R., O’Neil, M., Ujeneza, N., Lapidus, D., Miano, T., Hegarty-Craver, M., Polly, J., and Temple, D. S. (2020), Deep Neural Networks and Transfer Learning for Food Crop Identification in UAV Images.
Drones, Vol. 4, No. 1, 7p.
Choi, S.K., Lee, S.K., Kang, Y.B., Seong, S.K., Choi, D.Y., and Kim, G.H. (2020), Applicability of Image Classification Using Deep Learning in Small Area: Case of Agricultural Lands Using UAV Image. Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, Vol. 38, No. 1, pp. 23-33.
Gallego, J., Kravchenko, A.N., Kussul, N.N., Skakun, S.V., Shelestov, A.Y., and Grypych, Y.A. (2012), Efficiency assessment of different approaches to crop classification based on satellite and ground observations, Journal of Automation and Information Sciences, Vol. 44, No. 5, pp.
67-80.
Gamon, J.A. and Surfus, J.S. (1999), Assessing leaf pigment content and activity with a reflectometer. The New Phytologist, Vol. 143, No. 1, pp. 105-117.
Ghosh, A., Ehrlich, M., Shah, S., Davis, L.S., and Chellappa, R.
(2018), Stacked U-Nets for Ground Material Segmentation in Remote Sensing Imagery, 2018 IEEE/CVF Conference
on Computer Vision and Pattern Recognition Workshops (CVPRW), 18-22 June, Salt Lake City, United States, pp.
257-261.
Gu, Z., Cheng, J., Fu, H., Zhou, K., Hao, H., Zhao, Y., Zhang, T., Gao, S., and Liu, J. (2019), Ce-net: Context encoder network for 2d medical image segmentation.
IEEE transactions on medical imaging, Vol. 38, NO. 10, pp. 2281-2292.
Huang, H., Lan, Y., Yang, A., Zhang, Y., Wen, S., and Deng, J.
(2020), Deep learning versus Object-based Image Analysis (OBIA) in weed mapping of UAV imagery. International Journal of Remote Sensing, Vol. 41, No. 9, pp. 3446-3479.
Hunt, E.R., Cavigelli, M., Daughtry, C.S., Mcmurtrey, J.E., and Walthall, C.L. (2005), Evaluation of digital photography from model aircraft for remote sensing of crop biomass and nitrogen status. Precision Agriculture, Vol. 6, No. 4, pp. 359-378.
Hütt, C., Koppe, W., Miao, Y., and Bareth, G. (2016), Best accuracy land use/land cover (LULC) classification to derive crop types using multitemporal, multisensor, and multi-polarization SAR satellite images, Remote sensing, Vol. 8, No. 8, 684p.
Jaeger, P.F., Kohl, S.A., Bickelhaupt, S., Isensee, F., Kuder, T. A., Schlemmer, H.P., and Maier-Hein, K.H. (2020), Retina U-Net: Embarrassingly simple exploitation of segmentation supervision for medical object detection.
Machine Learning for Health Workshop, PMLR, 11 December, pp. 171-183.
Lottes, P., Khanna, R., Pfeifer, J., Siegwart, R., and Stachniss, C. (2017), UAV-based crop and weed classification for smart farming, 2017 IEEE International Conference on Robotics and Automation (ICRA), 29 May-3 June, Singapore, pp. 3024-3031.
MAFRA. (2016), https://www.mafra.go.kr/mafra/293/
subview.do?enc=Zm5jdDF8QEB8JTJGYmJzJTJGbWFm cmElMkY2OCUyRjMxMzA0NyUyRmFydGNsVmlldy5 kbyUzRg%3D%3D (last date accessed: 27 August 2020).
Meyer, G.E., Neto, J.C., Jones, D.D., and Hindman, T.W.
(2004), Intensified fuzzy clusters for classifying plant, soil, and residue regions of interest from color images.
Computers and electronics in agriculture, Vol. 42, No. 3, pp. 161-180.
NCIS. (2020), http://www.nics.go.kr/oneStopIndex/index.do (last date accessed: 27 August 2020).
Neto, J.C. (2004), A combined statistical-soft computing approach for classification and mapping weed species in minimum-tillage systems, ProQuest, Michigan, U.S.
Ronneberger, O., Fischer, P., and Brox, T. (2015), U-net: Convolutional networks for biomedical image segmentation, International Conference on Medical image computing and computer-assisted intervention, 5-9 October, Munich, Germany, pp. 234-241.
Rußwurm, M. and Korner, M. (2017), Temporal vegetation modelling using long short-term memory networks for crop identification from medium-resolution multi-spectral satellite images, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, pp.
11-19.
Sishodia, R.P., Ray, R.L., and Singh, S.K. (2020), Applications of Remote Sensing in Precision Agriculture: A Review.
Remote Sensing, Vol. 12, No. 19, 3136p.
Woebbecke, D.M., Meyer, G.E., Von Bargen, K., and Mortensen, D.A. (1995), Color indices for weed identification under various soil, residue, and lighting conditions. Transactions of the ASAE, Vol. 38, No. 1, pp.
259-269.
Xiaoqin, W., Miaomiao, W., Shaoqiang, W., and Yundong, W. (2015), Extraction of vegetation information from visible unmanned aerial vehicle images. Transactions of the Chinese Society of Agricultural Engineering, Vol. 31, No. 5.
