112 |
<그림 6-4> 작물별 드론 촬영 영상 어노테이션 예시
양배추 배추 무
양파 마늘
자료: 저자 작성.
분석을 위해 확보한 약 1만 6,000장의 영상 중 분석하기에 적절한 영상을 분석 대상 5개 작물별로 각 100장 선정하여 색인 작업을 실시하였다. 색인 작업에 많은 수작업 역량이 투입되기 때문에 딥러닝에서는 반자동 색인, 이미지 증식 등을 활 용하여 색인 작업한 영상을 추가로 확보할 수 있도록 지원하는 방법이 있다. 이를 활용하여 반자동 색인 100장을 추가로 확보하고, 원본 색인 영상과 반자동 색인 영상 200장을 3배 증식하여 작물별 총 600장의 영상을 확보하였다.
YOLOv5 모형의 딥러닝 입력층의 영상 크기는 400~500픽셀의 정사각형으로 정해져 있어, 4,000×3,000픽셀 규모의 영상을 크기에 맞게 잘라 학습용 데이터를 확보해야 한다. 500픽셀 단위로 학습용 데이터를 구축하면, 1개의 영상으로 48개 의 학습용 영상을 만들 수 있다. 이와 같은 과정을 거쳐 작물별로 2만 8,800장의 학 습용 영상을 확보하여 딥러닝에 활용한다.
4.2. 객체 탐지 딥러닝 모형 학습
5가지 작물 클래스를 가지는 2만 8,800개의 학습데이터로 YOLOv5 모형을 학 습한 결과 500epoch29)에서 충분히 모형이 수렴하는 것으로 판단하여 학습을 마 쳤으며, 과적합의 우려가 있어 추가적인 학습은 진행하지 않았다.
<그림 6-5> 최적 Epoch 탐색
자료: 저자 작성.
학습된 모형의 성능은 PR 곡선을 통해 확인할 수 있다. mAP 0.5 기준에서 배추 (CC), 양배추(C)는 식별의 정확도가 각각 96.9%, 98.0%로 높았으나 무(R), 마늘 (G), 양파(O) 영상에서의 객체 탐지성능은 높지 않은 것으로 나타났다. 딥러닝 소프 트웨어는 학습데이터 일부를 자동으로 적합성 검증을 위한 데이터(validation data) 로 구분하여 이는 학습에 활용하지 않고, 딥러닝 모형의 성능 검증에 활용한다. 딥러 닝 성능 평가를 위한 PR 곡선은 적합성 검증을 위한 데이터를 활용하여 산출된다.
29) 학습데이터 1세트(이 연구에서는 2만 8,000장의 영상)를 1회 학습시키는 것을 1epoch라 한다. 딥 러닝 모형의 성능을 개선하기 위해 학습데이터를 여러 차례 학습시키는데 epoch의 수가 과도하게 많아지면 모형이 학습데이터를 과도하게 반영하여(over fitting) 오히려 성능이 저하될 수 있어, 적 절한 epoch를 찾아내는 것이 필요하다.
114 |
<그림 6-6> 학습모형의 PR Curve
주: CC는 배추, C는 양배추, R은 무, G는 마늘, O는 양파임.
자료: 저자 작성.
딥러닝 모형의 예측 결과를 살펴보면 배추와 양배추는 작물 영역과 중심 좌표 를 정확히 탐지하였으나 그 외의 작물에서는 좌표 탐지성능이 높지 않았다. 본 연 구에서는 개체의 위치정보를 정확히 식별할 수 있는 배추, 양배추 작물에 한정하 여 재식 주수 측정 방법을 연구하였다.
4.3. 객체 탐지와 포기 수 계측
딥러닝 모형에 영상을 입력하여 개체를 식별하면, 각 개체에 대한 좌표 정보를 예측 결과로 산출한다. 산출물은 개체마다 6개의 속성 필드로 나타내는데 이는
<표 6-1>과 같다. 비율은 전체 영상의 크기에서 차지하는 비율을 의미한다. 클래 스란 딥러닝 모형에서 분류한 품목을 의미한다.
입력한 영상의 크기를 알고 있으면, 중심점의 위치와 개체의 가로·세로 크기를 직사각형으로 특정할 수 있다. 클래스와 그 확률을 참고하여 작물을 특정할 수 있 다. 산출물을 영상과 연계하여 해석하면, 어떤 작물이 영상의 어떤 위치에 어떤 크 기로 식재되어 있는지를 확인할 수 있다.
<표 6-1> 개체 식별 딥러닝 모형 산출물
필드 번호 속성값
1 클래스(품목) 번호
2 개체 x 중심 좌표의 비율
3 개체 y 중심 좌표의 비율
4 개체의 가로 길이 비율
5 개체의 세로 길이 비율
6 탐지된 객체가 필드 1에 해당하는 클래스(품목)일 확률
자료: 저자 작성.
<그림 6-7> 좌측은 원본 영상이며, 개체 식별 딥러닝 모형의 산출물에 근거하여 개체를 원본 영상에 표시하면 <그림 6-7> 우측과 같은 결과물을 얻을 수 있다. 딥 러닝 모형의 산출물에 영상의 상대 좌표로 개체의 중심점과 가로·세로 크기 정보가 있으 므로 각각의 개체를 사격형으로 표시할 수 있으며 중심점만을 표시할 수도 있다. 중심점 을 표시하는 것이 개체의 식별과 위치를 분명히 나타낼 수 있으며, 딥러닝 모형에 서 예측한 개체의 중심점을 예시하면 아래 <그림 6-7>과 같다. 딥러닝 모형 산출 물을 집계하면 영상 내의 포기 수를 산출할 수 있으며, 사례 영상에서 검출된 포기 수는 3,905개이다.
<그림 6-7> 딥러닝 모형을 활용한 개체 탐지
원본 영상 개체 중심점 표시 영상
자료: 저자 작성.
116 |
4.4. 객체 탐지 딥러닝 모형의 오분류
그 수는 많지 않으나 개체 식별 딥러닝 모형이 오분류하는 패턴이 감지되어 이 에 대한 보정 방안을 모색하였다. 딥러닝 모형의 성능 시험에서 배추의 97%, 양배 추의 98%를 탐지하는 것으로 나타나 구축된 모형을 적용해 포기 수를 계측해도 비교적 신뢰도 높은 조사치를 얻을 수 있다. 통상적인 통계조사라면 이 연구에서 구축된 개체 식별 딥러닝 모형의 성능으로도 대상 구획 내에 3㎡ 규모 2~3개의 조 사구에서 계측한 포기 수를 근거로 전체 구획의 포기 수를 추계하는 것보다는 신 뢰도 높은 정보를 제공한다고 판단된다.
표본조사와 달리 전수조사 시보다 조사의 정확성에 대한 요구가 클 수 있고, 오 류 보정을 자동화할 수 있다면, 추가적인 조사 부담 없이 조사의 정확성을 높일 수 있다고 판단되어 오분류 보정 방법을 모색하기로 하였다. 생육이 다소 부진한 객 체를 탐지하지 못하거나, 생육 중기 이후 잎들이 겹치면서 오분류가 나타나는 사 례들이 발견되었다. 생육이 부진한 포기는 객체 탐지 모형이 탐지하지 못하는 사 례가 있으며, 이는 주로 생육 초기에 발견된다. 생육 중기 이후에는 잎들이 서로 겹 치는 현상이 발생하는데, 이때 입들이 중첩된 영역을 개체의 중심으로 오분류하 는 사례가 나타났다. 재식밀도가 높고, 수확기에 근접할수록 잎의 중첩에 따른 과 다 분류 사례가 발생할 수 있다.
<그림 6-8> 개체 탐지 오분류 사례
생육 부진 잎들의 중첩
자료: 저자 작성.
4.5. 중심점 간 통계적 거리를 활용한 오분류 보정
작물의 재식 간격이 일정하다는 점에 착안하여, 개체 식별 모형에서 탐지된 개 체 중심점 간 최단 거리를 산출하였다. 개체 식별 모형의 산출물에는 중심점의 x, y 상대 좌표가 있으므로, 계산을 통해 중심점별 가장 인접한 개체의 중심점을 찾 아 그 거리를 산출할 수 있다. 각 중심점에 가장 가깝게 인접한 중심점들을 표시하 면 <그림 6-9>의 위-왼쪽과 같이 나타낼 수 있다.
중심점별 가장 가까운 개체의 중심점까지의 거리 분포를 <그림 6-9>의 위-오른 쪽과 같은 히스토그램으로 표시할 수 있다. 중심점 간의 거리가 비교적 조밀하게 분포하는 것을 알 수 있다. 즉, 대부분의 개체는 통계적으로 일정한 거리에 식재되 므로, 개체 간 거리가 지나치게 가까운 경우는 잎들의 중첩에 의한 오분류로 간주 할 수 있다. 중심점 간 최단 거리의 로그값 분포를 구하면, 최빈값이 보다 두드러지 는 효과가 나타나므로 이를 활용하면 분류의 효율성을 제고시킬 수 있다.
<그림 6-9> 개체 중심점 간 최단 거리
개체 중심점에 가장 근접한 타 개체 중심점 간 최단 거리 분포
중심점 간 최단 거리 로그 분포
자료: 저자 작성.
118 |
배추와 양배추의 생육 초기, 생육 중기, 생육 말기, 혼식, 재식 간격이 일정하지 않은 경우 등 다양한 사례에 대해 중심점 간 최단 거리를 활용하여 보정이 가능하 다는 것을 확인하였다. 사례별 보정의 효과는 [부록 3]에서 상술하였다.
4.6. 포기 수 집계 방법의 일반화를 위한 영상 격자화
전체 영상이 재식 간격이 일정하고 생육상태가 양호한 작물로 구성되어 있는 경우 에는 개체 식별 모형과 오분류 보정의 방법으로 비교적 높은 신뢰도의 정보를 얻을 수 있다. 하지만 실제 영상은 상태가 양호한 경작지로만 구성되지 않는 경우가 많다.
드론을 통해 취득한 4,000×3,000픽셀 크기의 영상에는 조사 대상 구획 이외에 경작지의 경계, 인접한 경작지, 도로나 하천 등이 포함될 수 있다. 또한 조사 대상 경작지 내에서도 다른 작목을 혼작하거나, 동일한 작물이라도 생육 특성이 상이 한 경우가 있을 수 있다.
영상 내에 목적하는 작물의 개체만을 식별하기 위해 영상을 격자화하여 집계하 는 방법을 시행하였다. 4,000×3,000픽셀 크기의 영상을 800×600픽셀 크기의 25 개 격자로 구분하였다.
<그림 6-10> 분석 대상 영상을 25개 격자로 구분
자료: 저자 작성.
25개 격자를 각각 분석하여 개체 식별을 해야 할 구획인지의 여부 등을 각각 분 석하고, 분석 결과를 집계하여 조사 대상 구획의 재식 주수를 산출하고자 한다. 25 개 격자의 통계치를 정리하면 <표 6-2>와 같다. 격자는 좌상부터 우측으로 번호를 부여하고, 다시 다음 행의 좌측부터 번호를 부여한다. 격자별로 재식 간격의 평균 과 객체 수를 산출하고 재식 간격과 객체 수의 전체 평균과의 편차를 구한다. 재식 간격과 객체 수 중 어느 하나라도 평균과의 편차가 표준편차보다 큰 격자는 비정 상 격자로 판단하여, 포기 수 산정 대상에서 제외한다.
<표 6-2> 격자별 재식 간격 및 객체 수
구분 재식 간격 객체 수
평균 평균과의 편차 계 평균과의 편차
1 77.02 9.452 58 5
2 73.99 6.422 58 5
3 71.05 3.482 54 9
4 61.21 6.358 26 37
5 459.57 392.002 2 61
6 74.28 6.712 38 25
7 77.2 9.632 56 7
8 76.24 8.672 62 1
9 56.07 11.498 70 7
10 50.04 17.528 12 52
11 88.92 21.352 9 54
12 78.45 10.882 56 7
13 70.01 2.442 60 3
14 60.23 7.338 75 12
15 49.16 18.408 64 1
16 222.74 155.172 3 60
17 81.41 13.842 38 25
18 74.88 7.312 61 2
19 76.32 8.752 63 0
20 46.06 21.508 94 31
21 61.15 - 5
-22 44.65 22.918 98 35
23 72.64 5.072 66 3
24 76.44 8.872 60 3
25 54.05 13.518 103 40
평균 67.568 - 63
-분산 139.0586 - 361.0526
표준편차 11.79231 - 19.00138
-자료: 저자 작성.
120 |
통계치를 통해 추출한 정상 격자는 <그림 6-11>과 같다. 4번 격자와 9번 격자, 14번 격자를 제외하고는 모두 재식 간격이 일정하게 격자를 가득 채워 작물이 생 육되고 있다. 4번, 9번, 14번 격자에는 작물이 자라고 있지 않은 영역이나 작물이 밀식된 영역이 일부 포함되어 있지만, 이들 격자에서 생육 중인 작물의 포기 수를 포함하여 재식 주수를 산출하는 것이 타당하다고 판단된다. 이처럼 영상을 격자 로 나누고 격자의 특성을 분석하여 포기 수 계측에 활용함으로써 영상분석 정보의 정확성을 향상시킬 수 있다.
<그림 6-11> 통계적으로 추출한 정상 격자
자료: 저자 작성.