2.3. 블라인드 실험 참가자 선정
해당 실험을 원활하게 수행하기 위해 실험 품목에 대한 최소한의 지식을 보유 하고 있는 참가자를 모집하였다. 농업 관련 업무에 종사하거나 과거 근무 경력이 있어 품목별 구분이 가능한 자, 현업에서 항공촬영 영상을 활용한 식별(분류) 경험 이 있는 자로 실험 참가자를 한정하였다.
다양한 부류의 참가자가 실험에 참여하도록 하였다. 사전 실험에는 시군농업기 술센터 퇴직자 4명과 원예농산물 관련 연구기관의 현직 연구자 1명19)이 참여하였 다. 1차 실험에는 현재 드론 영상을 활용하여 작물을 식별하고 있는 2개 업체의 실 무자 5명이 참여하였다. 2차 실험에는 시군농업기술센터 퇴직자 2명과 영상을 통 해 작물을 식별하고 있는 업체의 실무자 3명이 참여하였다.
<표 4-2> 실험별 참여자 현황
부류 4월(사전 실험) 7월(1차) 9월(2차)
품목전문가 퇴직자 4명, 현업 1명 - 퇴직자 2명
항공촬영 업체 - 5명 3명
자료: 저자 작성.
74 |
일명)를 통해 품목, 해상도 정보를 유추할 수 없도록 요인을 제거하였으며, 개인별 PC를 지급하여 현업의 영상 식별 조건과 동일한 환경에서 실험을 진행하였다.
실험 참가자에게는 촬영 구획별로 폴더를 구분하고, 각각의 폴더에 다양한 GSD의 영상이 포함된 컴퓨터를 제공하였다. 각 폴더에는 동일한 구획에서 촬영 한 GSD 5·4·3·2·1·0.5cm의 영상이 저장되어 있고, GSD가 큰 사진부터 순서대로 정렬하였다. 실험 참가자는 순서대로 영상 파일을 열어 품목 식별이 가능한 영상 을 표시하도록 하였다. 이렇게 함으로써 품목 식별이 가능한 가장 큰 GSD를 알아 내고자 한 것이다.
현업에서 짧은 시간 동안 영상을 보고 판단하는 상황을 반영하여 영상별 열람 시간은 10초 이내로 제한하였다. 오랜 시간 영상을 보면 작물을 식별할 수 있는 가 능성이 높아질 수 있으므로 각각의 영상을 동일한 조건에서 선택하도록 하기 위함 이다. 또한, 이 실험을 통해 찾아낸 기준이 현업에 적용되기 위해서는 실제 현업과 유사한 조건에서 실험이 이루어지는 것이 타당하다. 실험 참가자가 각각 자신의 PC에서 영상을 보고 응답하게 한 후 다음 구획의 영상을 확인하도록 안내하였다.
실험 종료 후에는 작물 식별 시 판단한 기준을 주관식으로 기재하도록 하였다.
실제 작물 식별에는 작물 전반의 형상만 활용하는 것이 아니라 작물의 특정한 부 위, 작물의 재식 거리, 멀칭 여부 등을 종합적으로 고려하게 된다. 작물 식별에 어 떤 요소를 고려하였는지 파악하기 위해 판단 기준을 기술하도록 하였다.
<그림 4-3> 사전 실험 설문지
자료: 저자 작성.
2022년 3월 중순에 촬영한 마늘, 양파, 대파, 양배추 등 4개 품목의 드론 영상 중 품 질이 양호한 65개 구획의 영상을 이용하여 4월에 사전 실험을 실시하였다. 마늘 19 개, 양파 17개, 대파 10개, 양배추 19개 구획의 영상을 대상으로 실험을 실시하였으 며, 촬영 시 기상악화로 작물 식별이 어려운 15개 구획은 실험 대상에서 제외하였다.
촬영은 전남지역에서 이루어졌고, 전남지역의 작형 특성상 마늘과 양파의 경우 전년 10~11월 정식 및 파종된 생육 초기의 구획에서 영상이 촬영되어 생장 초기의 영상이 취득되었다. 양배추는 겨울 작형으로 결구가 완료된 완전한 구(求) 형태를 보이고 있으며, 대파는 출하가 임박한 겨울 작형의 영상이다.
<그림 4-4> 품목별 촬영 영상 샘플(GSD 0.5cm급)
마늘 양파
대파 양배추
자료: 저자 작성.
사전 실험 결과, 개체가 크고 생육 패턴이 뚜렷한 양배추는 GSD 4~5cm, 개체가 작고 잎의 형태가 유사한 마늘과 양파는 0.5~1cm 수준에서 식별이 가능한 것으로 조사되었다. 마늘과 양파는 GSD 0.5cm에서 식별이 가능하다는 응답 비중이 50%
이상인 반면, 2cm 이상에서 식별 가능하다는 응답 비중은 미미하였다. 양배추는 GSD 5cm 영상에서도 식별 가능하다는 응답 건수가 과반을 차지하였다. 대파는 GSD 2cm 이하 영상에서 식별이 가능하다는 응답이 많았다.
76 |
<표 4-3> 작물별 적정 GSD 응답 비율
단위: %
구분 5cm 4cm 3cm 2cm 1cm 0.5cm
마늘 2.1 1.1 0.0 4.2 33.7 58.9
양파 0.0 0.0 0.0 3.5 24.7 71.8
대파 10.0 12.0 16.0 30.0 20.0 12.0
양배추 56.8 16.8 11.6 10.5 3.2 1.1
자료: 저자 작성.
영상의 실제값과 응답을 비교한 결과 식별 일치율은 85.8%로 나타났으며, 마늘 (83.2%)과 양파(69.4%)의 일치율은 낮고 대파(92.0%)와 양배추(100.0%)는 높게 나타났다. 양파와 마늘 영상 식별 시 오판독 비율이 높은데, 양파를 마늘로 식별한 사례가 25건으로 가장 많았으며, 마늘을 양파로 식별한 사례는 12건이었다. 마늘 과 양파는 생육 초기 형태가 비슷하여 헌장에서도 오판독하는 경우가 적지 않다.
대파는 92%의 식별 일치율을 보였으며, 양파와 양배추로 식별한 경우가 각각 두 건 있었다. 양배추는 실험 참가자 전원이 정확히 식별하였다.
<표 4-4> 마늘, 양파, 대파, 양배추의 작물 식별 결과(Confusion Matrix)
단위: 건, %
구분
응답 결과
마늘 양파 대파 양배추
빈도 비율 빈도 비율 빈도 비율 빈도 비율
품목
마늘 79 83.2 12 12.6 1 1.1 3 3.2
양파 25 29.4 59 69.4 1 1.2 0 0.0
대파 0 0.0 2 4.0 46 92.0 2 4.0
양배추 0 0.0 0 0.0 0 0.0 95 100.0
주: 65개 필지의 영상을 식별한 결과이며, 사전 실험에 참여한 5명의 결과를 합산하여 산출했다.
자료: 저자 작성.
실험 참가자들은 작물의 형태, 색, 재식 간격(주간, 조간 거리), 멀칭 여부 및 종류 등 다양한 요소들을 고려하여 작물을 식별하였다고 응답하였다. 특히 생육 초기의 마늘, 양파는 형태가 비슷하여 혼동할 우려가 크고 작물 자체의 모양으로 구분하기 어려워 작물 외적 요인을 많이 고려하여 식별해야 한다는 의견이 제시되었다.
<표 4-5> 실험 참가자 작물별 식별한 기준(사전 실험)
품목 내용
마늘 ○ 잎이 넓고 퍼져 있으며 옅은 녹색이다. 재식밀도가 높다.
○ 생육 초기 촬영 시 개체가 구분되어 판독이 용이할 것으로 예상된다.
양파 ○ 잎이 가늘고 길며 진한 녹색이다. 마늘 대비 재식밀도가 낮다.
○ 흑색 멀칭 비닐을 사용한 구획의 영상은 판독이 어렵다.
대파 ○ 외줄 재배, 고사 잎이 다수인 경우, 재식 거리 등으로 판독 가능하다.
○ 생육 후반부에 양파와 비슷한 형태로 예상되며, 재식 형태를 확인하고 판단해야 할 것으로 예상된다.
양배추 ○ 녹색의 원형 결구, 재식 형태로 구분 가능하다.
○ 배추 판독 시 유사한 점이 있어 고해상도 영상도 일부 필요할 것으로 생각된다.
자료: 저자 작성.
사전 실험을 실시하는 과정에서 발생한 문제점을 확인하고 객관적인 실험을 진 행할 수 있도록 개선 사항을 도출하였다. 사전 실험을 통해 품목별로 작물 식별이 가능한 대략적인 GSD 수준을 확인할 수 있었다. GSD 2, 4cm 영상은 해상도 차이 가 크지 않아 이후 촬영 및 실험에서 제외하였다. 실험 종료 후 인터뷰에서 다수의 실험 참가자는 동일 구획을 촬영한 고해상도 영상의 존재를 알고 있어 마지막 영 상까지 확인 후 작물을 결정하고 식별 가능한 영상을 체크하는 경우가 많았다고 응답하였다. 참가자 대부분이 오판독을 우려하여 응답을 주저하는 경우가 많았 고, 고해상도의 영상을 선택할 수밖에 없다고 응답하기도 하였다.
또한 영상별 열람 시간이 10초 이상 소요되어 현업에서 수행하는 조건과 다른 환경에서 실험이 진행되었다. 폴더의 구성, 응답 방식 등이 다소 복잡하여 신속하 게 답변하기 어려웠던 것으로 판단된다. 영상의 품질이 낮더라도 영상을 긴 시간 동안 보면 식별할 가능성이 커질 수 있다. 작물 식별을 위한 영상의 수가 많기 때문 에 오랜 시간 영상을 봐서 식별하는 것보다는 직관적으로 영상을 보고 작물을 식 별할 수 있는 수준의 GSD를 찾는 것이 연구 활용 목적에 부합한다고 판단하여, 실 험 재설계 시 이를 고려하였다.
현업에서 식별하는 방식과 동일한 조건에서 실험을 진행하기 위해 품목별, GSD별 영상을 무작위로 배열하고, 짧은 시간 내 각각의 영상만을 활용하여 식별 가능 여부와 품목을 응답하는 방법으로 실험 방식을 변경하기로 하였다.
78 |