Manuscript received on June 10, 2019, Revised on September 20, Accepted on September 24, 2019
1 KEPCO Research Institute, Korea Electric Power Corporation, 105 Munji-ro Yuseong-gu, Daejeon 34056, Republic of Korea
Auto-Tracking Camera Gimbal for Power Line Inspection Drone and its Field Tests on 154 kV Transmission Lines
송전선로 자동추적 카메라 짐벌 및 154 kV 송전선로 현장시험
Seok-Tae Kim
1†, Joon-Young Park
1, Jae-Kyung Lee
1, Ji-Wan Ham
1김석태
1†, 박준영
1, 이재경
1, 함지완
1Abstract
In the field of maintenance of power transmission lines, drones have been used for their patrol and inspection by KEPCO since 2017. This drone technology was originally developed by KEPCO Research Institute, and now workers from four regional offices of KEPCO have directly applied this technology to the drone patrol and inspection tasks. In the drone inspection system, a drone with an optical zooming camera and a thermal camera can fly automatically along the transmission lines by the ground control system developed by KEPCO Research Institute, but its camera gimbal has been remotely controlled by a field worker.
Especially the drone patrol and inspection has been mainly applied for the transmission lines in the inaccessible areas such as regions with river-crossings, sea-crossings and mountains. There are often communication disruptions between the drone and its remote controller in such extreme fields of mountain areas with many barriers. This problem may cause the camera gimbal be out of control, even though the inspection drone flies along the flight path well. In addition, interference with the reception of real-time transmitted videos makes the field worker unable to operate it. To solve these problems, we have developed the auto-tracking camera gimbal system with deep learning method. The camera gimbal can track the transmission line automatically, even when the transmitted video on a remote controller is intermittently unavailable. To show the effectiveness of our camera gimbal system, its field test results will be presented in this paper.
송전선로 현장에서는 2017년도부터 송전선로 순시·점검에 드론을 활용하기 시작했다. 전력연구원의 송전선로 드론점검 시범적용을 시작으로 현재 4개 지역본부에서 전력연구원이 개발한 송전선로 드론순시·점검기술을 현장에서 사용 중에 있다.
현재 점검드론 지상관제시스템을 활용하여 드론은 자동비행하고 광학줌 카메라와 열화상카메라의 짐벌은 현장작업자가 수동 으로 조종하여 송전선을 촬영하는 체계로 운영되고 있다. 송전선로 드론점검은 작업자가 접근하기 어려운 지역, 예를 들면, 강횡단지역 , 해월구간, 산간지역 등에 위치한 송전선로가 그 주요대상이다. 특히 산간지역의 경우, 점검드론과 지상관제시스 템 사이에 장애물이 많고 철탑 구조물이 전파간섭을 일으켜 간헐적으로 통신장애가 일어나곤 한다. 이런 통신장애는 계획된 경로로 비행하는 점검드론의 자동비행에는 영향이 없지만, 카메라 짐벌의 제어에는 영향을 주어 제어불능 상태로 되는 경우 가 있다. 또한, 카메라 짐벌의 제어가 원활하더라도 통신장애로 인해 발생하는 간헐적 영상 끊김 현상은 현장작업자가 점검 대상을 잃어 카메라 짐벌 조정을 불가능하게 한다. 그러므로 본 논문에서는 간헐적 짐벌제어 끊김이나 영상 끊김 현상이 발 생하더라도 지속적으로 송전선을 점검할 수 있도록 하기 위하여 딥러닝 기반 영상인식을 통해 송전선을 자동으로 추적하는 카메라 짐벌을 개발하여 현장 시험한 결과를 소개하고자 한다.
Keywords: Patrol Drone, Camera Gimbal, Auto-Tracking, Transmission Line
I. 서론
드론에 탑재된 카메라 영상을 딥러닝 알고리즘을 이용 하여 송전선을 원활히 검출하기 위해서는 양질의 점검영상 과 실시간 영상처리 시스템을 필요로 한다. Fig. 1은 드론점 검영상으로 양질의 영상과 번진 영상의 예를 보여주고 있다.
여기서 번진 영상은 딥러닝으로 인식하기 어렵기 때문에 양 질의 영상 확보는 매우 중요하다. 그러므로 송전선로 점검 드론의 작업환경을 살펴보면, 점검드론은 2~4 m/s의 속도 로 비행하고 송전선로의 자기장 영향을 회피하기 위하여 선 로 중심에서 30 m 이상 이격하여 자동으로 비행한다 [1].
이로 인해 점검드론에는 광학줌 카메라를 탑재하여 약 8~12배 줌인하여 송전선로를 자세히 점검하고 있다. 또한, 점검에 사용되는 광학줌 카메라인 소니 AX100 [2]은 FHD 해상도로 60 FPS이 저장되고 영상 output 포트로 출력할 수 있지만 , 원활한 영상처리를 위하여 HD해상도로 리사이징하 여 사용할 필요가 있다. 이러한 영상처리를 위한 드론점검 작업환경을 Table. 1과 같이 정리하였다.
II. 영상처리를 위한 디바이스 선정
본 논문에서 영상처리를 위하여 NVDIA의 Jetson TX2와 삼성전자의 스마트폰인 노트8을 선정하여 검토한 결과, 노 트 8은 배터리가 기본 장착되어 있고 안드로이드 체계로 오 픈소스가 다양하여 개발에 용이한 반면 LCD화면 등 불필요 한 장치와 일체형 배터리팩 등으로 무거운 단점이 있다.
Jetson TX2는 AI에 적합한 모듈로 인공지능 분야 기능 확장 이 용이한 반면 구현을 위한 H/W를 별도로 구성해야 하는 단점이 있다. 하지만, 추후 개발과정에서 발생할 수 있는 확 장성을 고려하여 Jetson TX2을 선정하였다. 또한, 현장시험 을 위해 전력연구원에서 개발한 지상관제시스템과 연계 가 능한 드론인 DJI사 M600과 M600에 탑재 가능한 카메라 짐 벌인 로닌 MX [3]을 선정하였다.
III. 영상처리를 알고리즘 검토 및 영상학습
선정된 Jetson TX2을 이용하여 전력설비의 인식을 위해 서는 제한적인 컴퓨팅 리소스와 실시간 검출시간을 고려하 여야 한다. Table. 2는 PASCAL VOC 2007 및 2012에 기반하 여 요즘 많이 사용하고 있는 CNN 아키텍처의 특성을 간략 하게 보여준다[4].
Table 2의 특성은 Geforce GTX Titan X의 GPU로 영상처 리를 했을 경우의 결과로 mAP (mean Average Precision)이
(a) (b)
(c) (d)
Fig. 1. 드론점검영상 샘플. (a) 영상번짐(스페이서). (b) 양질영상(스페이 서). (c) 영상번짐(애자련). (d) 양질영상(애자련).
Table. 1 드론점검의 작업환경 분석
항 목 사 양 참고사항
점검드론
비행 속도 1~4 m/s 속도 비행 1~2 m/s는 특별한 경우 영상
취득각도
역광이 발생하지 않은 정면 또는 하향 각도 촬영
취득 각도에 따라 설비 진단 표면 변경
카메라 (소니 AX100)
카메라 해상도
720p(1,280×720) 이상 해상도 60FPS (초당 60장 이상 촬영)
카메라로부터 FHD영상 → HD 영상으로 resizing 카메라의
초점 자동초점기능 사용 자동초점에 의한
초점 상실 가능 줌 배율 약 10배 줌 10배 줌인 상태에서
진동제어 가능한 짐벌필요
(a) (b)
(c)
Fig. 2. 송전선 영상처리를 위한 디바이스 선정. (a) DJI M600. (b) Jetson TX2. (c) DJI Ronin-MX 짐벌.
Faster-RCNN이 가장 높지만, 처리속도는 7 FPS로 낮다. 게 다가 현장시험에 사용될 Jetson TX2의 GPU 성능 [5]은 더욱 낮기 때문에 실시간 검출이 어려울 것으로 예상된다. 그러 므로 딥러닝 아키텍처로 상대적으로 정확도와 처리속도가 상대적으로 우수한 YOLOv2를 선정하였다.
또한 , 학습모델을 선정하기 위하여 Table. 3과 같이 정확 도와 처리속도의 비교 데이터를 검토한 결과, 상대적 검출 정확도가 우수하면서 처리속도가 높은 Darknet-reference를 선정하였다 .
송전선로의 각 전력설비들을 인식하면 송전선을 효과적 으로 자동 추적할 수 있다. 예를 들면, 애자련과 피뢰기는 송전선 시작과 끝에 위치하고 있기 때문에 송전선을 인식하 고 추종하기 위한 시작과 끝을 알려줄 수 있다. 그리고 송 전선에 달려 있는 스페이서나 SB damper 등 금구류는 송전 선을 제대로 추종하고 있다는 걸 확인할 수 있다. 그러므로 이런 전력설비들의 영상학습을 위해 Table. 4와 같이 송전선 로 드론점검 동영상으로부터 양질의 정지이미지를 추출하고
이 이미지를 회색화, 상하반전, 좌우반전, 회전 등을 통해 가 공 이미지를 생성한 후 약 90%는 학습에 사용하고 나머지 10%는 검증 이미지로 사용하였다.
앞서 선정한 YOLOv2 아키텍처와 Darknet-Reference 모 델로 학습한 결과를 확인하기 위하여 검증 이미지들을 이용 하여 검증한 결과 Table. 5와 같은 결과를 얻을 수 있었다. 피뢰기의 경우, 탐지율과 정확도가 낮은 편이지만, 송전선을 인식하여 추종하기 위한 시작점인 애자련의 탐지율과 정확 도가 높기 때문에 대체가능하고 송전선 추종의 중간 확인점 이 될 스페이서의 탐지율과 정확도도 낮지 않은 수준이다. 또한 , 가공지선을 추종하는 중간 확인점인 항공장애표시구 는 매우 높은 탐지율과 정확도를 얻을 수 있었다.
Table. 2
CNN 아키텍처의 정확도와 처리속도 비교
CNN 아키텍처 Train mAP (정확도) FPS (처리속도)
Fast-RCNN 2007+2012 66.9 0.5
Faster-RCNN 2007+2012 78.8 7
YOLOv1 2007+2012 63.4 45
YOLOv2 2007+2012 76.8 67
Table. 3
학습모델별 정확도와 처리속도 비교 [6] Model Detection Accuracy(정확도) GPU time
(처리시간) 비 고 Top-1 (%) Top-5 (%)
AlexNet 57.0 80.3 1.5 ms 임베디드
VGG16 70.5 90.0 10.7 ms 서버
Darknet19 72.9 91.2 6.0 ms 서버
Darknet-reference 61.1 83.3 1.5 ms 임베디드
Densenet201 77.0 93.7 8.0 ms 서버
Resnet50 75.8 92.9 7.0 ms 서버
Table. 4
학습 및 검증에 사용된 이미지
설비타입 추출
이미지수 가공 이미지수
학습 이미지수
검증
이미지수 가공 방법
스페이서 5,672 45,376 40,812 4,564 원본, 회색화, 상하반전, 좌우반전, 회전 항공장애표시구 4,128 8,256 7,479 777 원본, 회색화
피뢰기 4,678 18,712 16,793 1,919 원본, 회색화, 상하반전, 좌우반전 자기애자련 10,728 93,112 83,756 9,356 원본, 회색화, 상하반전,
좌우반전, 회전 폴리머애자련 393 3,144 2,815 329 원본, 회색화, 상하반전,
좌우반전, 회전 SB damper 7,024 49,168 44,152 5,016 원본, 회색화, 좌우반전,
회전
Table. 5 송전선로 설비의 검출 결과
설비명 탐지율(%) 정확도(%)
스페이서 88.20 88.76
항공장애표시구 97.81 97.10
피뢰기 74.19 72.33
애자련 92.64 94.37
Fig. 3. 학습에 사용된 이미지 샘플.
I. 서론
드론에 탑재된 카메라 영상을 딥러닝 알고리즘을 이용 하여 송전선을 원활히 검출하기 위해서는 양질의 점검영상 과 실시간 영상처리 시스템을 필요로 한다. Fig. 1은 드론점 검영상으로 양질의 영상과 번진 영상의 예를 보여주고 있다.
여기서 번진 영상은 딥러닝으로 인식하기 어렵기 때문에 양 질의 영상 확보는 매우 중요하다. 그러므로 송전선로 점검 드론의 작업환경을 살펴보면, 점검드론은 2~4 m/s의 속도 로 비행하고 송전선로의 자기장 영향을 회피하기 위하여 선 로 중심에서 30 m 이상 이격하여 자동으로 비행한다 [1].
이로 인해 점검드론에는 광학줌 카메라를 탑재하여 약 8~12배 줌인하여 송전선로를 자세히 점검하고 있다. 또한, 점검에 사용되는 광학줌 카메라인 소니 AX100 [2]은 FHD 해상도로 60 FPS이 저장되고 영상 output 포트로 출력할 수 있지만 , 원활한 영상처리를 위하여 HD해상도로 리사이징하 여 사용할 필요가 있다. 이러한 영상처리를 위한 드론점검 작업환경을 Table. 1과 같이 정리하였다.
II. 영상처리를 위한 디바이스 선정
본 논문에서 영상처리를 위하여 NVDIA의 Jetson TX2와 삼성전자의 스마트폰인 노트8을 선정하여 검토한 결과, 노 트 8은 배터리가 기본 장착되어 있고 안드로이드 체계로 오 픈소스가 다양하여 개발에 용이한 반면 LCD화면 등 불필요 한 장치와 일체형 배터리팩 등으로 무거운 단점이 있다.
Jetson TX2는 AI에 적합한 모듈로 인공지능 분야 기능 확장 이 용이한 반면 구현을 위한 H/W를 별도로 구성해야 하는 단점이 있다. 하지만, 추후 개발과정에서 발생할 수 있는 확 장성을 고려하여 Jetson TX2을 선정하였다. 또한, 현장시험 을 위해 전력연구원에서 개발한 지상관제시스템과 연계 가 능한 드론인 DJI사 M600과 M600에 탑재 가능한 카메라 짐 벌인 로닌 MX [3]을 선정하였다.
III. 영상처리를 알고리즘 검토 및 영상학습
선정된 Jetson TX2을 이용하여 전력설비의 인식을 위해 서는 제한적인 컴퓨팅 리소스와 실시간 검출시간을 고려하 여야 한다. Table. 2는 PASCAL VOC 2007 및 2012에 기반하 여 요즘 많이 사용하고 있는 CNN 아키텍처의 특성을 간략 하게 보여준다[4].
Table 2의 특성은 Geforce GTX Titan X의 GPU로 영상처 리를 했을 경우의 결과로 mAP (mean Average Precision)이
(a) (b)
(c) (d)
Fig. 1. 드론점검영상 샘플. (a) 영상번짐(스페이서). (b) 양질영상(스페이 서). (c) 영상번짐(애자련). (d) 양질영상(애자련).
Table. 1 드론점검의 작업환경 분석
항 목 사 양 참고사항
점검드론
비행 속도 1~4 m/s 속도 비행 1~2 m/s는 특별한 경우 영상
취득각도
역광이 발생하지 않은 정면 또는 하향 각도 촬영
취득 각도에 따라 설비 진단 표면 변경
카메라 (소니 AX100)
카메라 해상도
720p(1,280×720) 이상 해상도 60FPS (초당 60장 이상 촬영)
카메라로부터 FHD영상 → HD 영상으로 resizing 카메라의
초점 자동초점기능 사용 자동초점에 의한
초점 상실 가능 줌 배율 약 10배 줌 10배 줌인 상태에서
진동제어 가능한 짐벌필요
(a) (b)
(c)
Fig. 2. 송전선 영상처리를 위한 디바이스 선정. (a) DJI M600. (b) Jetson TX2. (c) DJI Ronin-MX 짐벌.
Faster-RCNN이 가장 높지만, 처리속도는 7 FPS로 낮다. 게 다가 현장시험에 사용될 Jetson TX2의 GPU 성능 [5]은 더욱 낮기 때문에 실시간 검출이 어려울 것으로 예상된다. 그러 므로 딥러닝 아키텍처로 상대적으로 정확도와 처리속도가 상대적으로 우수한 YOLOv2를 선정하였다.
또한 , 학습모델을 선정하기 위하여 Table. 3과 같이 정확 도와 처리속도의 비교 데이터를 검토한 결과, 상대적 검출 정확도가 우수하면서 처리속도가 높은 Darknet-reference를 선정하였다 .
송전선로의 각 전력설비들을 인식하면 송전선을 효과적 으로 자동 추적할 수 있다. 예를 들면, 애자련과 피뢰기는 송전선 시작과 끝에 위치하고 있기 때문에 송전선을 인식하 고 추종하기 위한 시작과 끝을 알려줄 수 있다. 그리고 송 전선에 달려 있는 스페이서나 SB damper 등 금구류는 송전 선을 제대로 추종하고 있다는 걸 확인할 수 있다. 그러므로 이런 전력설비들의 영상학습을 위해 Table. 4와 같이 송전선 로 드론점검 동영상으로부터 양질의 정지이미지를 추출하고
이 이미지를 회색화, 상하반전, 좌우반전, 회전 등을 통해 가 공 이미지를 생성한 후 약 90%는 학습에 사용하고 나머지 10%는 검증 이미지로 사용하였다.
앞서 선정한 YOLOv2 아키텍처와 Darknet-Reference 모 델로 학습한 결과를 확인하기 위하여 검증 이미지들을 이용 하여 검증한 결과 Table. 5와 같은 결과를 얻을 수 있었다.
피뢰기의 경우, 탐지율과 정확도가 낮은 편이지만, 송전선을 인식하여 추종하기 위한 시작점인 애자련의 탐지율과 정확 도가 높기 때문에 대체가능하고 송전선 추종의 중간 확인점 이 될 스페이서의 탐지율과 정확도도 낮지 않은 수준이다.
또한 , 가공지선을 추종하는 중간 확인점인 항공장애표시구 는 매우 높은 탐지율과 정확도를 얻을 수 있었다.
Table. 2
CNN 아키텍처의 정확도와 처리속도 비교
CNN 아키텍처 Train mAP (정확도) FPS (처리속도)
Fast-RCNN 2007+2012 66.9 0.5
Faster-RCNN 2007+2012 78.8 7
YOLOv1 2007+2012 63.4 45
YOLOv2 2007+2012 76.8 67
Table. 3
학습모델별 정확도와 처리속도 비교 [6]
Model Detection Accuracy(정확도) GPU time (처리시간) 비 고 Top-1 (%) Top-5 (%)
AlexNet 57.0 80.3 1.5 ms 임베디드
VGG16 70.5 90.0 10.7 ms 서버
Darknet19 72.9 91.2 6.0 ms 서버
Darknet-reference 61.1 83.3 1.5 ms 임베디드
Densenet201 77.0 93.7 8.0 ms 서버
Resnet50 75.8 92.9 7.0 ms 서버
Table. 4
학습 및 검증에 사용된 이미지
설비타입 추출
이미지수 가공 이미지수
학습 이미지수
검증
이미지수 가공 방법
스페이서 5,672 45,376 40,812 4,564 원본, 회색화, 상하반전, 좌우반전, 회전 항공장애표시구 4,128 8,256 7,479 777 원본, 회색화
피뢰기 4,678 18,712 16,793 1,919 원본, 회색화, 상하반전, 좌우반전 자기애자련 10,728 93,112 83,756 9,356 원본, 회색화, 상하반전,
좌우반전, 회전 폴리머애자련 393 3,144 2,815 329 원본, 회색화, 상하반전,
좌우반전, 회전 SB damper 7,024 49,168 44,152 5,016 원본, 회색화, 좌우반전,
회전
Table. 5 송전선로 설비의 검출 결과
설비명 탐지율(%) 정확도(%)
스페이서 88.20 88.76
항공장애표시구 97.81 97.10
피뢰기 74.19 72.33
애자련 92.64 94.37
Fig. 3. 학습에 사용된 이미지 샘플.
IV. 카메라짐벌 송전선 자동추적 알고리즘 및 현장시험
점검드론에 설치한 Jetson TX2의 제한된 Computing resource를 이용하여 효과적이고 신뢰도 높은 설비검출을 위해서는 논리적인 시나리오 구성이 필요하다. Fig. 4와 같이 점검드론의 이동경로에 따라 사전에 전력설비들을 학습시켜 놓으면 검출율을 높일 수 있다. 설비배열과 점검드론의 GPS 위치정보를 활용하여 Table. 6과 같은 시나리오를 수립하여 송전선을 안정적으로 추종할 수 있다.
점검 중 광학줌 카메라의 화각(AOV, Angle Of View)은 Fig. 5와 같이 줌인상태로 수평과 수직화각으로 나뉘고 송전 선을 추종하기 위해서는 Fig. 6과 같이 화각의 중심과 송전 선의 중심을 일치시켜야 하며 픽셀 단위(Offset)로 계산한 Yaw, Roll, Pitch의 회전각으로 명령을 주어 카메라 짐벌을 제 어한다 .
이동각도 = Offset × AOV (1)
송전선 추종을 위해서는 먼저 시작점인 애자련을 검출 하여 추종해야 한다. 먼저 송전선로 드론점검 시범적용으로 취득된 점검 동영상으로 애자련 검출시험을 수행하였다. Fig.
7에서와 같이 애자련이 1개만 검출된 경우는 애자련의 중심 점으로 추종하면 되지만, 경우에 따라서 반대쪽 회선에 있 는 애자련까지 2개가 검출되는 경우도 발생한다. 이런 경우, 애자련의 크기를 비교하여 더 큰 애자련을 선정하여 추종한 다 . 또한, 송전선의 추종 또는 드론의 자동비행에서 문제가 발생할 경우, 점검드론을 회수하여 처음부터 시나리오를 재 시작하여 점검한다.
송전선의 경우에도 확보된 드론점검 동영상을 이용하여 송전선 검출시험을 수행하였다. Fig. 8과 같이 송전선이 1개 만 검출된 경우는 그냥 송전선 중심을 추종하면 되지만, 송 전선이 1개 이상이 검출된 경우는 추종하고자 하는 송전선 을 선정할 필요가 있다.
송전선로 드론점검 시 점검하고자 하는 회선의 송전선 은 드론이 비행하고 있는 쪽 회선의 송전선이 되고 반대쪽 회선의 점검은 반대쪽 이착륙지에서 이륙하여 선로를 점검 하거나 선로를 넘어서 접근하여 점검한다. 하지만, 드론의 비행고도와 송전선의 처짐 정도에 따라 반대쪽 회선의 송전 선이 함께 촬영되기도 한다. 이런 경우, 송전선이 1개 이상 이 검출될 수 있는데, 검출된 송전선 중 제일 상단의 송전 선 중심점(PT1)과 제일 하단선 송전선 중심선(PT2)의 거리 를 계산하고 중심점간의 거리가 프레임의 1/2 높이보다 작 으면 PT1과 PT2의 중심점을 추종하고 중심점간의 거리가
Fig. 4. 점검드론의 FPV영상 및 경로에 따른 설비배열.
Fig. 5. 점검 중 망원줌인 화각.
Fig. 6. 카메라 짐벌의 제어각.
Table. 6
송전선 자동추종을 위한 제어 시나리오
① GCS 연계 점검시작점 이동 ․ GPS 기반 자동비행을 활용한 점검시작점 이동
② 경점검시작점 도착 확인 ․ 드론의 고도 및 GPS 위치 정보 활용 시작점 도착여부 확인⇩
⇩
③ 점검시작점 애자류 검출 ․ 애자련 검출
․ 애자련과 연결된 전선류 탐색
⇩
④ 점검진행 송전선 검출 ․ 검출된 전선류 추종 비행 시작
․ 송전선 추종 짐벌 제어
⇩
⑤ 송전선 검출 및 짐벌 제어․ 추종 송전선 연속성을 위한 각도 이동각도 산출
․ 송전선 추종 짐벌 제어 연속 진행
⇩
⑥ 다음 지점 도착 확인 ․ 다음 지점의 고도 및 위치정보 확인
⇩
⑦ 다음 지점 애자련 검출 ․ 애자련 검출 및 연결 전선류 탐색
․ 상향 이동 및 애자련 검출 연속
⑧ 반복 진행 ⇩ ․ 상기 사항 반복하며 진행
Table. 7
딥러닝 아키텍처 현장시험 애자련 결과
아키텍처 모델 Detection Accuracy(정확도) 처리속도(FPS) Top-1 (%)
YOLOv2 Darknet-reference 92.64 7.8 FPS
프레임의 1/2 높이보다 크면 제일 하단 송전선의 중심점을 선정하여 추종한다. 중심점간의 거리가 프레임의 1/2 높이 보다 큰 경우는 대부분 반대쪽 회선의 송전선이 함께 검출 된 경우이기 때문이다.
상기의 영상학습결과와 추종 알고리즘을 검증하기 위하 여 실제 송전선로 현장에서 점검드론으로부터 실시간으로 영상을 수신 받아 애자련 및 송전선을 검출하고 추종하는 시험을 수행하였다. 현장시험을 수행을 위하여 Fig. 11과 같 이 DJI사 M600 드론에 Jetson TX2를 설치하고 Ronin MX에 광학카메라 Sony AX100을 탑재하여 실시간 영상을 전송받 고 녹화할 수 있도록 디바이스를 구성하였다.
상기와 같이 구성된 디바이스를 이용하여 전력연구원 인근 154 kV 대덕-덕진 T/L 5-6호기 경간을 대상으로 현장 시험을 수행하였다. 전력연구원에서 개발한 지상관제시스템 과 연계하여 전력연구원 운동장에서 드론을 이륙시켜 자동 비행하였다 . Fig. 12는 저장된 영상에 PIP로 삽입된 원격 조 종기 화면으로 실시간으로 애자련을 검출할 수 있음을 확인 하였다 . 애자련 검출 현장시험에 사용된 YOLOv2 아키텍처 와 Darknet-reference로 구성된 딥러닝 모델 및 검출기의 성능은 Table. 7과 같다.
Table. 7의 결과는 임베디드 디바이스 Nvidia Jetson TX2 (GPU Core 256개)의 결과이며 CNN 아키텍처를 비교하기 위 해 Table. 2에서 사용한 Geforce GTX Titan X (GPU Core 3072, YOLOv2: 67 FPS)에 보다 GPU 코어수 1/10 이상 낮은 디바 이스로 측정한 결과로 속도는 Core 수에 비해 7.8 FPS로 다
(a)
(b) (c)
Fig. 7. 애자련 추종 선정방안. (a) 애자련 중심점과 영상 중심점 Offset.
(b) 애자련 1개. (c) 애자련 2개.
(a)
(b)
Fig. 8. 점검동영상으로 송전선 검출 예. (a) 검출된 송전선이 1개인 경우, (b) 검출된 송전선이 1개 이상인 경우.
Fig. 9. 송전선 추종 선정방안.
IV. 카메라짐벌 송전선 자동추적 알고리즘 및 현장시험
점검드론에 설치한 Jetson TX2의 제한된 Computing resource를 이용하여 효과적이고 신뢰도 높은 설비검출을 위해서는 논리적인 시나리오 구성이 필요하다. Fig. 4와 같이 점검드론의 이동경로에 따라 사전에 전력설비들을 학습시켜 놓으면 검출율을 높일 수 있다. 설비배열과 점검드론의 GPS 위치정보를 활용하여 Table. 6과 같은 시나리오를 수립하여 송전선을 안정적으로 추종할 수 있다.
점검 중 광학줌 카메라의 화각(AOV, Angle Of View)은 Fig. 5와 같이 줌인상태로 수평과 수직화각으로 나뉘고 송전 선을 추종하기 위해서는 Fig. 6과 같이 화각의 중심과 송전 선의 중심을 일치시켜야 하며 픽셀 단위(Offset)로 계산한 Yaw, Roll, Pitch의 회전각으로 명령을 주어 카메라 짐벌을 제 어한다 .
이동각도 = Offset × AOV (1)
송전선 추종을 위해서는 먼저 시작점인 애자련을 검출 하여 추종해야 한다. 먼저 송전선로 드론점검 시범적용으로 취득된 점검 동영상으로 애자련 검출시험을 수행하였다. Fig.
7에서와 같이 애자련이 1개만 검출된 경우는 애자련의 중심 점으로 추종하면 되지만, 경우에 따라서 반대쪽 회선에 있 는 애자련까지 2개가 검출되는 경우도 발생한다. 이런 경우, 애자련의 크기를 비교하여 더 큰 애자련을 선정하여 추종한 다 . 또한, 송전선의 추종 또는 드론의 자동비행에서 문제가 발생할 경우, 점검드론을 회수하여 처음부터 시나리오를 재 시작하여 점검한다.
송전선의 경우에도 확보된 드론점검 동영상을 이용하여 송전선 검출시험을 수행하였다. Fig. 8과 같이 송전선이 1개 만 검출된 경우는 그냥 송전선 중심을 추종하면 되지만, 송 전선이 1개 이상이 검출된 경우는 추종하고자 하는 송전선 을 선정할 필요가 있다.
송전선로 드론점검 시 점검하고자 하는 회선의 송전선 은 드론이 비행하고 있는 쪽 회선의 송전선이 되고 반대쪽 회선의 점검은 반대쪽 이착륙지에서 이륙하여 선로를 점검 하거나 선로를 넘어서 접근하여 점검한다. 하지만, 드론의 비행고도와 송전선의 처짐 정도에 따라 반대쪽 회선의 송전 선이 함께 촬영되기도 한다. 이런 경우, 송전선이 1개 이상 이 검출될 수 있는데, 검출된 송전선 중 제일 상단의 송전 선 중심점(PT1)과 제일 하단선 송전선 중심선(PT2)의 거리 를 계산하고 중심점간의 거리가 프레임의 1/2 높이보다 작 으면 PT1과 PT2의 중심점을 추종하고 중심점간의 거리가
Fig. 4. 점검드론의 FPV영상 및 경로에 따른 설비배열.
Fig. 5. 점검 중 망원줌인 화각.
Fig. 6. 카메라 짐벌의 제어각.
Table. 6
송전선 자동추종을 위한 제어 시나리오
① GCS 연계 점검시작점 이동 ․ GPS 기반 자동비행을 활용한 점검시작점 이동
② 경점검시작점 도착 확인 ․ 드론의 고도 및 GPS 위치 정보 활용 시작점 도착여부 확인⇩
⇩
③ 점검시작점 애자류 검출 ․ 애자련 검출
․ 애자련과 연결된 전선류 탐색
⇩
④ 점검진행 송전선 검출 ․ 검출된 전선류 추종 비행 시작
․ 송전선 추종 짐벌 제어
⇩
⑤ 송전선 검출 및 짐벌 제어․ 추종 송전선 연속성을 위한 각도 이동각도 산출
․ 송전선 추종 짐벌 제어 연속 진행
⇩
⑥ 다음 지점 도착 확인 ․ 다음 지점의 고도 및 위치정보 확인
⇩
⑦ 다음 지점 애자련 검출 ․ 애자련 검출 및 연결 전선류 탐색
․ 상향 이동 및 애자련 검출 연속
⑧ 반복 진행 ⇩ ․ 상기 사항 반복하며 진행
Table. 7
딥러닝 아키텍처 현장시험 애자련 결과
아키텍처 모델 Detection Accuracy(정확도) 처리속도(FPS) Top-1 (%)
YOLOv2 Darknet-reference 92.64 7.8 FPS
프레임의 1/2 높이보다 크면 제일 하단 송전선의 중심점을 선정하여 추종한다. 중심점간의 거리가 프레임의 1/2 높이 보다 큰 경우는 대부분 반대쪽 회선의 송전선이 함께 검출 된 경우이기 때문이다.
상기의 영상학습결과와 추종 알고리즘을 검증하기 위하 여 실제 송전선로 현장에서 점검드론으로부터 실시간으로 영상을 수신 받아 애자련 및 송전선을 검출하고 추종하는 시험을 수행하였다. 현장시험을 수행을 위하여 Fig. 11과 같 이 DJI사 M600 드론에 Jetson TX2를 설치하고 Ronin MX에 광학카메라 Sony AX100을 탑재하여 실시간 영상을 전송받 고 녹화할 수 있도록 디바이스를 구성하였다.
상기와 같이 구성된 디바이스를 이용하여 전력연구원 인근 154 kV 대덕-덕진 T/L 5-6호기 경간을 대상으로 현장 시험을 수행하였다. 전력연구원에서 개발한 지상관제시스템 과 연계하여 전력연구원 운동장에서 드론을 이륙시켜 자동 비행하였다 . Fig. 12는 저장된 영상에 PIP로 삽입된 원격 조 종기 화면으로 실시간으로 애자련을 검출할 수 있음을 확인 하였다 . 애자련 검출 현장시험에 사용된 YOLOv2 아키텍처 와 Darknet-reference로 구성된 딥러닝 모델 및 검출기의 성능은 Table. 7과 같다.
Table. 7의 결과는 임베디드 디바이스 Nvidia Jetson TX2 (GPU Core 256개)의 결과이며 CNN 아키텍처를 비교하기 위 해 Table. 2에서 사용한 Geforce GTX Titan X (GPU Core 3072, YOLOv2: 67 FPS)에 보다 GPU 코어수 1/10 이상 낮은 디바 이스로 측정한 결과로 속도는 Core 수에 비해 7.8 FPS로 다
(a)
(b) (c)
Fig. 7. 애자련 추종 선정방안. (a) 애자련 중심점과 영상 중심점 Offset.
(b) 애자련 1개. (c) 애자련 2개.
(a)
(b)
Fig. 8. 점검동영상으로 송전선 검출 예. (a) 검출된 송전선이 1개인 경우, (b) 검출된 송전선이 1개 이상인 경우.
Fig. 9. 송전선 추종 선정방안.
소 높게 측정되었다.
Fig. 13에서는 2도체 송전선과 4도체 송전선이 촬영된 화면에서 송전선을 검출하여 카메라 짐벌이 송전선을 추종 함을 확인할 수 있었다. 송전선 추종은 8 FPS 수준의 속도로 검출되었으며 검출정보에 따라 실시간으로 선로 추종되어 화면 내 선로 형상을 지속 관찰 할 수 있었다.
V. CONCLUSION
본 논문에서는 송전선로 드론점검 중 작업자가 수동으
로 카메라 짐벌을 조종하는 작업을 자동화하기 위하여 딥러 닝을 이용하여 송전선 및 설비를 검출하여 송전선을 자동으 로 추종하는 알고리즘을 제안하였다. 이를 위해 YOLOv2의 CNN 아키텍처와 Darknet-Reference 학습모델로 송전설비를 검출하고 본 논문에서 제시한 애자련 및 송전선 추종알고리 즘을 이용하여 카메라 짐벌의 Yaw, Roll, Pitch각을 제어하여 송전선을 자동으로 추종하였다. 또한, 송전선로의 점검영상 중 일부 이미지를 샘플링하여 점검드론 운용시스템으로 전 송하여 시각화할 수 있다.
이번 현장시험에서는 먼저 154 kV 송전선로의 송전선을 대상으로 현장실증시험을 수행하였고 2도체인 송전선과 가
(a) (b) Fig. 10. 애자련 및 송전선 추종 알고리즘. (a) 애자련 추종. (b) 송전선 추종.
공지선을 추종하는 알고리즘을 검증하였다. 하지만, 345 kV 와 765 kV 송전선인 4도체와 6도체의 송전선에 대한 자동 추적 알고리즘은 개발 중에 있고 철탑의 송전설비 점검도 자동화하기 위하여 복잡하게 배열된 송전설비의 추종알고리 즘도 현재 개발 중에 있다.
향후 , 345 kV 및 765 kV 송전선 추종과 철탑의 복잡하게 배열된 송전설비의 추종 알고리즘이 개발되어 점검드론의 카메라 짐벌이 자동화 된다면 여러 대의 점검드론을 편대비 행하여 송전선로를 양쪽 회선을 동시에 점검할 수 있고 2대 의 점검드론을 작업자 3명이 운용할 수 있어 현장에서의 작 업효율이 매우 높아질 것으로 기대된다 [7].
ACKNOWLEDGEMENT
This research was supported by Korea Electric Power Corporation through KEPCO Research Institute. (Grant number: R16TA26)
이 논문은 한국전력공사의 재원으로 2016년 선정된 자 체연구개발과제의 지원을 받아 수행된 것임. (과제번호:
R16TA26)
REFERENCES
[1] 한국전력공사 전력연구원, "송전선로 감시진단용 생체모방 드론시스템 개발(세부과제)(1단계 중간보고서)", 2018.
[2] Sony.com, "Sony AX100 Specifications and Features," Available at: https://www.sony.com/electronics/handycam-camcorders/fdr- ax100/specifications
[3] Dji. com, "RONIN-MX Specifications," Available at: https://www.dji.com/kr/ronin-mx/info.
[4] Joseph Redmon and Ali Farhadi, "YOLO9000:Better, Faster, Stronger," Available at: http://pjreddie.com/yolo9000, 2016.
[5] Nvidia. com, "Jetson TX2 Module Specifications," Available at: https://www.nvidia.com/en-us/autonomous-machines/embedded- Fig. 12. 애자련 추종 현장시험.
Fig. 13. 송전선 추종 현장시험. Fig. 11. 점검드론 및 영상처리 디바이스 구성.
소 높게 측정되었다.
Fig. 13에서는 2도체 송전선과 4도체 송전선이 촬영된 화면에서 송전선을 검출하여 카메라 짐벌이 송전선을 추종 함을 확인할 수 있었다. 송전선 추종은 8 FPS 수준의 속도로 검출되었으며 검출정보에 따라 실시간으로 선로 추종되어 화면 내 선로 형상을 지속 관찰 할 수 있었다.
V. CONCLUSION
본 논문에서는 송전선로 드론점검 중 작업자가 수동으
로 카메라 짐벌을 조종하는 작업을 자동화하기 위하여 딥러 닝을 이용하여 송전선 및 설비를 검출하여 송전선을 자동으 로 추종하는 알고리즘을 제안하였다. 이를 위해 YOLOv2의 CNN 아키텍처와 Darknet-Reference 학습모델로 송전설비를 검출하고 본 논문에서 제시한 애자련 및 송전선 추종알고리 즘을 이용하여 카메라 짐벌의 Yaw, Roll, Pitch각을 제어하여 송전선을 자동으로 추종하였다. 또한, 송전선로의 점검영상 중 일부 이미지를 샘플링하여 점검드론 운용시스템으로 전 송하여 시각화할 수 있다.
이번 현장시험에서는 먼저 154 kV 송전선로의 송전선을 대상으로 현장실증시험을 수행하였고 2도체인 송전선과 가
(a) (b) Fig. 10. 애자련 및 송전선 추종 알고리즘. (a) 애자련 추종. (b) 송전선 추종.
공지선을 추종하는 알고리즘을 검증하였다. 하지만, 345 kV 와 765 kV 송전선인 4도체와 6도체의 송전선에 대한 자동 추적 알고리즘은 개발 중에 있고 철탑의 송전설비 점검도 자동화하기 위하여 복잡하게 배열된 송전설비의 추종알고리 즘도 현재 개발 중에 있다.
향후 , 345 kV 및 765 kV 송전선 추종과 철탑의 복잡하게 배열된 송전설비의 추종 알고리즘이 개발되어 점검드론의 카메라 짐벌이 자동화 된다면 여러 대의 점검드론을 편대비 행하여 송전선로를 양쪽 회선을 동시에 점검할 수 있고 2대 의 점검드론을 작업자 3명이 운용할 수 있어 현장에서의 작 업효율이 매우 높아질 것으로 기대된다 [7].
ACKNOWLEDGEMENT
This research was supported by Korea Electric Power Corporation through KEPCO Research Institute. (Grant number: R16TA26)
이 논문은 한국전력공사의 재원으로 2016년 선정된 자 체연구개발과제의 지원을 받아 수행된 것임. (과제번호:
R16TA26)
REFERENCES
[1] 한국전력공사 전력연구원, "송전선로 감시진단용 생체모방 드론시스템 개발(세부과제)(1단계 중간보고서)", 2018.
[2] Sony.com, "Sony AX100 Specifications and Features," Available at:
https://www.sony.com/electronics/handycam-camcorders/fdr- ax100/specifications
[3] Dji. com, "RONIN-MX Specifications," Available at:
https://www.dji.com/kr/ronin-mx/info.
[4] Joseph Redmon and Ali Farhadi, "YOLO9000:Better, Faster, Stronger,"
Available at: http://pjreddie.com/yolo9000, 2016.
[5] Nvidia. com, "Jetson TX2 Module Specifications," Available at:
https://www.nvidia.com/en-us/autonomous-machines/embedded- Fig. 12. 애자련 추종 현장시험.
Fig. 13. 송전선 추종 현장시험.
Fig. 11. 점검드론 및 영상처리 디바이스 구성.
systems-dev-kits-modules.
[6] https://pjreddie.com/darknet/imagenet/ [7] 한국전력공사 전력연구원, "딥러닝 기반 송전선로 자동진단 드론 운용 기술 개발(세부과제)(2단계 중간보고서)", 2019.
