*정회원, 한국산업기술대학교 기계설계공학과 (교신저자) 접수일자: 2019년 10월 29일, 수정완료: 2019년 11월 29일 게재확정일자: 2019년 12월 6일
Received: 29 October, 2019 / Revised: 29 November, 2019 / Accepted: 6 December, 2019
*Corresponding Author: [email protected]
Dept. of Mechanical Design Engineering, Korea Polytechnic University, Korea
https://doi.org/10.7236/JIIBC.2019.19.6.35
JIIBC 2019-6-6
LTE 통신을 이용한 실시간 원격주행 드론 시스템
Real-time Tele-operated Drone System with LTE Communication
강병훈*
Byoung Hun Kang*
요 약 본 연구는 LTE 통신망을 사용하여, 실시간 드론 원격주행 시스템을 제안한다. 원격지에 위치한 드론을 180km 떨어진 거리에 위치한 조종자가 50msec 시간지연으로 실시간 고도와 위치, 자세를 제어하면서 조정한다. 조정자의 조정 신호에 따라 움직이는 드론의 영상과 모션 정보는 실시간으로 조정자에게 전송되어, 영상은 조종자의 HMD에서 재생되 며, 모션 정보는 조종자가 탑승한 시뮬레이터를 구동하게 된다. 일반으로 드론조정은 RF 신호를 사용하여 통상 2km 이내에서 직접 조정이 가능하며, 이 이상의 거리에서는 미션 플래너를 사용하여 GPS 운행을 한다. 따라서 장거리 비행 중 발생하는 긴급 상황에 대처하는 방안은 자동 비행 종료 후, 원위치로 복귀하는 기능이 주를 이룬다. 본 연구에서는 LTE 통신을 사용하여, 비행 중인 드론의 모션과 영상을 평균 50m sec 이내로 조종자에게 전송하여, 조종자에게 실제 원격지의 드론 위에서 조정하는 것과 유사한 실감환경을 제시한다. 제안된 시스템의 검증을 위하여 대전의 드론 조종자 가 강원도 인제에 위치한 드론을 조종하는 실험 결과를 제시한다.
Abstract In this research, we suggest a real-time tele-driving system for unmanned drone operations using the LTE communication system. The drone operator is located 180km away and controls the altitude and position of the drone with a 50ms time delay. The motion data and video from the drone is streamed to the operator. The video is played on the operator’s head-mounted display (HMD) and the motion data emulates the drone on the simulator for the operator. In general, a drone is operated using RF signal and the maximum distance for direct control is limited to 2km. For long range drone control over 2km, an auto flying mode is enabled using a mission plan along with GPS data. In an emergency situation, the autopilot is stopped and the “return home” function is executed. In this research, the immersion tele-driving system is suggested for drone operation with a 50ms time delay using LTE communication. A successful test run of the suggested tele-driving system has already been performed between an operator in Daejeon and a drone in Inje (Gangwon-Do) which is approximately 180km apart.
Key Words : Drone System, LTE communication, Real Time Tele-operation.
Ⅰ. 서 론
육군에서는 드론과 무인기를 이용한 전투 활용을 극대 화하기 위하여 2018년 드론봇 전투단을 창설하였다. 드 론봇 전투단은 군사용으로 활용 가능한 장거리 정찰, 무 인기 자폭, 무인정찰, 건물 내 탐지 등의 임무를 수행 하 기 위하여 다양한 연구를 진행하고 있으며, 이를 확산하 고 보급하기 위하여 매년 “드론봇 챌린지”를 개최하고 있 다. 본 연구는 2019년 9월 드론봇 챌린지에서 시연을 보 인 “LTE 통신환경 상에서 장거리 드론 원격조정 시스템”
을 제안하고자 한다.
재난지역이나 원격지형의 조사, 정찰 감시에 드론을 활용하는 연구가 많이 진행되고 있다
[1],[2]. 일반적으로 드 론은 RF 통신을 사용하여 직접 드론 조정자가 조정하는 거리는 2km 내외이다. 대부분의 무인기나 드론은 미션 플래너 (Mission Planner)라고 하는 오픈소스 프로그램 을 사용하여 드론의 비행모드, 캘리브레이션, 비행 파라 메터 설정을 수행한다
[3]. 드론과 미션 플래너가 연결되 면, 고도 및 자세 각도인 Altitude, Yaw가 드론의 모션 센서(IMU 센서)에 따라 실시간으로 모니터링 된다. 미션 플래너는 GPS 정보를 기반으로, 드론의 비행 경로를 제 어하고, 위치를 모니터링 할 수 있다
[4].
드론과 미션 플래너 간의 데이터 통신을 위해 사용하 는 프로토콜은 MAVLink 이다. 최근에 LTE를 사용하여 드론을 운행하는 시스템이 개발되고 있는 추세이나, 대부 분의 시스템은 드론에서 촬영되는 영상을 LTE 통신을 사 용하여 원격지로 전송하는 방법으로 진행되고 있으며, 장 거리 비행 시 조종은 미션 플래너에서 미리 프로그램 된 GPS 정보를 사용하여 자율 비행하는 형식을 취하고 있
다
[5],[6]. 따라서 장거리 비행 시 발생할 수 있는 긴급 상황
이나 돌발변수에는 효과적으로 대처할 수 있는 방안이 없으며, 최선의 방법이 미리 프로그램된 절차에 따라서, 원점복귀(Home Return)를 수행하는 것이 일반적인 장 거리 비행방법이다.
본 연구에서는 LTE 통신을 사용하여, 비행 중의 상황 과 드론의 모션을 평균 50m sec 이내로 조종자에게 전 송하여, 조종자에게 실제 원격지의 드론 위에서 조정하는 실감환경을 제공하는 원격조정 시스템을 제안한다. 제안 된 시스템의 검증을 위하여 대전의 드론 조종자가 강원 도 인제에 위치한 드론을 실시간으로 조종하고 드론봇 챌린지의 미션을 수행하는 실험 결과를 제시한다.
Ⅱ. 장거리 원격 비행 시스템
본 연구에서는 강원도 인제에 위치(지점 A, 그림1) 에 위치한 드론을 충청도 대전시청(지점 B, 그림1) 에서 실 시간으로 비행제어를 통하여 원격 주행하는 시스템을 수 행하였다. 지점 A와 B 사이의 절대 거리는 약 180km 이 다.
그림 1. 180km 떨어진 드론과 조종자의 위치
Fig. 1. Location of the drone and the operator with 180km away
그림 2는 지점 A에 위치한 드론이 수행하여야 하는 미션 궤적과 이에 따른 GPS데이터를 보여준다. 드론은 SP점에서 이륙하여, 순서대로 ①, ②, ③, ④ 점을 거친 뒤, Ⓣ에 위치한 원형 링을 통과하는 미션을 수행하여야 한다. 총 드론의 비행거리는 약 3.5km 이며, 최단시간에 미션을 수행하여야 한다.
그림 2. 드론의 미션 궤적과 GPS 데이터
Fig. 2. Mission trajectory of the drone and GPS data
그림 3의 (a)는 지점 A에 위치한 크기 80cm 쿼드로 터(Quad-rotor) 타입의 드론이다. 드론의 FC (Flight Controller)는 Pixhawk를 사용하였고, LTE 통신과 영 상과 모션데이터 동기를 위하여 Rasberry Pi와 Navio MCU를 사용하였다.
드론에는 2대의 카메라가 설치되어 있으며, 1대는 드 론 프레임에 고정으로 장착되어 드론이 움직임에 따라 비디오가 전송되며, 나머지 1대는 짐벌(Gimbal)에 부착 되어 원격지의 조종자가 필요에 따라 영상의 위치와 각 도를 조정할 수 있다. 영상신호와 자체에 부착된 IMU 모 션센서 데이터는 MCU를 거쳐 LTE 통신으로 원격의 조 종자에게 실시간으로 보내진다. 따라서 드론 조종자는 실 제 드론 위에 탑승한 것과 같은 실감 환경이 구현 된다.
드론에서 실시간 촬영된 720p 영상과 모션센서 데이터 는 LTE 통신을 이용하여 평균 50msec의 시간지연으로 조종자에게 전송 하였다.
(a) The Tele-operated quad-rotor drone in location A
(b) The drone operator on the simulator moved by the IMU data from the remote site drone in location B
그림 3. LTE 통신을 이용한 실시간 드론 원격주행 시스템 Fig. 3. Real time tele-operated drone system with LTE
communication
그림 3의 (b)는 지점 B 에 위치한 드론 원격주행 시스 템을 나타낸다. 드론 조종자는 드론에서 보내오는 영상을 HMD(Head Mounted Device)로 보며 원격지의 드론 을 실시간 조정한다. 동시에 드론에서 전송되어오는
IMU 센서 데이터를 이용하여, 실제 드론의 움직임과 회 전, 진동 등을 조종자가 탑승한 3축 모션 시뮬레이터에 동기화하여 구동한다. 조종자가 탑승한 3축 모션 시뮬레 이터의 구조와 동작 원리는 3장에서 자세히 기술한다.
그림 4. 드론에서 원격의 조종자에게 전송되는 비디오 데이터 Fig. 4. The video data to the operator captured by the
camera on the drone.
그림 4은 지점 A의 드론에서 촬영된 카메라 영상 데 이터와 영상 위에 오버레이된 HUD(Head Up Display) 이미지를 보여준다. HUD 이미지는 원격의 조종자가 효 율적인 드론 조정을 위하여, 영상 이외에 드론기체의 정 보와 상황을 동시에 겹쳐서 보여 준다. 즉, 비행 중인 드 론의 FC에서 측정된 현재 고도, 현재 GPS, IMU 센서에 서 측정된 드론 기체의 각도(roll, pitch, yaw)와 카메라 가 부착된 짐벌의 위치를 동시에 보여준다. 또한 그림 2 의 드론봇 미션 궤적인 ①, ②, ③, ④, Ⓣ를 화면에 표시 하여, 현재의 GPS 위치와 비교하면서 원하는 미션을 효 율적으로 수행하도록 미니맵을 구현하였다.
이러한 비디오 영상이 지점 B의 조정자에게 50msec 의 시간지연으로 전송되어, 드론봇 미션 궤적인 이륙점을 포함하여 총 6개의 GPS 지점을 경유한 후 착륙 하였다.
총 비행시간은 약 10분이 소요되었으며, 총 비행거리는 3.5km 였다. 원격 비행한 드론의 평균 비행속도는 21km/h 이다.
그림 5는 지점 B에서 지점 A의 드론을 원격 비행 하
였을 때의 비행기록을 나타낸다. 즉, 10분간 비행한 드론
의 GPS 측정데이터와 고도데이터를 1초의 주기로 기록
한 데이터이다. 그림 5 (a) 에서 보듯이 미션 GPS 위치
에 가까이 갈수록, 원격의 조종자가 미세하게 조정하여
정밀하게 비행한 것을 알 수 있다. 이를 통하여 자동비행
이나 미션 플래너에서 수행하는 자동비행 프로그램 보다
는 드론 조종자가 원격 주행하는 것이 보다 정밀하고, 효
율적인 비행이 되었음을 증명 하였다.
Latitude
(a) GPS data during the tele-operated drone flying
0 100 200 300 400 500 600 700
time(sec) -50
0 50
100 Height
(b) Height data during the tele-operated drone flying 그림 5. 원격 주행중인 드론에서 기록된 GPS와 고도 데이터 Fig. 5. Recoded GPS and height data from the
tele-operated drone during the flying
그림 5 (b) 는 드론의 고도 데이터를 나타낸다. 드론은 이륙점을 기준으로 최고 높이 82m, 착륙점은 –50m를 비행 하였다.
Ⅲ. 탑승형 시뮬레이터
드론에서 전송된 모션데이터를 원격의 조종자에게 실 감있게 전달하기 위하여 탑승형 시뮬레이터를 개발 하였 다. 본 연구에서 제안한 3자유도 병렬매니퓰레이터 형태 의 시뮬레이터의 기구학적인 설계는 그림 6과 같이, 첨단 부와 베이스가 3개의 직렬형 능동조인트(h1, h2, h3)로 병렬 연결된 구조이다. 이 3개의 능동조인트는 각기 길이 가 조절(h10, h11, h12)되는 3개의 유니버셜 조인트(θ 5, θ6, θ7, θ8, θ9, θ10)로 폐쇄적(Closed Form)으로 연결되어 있으며, 이는 트러스 구조를 가진다.
(a) kinematic configuration
(b) 3D Modeling 그림 6. 제안한 탑승형 병렬 시뮬레이터 구조
Fig. 6. Configuration of the suggested parallel type simulator
폐쇄적(Closed Form)인 트러스형태로 연결된 3개의 유니버셜 조인트 구조위에 이동플랫폼(End Effector)이 위치하며, 무빙 스테이지(MS, moving stage)은 삼각형 형태로 각기 3개의 볼 부시(ball-bush)형태의 선형조인 트(h16, h17, h18)와 회전이 가능한 3자유도의 구형조 인트(sperical joint, θ13, θ14, θ15)로 구성되어 있다.
따라서 본 연구에서 제안하는 병렬 구조의 3자유도 병
렬 매니퓰레이터의 부속관절은 총 18개의 조인트로 이루
어져 있으며, 이중에서 15개의 수동조인트이고 3개의 능
동조인트의 조합으로 되어 있다. 15개의 수동조인트 중 에서 12개는 1자유도 조인트이며, 3개는 3자유도 구형 조인트이다. 또한, 12개의 1자유도 조인트는 6개의 회전 조인트와 6개의 선형조인트로 이루어져 있다.
제안된 병렬구조의 시뮬레이터의 연쇄적인 관절의 능 동조인트는 첨단부의 위치/자세를 제어하기 위한 입력이 다. 직렬 로봇의 경우 능동조인트의 변위인 구동입력으로 부터 첨단부의 위치/자세가 쉽게 계산된다. 그러나 병렬 매니퓰레이터는 각각 능동조인트 구동입력과 수동조인트 를 가진 직렬형 부속관절의 상호구속작용에 의하여 첨단 부의 위치/자세가 결정되며, 이로 인하여 첨단부 위치/자 세의 계산이 매우 복잡해지고 수학적으로 여러 개의 해 를 가지게 된다. 따라서 직렬형 부속관절의 수가 적을수 록 정기구학의 해석이 상대적으로 용이해지며, 직렬형 부 속관절 간의 상호구속을 줄일 수 있으므로 동작능력이 향상된다.
무빙 스테이지(MS, moving stage)는 1개의 강체로 이루어진 무빙 플레이트(MP, moving plate)와 MP의 중심으로 120°의 방향으로 대칭되게 부착된 3개의 수동 프리스매틱 조인트(passive prismatic joint)로 이루어 져 있다. 그림 7은 능동조인트의 입력에 따라 첨담부의 위치/자세가 고유하게 결정됨을 보여준다.
(a) initial configuration (b) arbitrary configuration 그림 7. 무빙 스테이지의 구조와 움직임
Fig. 7. Moving stage configuration by changing the active joint
그림 8은 제작된 탑승형 시뮬레이터이다. 탑승형 시뮬 레이터의 최대 가반하중은 100kg 이며, 총 자중은 120kg 이다. AC 서보 모터를 이용하여, 무빙 스테이지 는 최대 속도 500msec, 최대 가속도는 1G로 움직이게 구현 되었다.
그림 8. 탑승형 원격 주행 시뮬레이터 Fig. 8. The tele-operatoed simulator
Ⅳ. IMU 모션센서 비콘
탑승형 원격 주행 시뮬레이터를 구동하기 위하여, 드 론에 IMU 모션 센서를 부착하여, 이를 LTE 통신으로 전 송하였다. 모션 데이터를 추출하고, 이를 정확한 각도 및 속도데이터로 변환하여 시뮬레이터로 전송하기 위하여, IMU 모션 센서와 MCU, 통신모듈, 밧터리로 구성된 비 콘을 그림 9와 같이 개발 하였다.
그림 9. 모션 센서 비콘 Fig. 9. IMU seosor beacon
그림 10. 모션센서 데이터와 필터의 게인에 따른 모션 데이터 Fig. 10. Motion sensor data and filtered motion data
depending on filter gain
※ 이 논문은 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임(No. 2016R1A2B4011361)
센서 비콘은 83 x 57 x 16mm의 크기를 갖는
Arduino promini를 MCU 제어기로 사용하는 장치로 밧데리 모듈을 간단하게 분리, 결합 할 수 있도록 설계되 어 있다.
센서 비콘은 IMU 모션 센서인 MPU9250을 이용하여 3축의 각속도 데이터와 가속도 데이터를 얻고 그 데이터 를 칼만필터와 저주파 통과 필터를 이용해 자세데이터로 계산한 후, LTE 통신모듈을 이용하여 총 40 ~ 60Byte정 도의 데이터를 50ms 정도의 속도로 시뮬레이터를 제어 하는 PC에게 모션 데이터를 전송한다.
그림 10는 측정된 센서 데이터를 필터 게인의 변화에 따라 후처리된 자세데이터를 나타낸다. PC에서는 센서 비콘과 통신을 할 수 있는 수신 모듈이 장착되어 있어, 센서비콘으로부터 자세데이터를 받아와 드론의 각도와 상황에 맞게 후처리 한 후, 원격 주행 시뮬레이터을 제어 한다.
Ⅴ. 결 론
본 연구에서는 LTE 통신을 사용하여, 180km 떨어진 원격지의 드론을 실시간으로 조종하는 원격비행 실험을 수행 하였다. LTE통신 하에서 평균 50m sec 의 시간지 연으로 드론 조종자에게 전송되는 영상과 모션데이터를 이용하여, 드론 조종자에게 실제 원격지의 드론 위에서 조정하는 것과 유사한 실감환경을 제시하였다. 앞으로 제 안한 원격주행시스템을 드론 뿐만 아니라 다양한 무인기 와 자율주행 자동차에도 적용하여 효율적이고 유연한 원 격주행 시스템을 개발하고자 한다.
References
[1] Changyoon Kim, Woosik Lee, “Developing Stereo-vision based Drone for 3D Model Reconstruction of Collapsed Structures in Disaster Sites”, Journal of the Korea Academia-Industrial cooperation Society, VOL.
17 NO. 6, pp. 33-38, June. 2016.
DOI: http://dx.doi.org/10.5762/KAIS.2016.17.6.33.
[2] Joon-Kyu Park, Kap-Yong Jung, “Investigation and Analysis of Forest Geospatial Information Using Drone”, Journal of the Korea Academia-Industrial
cooperation Society, VOL. 19 NO. 2, pp. 602-607, Feb.
2018.
DOI: https://doi.org/10.5762/KAIS.2018.19.2.602 [3] Jeunghee Jin, Kibong Lee, “Technology/Trend of
UAV/Drone”, The Journal of The Korean Institute of Communication Sciences, VOL. 33 NO. 2, pp. 80-85, Jan. 2016.
[4] Taesik Kim, Jinman Jung, Hong Min, “A Rendezvous Point Replacement Scheme for Efficient Drone-based Data Collection in Construction Sites”, The Journal of The Institute of Internet, Broadcasting and Communication, VOL. 17 NO. 1, pp. 153-158, Feb.
2017.
DOI: https://doi.org/10.7236/JIIBC.2017.17.1.153.
[5] Yongdo Joo, “A Study on the Construction of Near-Real Time Drone Image Preprocessing System to use Drone Data in Disaster Monitoring”, The Journal of The Institute of Internet, Broadcasting and Communication, VOL. 18 NO. 3, pp. 143-149, June 2018.
DOI: https://doi.org/10.7236/JIIBC.2018.18.3.143.
[6] Pedro M., Amin H., Jose A., Frank D., Michel F., and Markus L., “Hail-a-Drone: Enabling teleoperated taxi fleets,” IEEE Intelligent Vehicles Symposium, Aug.
2016.
DOI: 10.1109/IVS.2016.7535475
저 자 소 개
강 병 훈(정회원)
∙1992년 : KAIST 기계공학과 졸업.
1995년 KAIST 자동화 및 설계공학과 석사.
∙2004년 : Rensselaer Polytechnic Institute 기계공학과 박사.
∙2005년 ~ 현재 : 한국산업기술대학교 기계설계공학과 교수. 관심분야는 최 적설계, 로봇자동화, 원격제어, MEMS, 영상처리.
