학술논문 센서․신호처리 부문
무인로봇 정밀위치추정을 위한 전술통신 및 영상 기반의 통합항법 성능 분석
The Performance Analysis of Integrated Navigation System Based on the Tactical Communication and VISION for the Accurate Localization
of Unmanned Robot
최 지 훈* 박 용 운* 송 재 복** 권 인 소***
Ji Hoon Choi Yong Woon Park Jae Bok Song In So Kweon
Abstract
This paper presents a navigation system based on the tactical communication and vision system in outdoor environments which is applied to unmanned robot for perimeter surveillance operations. GPS errors of robot are compensated by the reference station of C2(command and control) vehicle and WiBro(Wireless Broadband) is used for the communication between two systems. In the outdoor environments, GPS signals can be easily blocked due to trees and buildings. In this environments, however, vision system is very efficient because there are many features. With the feature MAP around the operation environments, the robot can estimate the position by the image matching and pose estimation. In the navigation system, thus, operation modes is switched by navigation manager according to some environment conditions. The experimental results show that the unmanned robot can estimate the position very accurately in outdoor environment.
Keywords : Image Matching(영상매칭), Localization(위치추정), Reference Station(기준국), VISION(영상)
1. 서 론
무인 지상로봇이 자율주행 또는 다양한 임무를 성 공적으로 수행하기 위해서는 로봇의 현재 위치가 정
†2010년 9월 20일 접수~2011년 2월 25일 게재승인 * 국방과학연구소(ADD)
** 고려대학교(Korea University)
*** 한국과학기술원(KAIST)
책임저자 : 최지훈([email protected])
확하게 추정되어야 한다.
야외환경에서 위치추정을 위해 일반적으로 사용되
는 GPS는 DOP(Dilution Of Precision : 정밀도 저하율)
에 상관되어 위치정확도가 크게 변화한다
[1]. 따라서
로봇의 정확한 위치추정을 위해서는 해안기지국/내륙
기지국에서 위치보정데이터를 생성하고, 이를 라디오
전파에 실어 이동국수신기로 DGPS 측위를 할 수 있
도록 하는 위치보정서비스시스템이나 약 36,000km 상
공에 있는 정지위성을 통해 중계방송 함으로써 가청
범위 내에서 이동국수신기 1대만으로 DGPS 측위를
할 수 있도록 하는 위치보정시스템이 이용된다
[2]. 그 러나 이러한 시스템을 사용하기 위해서는 DGPS 측위 를 할 수 있는 정밀항법장치
[3]을 모든 무인로봇에 장 착해야하므로, 향후 지상무인전투체계 운용 시에 큰 부담으로 작용하게 된다. 따라서 저가형 GPS를 사용 하여 정밀한 위치를 추정할 수 있는 기술이 요구된 다. 본 연구에서는 전술통신이 가능한 지역 내에서 저가형 GPS를 장착한 무인로봇의 정밀한 위치정보를 얻을 수 있도록 하는 LDGPS 기술을 개발하였다. 지 휘통제차량에 기준국 GPS를 설치하고 정확한 위치를 알고 있는 지점에서 항법오차를 계산한 후 항법보정 메시지를 실시간으로 WiBro 통신을 통해 전파시킨 다. 무인로봇에 장착된 GPS 수신기는 가시위성을 이 용하여 계산된 오차가 포함된 항법 해와 항법보정 메시지를 이용하여 매우 정밀한 위치를 추정할 수 있다.
또한, 야외환경에서 GPS신호는 나무, 건물 주변에 서 쉽게 단절된다. 하지만, 나무 및 건물 등은 많은 특징 점을 포함하고 있으므로, 카메라에 입력되는 영 상과 데이터베이스 영상과의 영상매칭을 통해 로봇의 위치를 정확하게 추정할 수 있으므로 영상항법을 개 발하여 무인로봇 통합항법에 적용하였다. GPS와 영상 항법은 운용환경에 따라 성능이 크게 변화하므로, 통 합항법은 운용모드에 따라 GPS와 영상항법을 선택적 으로 운용되도록 설계하였다. 개발된 통합항법 성능은 다양한 시험을 통해 입증되었다. 제2장은 LDGPS(Local DGPS) 설계를 기술하고, 제3장에서는 통합항법을 기 술하였고, 제4장에서는 항법성능 시험결과를, 제5장에 서는 결론을 기술하였다.
2. LDGPS 설계
가. LDGPS 개념
본 연구에서 설계된 LDGPS 개념도는 Fig. 1과 같 다. 기준국 GPS는 지휘통제차량에 설치되고 정확하 게 알고 있는 위치정보와 위성에서 추정된 위치와의 차이를 계산한 후 WiBro 통신을 이용하여 항법보정 메시지를 실시간으로 전파시킨다. WiBro 통신영역 내의 무인로봇에 장착된 GPS 수신기는 가시위성을
Fig. 1. LDGPS 개념
나. DGPS 알고리즘
기준국과 항체 수신기에서 t시간의 k번째 GPS 위성 에 대하여 측정한 의사거리는 일반적으로 식 (1), (2) 와 같이 나타낼 수 있다.
(1)
(2)
여기서 아래 첨자 는 항체, 는 기준국,
는 번째 위성과 기준국 및 항체 수신기에서 측정한 의사거리,
는 번째 위성과 기준국 및 항체 간 실제 거리,
또는
는 기준국과 항 체 수신기의 클럭 바이어스 오차,
는 번째 위성 시계 오차,
는 이온층 지연오차,
는 대 류층 지연 오차,
는 다중경로 오차와 수신기 열잡 음 오차를 나타낸다. 여기서
,
,
는 기준국 수신기와 항체 수신기의 공통 오차로서 기 준국의 위치를 이미 알고 있으므로 위성으로 부터 측 정된 의사거리 측정치로부터 공통 오차를 추정 할 수 있다. 기준국에서 추정한 공통 오차를 항체 수신기로 전송하면 항체에서는 보정된 의사 거리를 식 (3)과 같 이 구할 수 있다.
(3)
식 (3)에서 보듯이 항체 수신기에서 측정한 의사거
(7)
공통오 차
항체용 수신기 (Rover)
기준국 수신기 (Reference station) 보정데이터 (RTCM-SC104)
GPS 위성
Fig. 2. DGPS 원리
3. 통합항법 설계
무인로봇 통합항법은 INS, GPS 및 영상항법을 Windows 기반의 상용 PC에서 운용 가능한 통합항법 S/W로 개발되었으며, 구성도는 Fig. 3과 같다.
Fig. 3. 통합항법 구조
가. INS 오차모델 및 필터 설계
IMU 센서는 3축의 가속도계와 자이로로 구성되어 있다. 센서로부터 출력되는 값을 적분하여 로봇의 위 치, 속도, 자세 등이 계산된다. 관성항법과 보정항법 (GPS, 영상항법)을 융합하는 통합필터의 적용은 INS 의 수학적인 모델을 요구한다. 본 논문에서는 장시간 의 항법수행 시 널리 사용하는 Psi(ψ) angle 모델이 적 용되었다. NED(North-East-Down) 좌표계에서 위치, 속 도, 자세 오차방정식은 다음과 같이 쓰일 수 있다.
(4)
×
×
×
여기서
,
,
은 위치오차, 속도오차, 자세 오차이며,
은 가속도 벡터,
는 가속도계 바이어 스오차벡터,
는 자이로 바이어스 오차벡터,
은 동체좌표계에서 항법좌표계로의 좌표 변환 행렬,
는 earth rate,
은 craft rate,
은 관성좌표계에 대 한 항법좌표계의 각속도이다.
식 (4)를 State space equation으로 표현하면 다음과 같다.
×
×
(5)
여기서
,
,
및
는 다음과 같다.
(6)
(8)
×
× ×
×
(9)
여기서
은 동체 좌표계에 대한 항법 좌표계의 좌 표 변환 행렬이다.
필터의 측정방정식은 다음과 같이 표현된다.
(10)
여기서
는 i번째 측정치이고,
는 측정치 와 상태변수를 연결하는 측정치 행렬이며,
는 측 정치 노이즈 벡터이다.
무인로봇 통합항법은 GPS와 영상항법을 운용모드에 따라 측정치로 사용하므로 측정방정식을 아래와 같이 각각 모델링 하였다.
첫 번째 측정방정식 설계에서,
은 NED 좌표계에 서 GPS와 INS의 위치와 속도의 차이므로 다음과 같 이 설계하였다.
(11)
×
×
두 번째 측정방정식 설계에서,
은 NED 좌표계에 서 영상항법과 INS의 위치의 차이므로 다음과 같이 설 계하였다.
(12)
×
×
필터는 선형 칼만 필터를 사용하게 모델링하였으며 아래와 같다.
Time Update(Prediction) :
Measurement Update(Correction) :
(15)
(16)
(17)
여기서, P는 공분산행렬, W는 칼만 게인, Q는 시스 템 오차공분산, R은 측정치 오차공분산, 는 시스템 행렬, 는 현재 시간에서의 필터 추정치, 는 미래시간의 필터추정치이다.
또한, 항법시스템의 안정성을 위해 FDI(Fault Detection and Isolation) 알고리즘으로 Chi-squared test를 아래와 같이 설계하였다.
∼
(18)
여기서,
는 Chi-squared 분포를 가지는 통계치,
는 residual,
는 residual분산을 의미한다. 본 논문에 서는 95% confidence level이 적용되었다.
나. 영상항법 설계
영상항법 알고리즘은 카메라에 입력되는 영상과 데 이터베이스 영상간의 영상매칭을 통해 로봇의 현재 위 치를 추정하는 알고리즘이다. Fig. 4는 영상항법 알고 리즘 구조를 보여준다.
Fig. 4. 영상 위치추정 알고리즘 구조
를 획득하고 이를 데이터베이스로 구축한다. 다음으 로, 로봇이 실제로 감시정찰 등의 운용을 하면서 실시 간으로 입력되는 영상과 데이터베이스 영상과의 영상 매칭을 통해 로봇의 위치를 추정하게 된다. 로봇의 실 시간 위치추정을 위해서는 2단계가 수행된다. 첫 번째 로 현재 영상과 가장 유사한 DB(Data Base)영상을 검 색하고 두 번째는 현재 영상과 DB에서 검색된 영상 들과의 상대위치를 통해 로봇의 위치를 보다 정확하 게 추정하는 것이다.
비교할 영상이 연속된 영상 시퀀스의 두영상처럼 작 다면 SAD(Sum of Absolute Difference), NCC(Normalized Cross Correlation) 등의 윈도우 기반 매칭방법으로도 충분하지만, 이 방법은 영상이 스케일변화, 회전 등이 있을 때 매칭이 잘 안 되는 단점이 있다. 따라서 영 상매칭에는 스케일, 회전 등에 불변인 특징 점들을 추출해서 특징 점들의 기술자(Descriptor)를 비교하는 방법이 주로 이용된다. 본 논문에서는 최근에 제안된 불변 특징 량으로 SURF(Speeded Up Robust Feature)
[4]를 사용하였다. SURF는 SIFT(Scale Invariant Feature Transform)와 같이 DoG(Difference of Gaussian)를 이용 하는 것이 아닌 Laplacian의 계산을 정수로 양자화 하 여 box filtering을 적용하는 것이다. Fig. 5는 이를 보 여준다.
Fig. 5. 가우시안의 2차 미분 커널과 이를 단순화시킨 커널의 예 y방향(상), xy방향(하)
영상검색은 데이터베이스 영상들 중 현재 입력받은 영상과 가장 비슷한 것을 찾는 과정이다. 두 장의 영 상 사이의 상대적인 위치관계를 계산할 때 서로 공통 된 부분이 있어야 하기 때문에 영상검색은 본 알고리 즘의 가장 중요한 부분이다. 본 논문에서는 데이터베 이스 트리구조를 만드는 과정은 오래 걸리지만, 실제 로 영상을 검색할 때의 속도는 매우 빠른 vocabulary
tree
[5]구조를 사용하였다. 트리구조를 구성하는 방법은 다음과 같다. 우선 모든 데이터베이스 영상으로부터 특징 점(SURF)을 추출한다. 그 다음 특징 점의 기술 자(Descriptor) 전체를 Fig. 6과 같이 k-means clustering 방법을 사용하여 분류한다. 중요한 점은 k를 적당한 작은 값으로 설정하여 분류한 다음, 각각의 분류된 결 과를 다시 k-means clustering방법을 적용하여 다시 분 류하는 것이다. 이러한 과정을 몇 단계 반복하여 트리 구조를 만든다. 트리구조에서 각각의 node에 해당하는 데이터는 cluster의 중심에 해당하는 값, 즉 cluster에 속하는 모든 데이터의 평균값으로 설정한다. Fig. 7은 vocabulary tree를 구성하는 예를 보여준다. 검색된 영 상과 앞뒤 데이터베이스 영상을 이용하여 현재 입력 된 영상의 상대적인 위치를 추정하여 현재 로봇의 위 치를 추정하게 된다.
Fig. 6. k-means clustering
Fig. 7. Vocabulary tree를 형성하는 과정
추정된 위치를 다시 정제(Refinement)하기 위해 영상
매칭을 통해 검색된 데이터베이스 영상 및 앞뒤 2영상
과 입력영상의 특징 점 매칭을 Harris corner와 NCC를
통해 수행된다. 특징 점 매칭 후, 3D 점들을 데이터베
이스 영상으로부터 식 (19)를 이용하여 계산한다. 스
테레오 카메라의 왼쪽 카메라 좌표계를 기준으로 오
른쪽 카메라의 투영 행렬(Projection Matrix)을 ,
데이터베이스 영상 상에서의 점의 좌표를
,
이라
하면 점의 3차원 좌표 는 아래와 같이 = 0의 형태로 만든 다음 SVD(Singular Value Decomposition) 을 이용하여 계산한다.