Korean Journal of Remote Sensing, Vol.35, No.6-1, 2019, pp.895~905
https://doi.org/10.7780/kjrs.2019.35.6.1.2 ISSN 1225-6161 ( Print )
ISSN 2287-9307 (Online)
Article
무인기 소프트웨어에서 처리된 표정요소를 이용한 도화품질 예측기술 개발 및 비교분석
임평채 1)·손종환 1)·김태정 2)†
Development and Comparative Analysis of Mapping Quality Prediction Technology Using Orientation Parameters Processed in UAV Software
Pyung-Chae Lim
1)·Jonghwan Son
1)·Taejung Kim
2)†Abstract: Commercial Unmanned Aerial Vehicle (UAV) image processing software products currently used in the industry provides camera calibration information and block bundle adjustment accuracy.
However, they provide mapping accuracy achievable out of input UAV images. In this paper, the quality of mapping is calculated by using orientation parameters from UAV image processing software. We apply the orientation parameters to the digital photogrammetric workstation (DPW) for verifying the reliability of the mapping quality calculated. The quality of mapping accuracy was defined as three types of accuracy: Y-parallax, relative model and absolute model accuracy. The Y-parallax is an accuracy capable of determining stereo viewing between stereo pairs. The Relative model accuracy is the relative bundle adjustment accuracy between stereo pairs on the model coordinates system. The absolute model accuracy is the bundle adjustment accuracy on the absolute coordinate system. For the experimental data, we used 723 images of GSD 5 cm obtained from the rotary wing UAV over an urban area and analyzed the accuracy of mapping quality. The quality of the relative model accuracy predicted by the proposed technique and the maximum error observed from the DPW showed precise results with less than 0.11 m. Similarly, the maximum error of the absolute model accuracy predicted by the proposed technique was less than 0.16 m.
Key Words: Y-parallax, relative model accuracy, absolute model accuracy, UAV mapping accuracy
요약 : 현재 현업에서 사용되고 있는 상용 무인기 영상처리 소프트웨어는 카메라 캘리브레이션 정보나 영상 전체에 대한 블록 번들조정 정확도만 제공할 뿐 스테레오 페어의 실제 도화 가능여부에 대한 정확도는 거의 제공하지 않는다. 본 논문에서는 무인기 영상처리 소프트웨어에서 산출된 표정요소를 사용하여 도화품질을
Received October 25, 2019; Revised November 13, 2019; Accepted November 18, 2019; Published online November 21, 2019
1)
인하대학교 공간정보공학과 석사과정생 (Master Student, Department of GeoInfomatic Engineering, Inha University)
2)
인하대학교 공간정보공학과 정교수 (Professor, Department of GeoInfomatic Engineering, Inha University)
†Corresponding Author: Taejung Kim ([email protected])
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License
(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in
any medium, provided the original work is properly cited.
1. 서 론
최근에 산업용 및 민간용으로 무인기가 개발되면서 정밀농업 , 변화탐지, 지도제작 등 다양한 분야로 확대되 고 있다 . 영상 정보의 취득 및 제공이 주 목적인 무인기 는 가시광선, 적외선 센서 등이 탑재된다. 가시광선 센 서는 우리가 주위에서 흔히 접하는 디지털 카메라와 같 은 종류로 사람이 눈으로 쉽게 판독할 수 있어 일반적 으로 널리 사용되고 있다.
무인기는 높은 해상도의 고품질 영상을 얻을 수 있고 쉬운 조작과 비행에 큰 제약이 없어 수시로 영상 취득 이 가능하다는 장점이 있다 . 최근 매핑 업계에서는 무 인기를 활용한 1:1,000 대축척 지도제작 가능성에 대해 큰 관심을 가지고 있다(Lim et al., 2018). 국내에서는 무 인기에서 처리된 표정요소를 이용하여 대축척 수치지 도 제작 가능성을 분석한 연구(Kim et al., 2019; Lee et al., 2019)가 수행되었다. 또한 공간정보 분야 적용에 있어 서 적절한 지도제작 가격결정에 대한 합리적인 제정을 위한 표준품셈연구(Yun et al., 2016; Min, 2018; Lee and Lee, 2018; Lee et al., 2018; Park et al., 2018)가 수행되었다.
현재 매핑 분야에서는 무인기를 사용하여 지도제작 시 상용 소프트웨어에서 처리된 내부표정요소와 외부표 정요소를 사용한다 . 하지만 가벼운 무게에 따른 불안정 한 비행자세를 가지는 무인기 특성에 기인하여 실제로 도화를 위한 스테레오 페어의 입체시에 어려움이 있다 . 또한 저고도 비행으로 인해 좁은 영역의 scene을 취득하 기 때문에 관심 매핑 영역에 대해 수백장에 이르는 다 중 영상이 필요하다 . 이렇게 무인기에서 취득된 수백장 의 영상을 스테레오 조합으로 도화하는데 있어서 많은 인력과 시간이 소비되고 있는 실정이다 . 현재 현업에서
사용되는 무인기 영상처리 소프트웨어는 카메라 캘리 브레이션이나 전체 영상의 블록 번들조정 정확도는 제 공하지만 스테레오 페어들의 도화를 위한 정보를 제공 하는 소프트웨어는 많지 않다.
스테레오 페어의 Y시차가 크다면 작업자에게 피로 감을 줄 수 있으며 입체시가 제대로 형성되지 않아 도 화가 불가능하다 . 또한 블록단위의 번들조정 정확도가 높더라도 특정 영역에서 스테레오 페어의 번들조정 정 확도가 낮다면 실제 도화기에서 낮은 정확도로 매핑이 될 가능성이 높다 . 따라서 무인기 영상의 매핑을 위해 선별된 모든 스테레오 페어는 도화품질이 필요하다.
본 논문에서는 무인기 영상처리 소프트웨어인 Pix4D 와 3D-UAV에서 처리된 표정요소를 사용하여 스테레 오 페어 조합들의 도화품질을 산출하는 기술을 개발하 였다 .
표정요소는 내부표정요소와 외부표정요소로 구분 된다 . 내부표정요소는 카메라 캘리브레이션을 통해 얻 을 수 있으며 외부표정요소는 무인기의 GSP/IMU 센서 에 기록된 초기 외부표정요소로부터 번들조정 과정을 거쳐 정밀한 외부표정요소를 얻을 수 있다.
도화품질은 Y시차 정확도와 상대모델 정확도, 절대
모델 정확도 3가지 정확도로 측정된다. Y시차 정확도와
상대모델 정확도는 스테레오 페어간 입체시 여부 및 번
들조정 정확도를 판단할 수 있는 지표이다 . 스테레오 페
어간 Y시차는 사진측량 기반의 에피폴라 기하 변환 과
정을 통해 계산하였다 (Kim and Kim, 2012; Kim and Kim,
2013; Kim and Kim, 2014). 상대모델 정확도는 서로 다른
스테레오 페어 조합에서 동일 지점이 보이는 타이포인
트를 선별하고 각 스테레오 페어에서 계산된 공선조건
식을 통해 변환된 3차원 지상점 좌표를 비교함으로써
산출하고 실제 도화기에 적용하여 도화품질의 신뢰성에 대해서 분석하였다. 도화품질은 Y시차 정확도, 상대 모델 정확도, 절대모델 정확도의 3가지 정확도로 정의하였다. Y시차 정확도는 스테레오 페어간 입체시 여부 를 판단할 수 있는 정확도이다. 상대모델 정확도는 모델 좌표계 상에서 스테레오 페어간 상대적인 번들조정 정확도이다. 절대모델 정확도는 절대 좌표계에서 번들조정 정확도이다. 실험데이터는 도심지를 대상으로 회 전익에서 취득된GSD 5 cm급의 영상 723장을 사용하여 도화품질을 분석하였다. 연구진이 개발한 기술을 사 용해 예측한 상대모델 정확도와 실제 도화기에서 관측한 정확도의 최대오차는0.11 m로 정밀한 결과를 보여 주었다. 절대모델 정확도도 마찬가지로, 도화기에서 관측한 정확도의 최대오차는 0.16 m로 정밀한 결과를 보 여주었다.계산할 수 있다 (Lim et al., 2018; Lim et al., 2019a; Lim et al., 2019b). 절대모델 정확도는 실제 좌표계에 적용된 절대 표정 정확도이다.
본 논문에서는 회전익에서 수백장의 영상을 취득하 고 소프트웨어별로 표정요소를 산출했다 . 이후 산출된 표정요소를 사용하여 스테레오 페어들의 종·횡방향에 따른 도화품질을 비교분석하고 도화가능성을 미리 예 측하였다 . 그리고 도화품질에서 계산된 정확도와 실제 도화기에 적용하여 관측된 정확도를 비교 분석하여 신 뢰성을 검증하였다.
2. 연구 데이터 및 재원
1. 연구지역 및 재원
연구지역은 빌딩과 도로로 구성된 도심지역을 선정 하여 0.5 km
2의 면적을 촬영하였다 . 영상 취득에 사용 된 무인기는 회전익이며 DJI사의 Inspire2이다. Inspire2 는 짐벌을 장착하여 안정적인 영상 취득이 가능하며 Zenmuse X5S 센서를 탑재했다. 본 연구에서는 GSD 5 cm의 해상도를 가지는 723장의 영상을 취득했다. 또한 GPS-RTK 측량을 통해 6개의 모델점과 5개의 체크점으 로 구성된 총 11개의 기준점을 확보하였다.
2. 무인기 영상처리 소프트웨어
본 연구에서는 무인기 영상의 내부표정요소와 외부 표정요소를 산출할 수 있는 Pix4D와 자체제작한 SW(이 하 3D-UAV)를 사용하였다. Pix4D는 스위스 Pix4D사에 서 개발한 무인기 영상처리 소프트웨어로 전세계적으 로 가장 많이 사용되고 있는 프로그램이다 . 사용자가 쉽 게 사용할 수 있도록 사용자 친화적인 인터페이스로 구 성되어 있으며 항공삼각측량 , 수치표고모형, 정사영상 제작이 가능하다. 3D-UAV는 자체개발한 사진측량기 반의 SfM(Structure form Motion) 엔진을 구현했고 도화 가능수준의 정밀한 번들조정이 가능하다 . 또한 포인트 클라우드 , 수치표고모형, 정사영상 제작이 가능하다.
Lim and Kim(2018)은 3D-UAV를 사용하여 평탄지를 대 상으로 포인트 클라우드 및 수치표고모형을 생성하여 상용 소프트웨어와 비교하여 육안분석 및 높이 정확도 분석 연구를 수행했다. 포인트 클라우드 육안분석 결과, 일부지역에서 3D-UAV가 상용 소프트웨어 보다 정밀 하게 표현했다 . 높이 정확도 분석 결과, 소프트웨어 중 Pix4D가 제일 정확했으며, 3D-UAV 또한 0.20 m 이내의 높은 정확도를 보여줬다 .
3. 카메라 캘리브레이션 Tool
내부표정요소는 카메라의 초점거리 , 주점이동량, 렌 즈왜곡계수 등 카메라마다 독자적으로 갖게 되는 고유 특성값으로 이러한 값들을 결정하기 위한 과정이 카메 라 캘리브레이션이다(Kim et al., 2010). 매핑을 위한 기존 의 측량용 매트릭 카메라는 렌즈왜곡계수가 0에 가까 운 정밀한 내부표정요소를 가지는 센서이다 (Lim et al., 2019a). 반면에 무인기에 탑재되는 카메라는 비측량용 일반 카메라를 탑재하기 때문에 반드시 자체 캘리브레 이션이 필요하다(Won et al., 2012). 본 연구에서는 정밀한 내부표정요소를 산출하기 위해서 카메라 캘리브레이션 분야의 대표적인 오픈 소프트웨어 Camera Calibration Toolbox for Matlab을 사용하여 캘리브레이션을 수행하 였다 . 해당 소프트웨어는 정밀한 센서 보정 및 다양한 검정용 체스보드 영상 호환이 가능하며 다양한 추가 분 석 기능을 가지고 있다 .
Fig. 1. Study area and Ground Control Points (GCPs) location.
Table 1. UAV specification Type of UAV Rotary wing
Type of Sensor Sony A6000 Number of images 723 Ground Resolution
(m/pixel) 0.05
4. 수치사진측량시스템(DPW: Digital Photogrammetric Workstation)
계산된 도화품질과 실제 도화기에서 관측된 매핑 정 확도를 비교하기 위해 국내에서 개발된 수치사진측량 시스템를 사용하였다. 수치사진측량시스템는 스테레 오 페어의 3차원 입체시를 판독하고 3차원 정밀지도 제 작을 지원하는 도화장비이다. 기존에는 주로 항공사진 이나 위성영상을 사용하여 매핑을 수행했지만 본 연구 에서는 무인기 영상을 사용하여 매핑을 수행하였다.
3. 무인기 영상처리 과정 및 도화품질 이론
1. 무인기 영상처리를 통한 표정요소 산출
각 소프트웨어에서 6개의 모델점을 사용하여 정밀표 정요소를 산출하였다 . 정밀표정요소는 내부표정, 외부
표정 2가지 요소로 구성된다. 내부표정요소는 카메라 캘리브레이션 과정을 거쳐 산출된 카메라 고유의 특성 값이다. 초기 외부표정요소는 무인기에 탑재된 GPS/
IMU 센서에서 산출되며 촬영된 영상의 위치와 자세정 보가 포함되어 있다 . 하지만 번들조정이 수행되지 않 은 초기 외부표정요소는 매우 낮은 매핑 정확도를 보여 준다 . 하여 반드시 정밀번들조정 과정을 거쳐 매핑을 위 한 정밀 외부표정요소를 산출해야 한다 . 무인기 영상처 리 과정은 크게 4가지 단계로써 정밀 외부표정요소는 초기 타이포인트 추출 , 카메라 캘리브레이션, 보정된 타 이포인트로 갱신 그리고 기준점을 이용한 정밀번들조 정 과정을 통해 산출된다 .
첫번째 단계에서는 원본 영상에서 초기 타이포인트 를 추출해야 한다 . 초기 타이포인트는 영상의 픽셀 밝 기값을 이용하여 2장 이상의 영상에서 보이는 동일 지 점에 대한 영상좌표를 산출한 것이다. 타이포인트는 Harris corner (Harris and Stephens, 1988), SIFT (Lowe, 2004), FAST (Rosten and Drummond, 2006) 등의 다양한 특징점 추출 및 영상 매칭 기법을 통해 산출할 수 있다.
두번째 단계에서는 카메라 캘리브레이션을 통한 내 부표정요소를 산출한다. Pix4D는 컴퓨터비전 방식의 캘리브레이션 모델을 사용하고 , 3D-UAV는 사진측량 방식의 캘리브레이션 모델을 사용한다 . 두 모델은 서로 다른 좌표계를 사용하며 컴퓨터비전 방식은 선형모델, 사진측량 방식은 비선형 모델로 렌즈왜곡계수를 추정 한다 (Hong et al., 2019). 하지만 본 연구에서는 더 정밀한 분석을 위해 캘리브레이션 분야에서 대표적인 소프트 웨어인 Camera Calibration ToolBox for Matlab을 사용하 Fig. 2. The DPW (left) using this study and Stereo pairs displayed in the DPW (right).
Fig. 3. UAV image processing for precision orientation
parameters.
여 캘리브레이션을 수행하였다 .
세번째 단계에서는 캘리브레이션을 통해 추정된 내 부표정요소를 적용하여 왜곡이 보정된 타이포인트로 갱신한다. 왜곡을 포함한 원본영상의 타이포인트를 사 용하면 매핑 정확도에 큰 영향을 미치기 때문에 반드시 캘리브레이션 과정을 거쳐 추정된 내부표정요소로 보 정된 타이포인트를 사용해야 한다 .
마지막 단계에서는 무인기 GPS/IMU 센서에서 취득 된 초기 외부표정요소와 왜곡이 보정된 타이포인트를 영상 관측점으로 사용하여 번들조정을 수행한다 . 그리 고 실제 필드에서 측량한 지상 기준점을 이용하여 정밀 번들조정을 수행한다 . 이렇게 4단계의 처리 과정을 거 치면 정밀한 외부표정요소가 산출된다 .
2. Y시차 정확도
스테레오 페어의 Y시차가 높으면 입체시가 어려워 매핑이 불가능하거나 작업자에게 피로감을 유발한다 (Lim et al., 2019a). 그러므로 스테레오 페어에서 입체시 가능여부를 판단하기 위해 도화품질 중 하나인 Y시차 정확도를 산출하였다 . Kim and Kim(2014)은 웹캠 두 대 에서 스테레오 페어를 취득하고 , 공선조건식을 이용한 에피폴라 기하 변환을 통해 Y시차를 계산한 선행연구 를 수행했다. 본 연구에서는 선행연구의 알고리즘을 무 인기 영상에 적용하여 에피폴라 기하 변환을 수행하고 에피폴라 라인을 통해 Y시차를 계산했다. 에피폴라 기 하는 두 영상의 투영중심 O, O′와 공간상의 한점 P, 그 리고 각 영상에 투영된 p, p′가 공통의 한 평면상에 존재 함을 의미한다 (Fig. 4). 이때, 두 투영중심을 연결하는 선 분이 각 영상평면과 만나는 지점을 에피폴 (Epipole)이라 하며 , 이론적으로 영상의 모든 에피폴라 라인(Epipolar
line)은 에피폴에서 수렴하게 된다. 에피폴라 라인이란, 공간상의 한점 P가 영상 평면에 점 p로 투영되었다고 했 을 때 , 이들을 연결하는 공간상의 직선이 다른 한 쪽 영 상에 투영되었을 때 나타나게 되는 곡선 I를 의미하며, 중심투영 방식의 카메라에서 곡선은 직선의 형태로 나 타난다(Kim and Kim, 2012). 이러한 원리로 소프트웨어 별로 처리된 정밀 표정요소를 이용하여 에피폴라 기하 가 수립된 스테레오 페어에서 동일 지점에 대한 에피폴 라 라인을 연결시켰을 때의 차이를 계산함으로써 Y시 차를 계산할 수 있다 .
3. 상대모델과 절대모델 정확도
상대모델 정확도는 서로 다른 스테레오 페어 조합에 서 동시에 관측된 타이포인트의 영상좌표를 지상좌표 로 투영한 3차원 좌표의 차이를 계산함으로써 산출할 수 있다 . 타이포인트의 영상좌표를 이용하면 공선조건 식을 통해 3차원 지상좌표를 계산할 수 있다.
= (1) = (2) 식 (1), (2)에서, (Xp, Yp, Zp)는 공간상의 한 점 p에 대 한 3차원 위치좌표, (Xo, Yo, Zo)는 카메라 투영중심에 해당하는 3차원 위치좌표, r
11~ r
33는 카메라 공간상에 서 실세계 공간으로 변환하기 위한 회전행렬요소이다.
회전행렬요소는 외부표정요소 (ω, φ, Κ)를 통해 구성할 수 있다 (x
p, y
p)는 영상의 타이포인트, f 는 카메라 초점거 리를 의미한다 . 이를 이용해 다음 식 (3), (4), (5)을 유도 할 수 있고 3차원 공간상의 한점 p를 계산할 수 있다.
X
P= r
11x
p+ r
12y
p– r
13f + X
o(3) Y
P= r
21x
p+ r
22y
p– r
23f + Y
o(4) Z
P= r
31x
p+ r
32y
p– r
33f + Z
o(5) 이론적으로 번들조정을 통해 영상들의 기하가 완벽 하게 수립했다면 , 여러 스테레오 페어 조합에서 동시에 관측된 타이포인트의 지상좌표는 모두 같아야 한다 . 하 여 다음과 같이 상대모델 정확도를 산출하는 방법을 다 음과 같이 고안하였다 .
먼저 , 타이포인트가 동시에 관측된 서로 다른 스테레 Xp – Xo
Zp – Zo Yp – Yo Zp – Zo
r
11x
p+ r
12y
p– r
13f r
31x
p+ r
32y
p– r
33f r
21x
p+ r
22y
p– r
23f r
31x
p+ r
32y
p– r
33f
Fig. 4. Epipole and eipolar line (Kim and Kim, 2012).
오 페어 조합에서 페어를 선별하고 관측된 타이포인트 의 지상좌표인 상대모델 기준점((X, Y, Z)
pair:1-2)을 계산한 다(Fig. 5). 이후 다른 스테레오 페어 조합((X, Y, Z)
pair:2-3), (X, Y, Z)
pair:1-3)에서 계산된 지상좌표와 상대모델 기준점 의 차이를 계산함으로써 상대모델 정확도를 산출할 수 있다.
절대모델 정확도는 상대모델 정확도와 같은 방식으 로 계산되지만 타이포인트에서 산출된 상대모델 기준 점 대신 , 실제 필드에서 GPS-RTK로 측량한 체크점을 사용한다 . 즉, 상대모델 정확도를 관측함으로써 서로 다 른 스테레오 페어 조합들의 상대적인 기하 정밀도를 산 출할 수 있고 , 절대모델 정확도를 관측함으로써 실제 좌 표에 대한 절대표정 정확도를 산출할 수 있다 .
4. 연구결과
1) 소프트웨어별 촬영 종·횡방향에 따른 도화품질 비교분석
모델점과 체크점이 보이는 촬영 종·횡방향의 스테레
오 페어 영상을 선별하고 종·횡방향에 따른 도화품질을
산출하였다 (Table 2). 종방향이 횡방향보다 더 많은 영
상이 취득되었고 그에 따라 종방향에서 선별된 스테레
오 페어가2배 이상으로 많았다. Lim et al.(2019a)는 선행
연구로 Y시차에 따른 스테레오 페어의 입체시 여부를
분석하고 2pixel 이하의 경우 안정적인 입체시가 가능하
다고 보고하였다. 선행연구에 근거하여 종방향이 횡방
향보다 더 정확한 Y시차를 보였지만, 종·횡방향에서 산
출된 Y시차는 모두 스테레오 입체시가 가능할 것이라
고 판단된다. 상대모델과 절대모델의 정확도 및 표준편
차는 모델점과 체크점이 보이는 모든 페어에 대한 평균
정확도 및 표준편차이다 . 그리고 정확도 및 표준편차가
0 m에 가까울수록 정밀한 수치를 나타난다. 상대모델
정확도에서 3D-UAV와 Pix4D 모두 종방향이 횡방향보
다 더 높은 정확도를 보여주었다 . 반면에 절대모델 정
확도에서 3D-UAV와 Pix4D의 종방향 수평 정확도는 더
높게 나왔지만 수직 정확도는 횡방향이 더 높은 정확도
를 보여주었다 . 상대모델 정확도와 절대모델 정확도 결
과에 일관성이 없는 가장 큰 원인 중 하나는 기준점을
측량한 관측자가 수치를 잘못 기입해 발생한 오차라고
Fig. 5. Calculation of relative and absolute model accuracy.
판단된다 .
상대모델 표준편차는 종·횡방향의 수평 , 수직 모두 3D-UAV가 Pix4D보다 더 정밀한 정확도를 보였다. 절대 모델 표준편차에서는 종·횡방향의 3D-UAV(종: 0.42 m, 횡 : 0.41 m)의 수직 정확도가 Pix4D(종: 0.67 m, 횡: 0.50 m) 보다 더 정밀하게 나왔지만 수평 정확도는 3D-UAV(종:
0.55 m, 횡: 0.64 m)보다 Pix4D(종: 0.26 m, 횡: 0.24 m)가 더 정밀하게 나온 것을 확인하였다 . 항공측량법규 작업규 정 5장 56조에 근거하여(Table 3) 각 소프트웨어의 절대 모델 표준편차 결과는 3D-UAV와 Pix4D모두 1:5,000 수 준의 정확도를 확보하고 국소적으로 1/2,500 수준의 정 확도 확보가 가능할 것이라고 판단된다.
2) 수치사진측량시스템을 이용한 도화품질 신뢰성 비교분석