스마트폰 영상정보를 활용한 쿼터니언 기반 후방교회법과 PnP 알고리즘의 외부표정요소 비교 분석
Comparative Analysis of Exterior Orientation Parameters of Smartphone Images Using Quaternion-Based SPR and PnP Algorithms
김남훈1)· 이지상2)· 배준수3)· 손홍규4)
Kim, Namhoon · Lee, Ji-Sang · Bae, Jun-Su · Sohn, Hong-Gyoo
Abstract
The SPR (Single Photo Resection) is widely used as a method of estimating the EOPs (Exterior Orientation parameters) at the time of taking a photograph, but it requires an initial value and has a disadvantage of being sensitive to the initial value. In this study, we introduce quaternion-based single photo resection and PnP (Perspective-n-Point) algorithm that do not require initial values and compare the results. Photos were taken using a general smartphone, and the ground control point acquisition was based on the hybrid MMS (Mobile Mapping System) point cloud data possessed by the researchers. As a result, when the collinear condition based SPR is true value, quaternion-based SPR has higher attitude angle estimation accuracy than PnP algorithm. In case of camera position estimation, both algorithms showed accuracy within 0.8m when compared with ground control points.
Keywords : Quaternion, Perspective-n-Point Algorithm, Single Photo Resection, Exterior Orientation Parameters, Smartphone Photogrammetry
초 록
사진 촬영 당시의 외부표정요소 추정 방법에는 공선조건식 기반 후방교회법이 널리 사용되지만 초기값을 필요
로 하고, 그 값에 민감하다는 단점이 있다. 본 연구에서는 초기값을 필요로 하지 않는 외부표정요소 알고리즘인 쿼
터니언 기반 공간후방교회법과 PnP (Perspective-n-Point algorithm)을 소개하고 그 결과를 비교하였다. 두 결과를
비교하기 위하여 일반 스마트폰으로 취득한 영상을 사용하였고, 지상기준점 취득은 본 연구진이 보유하고 있는 하
이브리드 MMS (Mobile Mapping System) 점군 자료를 이용하였다. 그 결과, 공선조건식 기반 SPR (Single Photo Resection)을 참값으로 할 때, 쿼터니언 기반 SPR이 PnP 알고리즘에 비해 자세각 추정 정확도가 높았다. 카메라 위
치추정의 경우에는 두 알고리즘 모두 지상기준점과 비교했을 때 0.8m 내의 정확도를 보임을 확인하였다.
핵심어 : 쿼터니언, PnP 알고리즘, 공간후방교회법, 외부표정요소, 스마트폰 사진측량
465 Received 2019. 11. 11, Revised 2019. 11. 21, Accepted 2019. 11. 27
1) Member, School of Civil and Environmental Engineering, Yonsei University (E-mail: [email protected]) 2) Member, School of Civil and Environmental Engineering, Yonsei University (E-mail: [email protected]) 3) Member, School of Civil and Environmental Engineering, Yonsei University (E-mail: [email protected])
4) Corresponding Author, Member, School of Civil and Environmental Engineering, Yonsei University (E-mail: [email protected]) Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography
Vol. 37, No. 6, 465-472, 2019
https://doi.org/10.7848/ksgpc.2019.37.6.465
ISSN 1598-4850(Print) ISSN 2288-260X(Online) Original article
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://
creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
466
1. 서 론
스마트폰이 널리 일반대중에게 보급화 된 이후로, 다양 한 센서정보의 활용성을 바탕으로 많은 사용자의 정보 공 유를 위한 중요한 수단이 되었다. 스마트폰에는 고해상도 카 메라, 관성측정장치, 자기장 센서, GNSS (Global Navigation Satellite System), depth 카메라 등 많은 센서가 장착되어 판 매되고 있고 앞으로도 새로운 센서가 부착될 것이다. 이렇게 스마트폰에 자체적으로 탑재 된 센서들을 이용하여 공간정 보 분야에서는 센서의 관측값을 이용한 다양한 연구 들이 수행되고 실제로 사용자들에게 서비스를 제공하고 있다. 특 히 사진측량 분야에서는 스마트폰에 부착된 카메라와 GNSS 정보를 융합해 효율적인 결과를 얻어내고자 하는 연구가 시 도되고 있다 (Micheletti et al., 2015; Park and Choi, 2012;
Shin et al., 2016).
하지만, 스마트폰에 부착된 위치센서의 정확도가 응용분 야에 따라 정확도가 충분하지 못한 예도 있다. 스마트폰에 탑 재되어 스마트폰의 위치정보를 제공하고 있는 GNSS의 경우 대부분 저가의 장비를 사용하므로, 고성능의 측량용 GNSS 장비보다 위치 오차의 범위가 상대적으로 크다. 도심지역의 경우, 신호가 난반사되는 멀티패스 현상 혹은 신호 손실로 인 해 측량용 GNSS 단말기를 사용하더라도 20m 이상의 위치 오차가 발생하는 경우가 존재하는데 (Ahn et al., 2010), 일반 적인 상황에서도 약 12.5m의 GNSS 관측 정확도를 가지는 것으로 나타난 스마트폰은 도심지에서 더 큰 오차가 발생할 수 있다 (Zandbergen and Barbeau, 2011). 따라서 스마트폰 을 활용하여 공간정보와 관련된 서비스를 제공하기 위해서 는 반드시 스마트폰의 위치 보정 작업이 선행되어야 하며, 이 를 위해 GNSS 정보를 포함한 스마트폰 내부의 기타 센서들 을 활용하면 더 높은 위치정확도를 확보할 수 있다.
사진측량학의 공선조건식을 응용하면, 정확한 위치를 이 미 알고 있는 대상물을 카메라로 촬영하여 취득한 영상을 사 용하면 카메라의 3차원 위치정보를 추정할 수 있다. 일반적 인 공선조건식을 사용할 경우 단사진을 이용한 후방교회법 (SPR: Single Photo Resection)을 이용하여 촬영 당시의 카 메라 위치 및 자세 정보, 즉 외부표정요소를 산출해 낼 수 있 다. 하지만 SPR 적용시 수식 내부에 사용하는 오일러 회전행 렬을 사용하는 과정에서 비선형식을 선형화하는 단계가 필 요하며 이를 해결하기 위해서는 수렴 조건에 맞는 초기값이 필요하다. 잘못된 초기값의 설정은 해를 발산시키거나 전역 적 해가 아닌 지역적인 최적해가 산출될 가능성이 높기 때문 이다. 이를 보완하는 방법의 하나로 쿼터니언 (quaternion) 기
반 SPR이 연구되었다. Mazaheri and Habib (2015)에 따르면, 공면조건식과 쿼터니언 회전행렬을 이용하여 카메라의 외부 표정요소를 추정해낼 경우, 사용자가 외부표정요소의 초기 값을 설정하지 않아도 된다는 장점이 있다고 하였다. 또한, 이 방법을 사용할 경우, 선형화 과정에 필요한 복잡하고 다양한 미분식을 수립하지 않아도 되어, 연산량이 줄어든다는 장점 이 존재하는 것으로 나타났다.
카메라의 3차원 위치를 찾는 또 다른 접근 방법으로는 PnP (Perspective-n-Point) 알고리즘이 있다. 이 방법은 대상 물의 3차원 좌표와 대응하는 2차원 영상점을 이용하여 카메 라의 위치를 추정하는 방법이다 (Fischler and Bolles, 1981;
Lu, 2018). 단, PnP 알고리즘의 경우, 카메라의 위치를 찾기 위해 사용되는 기준점의 수 n에 따라 해의 가짓수가 달라지 기 때문에 이를 해결하기 위한 다양한 방법들이 제시되고 있 다 (Gao et al., 2003; Quan et al., 1999; Xu et al., 2008).
위와 같이 공선조건식 기반 외부표정요소 추정 기법 이외 에도 다양한 외부표정요소 추정 방식이 존재하지만, 주로 개 별적인 알고리즘의 탐구에 집중하는 경향이었고 그 방법들 의 특징이나 정확성에 관한 비교 연구가 활발히 진행되지는 않았다. Hong et al. (2019)의 연구에서는 코사인 법칙과 3차 원 좌표 변환을 이용한 후방교회법을 제안하면서 쿼터니언 기반 SPR과 PnP 알고리즘, 그리고 제안한 알고리즘을 비교 하는 연구를 수행하였다. 이 연구에서는 체크보드를 이용해 기준점의 배치와 수를 다르게 하며 세 가지 알고리즘을 비교 하여 제안한 알고리즘이 쿼터니언 기반 SPR과 PnP 알고리즘 에 비해 기준점 배치, 필요 기준점 수, 수렴속도 측면에서 우 수함을 보였다. Hong et al. (2019)의 연구에서 여러 알고리즘 의 비교 연구가 이루어졌지만, 코사인 법칙과 3차원 좌표 변 환을 이용한 후방교회법에 두 알고리즘을 비교하여 쿼터니 언 기반 SPR과 PnP 알고리즘 간 간접적인 비교 연구가 이루 어졌고 체크보드나 타겟이 아닌 실제 3차원 대상물을 이용 할 때 어떠한 조건의 기준점이 필요한지에 대한 논의가 이루 어지지는 않았다.
따라서, 본 연구에서는 정교한 초기값을 요구하는 오일러 회전행렬-공선조건식 기반 SPR을 대체하는 방법으로 제시 된 쿼터니언 기반 SPR과 PnP 알고리즘을 비교하여 결과를 도출하고자 하였다. 이를 통해 스마트폰의 위치정보를 추정 하면서 두 가지 방법 중 어떠한 방법이 효과적이고 안정적인 결과를 도출할 수 있는지 연구하였다. 이 결과를 통하여 재난 상황 등과 같은 특수한 상황에서도 사진만 촬영하면 사용자 의 위치를 추정하거나, GNSS 관측이 어려운 지역에서도 사 용자의 위치를 추정해 낼 수 있을 것으로 기대된다.
