1. 서 론
디지털 트윈(Digital Twin)은 컴퓨터에 현실 속 사물의 복사체를 만들고 다양한 물리적 시스템 의 구조, 맥락, 작동 등을 속성정보와 융합하여 과거와 현재의 운용상태를 분석하고 미래사회의 대응방안을 예측하는 기술이다. 특히, 3D 재현기 술(UAS, LiDAR, GNSS 등)은 디지털 트윈에 있어 핵심기술로 최근 산업 전반에서 활발히 연구와 응용이 수행되고 있다. 그러나 UAS(Unmanned Aerial System) 및 LiDAR(Light Detection And Ranging)는 재현대상의 형상에 따라 재현이 미흡 한 사각지대(Blind Spot)에 대한 보완이 해결해야 할 과제이다. 또한, 지상 LiDAR는 대상체의 측점 군(Point Cloud)을 단거리에서 보다 정밀하고 빠 르게 획득 할 수 있지만, 대상체 상부에 사각지 대가 발생됨으로 전 방향 디지털 트윈 모델링에 제약이 초래된다.
UAS는 낮은 고도에서 높은 해상도의 영상을 활용하여 특정범위의 대상체를 높은 정밀도로 모델링 할 수 있고, SfM(Structure-from-Motion) 영상해석 기술을 기반으로 고밀도의 측점군을 생성할 수 있는 장점이 있다. 그러나 지상 LiDAR에 비해 대상체까지의 거리가 상대적으로 멀고, 영상해석시간이 소요되며, 특히, 측면부에 대한 정확도 감소와 사각지대 보완이 필요하다.
기존 문헌에선 UAS의 측점군과 지상 LiDAR의 측점군을 통해 융합 모델링을 실시한 연구는 부 족하다.
2. 연구목적 및 방법
본 연구의 목적은 지상 LiDAR 스캐닝 측점군 과 UAS기반 SfM 영상해석 측점군의 융합으로 3D 모델을 구현하는 것이다. LiDAR 스캐닝과 UAS기반 영상해석 중 발생하는 각각의 사각지대를
* 공주대학교 공과대학 건설환경공학부 도시·교통공학전공 교수. ([email protected]).
** 인천대학교 도시과학대학 도시건설공학과 박사과정. ([email protected]).
*** 인천대학교 도시과학대학 도시건설공학과 석사과정. ([email protected]).
**** 인천대학교 도시과학대학 도시공학과 교수, 교신저자. ([email protected]).
UAS 및 지상 LiDAR 융합기반 건축물의 3D 재현
한승희*․강준오**․오성종***․이용창****12)
3D Reconstruction of Structure Fusion-Based on UAS and Terrestrial LiDAR Han, Seung-Hee*·Kang, Joon-Oh**·Oh, Seong-Jong***·Lee, Yong-Chang****
Abstract: Digital Twin is a technology that creates a photocopy of real-world objects on a computer and analyzes the past and present operational status by fusing the structure, context, and operation of various physical systems with property information, and predicts the future society's countermeasures. In particular, 3D rendering technology (UAS, LiDAR, GNSS, etc.) is a core technology in digital twin. so, the research and application are actively performed in the industry in recent years. However, UAS (Unmanned Aerial System) and LiDAR (Light Detection And Ranging) have to be solved by compensating blind spot which is not reconstructed according to the object shape. In addition, the terrestrial LiDAR can acquire the point cloud of the object more precisely and quickly at a short distance, but a blind spot is generated at the upper part of the object, thereby imposing restrictions on the forward digital twin modeling. The UAS is capable of modeling a specific range of objects with high accuracy by using high resolution images at low altitudes, and has the advantage of generating a high density point group based on SfM (Structure-from-Motion) image analysis technology. However, It is relatively far from the target LiDAR than the terrestrial LiDAR, and it takes time to analyze the image. In particular, it is necessary to reduce the accuracy of the side part and compensate the blind spot. By re-optimizing it after fusion with UAS and Terrestrial LiDAR, the residual error of each modeling method was compensated and the mutual correction result was obtained. The accuracy of fusion-based 3D model is less than 1cm and it is expected to be useful for digital twin construction.
키 워 드 : 지상 LiDAR, UAS(무인항공시스템), SfM, Point Cloud, 3D Model, 번들블록조정
Key Words : Terrestrial LiDAR, UAS, SfM, Point Cloud, 3D Model, Bundle Block Adjustment
Figure 1. Blind Spot of UAS and Terrestrial LiDAR
연구대상은 ○○시 소재의 ○○건축물로 지상 LiDAR 스캔을 위한 8개 지점과 UAS 데이터 획 득 및 비교검증을 위해 지상기준점(GCP, Ground Control Point)을 5점과 검사점(CP, Checkpoint) 2 점을 설치하여 대상의 지상 LiDAR 측점군과 UAS기반의 측점군을 획득한다. 이후 UAS 측점 군의 3D 모델링과 두 가지의 측점군을 융합, 재 조정하여 번들 블록조정을 진행, 상호 보정된 융 합 측점군으로 3D 모델링을 실시한다.
Figure 2. Study Flow Chart
분야에서 구성된 해석이론으로, 전통적인 항공 사진 측량의 기본원리인 공면조건과 유사한 영 상 해석 이론이다. 주로 게임, 로봇 공간 인식 등의 인지적 3차원 모델링에 사용 된다. Figure 3은 한 쌍의 중복 영상을 대상물 위의 점 p와 수반하는 영상점 p′, p″를 나타낸다. 일반적으 로 중복된 영상은 정확하게 연직이 아니고, 노출 위치나 노출 지점들이 서로 다른 고도를 갖는다.
세 점 C′, C″ 및 p에 의해 이루어지는 평면을 공액면(Epipolar Plane)이라 하며, 두 영상을 교 차하는 평면에서 두 선을 공액선(Epiolar Line)이 라 한다. 사실, 무한한 공액선들은 선 c′-c″를 포함하는 공액면의 집합에 부합하며, 이것들의 일부분이 두 영상면에 교차하는 것이다. 공액선 들은 영상을 상호표정한 후 결정할 수 있다.
Figure 3. Conjugate Condition
3.2 SfM 재현
SfM기법은 사진측량기술(Photogrammetry)과 컴퓨터 영상해석기술(Computer Vision)을 융합하 여 영상을 해석하는 과정으로 Figure 4와 같이 피사체를 충분한 중복도로 촬영한 후 영상으로 부터 3차원 형상과 카메라 위치관계를 동시에 복원함과 동시에 3차원으로 재구성하는 컴퓨터 비전 분야의 기술이다.
Figure 4. Analysis of SfM Image by Close Range Photogrammetry
사진에서 중복되는 픽셀을 검출하여 특징점으 로 변환하고, 그들 점의 크기와 방향을 결정하여 두 장의 사진을 신속하게 정합하는 알고리즘인 SIFT(Scale Invariant Feature Transform)기법에 의해 정합된 영상으로부터 특징점을 추출, 분석 및 SGM(Semi Global Matching) 매칭기술을 활용 하여 영상 간 공액점을 선점한다. 공액 영상 간 내부표정 및 상호표정 요소가 최적의 상관관계 로 해석되도록 RANSAC 원리로 정합(Matching) 한다. SfM 최종단계는 SfM 번들조정(Bundle Adjustment)은 사진측량 분야에서 3D 재현 시 요구하는 상호표정요소 즉, 촬영점과 렌즈 및 카 메라 내부표정요소에 대한 사전정보 없이도 카 메라 좌표계 공간 안에서 절대좌표 (ΔS)를 입력 할 경우 실제 대상물의 3차원 모델링을 할 수 있다. 카메라의 자세와 영상기하를 보정하는 번 들 조정법에 의해 3차원 점군 데이터(Point Clouds)가 생성된다. 본 연구에서는 SfM 기반의 영상해석 툴인 Bentley사의 Context Capture 소 프트웨어를 사용하여 UAS 항공사진으로부터 측 점군을 획득하였다.
3.3 지상 LiDAR 스캐닝
지상 LiDAR 스캐닝 기술은 측정 장비에서 대 상체에 일정 간격으로 레이저를 주사하고 반사 되어 돌아온 레이저의 시간(TOF, Time of Flight)차로부터 주사방향과 거리를 측정하여 대 상체의 외형을 3차원 좌표로 나타내는 기술이다.
TOF방식은 시간측정정확도에 따라 오차가 발생 하게 되는데 현재는 약 3.3picoseconds의 측정이 가능하여 이를 미터(Meter)로 환산하면 약 1mm 단위이다. 3D 스캔으로 사용하기 위해선 레이저 의 방향을 정밀하게 바꿔주는 회전프리즘 방식 이 사용되며, 초당 10,000~100,000포인트에 대한 3차원좌표를 획득할 수 있다.
Figure 5. Measuring Points Coordinates by a Laser Scanner
X, Y, Z의 좌표성분을 가진 스캐너에서 레이저 를 주사하여 돌아온 레이저를 통해 대상체의 좌 표를 선정하는 식은 다음과 같다.
∙ cos ∙ cos
∙ cos ∙ sin
∙ sin
Equation 3.3
4. 관측 및 3D 모델 구현 4.1 촬영 및 기준점 측량장비
지상 LiDAR 정밀 스캔을 위해 Trimble사의 레 이저 스캐너 SX10을 사용하였다(Figure 6). 이 스캐너는 5MP의 해상도와 밴드 스캐닝 기술, 건 설분야에 적합한 Time of Flight 기술을 탑재하 고 있으며 스캐너의 제원은 Table 1과 같다.
Figure 6. Terrestrial LiDAR Scanner(Trimble SX10)
Accuracy
Accuracy
Prism : 1mm+1.5ppm
DR Mode : 2mm+1.5ppm
EDM
Laser : 1550nm 직경 : 14mm Scanning
Principle Band Scanning Point Spacing 6.25
∼50mm Measurement
Rate 26.6kHz Camera 5MP (84x)
Range
Prism : 5,500m DR Mode :
800m
Communication
Wi-fi, USB Cable, Long range
radio
영상획득에 사용된 UAS는 Figure 7과 같이 DJI사의 Phantom4 Pro로 일체형 카메라, 짐벌, GNSS 수신기 센서 등을 탑재하고 있으며, 제원 은 Table 2와 같다.
Figure 7. UAV Platform Sensor (Phantom4 Pro)
UAS Camera
DJI Phantom4 Pro FC6310
Weight 1388g Resolution 5472 x 3648
Satellite System GPS / BDS Focal
Length 9mm
Maximum
Distance 72km/h ISO 100
Angle control
accuracy ±0.03° F-Stop F / 5.6
IMU Sensor
Gyroscope Acceleration Compass
FOV Horizontal : ±60°, Vertical : ±54°
Table 2. Phantom4 Pro Specification
Figure 8은 Network-RTK GNSS 측량에 활용 한 장비인 Trimble사의 R8 장비로 위성 신호 수 신기를 탑재하고 있으며, 제원은 Table 3과 같다.
Figure 8. Network-RTK GNSS
Trimble R8 GNSS
Weight 1.52kg Channel 440 Channal
Stop Positioning
Vertical
3.5mm+0.4ppm
RMS Input CMR+, CMRx,
RTCM2.1∼3.1
Stop Positioning
Horizontal
3mm+0.1ppm
RMS Output 24 NMEA
VRS Vertical 15mm+0.5ppm
RMS Radio Modem 403MHz
VRS Horizontal
8mm+0.5ppm RMS
Signal Update
Cycle 1Hz∼20Hz
Table 3. R8 GNSS Specification
4.2 UAS기반 측점군 획득
UAS 영상은 Phantom4 Pro를 활용, 2018년 6 월 14일에 총 385매의 영상을 Pix4D Capture 앱 를 활용, 자동비행(고도 60m, 종·횡 중복도 85%, Normal 속도)으로 취득하였다. 또한, 구조 물의 측면을 360도 회전 비행하면서 경사각 4 5。로 96장의 사진을 수동 촬영하여 획득하였다.
총 481장의 영상해석은 SfM 기반 영상해석 툴인 Bentley사의 Context Capture 소프트웨어를 활 용, 3차원 측점군을 생성, 구조물을 3차원으로 재현하였다. GCP와 검사점은 각각 측점 1~5 및 측점 6~7 위치에 선점하였다. Figure 9는 다음지 도로 본 GCP와 검사점의 위치이다.
4 1
3 2
5
6 7
Figure 9. Ground Control Point(GCP) and Checkpoint on Daum Map (○○○: GCP,□□□: Checkpoint)
Table 4는 GNSS Network-RTK 측량으로부터 획득한 세계측지계상의 좌표를 지도 투영한 평 면 직각좌표 및 타원체고를 나타낸다. Figure 10 은 총 108,808개의 UAS기반 영상해석을 통해 획 득한 측점군이다.
Point X Y Z
GCP
1 167409.16 530331.98 28.78
2 167464.95 530432.20 28.34
3 167551.57 530370.88 28.03
4 167439.32 530292.80 32.30
5 167444.87 530387.94 33.94
CP 6 167505.77 530378.17 51.44
7 167473.03 530329.23 59.77
Table 4. GCP and Checkpoint (Unit : m)
Figure 10. Point Clouds Based on UAS
4.2 지상 LiDAR 측점군 획득
지상 LiDAR에 의한 측점군은 Figure 11과 같 이 8개소 관측점에 대해 GNSS Network-RTK 측 량을 실시한 후 각 측점별로 건축물을 향해 지 상 LiDAR 스캔을 실시, 총 21,704,693개의 측점 군을 획득하였다. Figure 12는 재현한 3차원 측 점군으로 구조물 상부는 지상 LiDAR 특성상 측 정이 불가한 사각지대로 나타났다.
Figure 11. Test Object and Terrestrial LiDAR Install Point on Daum Map
Figure 12. Point Clouds Based on Terrestrial LiDAR
총 21,704,693개의 지상 LiDAR 측점군을 획득, Figure 12와 같이 지상에 설치되어 스캔하는 지 상 LiDAR의 특성상 구조물 상부에 사각지대가 발생하였다.
영상해석을 통해 3D 모델링을 진행하였다.
Table 5와 같이 GNSS로 측정한 검사점을 기준으 로 3D 모델상의 검사점 좌표와 비교하여 절대편 차(Absolute Deviation) 및 절대편차평균(Ave. of STEDV)을 작성하였다.
Type X Y Z
GCP (True Value)
6 167505.77 530378.17 51.44
7 167473.03 530329.23 59.77
Checkpoint in 3D Model
6 167505.73 530378.20 51.48
7 167473.04 530329.27 59.78
Absolute Deviation
6 0.04 0.03 0.04
7 0.01 0.04 0.01
Ave. of STDEV 0.025 0.035 0.025
Table 5. Checkpoint Accuracy Comparison in 3D Model Based on UAS (Unit : m)
분석결과, UAS 3D 모델의 좌표 절대편차평균 (Ave. of STEDV)은 ΔX, ΔY, ΔZ 각각 0.025m, 0.035m, 0.025m로 지적경계오차의 기준인 0.03m에 미치지 못한 결과를 얻었다.
지상 LiDAR는 건축물의 상부가 사각지대로 측 점군을 획득하지 못하여 3D 재현이 불가능했다.
5.2 UAS+LiDAR 융합기반 3D 모델의 정확도 UAS기반 측점군과 지상 LiDAR 측점군을 융합하 여 재삼각측량(AT)을 진행하여, 각의 번들(UAS, LiDAR)을 블록조정(Block Adjustment)하여 융합 측 점군을 획득 후, 3D 모델링을 진행했다.
Type X Y Z
GCP (True Value)
6 167505.77 530378.17 51.44 7 167473.03 530329.23 59.77 Checkpoint
in 3D Model
6 167505.76 530378.19 51.44 7 167473.04 530329.24 59.76 Absolute
Deviation
6 0.01 0.02 0
7 0.01 0.01 0.01
Ave. of STDEV 0.01 0.015 0.005
Table 6. Checkpoint Accuracy Comparison in 3D Model Based on UAS and Terrestrial LiDAR
(Unit : m)
분석결과, UAS+LiDAR 융합기반 3D 모델의 절대
보강되고, 지상 LiDAR가 취약한 건축물 상부스캐 닝과 측정할 수 없는 검사점 좌표가 UAS로 획득한 상부 측점군으로 좌표 보정되어 전체적인 모델링 이 향상된 것으로 판단된다.
A. Front
B. Rear
Figure 13. 3D Model Based on UAS+LiDAR
5.3 3D 모델의 사각지대
UAS기반 측점군을 사용한 3D 모델에서 Figure 15의 좌측(UAS Blind Spot)과 같은 사각지대가 발생 했다. 이 부분은 Figure 14와 같이 건물하부 야외 계단이 존재하여 UAS의 접근이 어려운 지역으로 영상데이터 획득이 불가하여 미구현되었다. 다만, 융합 3D 모델로 Figure 15의 우측(Complemented Blind Spot)과 같이 지상 LiDAR를 통해 보완·구현 하여 융합해석의 효용성을 입증하였다.
Figure 14. Blind Spot Real Photo
UAS Blind Spot
Complemented Blind Spot
Figure 15. UAS Blind Spot and Complemented Blind Spot in UAS+LiDAR
6. 결 론
○○시 소재의 ○○건축물을 대상으로 UAS 및 지상 LiDAR 기반 측점군을 획득한 후, 융합해석 (Re-optimization)하여 3D 모델을 재현하고 개별해 석 재현모형과 비교한 결과 다음의 결론을 얻었다.
첫째, UAS로 생성한 3D 재현모델은 예측한 바와 같이 측면 요철부에서 재현이 미흡한 사각지대가 발생되었다. 구조물이 많은 도심지의 경우 무인항 공비행의 안전문제와 대상체와의 거리조절 등과 같은 현실적 어려움이 있다. 또한, 획득한 측점군 의 정확도가 지적경계오차 기준인 0.03m 이내에 부합하지 못하여 디지털 트윈 구축에 있어 3D 재 현능력엔 다소 부족한 면이 있다.
둘째, 지상 LiDAR만에 의한 3D 재현모델의 경우 다수의 지상 측점군을 획득 할 수 있었지만, 상부 검사점에 대한 오차검토는 불가하였고, 측면상부 요철부에서 재현이 불가한 사각지대가 나타났다.
셋째, 융합기반 측점군의 재조정에 의한 3D 모 델은 상부 검사점의 좌표성분편차가 UAS 만의 3D 모델에 비해 X, Y, Z성분에서 각각 2.5배, 2.3배 및
5배 향상된 결과를 나타났다. 이는 UAS기반 측점 군과 LiDAR기반 측점군 융합 자료의 추가 번들블 록조정을 통해 각 모델링 방법의 잔여오차가 보정 및 개별 모델링 방법의 잔여오차가 상호 보정된 결과로 분석된다. 또한, 융합측정을 통한 3D 모델 링 완성도 상승으로 사각지대가 없는 3D 재현이 가능하다. 따라서 UAS 및 지상 LiDAR 융합기반의 3D 모델링은 개별방법에 비해 향상된 정확도를 제 시함으로 디지털 트윈 구축에 그 효용성이 기대된다.
향후, 본 연구에서 시범적으로 연구된 UAS 및 지상 LiDAR 융합기반 3D 모델링을 바탕으로 대상 체 상부 스캐닝을 진행한 지상 LiDAR 측점군을 활 용한 3D 모델링의 정확도 비교와 다양한 건축물 측면에 검사점을 설치, 3D 모델을 구현하여 대상체 의 전체적인 좌표 정확성 비교를 진행할 계획이다.
감사의 글
본 연구는 공주대학교 공간정보연구실과 인천 대학교 UAV Bigdata Lab.의 공동연구로 수행되 었으며, 도움을 주신 인천대학교 미래도시의 탐 색형 창의교육 특성화사업단의 지원에 감사드립 니다.
REFERENCES
Boon, M, Greenfield, R. and Tesfamichael, S.
(2016), "Unmanned Aerial Vehicle(UAV) Photogrammetry Produces Accurate Highresolution Orthophotos, Point Clouds and Surface Models for Mapping Wetlands, South African Journal of Geomatics, Vol. 5, No.2, p.186-200
Cho, Hyung-Sik, Son, Hong-Kyu, Park, Hyo-Geun, Lee, Bin, Park, Je-Seong, (2013),
"지상 LiDAR 자료 정합방법에 따른 정확도 분석”, 한국측량학회 춘계학술발표회, p.
389-390
Han, Seung-Hee, (2014), "지형정보획득용 저가 소형 자동항법 UAS 개발 및 평가”, 대한토 목학회논문집, 제34호 제4호, P. 1343-1351 Han, Seung-Hee, (2017), "드론을 이용한 정사영
상제작에서 영상기반처리방법과 GCP적용 시 의 정확도 비교”, 한국지형공간정보학회 춘 계학술대회, p. 93-94
Hartley, R. I., (1997), "Self-calibration of Stationary Cameras.”, International Journal of Computer Vision, Vol. 22, No. 1, p. 5-23.
Kang, Joon-Oh, Lee, Yong-Chang, (2016), "드론
Lee, Yong-Chang, (2018), "지상 LiDAR 및 UAS 기반 퇴적암벽의 3D모델 구현”, 2018 공동추계학술대회, p. 339-340
Kim, Dal-Joo, Lee, Yong-Chang, (2017), "석조물 의 3차원 모델링을 위한 3가지 RGB 영상의 조합 해석”, 한국측량학회 학술대회자료집, p. 239-241
Lee, Yong-Chang, (2015), "회전익 UAS 영상기 반 고밀도 측점자료의 위치 정확도 평가”, 한국지형공간정보학회지 제23권 제2호, p.
39-48
Lee, Yong-Chang, (2016), "UAS 영상기반 공간 해석”, 인천대학교, 총판론 p. 141-302 국토지리정보원 (2018), 무인비행장치 이용 공공
측량 작업지침제정 고시, p. 1-13
논문투고일 11월 30일 논문심사일 12월 10일 논문게재일 12월 30일
