위성영상으로 DSM을 생성하기 위한 SGM Cost의 비교 Comparison of SGM Cost for DSM Generation Using Satellite Images
이효성1)·박순용2)·권원석3)·한동엽4)
Lee, Hyoseong ·Park, Soonyoung ·Kwon, Wonsuk ·Han, Dongyeob
Abstract
This study applied SGM (Semi Global Matching) to generate DSM (Digital Surface Model) using WorldView-1 high-resolution satellite stereo pair in Terrassa, Spain provided by ISPRS (International Society for Photogrammetry and Remote Sensing). The SGM is an image matching algorithm that performs the computation of the matching cost for the stereo pair in multi-paths and aggregates the computed costs sequentially. This method finally calculates the disparity corresponding to the minimum (or maximum) value of the aggregation cost. The cost was applied to MI (Mutual Information), NCC (Normalized Cross-Correlation), and CT (Census Transform) in order to the SGM. The accuracy and performance of the outline representation result in DSM by each cost are presented. Based on the images used and the subject area, the accuracy of the CT cost results was the highest, and the outline representation was also most clearly depicted. In addition, while the SGM method represented more detailed outlines than the existing software, many errors occurred in the water area.
Keywords : DSM, SGM, Mutual Information, Normalized Cross-Ccorrelation, Census Transform
초 록
본 연구는 ISPRS (International Society for Photogrammetry and Remote Sensing)에서 제공하는 스페인 Terrassa 지역의 WorldView-1 고해상도 스테레오 위성영상으로부터 DSM (Digital Surface Model) 제작을 위해 SGM을 적용하였다. SGM (Semi Global Matching)은 스테레오 영상에 대한 매칭 Cost를 여러 방향에서 계산하고, 계산된 Cost를 순차적으로 누적시킨 후, 누적된 Cost의 최소(또는 최대) 값에 해당하는 시차를 계산하는 영상매 칭 알고리즘이다. SGM 적용을 위한 Cost는 MI (Mutual Information, NCC (Normalized Cross-Correlation), CT (Census Transform)를 적용하였으며, 각각의 Cost별 DSM에서 지형지물의 외곽선 표현결과 정확도와 그 성능을 제 시하였다. 사용 영상과 실험 대상지역을 토대로, CT Cost 결과 정확도가 가장 우수하였으며, 외곽선 표현 또한 가장 선명하게 묘사되었다. 아울러 SGM 방법은 기존 소프트웨어에 비해 보다 세밀한 외곽선을 표현한 반면 수계지역에 서는 많은 오류가 발생하였다.
핵심어 : DSM, SGM, MI, NCC, CT
Received 2019. 11. 15, Revised 2019. 11. 22, Accepted 2019. 12. 19
1) Member, Dept. of Civil Engineering, Sunchon National University (E-mail: [email protected]) 2) IT1-413 College of IT Engineering, Kyungpook National University(E-mail: syparkemailknu.ac.kr) 3) Agency for Defense Development(E-mail: [email protected])
4) Corresponding Author, Member, Department of Marine and Civil Engineering, Chonnam National University(E-mail: [email protected])
https://doi.org/10.7848/ksgpc.2019.37.6.473 Original article
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://
1. 서 론
영상정합은 크게 로컬매칭과 글로벌매칭으로 나누는데, 그 중 로컬매칭은 정합선상의 점들 중에서 현재의 기준이 되는 점과 가장 일치하는 점을 찾는 점대 점 매칭방법이며, 이때 특징정보 즉, 포인터나 에지를 이용하는 형상기반매칭(FBM:
Feature Based Matching)과 영상소의 밝기 값을 이용하는 영 역기반매칭(ABM: Area Based Matching)으로 나눈다.
전통적 사진측량분야에서는 NCC (Normalized Cross Correlation)를 이용한 ABM 방법을 주로 이용하며(Baltsavias et al., 1993), ABM에 의한 DEM은 지형경사와 토지피복 특 성별로 그 정확도가 다르고, 산림지대와 기복이 심한 산악지 역 그리고 도심지에서 정합 성공률이 낮게 나타난다(Toutin, 2006; Kornus et al., 2006; Reinartz et al., 2006). 이러한 문 제점을 극복하기 위하여, Silveira et al.(2008)은 IKONOS-2 스테레오 위성영상으로부터 SIFT (Scale Invariant Feature Transform) 방법으로 초기 Seed point를 추출한 후, 이로부터 영역확장(region growing)에 의한 최소제곱 매칭방법을 제안 하였다. 특히, 이 방법은 주택과 건물 밀집지역에서 많은 매칭 점을 획득하였다. Kim and Rhee(2011)은 3D Correlation과 3D LSM (Least Squares Matching) 혼합방법을 제안하였으며, 고 정된 평면위치에 높이 값을 변화시키면서 매칭오류를 최대한 제거하였다.
글로벌 매칭 방법은 기준이 되는 점 주변과의 관계도 고려 한 방법, 즉, 각 화소의 시차 값은 이전 화소의 시차 값에 영향 을 받아 결정되고, 결국엔 한 스캔라인의 모든 점에 대해서 최 적화된 시차 값을 구하여 매칭하는 방법이다. 이 방법에는 다 이나믹 프로그래밍과 그래프컷, SGM (Semi Global Matching) 과 신뢰확산 방법 등이 있다(Hirschmuller, 2008; Baek and Park, 2010). 특히 SGM은 정합선 최적화 알고리즘을 이용하 여 다중방향에서 누적 Cost를 구하기 때문에 로컬매칭에 비 해 시간이 상대적으로 더 많이 소요되는 반면 복잡한 지형지 물이 포함된 영상에서 조밀하게 최적 매칭점을 획득할 수 있으 며, 건물이나 도로 등의 외곽선 표현 성능이 기존 로컬매칭에 비해 탁월하다는 장점이 있다(Hirschmuller, 2008).
SGM 이후, 고밀도 스테레오 영상매칭 방법과 관련한 다 양한 방법들이 소개되고 있다. Dall’Asta and Roncella(2014) 는 3차원 표면복원을 위한 고밀도 영상매칭에서 LSM을 적 용한 후, SGM, MicMac, Photoscan S/W와비교한 결과, LSM 이 가장 정확한 반면 노이즈가 있거나 화소대비가 약한 지역 또는 희미한 지역 매칭에서는 SGM이 더 효과적으로 나타났 다. Yan et al.(2016)은 Graph Network 기반의 Multi-view 고
밀도 매칭기법을 고해상도 항공영상에 적용하여 SURE, Photoscan S/W와 비교하였으며, 그 결과, 적용 기법이 경사 항 공영상에 효과적이라고 보고하였다. 한편, 위성영상에 SGM 을 적용하여 DSM을 제작한 연구결과도 다소 소개되고 있다 (D’Angelo and Reinartz, 2011; Kwon, 2019; Jang et al., 2019).
D’Angelo and Reinartz(2011)는 ISPRS에서 제공하는 스페 인지역의 Worldview-1 스테레오 위성영상으로 CT (Census Transform) Cost의 SGM을 적용하여 DSM을 제작한 후 동일 지역의 LiDAR DSM과 비교한 결과 도심지역은 약 3m의 거리 오차를 얻었다. Kwon(2019) 또한 WorldView-1 스테레오 위성 영상으로 CT Cost SGM을 적용하여 우리나라 포항지역의 논, 구릉지와 산악지 DSM을 제작한 결과 1.5～3.1m의 높이오차 를 보였다. Jang et al.(2019)은 Kompsat-3 스테레오 위성영상 으로 MI (Mutual Information) Cost SGM을 적용하여 우리나 라 대구지역의 공장지대 DSM을 제작한 결과 3～4m의 높이 오차를 보였다.
그러나 기존 연구에서는 SGM Cost를 적용할 때 MI, NCC, CT를 비교한 연구를 찾아보기 힘들다. 따라서 본 연구에서는 고해상도 스테레오 위성영상으로부터 DSM 제작을 위한 SGM 에서 3가지 종류의 Cost 즉, MI, NCC, CT를 적용한 후, 이로부 터 건물, 도로와 같은 지형지물 외곽선 표현결과 정확도를 제시 하여 사용 영상과 대상지역에서 가장 적합한 Cost를 제시하고 자 하였다. 추가적으로 SGM에 의한 DSM을 상용 소프트웨어 인 Correlator3D, ERDAS 결과와 시각적으로 비교하여 그 성 능을 비교 하고자 하였다.
2. SGM 방법
2.1 Cost 계산
본 연구에서 적용한 SGM은 Fig. 1에서 보는바와 같이, 우 선 좌, 우 에피폴라 영상에 대한 매칭 Cost를 계산하고, 계산된 Cost를 순차적으로 누적시킨 후, 누적된 Cost의 최소(또는 최 대) 값에 해당하는 시차 값을 계산하는 방식으로 수행되었다.
Fig. 1. SGM progress
Cost 계산은 대표적으로 MI, NCC, CT 방법을 많이 적용하 고 있다. MI는 두 영상간 엔트로피(영상 intensity의 확률밀도) 간 얼마나 밀접한 관계가 있는지를 알아보는 방법으로서 Fig.
2와 같은 방법으로 계산된다(Hirschmuller, 2008). 여기서, 매 칭 Cost는 -Mutual InformationI1I2으로 정한다.
Fig. 2. MI cost between stereo image
NCC는 두 영상간 표준상관계수를 계산하여 두 영상간 유사 도를 계산하는 방법이다. 이 방법은 Fig. 3과 같이 왼쪽과 오른 쪽 영상 윈도우 영역 내에서 상관계수를 계산한 후, 매칭Cost는 1-NCC로 구할 수 있다.
Fig. 3. NCC cost
그리고 CT는 Fig. 4(좌측)에서 보는바와 같이, 먼저 왼쪽 과 오른쪽 영상 윈도우에 대한 해밍비트(hamming bit: 1 또 는 0)를 구하고, 구한 좌, 우 해밍비트를 순차적으로 비교하 여 같으면 0, 다르면 1로 정하여 다른 Hamming distance를 구한다. 따라서 Hamming distance가 0에 가까울수록 동일 지점에 가까워지는 것으로 간주하고, 이 값을 매칭 Cost로 정한다.
Fig. 4. CT cost by the Hamming distance=2
이러한 Cost 계산 방식을 이용하여 Fig. 5와 같이, 좌측 에피 폴라 영상 한 화소에 대응하는 우측 에피폴라 영상 한 라인 전 체에 대한 Cost를 계산한다. 그리고 좌측영상 한 지점의 Cost 계 산이 끝나면 다음 지점으로 이동하여 계산한다.
Fig. 5. Cost on the left and right epipolar image
2.2 누적 Cost 계산
좌측 한 라인에 해당하는 우측 한 라인의 Cost 값을 나열하 면 Fig. 6과 같이 표현할 수 있으며, 계산된 각 지점의 Cost는 Eq. (1)과 같이 누적시켜 더하면 된다. 이때 각각의 Cost에 Eq.
(1)과 같이 페널티(
min
,
min
)를 고려하여 이 중 가장 적은 Cost를 더해 나간다.
Fig. 6. Costs of the right-image line corresponding to one pixel position of the left-image
(1)
min
min
는 영상좌표
min
,
min
는 시차(disparity)로서 최소시 차와 최대시차 범위에서 적용된다.
min
는 누적 Cost,
min
는 임의 지점의 Cost,
min
는 시차가 동일한 이전 지점의 누적 Cost,
min
는 시차가 하나 적은 이 전 지점의 누적 Cost,
min
는 시차가 하나 많은 이 전 지점의 누적 Cost를 의미한다.
min
은 페널티 값을 나타낸 것 이다. 이후
min
와 더해지는 누적 Cost도
min
과 같은 패턴으로 더 해진다. 여기서
min
는
min
보다 큰 값을 부여한다(Hirschmuller, 2008).
Fig. 6은 좌, 우 영상 한 라인에 대한 Cost이며, 이를 전체 라 인에 적용하면 Fig. 7과 같이 표현할 수 있다. 전체 라인 Cost 를 Fig. 8과 같은 방법으로 누적 Cost를 계산할 수 있으며, 누 적계산 방향은 사용자 정의에 따라 8방향(r=1-8) 또는 16방향
