서론 1.
최근 하천의 수질오염 및 악취발생으로 민원, 이 증가하여 하천환경 개선에 큰 관심이 모아지 고 있다 특히 공장 인근에 위치한 하천의 경우 . , 공장에서 배출되는 폐수에 노출되어있어 수질오 염은 물론 하천 생태계 문제가 발생하고 있다.
따라서 하천환경 정비 폐수유입조사 하천의 제, 방정비 및 유지보수를 위한 지속적인 모니터링 이 필요하다 최근 . UAV를 기반으로 여러 파장 대역(RGB, 근 적외 영상 원 적외 열 영상 고 , , 분광 스펙트럼 등 의 영상을 획득하여 여러 산업) 분야에서 다양한 응용이 시도되고 있다 측량분. 야의 전통적인 사진측량 기술(Photogrammetry) 과 컴퓨터 정보통신 분야의 컴퓨터 영상해석 기 술(CV, Computer Vision)의 발전과 융합으로 다 양한 공개 및 상업용 영상해석 Tool이 출시되고
있다 특히. , UAV와 RGB 센서 및 열 적외 센서 를 융 복합하여 피사체의 다양한 속성정보를 · 포함한 영상을 획득하고, SfM기반 영상해석으로 부터 피사체에 대한 공간정보 및 특성정보를 구 축하는 연구가 최근들어 활발히 시도되고 있다.
연구목적 및 방법 2.
본 연구의 목적은 하천의 구조 및 환경의 변 화에 대한 유지관리와 모니터링 연구에 UAV의 활용성을 검토하는 것이다 이를 위해 시흥시에 . 위치한 옥구천을 연구대상으로 선정, UAV에 및 적외선 카메라를 탑재 컬러영상과 적외
RGB ,
열 영상을 획득하고 지상기준점에 대한 GNSS좌 표성과를 기준점으로, SfM기반 영상해석을 통해 하천의 차원 모형을 재현하고 기하학적 정확도3
* Master, Dept. of Urban Construction Engineering, Incheon National University
** Professor, Dept. of Urban Engineering, Incheon National University, 22012, Corresponding author([email protected])
영상 적외 열 영상 을 활용한 하천환경 모니터링
UAV (RGB, )
・ ・ ・
Kang, Joon-Oh*·Kim, Dal-Joo*·Han, Woong-Ji*·Lee, Yong-Chang**
Recently, civil complaints have increased due to water pollution and bad smell in rivers. Therefore, attention is focused on improving the river environment. The purpose of this study is to acquire RGB and thermal infrared images using UAV for sewage outlet and to monitor the status of stream pollution and the applicability UAV based images for river embankment maintenance plan was examined. The accuracy of the 3D model was examination by SfM(Structure from Motion) based images analysis on river embankment maintenance area. Especially, The wastewater discharged from the factory near the river was detected as an thermal infrared images and the flow of wastewater was monitored. As a result of the study, we could monitor the cause and flows of wastewater pollution by detecting temperature change caused by wastewater inflow using UAV images.
In addition, UAV based a high precision 3D model (DTM, Digital Topographic Map , Orthophoto Mosaic) was produced to obtain precise DSM(Digital Surface Model) and vegetation cover information for river embankment maintenance.
를 검토하였다 옥구천에 대한 . UAV기반 정사영 상을 국토지리정보원(NGII, National Geographic
의 공간정보 오픈 포털에서 Information Institute)
제공하는 실감정사영상 및 수치지형도와 중첩 비교하여 2D 및 3D 모델의 완성도를 비교 고찰· 한다 특히 적외 열 영상의 촬영 시 지상기준점. , 의 식별이 명확한 인공타겟을 검토하고 획득된
기반 적외 열 영상을 활용하여 하천의 온도 UAV
변화를 열화상으로 전환 의사, (Pseudo)공장폐수 의 유입 및 전파현상을 감지하여 하천 환경 모 니터링의 효용성을 고찰하였다.
영상해석 이론 3.
기법은 전통적인 사진측량과 컴퓨터 영상 SfM
기술의 해석 과정으로 카메라의 동적 촬영을 통 해 얻은 영상으로부터 렌즈왜곡보정 기술 모션 , 추정기술 특징점 추출기술 특징점 간의 정합기, , 술 항공 삼각측량에 의한 영상의 내부표정 및 , 상호표정 과정의 최신 영상해석 기술이다 특히. , 카메라 모션 추정기술은 Figure 1과 같이 촬영된 중복영상을 영상정합 해석하여 산출한 차원 형3 상정보의 측점군(Point Cloud)데이터로 피사체를 재현하는 영상해석 기법이다 송승현.( , 2012; 이용 창, 2015) 이를 위해 사진에 저장된 EXIF 메타정 보로 부터 초점거리 영상 크기 카메라 종류 등, , 의 정보를 취득 영상접합을 위한 특징점을 추출, 한다. UAV를 활용해 획득한 다량의 항공사진을 대상으로 SfM 영상해석 기술을 적용할 경우 빠 른 시간 내 고해상 영상해석이 가능하다 특히. , 저가의 비측량용 카메라를 탑재하여 지형지물에 , 대한 효율적인 정사영상 지형도제작 수치표고모, 델(DEM, Digital Elevation Model), 수치표면모델 의 제작이 가능하다 (DSM, Digital Surface Model) .
최근, 영상정보를 활용한 증강현실(AR, 구현
Augmented Reality) , 자율주행 자동차의 장애 물 감지와 회피 등 영상을 통한 실시간 응용분 야에도 SfM기술의 활용도가 증가되고 있다. 이용( 창, 2017; Bruce Averill and Patricia Eldredge, 2017)
Figure 1.SfM concept
Figure 2. SfM based image processing workflow 는 영상해석 과정을 나타낸 것이다
Figure 2 .
내부표정 작업은 카메라의 렌즈왜곡보정 대기굴,
절보정 주점의 보정 및 결정 작업이 수행된다, . 피사체가 영상에 투영된 위치를 구하거나 또는 역으로 영상좌표로부터 피사체의 차원 공간좌3 표를 결정할 때 내부오차요인을 제거해야만 양 호한 영상해석 결과를 얻을 수 있기 때문에 내 부표정의 오차보정이 필요하다 내부표정이 완료. 된 후에 카메라의 외부표정 요소6 ( , Χ Υ Ζ, ,
를 결정하는 상호표정 작업이 수 , , , s)
Κ ψ ω Δ
행된다 해석 입체 모델에서 상호표정요소를 산. 출하기 위해서는 공선조건(Collinearity condition), 공면조건(Coplanarity condition), 공액기하구속조 건(Epipolar condition)을 만족해야한다 이용창.( ,
공선조건은 피사체의 임의점이 렌즈 중심 2015)
을 통과하여 CCD(Charge Coupled Device) 영상 표면에 피사점을 형성할 때 피사체와 렌즈 중심 영상점이 동일 일직선상에 존재해야한다는 기하 구속조건이다 최소 장의 사진에 대한 공선조건 . 2 방정식을 구성한 다음 지상기준점 접속점의 사 전 정보를 활용하여 최소제곱 보정으로부터 상 호표정 요소를 산출할 수 있다 공면조건은 피사. 체의 임의 특징점에 대해 공액선과 장 이상 사2 진 상의 공액선 및 촬영점을 잇는 방향선 기선( ) 의 삼각 평면상에 존재한다는 구속 조건으로부 터 상호표정요소를 산출한다 또한 공액기하구속. 조건은 공면조건을 만족함은 물론 피사체와 두 촬영점 점이 존재함은 물론 좌 우 사진과 삼3 · 각공면이 교차하여 형성된 공액선이 삼각공액면 상에 존재해야한다는 구속조건으로서 상호표정 을 해석한다 특히 지상기준점과 절대표정은 상. , 호표정이 완료된 입체 모델상의 임의점에 대하 여 지상기준점을 활용하여 실세계 좌표로 변환 후 차원 입체 모형을 재현시키는 과정이다3 . (이 용창, 2017)
뉴턴(Sir Isaac Newton)은 1704년 빛이 차단된 방에 작은 구멍을 뚫은 후 유리로 만든 프리즘 속으로 태양의 빛을 통과시키면 다양한 색의 빛 을 얻을 수 있다는 것을 밝혀냈다 허셀. (William
이 년
Herschel) 1800 햇빛을 프리즘으로 분산시켜 무지개 색으로 만들고 가시광선의 온도를 측정, 하다가 붉은색일수록 복사로 인한 온도가 더 높 아짐을 발견하였다 특히. , 1897년 슈테판 볼츠만-
은 파장을 이용하여
(Stefan-Boltzmann) 빛의 온도 를 측정할 수 있는 기반을 적립하였고 물체의 온 도가 높아질수록 더 많은 적외선이 방출되는 것 을 확인한 바 있다 정용택.( , 2014; 조용진. 2017) 적외선 카메라는 CCD(Charge Coupled Device 전 하결합소자 를 이용해 매우 작은 광다이오드)
감지기로 피사체 표면에서 방사 또 (photodiode)
는 반사되는 전자기파의 밀도를 측정하여 수치 변환한다 적외 열 영상 카메라는 적외선 파장을 . 발산하거나 달빛을 증폭하여 영상을 얻는 나이트 비젼 방식과 달리 물체에서 방사되는 열 적외선 을 포착해 열 영상을 구성한다 특히 적외선 카. , 메라는 모든 물체가 온도에 따라 다른 파장의 빛 을 방사하며 복사가 최대치인 파장과 온도의 관, 계식 Wien’s displacement law ( max(λ 파장)·T
온도 절대온도 을 응용한
( ) = 2.898×10 ³ · (⁻ ｍ Ｋ ),
카메라이다 본 연구에서 활용한 적외 열 영상 . 카메라는 비냉각 비접촉식 적외선 감지센서· (Bolometer)로 냉각장치가 필요 없고 경량으로서 자연계에 존재하는 모든 물체의 열화상을 실시간 으로 재현할 수 있다. Figure 3는 적외 열 영상 카메라에 의한 열화상 재현과정을 나타낸 것이 다 정병조.( , 2009) 가시광선 보다 긴 파장의 적외 선을 감지하는 센서를 사용해 비접속 식으로 대 상물체에서 방사된 적외선을 검출한다. 검출된 적외선의 주파수 반응을 감지 전기적 신호로 전 환하고, 이를 파장별 열화상 이미지로 재현한 다.(FLIR, 2016)
Figure 3. Thermal infrared image reconstruction workflow
촬영장비 제원 4.
컬러영상의 촬영에 활용한 장비는
RGB Figure
의 사 팬텀 프로 로 일체형 카메라 짐
4 DJI 4 UAV ,
벌, GNSS수신기 센서 등을 탑재하고 있다.
Figure 4. UAV platform sensors(Phantom 4 pro)
특히 장애물 회피 센서가 전 후 좌 우 사, · · · 면에 각각 장착되어 있어 장애물이 많은 복잡한 작업 환경에서도 유연한 능동적 대응으로 영상 획득이 가능하다 팬텀 프로와 카메라의 제원은 . 4
과 같다 Table 1 .
Table 1. Specification of Phantom 4 Pro
Figure 5. UAV platform sensors(Inspire 1)
는 적외 열 영상 촬영에 활용된
Figure 5 UAV
로 DJI사의 인스파이어 1 플렛폼이다. 짐벌의 탈 부착기능으로 다양한 종류의 카메라를 장착· 할 수 있어 여러 파장대의 다중영상 촬영에 용이 하다 특히 카메라를 제어하는 짐벌의 요. , (Yay), 롤(Roll)이 자유롭고 컨트롤러의 마스터(Master), 슬레이브(Slave) 연동 기능으로 기체조작 카메라 , 조작의 분업화가 가능하다 본 연구에서는 . Figure 와 같이 사와 사의 합작 열 영상 카메라 5 FLIR DJI
를 장착하여 실험지역에 대한 적외 (Zenmuse XT)
열 영상을 획득하였다 인스파이어 과 . 1 Zenmuse 제원을 요약하면 와 같다
XT Table 2 .
Table 2. Specification of Inspire 1 and Zenmuse XT
기반 수치모형의 정확도 분석 5. UAV
연구대상은 시흥 옥구천으로 공장 밀집 지역 이며 Figure 6과 같이 옥구 교 기준 제방정비지8 역과 식생분포지가 위치한다. 2017년 월 7 12일
Figure 6. Ground control points configuration
측량을 통해 연구대상지 인근 총 점의
GNSS 34
좌표를 획득 팬텀, 4 프로 장비로 촬영고도 60, 중복도 85의 자동비행으로 촬영 총 , 501장의 데 이터를 획득하여 3D모델 구성에 활용하였다.
연구대상지에 분포된 34점중 Table 3과 같이 표시된 총 10점의 지상기준점을 활용, Figure 7 과 같이 영상해석을 통한 하천의 3D 모델을 제 작하였다 특히 기준점을 제외한 점을 점검점. , 24 으로 활용, 3D 모델의 점검점과 비교하여 Table
와 같이 분석하였다
4 .
Table 3. Ground control points
Figure 7. DSM model of study area
Table 4. Coordinates comparison of GCC and 3D model check points and absolute deviation (Unit : m)
₍ ₎ ₍ ₎ ₍ ₎ ₍ ₎ Δ Δ Δ
분석결과 재현된 , 3D모델의 제방과 지면에 설 치한 점검점의 차원 위치정확도 3 ΔX, Y, ZΔ Δ 의 절대편차평균(Avedev)은 각각 0.02m, 0.03m 및 0.02m로 높은 정확도를 나타내었다 특히 도. , 로 및 제방의 차원 재현은 우수하였지만 수면3 부의 공백을 확인 수면에 발생하는 자연광의 반, 사 및 투과 굴절 등의 영향으로 영상정합이 불, 안정해 제외된 것으로 판단된다.
기반 정사영상의 정확도 분석 6. UAV
의 는 기반 영상해석으로부터 Figure 8 A UAV
재현한 연구대상지의 정사영상을 나타낸다. B와 는 각각 에서 년 항공사진촬영을 통해 C NGII 2016
제작 공간정보 오픈 포탈에서 제공하는 축척 , 실감정사영상 및 수치지형도를 나타낸 것 1/5000
이다.
기반 정사영상의 정확도를 검토하기 위해 UAV
의 정사영상과 수치지도를 중첩하여 정확성 NGII
을 고찰하였다.
의 은 기반 정사영상과 실 Figure 9 Ⅰ UAV (A), 감정사영상(B) 및 수치지도(C)의 중첩영상으로 3
가지 공간정보의 중첩분석결과 그림과 같이 정 합성이 양호한 것으로 검토되었다. Ⅱ는 실감정 사영상(B)과 수치지도(C)의 중첩영상으로 두 정 보간의 편차는 평균 약 40cm로 분석되였다 특. 히, Ⅲ은 UAV기반 정사영상(A)의 투명도 조절하 여 실감정사영상(B)의 중첩분석한 것으로 지형 편차는 미소한 것으로 검토되었고 부분적인 지 형변화는 NGII의 촬영주기가 2016년의 결과에 기인된다. Ⅳ는 UAV기반 정사영상(A)과 수치지 도(C)의 중첩영상으로 분석결과 UAV기반 정사영 상과 수치지형도 간에는 약 77cm의 편차를 확인 할 수 있었으므로 기존 제작된 수치지도의 수정 보완에 활용할 수 있을 것이다.
₍ ₎ ₍ ₎ ₍ ₎ ₍ ₎ Δ Δ Δ
Figure 8. UAV based orthophoto mosaic and NGII`s Products on study area
Figure 9. Overlapping comparison of UAV based orthophoto mosaic(A), and NGII`s product(B, C)
적외 열 영상에 의한 환경분석 7.
영상 촬영 시 활용된 인공 타겟 이하
RGB ( ,
일반타겟 을 적외 열 영상 촬영 시 활용할
“ ”)
경우 영상 내 기준점의 식별성이 현저히 감소하, 므로 특별히 제작된 인공 타겟을 활용해야 한다.
이를 위해 본 연구에서는 열 반사도가 우수한 알루미늄 재질의 φ230 은박접시를 인공 타겟 이( 하, “알루미늄 타겟”)으로 선정하였다.
은 식생지역 잔디밭 위에 설치된 알 Figure 10 ( )
루미늄 타겟(A)과 일반 타겟(B)으로 좌측영상은 두 타겟을 적외 열 영상 카메라로 촬영한 열화 상이다 인공 타겟의 식별성은 의 경우가 에 . A B 비해 선명하게 나타났다.
특히 알루미늄 타겟을 식생지역에 설치할 경, 우와 비 식생지역에 설치할 경우의 식별성을 검 토하였다.
Figure 11. Thermal infrared and RGB images of ground control points on the concrete paved road
은 비 식생지역 콘크리트 포장도로
Figure 11 ( )
위에 가지 인공타겟 설치모습으로 좌측사진과 2 같이 일반 타겟의 경우 콘크리트 표면의 온도와 대등한 관계로 식별성이 매우 열악하게 나타났 다 반면 알루미늄 타겟은 상대적으로 식생지역. 보다 명확한 식별성을 나타내었다 따라서 본연. 구에서는 적외 열 영상 촬영시 알루미늄 타겟을 비식생지역에 설치하였다.
는 적외 열 영상을 이용해 제작된 Figure 12
정사영상 모자익으로 는 하천에서 의사 공장폐A 수가 유입되는 장소, B의 청색 부분은 폐수의 일 부가 정체되어있는 상태를 나타낸다.
Figure 10. Thermal Infrared and RGB images of ground control points on the grass
Figure 12. Thermal infrared orthophoto mosaic
Figure 13. Comparison of RGB image and thermal infrared matching map
은 의 와 지점에 대한 Figure 13 Fugure 12 A B
영상 및 적외 열 영상의 상세 사진이다
RGB . A-
은 의사 공장폐수의 하천 유입구 주변에 대한
Ⅰ
영상 우 사진 및 적외 열 영상 좌 사진 을
RGB ( ) ( )
나타낸다 인근 공장에서 배출되는 의사 공장폐. 수의 검출 면에서 RGB영상에서는 식별하기 어 려운 반면 적외 열 영상의 경우 온도차를 색상, 으로 전환하여 식별성을 향상시킬 수 있었다 적. 외 열 영상 해석 결과 의사 공장폐수가 배출되, 는 부분의 중심 온도는 37.1 (℃노란색), 인접부는
녹색 로 대략 의 온도편차를 보였다
28.6 (℃ ) 8.5℃ .
는 유입구과 하천 본류의 접속부분에 대 A-Ⅱ
한 영상으로 RGB영상에서는 의사 공장폐수의 유출경로 확인이 어려운 반면 적외 열 영상에서, 는 하천 경계석에 연하여 하류로 전파되는 현상 을 명확히 식별할 수 있었다 특히. , B-Ⅰ의 적외 열 영상 좌 사진 의 경우 하류부분에 정체된 의( ) 사 공장폐수의 모습을 확인할 수 있었다 따라.
서, UAV에 적외 열 영상 카메라를 탑재하여 열 화상을 획득할 경우 의사 공장폐수의 검출이 용 이하여 하천 환경개선의 유지관리에 효율적인 활용이 기대된다.
결론 8.
하천을 대상으로 UAV로 RGB 및 적외 열 영 상을 획득, SfM 해석으로부터 차원 공간정보와 3 수면의 수온을 검출하여 다음의 결론을 얻었다.
첫째, UAV기반 SfM 영상해석으로부터 정밀한 수치표면모형을 구성 하천환경정비를 위한 정밀 ,
차원 공간정보를 구축할 수 있었다 특히
3 . , DSM
으로부터 식생피복정보를 도출하여 하천의 유지 관리에 효율적인 활용이 기대된다.
둘째, UAV기반 차원 공간정보 정사영상 수2 ( , 치지형도 를 제작 국토지리정보원의 실감 정사) , 영상 및 수치지형도와 비교한 결과 높은 정합성 을 확인할 수 있었으므로 기존 수치지형도의 보 완주기 단축과 소규모 공간정보 구축의 효율성 이 기대된다.
셋째 적외 열 영상의 지상기준점으로 은박접, 시를 활용하여 인공타겟의 효율성을 확인할 수 있었다 특히 은박접시의 경우 비 식생지역에 . , 설치할 경우 높은 효율성이 확인되었다.
넷째, UAV기반 적외 열 영상을 통해 하천 수 면의 수온을 검출하여 공장주변 폐수의 하천유 입과 전파상태를 검출할 수 있었다.
REFERENCES
정병조 장성환 , (2009), 열적외선 이미지를 이용한 영상 처리 한국산학기술학회 논문지 제 권 제 호, , 10 , 7 , pp.1503-1508.
송승현 이언석 오장석 이경채 김민기 , , , , (2012), 다중영 상 기반의 불완전 데이터 행렬에 의한 차원 3
정량화를 위한 기반 연구 한국공학예술학회 , 논문지 제 권 제 호, 4 , 1 , pp.17-21.
조용진 (2017), 열화상 시스템에 의한 유빙의 탐지특성 에 관한 실험적 연구 한국산학기술학회 논문, 지 제 권 제 호, 18 , 5 , pp.302-307.
Bruce Averill and Patricia Eldredge (2011), General Chemistry Principles, ： Patterns, and Applications, v. 1.0 (2 Volume Set), pp.687-693.
정용택 (2014), 적외선 센서의 최신 기술 동향, pp. 180-195.
이용창 (2015), UAV를 활용한 사진지도제작, pp.61-81.
이용창 (2017), UAS 영상기반 공간정보해석, pp.169-217.
전문가를 위한 적외 FLIR Systems Korea (2016), R&D
선 열화상 핸드북, pp.4-21.
Philippe Esperan a (2017), La Photogamm trie ç é en Morphoanalyse de tares de sang - Photogrametry for BPA, https://www.linkedin.com.
논문투고일: 11월 일30 논문게재일: 12월 일31
