Detection Method for Road Pavement Defect of UAV Imagery Based on Computer Vision

https://doi.org/10.7848/ksgpc.2017.35.6.599

컴퓨터 비전 기반 UAV 영상의 도로표면 결함탐지 방안

Detection Method for Road Pavement Defect

of UAV Imagery Based on Computer Vision

주용진¹⁾ Joo, Yong Jin

Abstract

Cracks on the asphalt road surface can affect the speed of the car, the consumption of fuel, the ride quality of the road, and the durability of the road surface. Such cracks in roads can lead to very dangerous consequences for long periods of time. To prevent such risks, it is necessary to identify cracks and take appropriate action.

It takes too much time and money to do it. Also, it is difficult to use expensive laser equipment vehicles for initial cost and equipment operation. In this paper, we propose an effective detection method of road surface defect using ROI (Region of Interest) setting and cany edge detection method using UAV image. The results of this study can be presented as efficient method for road surface flaw detection and maintenance using UAV.

In addition, it can be used to detect cracks such as various buildings and civil engineering structures such as buildings, outer walls, large-scale storage tanks other than roads, and cost reduction effect can be expected.

Keywords: Unmanned Air Vehicle, Region of Interest, Canny Edge Detection, Crack, Computer Vision

초 록

아스팔트 도로표면의 균열은 자동차 속도, 연료 소비량, 도로주행 시 승차감, 도로표면의 내구성 등에 영향을 미친다. 이러한 도로의 균열은 장시간 방치 시 상당히 위험한 결과를 초래할 수 있다. 사람이 직접 균열을 찾아 내어 적절한 조치를 취하기에는 너무 많은 시간과 비용이 소모된다. 또한 고가의 레이저 장비 차량들을 활용하 기에는 초기 비용과 장비 운용에 어려움을 가진다. 이에 본 연구에서는 UAV 영상을 이용해 컴퓨터 비전 기반의 관심영역(ROI: Region of Interest) 설정과 에지 검출 알고리즘을 적용하여 도로표면의 균열탐지 방안을 제시하 였다. 본 연구 결과는 무인항공기를 활용한 효율적인 도로표면 결함탐지 및 유지보수 방안으로 제시될 수 있다.

또한 도로 이외 건물빌딩의 외벽, 대규모 저장 탱크 등 다양한 건축, 토목 구조물에 발생된 균열 탐지에 활용이 가능하며 비용저감 효과를 기대할 수 있을 것이다.

핵심어 : UAV, 관심영역, 캐니 에지 검출, 균열, 컴퓨터 비전

Original article

Received 2017. 12. 04, Revised 2017. 12. 19, Accepted 2017. 12. 22

1) Member, Dept. of Aerial Geoinformatics, Inha Technical College (E-mail: [email protected])

1. 서 론

포장도로의 표면 온도와 도로 밑바닥 온도차이로 도로 균 열이 발생하며 발생된 균열은 표면으로부터 점점 아래로 확장 되며, 균열 보수가 되지 않는 경우 물의 침투가 생긴다. 도로 기초는 물의 침수로 인하여 연화되고 지탱하던 힘을 잃어 망 상 균열이 발생하여 포장도로는 파괴된다. 막대한 예산이 소 요되는 재포장이 불가피하며 폐기물이 발생하여 친환경적이 지 못하다. 도로 표면의 균열은 자동차의 속도, 연료의 소비량, 도로주행시의 승차감, 도로표면의 내구성 등에 영향을 준다.

이에 포장도로의 파손율을 분석하여 포장도로의 균열 보수 시기 및 방법을 제시하는 포장 관리 방안이 중요해지고 있다 (Joo and Hahm, 2013). 체계적인 도로유지와 보수공법 선정을 위해 도로포장, 시공이력, 교통량, 노선정보에 대한 데이터베 이스를 구축하고, 도로포장 상태를 조사․평가하기 위한 다양 한 관리 기법이 제시되고 있다(Hahm et al., 2013). 이는 도로 균열, 파손, 차선, 과속방지턱 등 DB 조사와 관리, 이러한 자 료를 근거로 분석을 통한 체계적인 주행 안전성 평가와 도로 관리 방안에 대한 기술적 요구가 증가되고 있음을 알 수 있다.

ITS(Intelligent transportation system : 지능형 교통 체계) 및 도로관리 분야에서 비전 센서를 이용한 영상처리기법(Joel and Mohan, 2006; Abdulhakam, 2008; Cheng, 2006; Jeong and Nedevschi, 2005)이 제시되고 있다. 하지만, 대부분의 연 구가 노면의 차선 마킹, 차량 및 번호판 검출에 대한 내용으로 도로포장 관리 분야에 적용이 미흡한 실정이다(Kang, et al., 2017; Lee and Jung, 2014; Jang, 2012; Lin et al., 2010). 도로 표면 결함은 장시간 방치 시 상당히 위험한 결과를 초래할 수 있으며 균열을 찾아내어 적절한 조치를 취해야 하는데 이는 사람이 직접 하기엔 너무 많은 시간과 비용이 소모된다. 또한 도로분야에 활용되는 이동측량시스템은 주로 자산관리나 포 장 정보를 취득하는 시스템으로 고가의 레이저 장비 차량들 을 활용하기에 초기 비용과 장비 운용에 어려움이 있다. 특히 현행 차량 조사 정비는 진입이 어려운 자전거 도로 및 보행로 의 표면 결함의 탐지와 도면화가 불가능하며, 빌딩 외벽 대규 모 저장 탱크 도로 이외의 건축, 토목 구조물에 발생된 균열 탐지 및 보수에도 활용 가능한 원격 자동화 기술이 요구되고 있는 실정이다.

최근 UAV가 도로안전분야 활용에 많이 검토되고 있으나 UAV 영상을 이용한 도로표면 결함 및 변형을 자동 탐지하 는 방안에 관한 연구는 미미하다. UAV에서 촬영된 영상은 도

을 식별하기 어렵기 때문이다. UAV 영상에서 영상 처리의 연 산 시간을 줄이면서 인식 성능도 높여 효율적으로 도로 표면 의 결함을 추출을 위해서는 도로 경계의 확정과 영상 탐지 기 법이 반드시 요구된다. 본 연구의 목적은 대용량의 UAV 영 상을 이용해 도로의 관심영역(ROI) 설정과 에지 검출(Edge Detection)기법을 통한 효과적인 도로 표면의 결함 탐지 방안 을 제시하는 것이다. 이를 위해 무인 항공기를 이용하여 인하 대학교 본관 캠퍼스의 도로를 대상지역으로 도로 균열을 위 한 영상을 촬영하였다. 영상 탐지를 위해 UAV 영상을 이용해 도로면을 촬영하고 취득된 영상의 균열 등을 구분하기 위해 도로 영상 임계값 및 캐니 에지 추출기법을 적용하여 원 영상 에서 균열 부분만을 추출하는 방법을 제안하였다.

2. 도로 표면결함 탐지 방안

본 장에서는 UAV 영상 센서를 활용한 도로 균열 검출 절차 에 대해서 제시한다. 우선 영상 취득에 활용된 UAV 제원 구 성에 대해 검토하고, 도로 균열 검출을 위한 ROI 식별 및 캐니 에지 탐지 방안에 대해 설명한다. 또한 검출된 에지의 유형에 따른 균열 식별 방안을 제시한다.

2.1 UAV 제원 구성

비행 운영 도중 기체 결함으로 인한 사고 예방은 물론 보다 고화질의 영상 및 촬영․위치 데이터를 취득과 비행운용 능 력을 확보하기 위해서는 비행 기체의 안정성과 경량화는 제 일 우선으로 고려되는 사안이다. 본 연구에서 사용한 UAV의 프레임은 DJI사의 S900모델이며 6개 프로펠러와 비행 시 접 을 수 있는 랜딩기어를 포함한다. 하나의 프로펠러 추력은 최 대 2.5kg이며 최대 15kg의 기체를 제작하여 운용할 수 있다.

컨트롤러는 제품 간 연결의 편의성을 고려하여 동일 사 제품 인 DJI의 A2 컨트롤러와 iSODⅡ영상송수신장치를 채택하였 다. 조정기는 기체 조작용과 카메라 조작용 두 대가 필요하며 Futaba T14SG로 선택하였으며 카메라는 1600만 화소 화질의 Panasonic사의 GH4로 결정하였다(Table 1).

2.2 영상의 관심 영역 설정

일반적으로 도로상의 균열들은 횡단균열, 종단균열, 예외 적인 형태(망상) 균열 등으로 구별된다. UAV에서 촬영된 영상 은 도로 노면뿐만 아니라 차량, 나무, 잔디 및 도로 시설물 등 지형지물도 함께 촬영되어 도로 노면상의 균열만을 식별하기 어렵다. 따라서 UAV 영상에서 노면 균열을 추출하기 위해서 는 도로 경계의 확정이 반드시 필요하다. 즉, 도로에서 복잡한 주변 환경은 차선인식에서 잡음으로 작용하므로 관심 영역의 결정은 차선 인식에서 매우 중요한 사안이다. UAV 입력 영상 을 처리하기 전에 관심영역을 분리하면 연산 시간을 줄이면서 인식 성능도 높일 수 있다.

Fig. 1(a)은 취득된 원본 영상을 나타낸다. Fig. 1(b)은 관심 영역을 제외한 주차 차량, 건물(시설물), 나무, 보행자 등으로 구성되어 도로에 관련된 정보가 포함되지 않았다. 따라서 이 러한 불필요한 정보영역이 포함되면 연산 시간이 늘어나고, 잡음으로 인해 연산 결과의 정확성도 떨어지게 된다. 관심영 역을 찾을 때 그 위치를 고정하여 사용하는 방식은 별도의 연 산 과정이 필요하지 않고 간단하여 널리 사용된다. 그러나 이 방식은 카메라의 설치 위치와 각도가 달라지거나 도로 환경이 달라지면 Fig. 1(d)와 같이 부적합한 ROI 영역을 설정할 수 있 다. 아스팔트 도로면은 Fig. 1(c)와 같이 도로의 주된 텍스쳐 는 일관성을 가지며 도로 표면의 모든 픽셀을 대표하는 특징 적인 화소 값으로 제한할 수 있다. 즉, 어두운 회색 계열로 하 나의 영상에서 그 밝기 값의 편차가 심하게 나타나지 않으며, 또한 영상에서 추출을 위한 도로 면은 영상의 중앙에 위치하 기 때문에 도로 중앙의 색상 정보를 기준으로 도로면을 한정 지을 수 있다.

따라서 카메라의 설정 초기화와 ROI의 위치와 크기가 장비 운영 중에 잘못되는 경우를 방지하기 위해 도로면의 밝기 값 특성을 이용하여 후보 구역을 추출 할 수 있다. 즉, 본 연구에 서는 입력 영상에서 도로 표면이 포함된 영역을 찾아 직사각 형 형태의 관심영역을 적응적으로 결정하는 방법을 제안한다.

FLAME Controller Remote control Camera

Model

S-900DJI DJI

A2+iOSDⅡ Combo FUTABA

T14SG (T/R Set) Panasonic DMC-GH4 Spec. ∙Frame Weight：1185g

∙Diagonal Wheelbase

：550mm

∙RTH

(Return-To-Home)

∙IOC(Intelligent Orientation Control)

∙Low Battery Warning

∙Basic 5-channel 2.4GHz

∙DSMXradio and receiver ∙16 mega pixel

∙560g

Fig. 1. Examples of assumptive fixed ROI determination (a) Input Image(UAV)

(c) Fixed region interest(adequate)

(b) Unnecessary Image

(d) Fixed region of interest(inadequate)

Table 1. UAV and camera equipment

2.3 캐니 에지 탐지

도로 균열 등을 구분하기 위해서는 영상에 임계값 및 캐 니 에지 추출기법을 적용하여 원 영상의 ROI 상에 균열 부 분만 추출하는 방법을 사용한다. 균열들은 주변 밝기 값 보 다 어두운 밝기 값을 가지고 있으므로 CCD 영상인 점을 고 려하여 에지 추출 알고리즘을 활용하면 밝기 값이 크게 변하 는 부분을 우선적으로 추출이 가능하다. 에지 정보를 기준으 로 에지 주변의 밝기 값 정보를 활용하여 최종적인 균열 후보 구역을 선정한다. 영상에서 에지는 크랙을 검출하기 위한 중 요한 특징 중의 하나이므로 처음으로 수행하는 단계인 에지 영상을 정확하게 추출하는 작업은 매우 중요하다. 캐니 에지 는 윤곽선을 찾는 작업에 있어 그 정확도가 비교적 높으므로 영상처리 및 컴퓨터 비전 분야에서 가장 많이 사용되고 있는 에지 검출기 중의 하나이다. 캐니 에지 검출은 단계 별 알고리 즘을 사용하여 영상에서 다양한 범위의 에지를 검출할 수 있 다(Jang, 2012).

▪ Step 1. 가우시안 스무딩 필터링

영상에 첨가된 잡음을 제거하기 위해 평활화 작업을 수행 한다. 평활화 처리를 위해 가우시안 필터를 사용하였으며, 가 우시안의 필터의 가중치는 Eq. (1)과 같다.

Where k and l represent the internal coordinates of the mask and have a value of ±2. σ determines the size of the Gaussian filter and is 1.

▪ Step 2. X, Y 축으로 기울기 계산

입력 영상 내의 기울기와 방향을 찾는다. 입력 영상에 대한 1차 미분 연산자는 Eq. (2)와 같다.

(2)

∇ 





_























Where ∇f represents the slope at fx,y at x, y position.

입력 영상에 대한 기울기에 대한 크기 및 방향은 Eq. (3), (4)

D

 



(3)

  ttt^{ }





_

_





캐니 에지에 사용한 기울기 연산자는 sobel 연산자를 사용 하였으며, sobel 연산자의 수평, 수직 방향의 기울기 마스크는 Eq. (5)와 같다.

(5)

또한 각 방향에 대한 기울기 값을 이용하여 각 방향에 대한 각도를 그룹화 시켜준다.

▪ Step 3. Sobel 연산자에 의해 처리된 영상에서 국부마스 크 내의 에지 최대치를 비교하여 에지를 하나의 화소로 변환 한다. 국부 마스크 내에 기울기 방향을 참조하여 2개의 이웃 화소와 현재 화소에 대한 에지 크기를 비교하고 가장 큰 화소 만을 결정한다.

▪ Step 4. Non-maximum suppression에 의해 처리된 영상 에서 잡음 영역과 약한 에지 및 강한 에지를 구분하기 위해 2 개의 임계값을 적용하여 처리한다.

▪ Step 5. 강한 에지에 약한 에지들을 포함시켜 에지 연결 을 수행한다.

2.4 균열 유형 결정

도로상의 균열들은 횡단균열, 종단균열, 예외적인 형태의 균열 등으로 구별할 수 있다. 포장 아스팔트의 경우 최초 작고 미세한 균열에서 그 선형이 폭이 점차 증가하게 되며, 균열부 로부터 새로운 균열이 전파되어 불규칙 망상 균열의 형태로 노면이 파괴된다. 이러한 도로 균열의 유형은 포장된 아스팔트 파괴 정도 및 유지보수 우선순위 선정에 중요한 척도가 된다.

본 연구에서는 횡단 및 종단 균열을 하나로 묶어 선형 균열로 단일화하고 예외적인 형태의 균열을 면형 균열로 규정하여 추 출하는 방식을 적용한다. 균열 유형은 3×3 크기 격자로 구성 하고 격자 내에 균열이 존재하는 격자수와 형태를 고려한다.

격자 기반 균열의 정의 및 균열의 판단은 다음과 같은 조건으

D

 



(3)

  ttt^{ }





_

_





캐니 에지에 사용한 기울기 연산자는 sobel 연산자를 사용 하였으며, sobel 연산자의 수평, 수직 방향의 기울기 마스크는 Eq. (5)와 같다.

(5)

또한 각 방향에 대한 기울기 값을 이용하여 각 방향에 대한 각도를 그룹화 시켜준다.

▪ Step 3. Sobel 연산자에 의해 처리된 영상에서 국부마스 크 내의 에지 최대치를 비교하여 에지를 하나의 화소로 변환 한다. 국부 마스크 내에 기울기 방향을 참조하여 2개의 이웃 화소와 현재 화소에 대한 에지 크기를 비교하고 가장 큰 화소 만을 결정한다.

▪ Step 4. Non-maximum suppression에 의해 처리된 영상 에서 잡음 영역과 약한 에지 및 강한 에지를 구분하기 위해 2 개의 임계값을 적용하여 처리한다.

▪ Step 5. 강한 에지에 약한 에지들을 포함시켜 에지 연결 을 수행한다.

2.4 균열 유형 결정

도로상의 균열들은 횡단균열, 종단균열, 예외적인 형태의 균열 등으로 구별할 수 있다. 포장 아스팔트의 경우 최초 작고 미세한 균열에서 그 선형이 폭이 점차 증가하게 되며, 균열부 로부터 새로운 균열이 전파되어 불규칙 망상 균열의 형태로 노면이 파괴된다. 이러한 도로 균열의 유형은 포장된 아스팔트 파괴 정도 및 유지보수 우선순위 선정에 중요한 척도가 된다.

본 연구에서는 횡단 및 종단 균열을 하나로 묶어 선형 균열로 단일화하고 예외적인 형태의 균열을 면형 균열로 규정하여 추 출하는 방식을 적용한다. 균열 유형은 3×3 크기 격자로 구성 하고 격자 내에 균열이 존재하는 격자수와 형태를 고려한다.

격자 기반 균열의 정의 및 균열의 판단은 다음과 같은 조건으 로 수행하였다(Fig. 2).

• 모든 열에 균열 격자가 하나라도 없으면 균열 유형 제외

• 선형 균열: 모든 열에 균열 격자가 하나씩 존재, 균열 격 자수 3개 이상, 6개미만 경우

• 면형 균열: 모든 열에 균열 격자가 하나씩 존재, 균열 격 자의 수가 6개 이상인 경우

3. 실험 및 알고리즘 적용

3.1 ROI 식별 (1) 연구 사례 지역

실험을 위해 인하대학교 내부의 도로 영상을 취득하여 총 470개의 영상을 취득하였다. 취득된 이미지 시퀀스는 4,608

× 2,562 해상도를 가진 jpeg 포맷이며 장당 6.5MB의 크기를 가진다. 취득된 영상 및 취득 경로는 Fig. 3과 같다.

Fig. 2. Type of pavement defects

(2) Target 식별 및 영상 축소

UAV에서 촬영된 영상은 도로면뿐만 아니라 다른 지형지물 도 한꺼번에 촬영되어 도로면을 특정하기 어렵다. UAV 영상 에서 올바른 균열 추출을 위해서는 도로면의 확정이 필수이 다. 이를 위해 균열 추출에 앞서 도로면의 평균 밝기를 계산한 다. 아스팔트 도로면은 어두운 회색 계열로 하나의 영상에서 밝기 값의 편차가 심하게 나타나지는 않는다. 그리고 추출을 위한 영상에서 도로면은 영상의 중앙에 위치하기 때문에 도 로 중앙의 색상정보를 기준으로 도로면을 확정하였다. 실험을 위한 도로면 밝기의 초기 값은 RGB 밴드 각각 140으로 설정 하였다. 도로면 평균 밝기 값의 계산은 취득된 영상 중앙 부 분의 R,G,B 밴드 각각의 밝기 값의 평균을 계산하였으며, 영 상 중앙 100×100 픽셀 범위의 영역에서 계산을 수행하였다.

하나의 영상에서 선정된 도로면 평균 밝기 값 계산 범위는 다 음 Fig. 4와 같다.

Fig. 4. Selection of road surface brightness value and road extraction range

계산된 도로면 평균 밝기 값은 이후 영상에서 도로면 추출 을 위한 임계값으로 사용된다. 아스팔트 도로 표면은 확대해 서 볼 경우 여러 밝기 값으로 표현이 되어 있으므로 UAV에서 취득된 고해상도 영상을 그대로 사용하여 추출할 경우 이러 한 밝기 값 차이들이 노이즈로 작동하여 균열로 인식 될 우려 가 있다. 본 연구에서는 영상 탐색 영역의 크기를 축소하기 위 해 도로면 밝기 값의 변화를 최소화하여 노이즈를 제거하였 다. 실험 영상의 경우 4,608x2,562 크기의 영상이므로 이를 1/2 크기로 축소하여 2304x1281 크기의 영상으로 제작하여 처리를 수행하였다. 또한 영상에서 처리 대상 영역을 영상 중 앙 부분으로 제한하였다. UAV 영상에서 도로면은 대부분 영 상 중앙 부분에만 존재하며 영상의 주변으로 갈수록 도로가 아닌 확률이 높아진다. 또한 제공되는 메타데이터의 위치정 보는 영상의 중앙의 좌표를 의미하므로 이를 이용하여 축소 된 영상의 중앙 일부분만을 추출하여 해당 영역에서만 균열 을 탐지한다(Fig. 5).

Fig. 3. Study area

Linear crack(Transverse, Longitudinal)

Surface cracks(Alligator, block)

3.2 Canny Edge 검출 (1) 도로 Mask 설정

영상의 축소 및 대상 영역의 결정이 완료되면 도로면 추출 을 수행한다. 도로면 추출은 앞서 계산된 도로 평균값을 이용 하여 처리된다. 이는 밝기 값의 임계값을 이용한 방법으로 도 로면 평균값을 이용한 도로면 결정 조건은 다음과 같다.

▪ 도로면 평균보다 밝기 값이 20이상 큰 경우 도로면 제외

▪ 도로면 평균보다 밝기 값이 50이하 작은 경우 도로면 제 외

▪ 각 밴드의 밝기 값 차이가 20이 넘는 경우 도로면 제외

(Band R – Band G > 20) or (Band G-Band B > 20) or (Band B-Band R > 20)

도로면 평균 밝기 값이 140일 경우 도로면 추출 기준은 90 - 160 범위로 설정된다. 아래쪽 임계값이 더 큰 이유는 대부 분의 균열은 도로면의 평균값보다 더 어두운 값을 가지기 때 문이다. 캐니 에지 균열 검출 시 도로면 내에 존재해야하므 로 균열의 제외를 막기 위해 아래쪽 임계값을 더 낮게 설정하 였다. 또한 도로면 색상은 어두운 회색 계열로 R, G, B 각 밴 드의 밝기 값 차이가 크게 나지 않는다. 이에 이 조건을 추가 하여 더 정확한 도로면 추출을 수행한다. 임계 조건을 이용 하여 도로면 후보구역을 추출하면 추출된 도로면 후보영역에 도 노이즈가 발생한다. 이는 올바른 도로면 추출에 장애가 될 우려가 있으므로 3×3 중간 값 필터(Median Filter)를 적용하 여 노이즈를 제거하여 도로면 추출하였다. 도로면 추출 결과 는 Fig. 6과 같으며 흰색으로 표현된 도로 영역에서만 균열 추 출을 시도한다.

(2) 균열 추출

본 연구에서는 도로면 후보 구역에서 밝기 값이 급격하게 변하는 경계 지역을 대상으로 캐니 에지 탐지 방법을 사용하 였다. 캐니 에지 결과로부터 균열로 검출한 결과는 Fig. 7과 같 으며 흰색으로 표현된 부분이 추출된 경계 정보이다. 경계 추 출이 완료되면 이 정보를 기반으로 경계들 중 균열에 해당하 는 지역을 추출한다. 균열의 밝기 값은 일반적으로 주변보다 어둡기 때문에, 경계로 결정된 점의 주변 정보를 활용하여 균 열을 확정한다. 경계의 선형 정보를 파악하는 조건으로 균열 은 연결되어있는 선형 정보라는 특징을 이용 하였다. 영상에 서 한 점이 경계로 판단되었을 때 주변에 존재하는 경계의 개 수를 세어 일정 수 이상일 때 균열로 판단하였다. 이때 주변 탐색 범위는 10x10 픽셀로 제한하였으며, 10x10 픽셀의 영역 내에 경계의 개수가 10픽셀 이하, 즉 10% 이하로 존재할 경우 이 영역은 균열에서 제외하였다. 또한 도로 픽셀이 아닌 지역 이 일정 임계값 이상 존재하면 균열에서 제외하였다. 이는 차 선이나 도로 표시등에서 추출되는 경계를 제외하기 위함이 다. 즉, 한 점이 경계로 판단되었을 때 주변 픽셀에서 도로면이 아닌 지역이 일정 수 이상 존재하면 균열에서 제외하였다. 이 때 임계값은 30%로 도로면이 아닌 지역이 30% 이상 존재 시 균열에서 제외하였다.

(a) Original UAV image (b) Discrimination of ROI Fig. 5. Target identification by ROI

Fig. 6. Road boundary extraction result

4. 균열 유형 결정 및 정확도 검증

4.1 균열 유형 검출

도로상의 균열들은 횡단균열, 종단균열, 예외적인 형태의 균열 등으로 구별할 수 있다. 본 연구에서는 횡단, 및 종단 균 열을 하나로 묶어 선형 균열로 단일화하고 불규칙한 형태의 망상 균열을 면형 균열로 정의하여 추출하였다. 균열 유형을 식별하기 위한 방법으로 추출된 캐니 에지 영상에 격자망을 구성하였다. 격자망은 30cm 간격으로 구성하고 격자 간의 연 결성을 활용하여 균열을 유형화 하였다. 2.4에서 제시한 방법 으로 균열 유형은 3×3 크기 격자로 구성하고 격자 내에 균 열이 존재하는 격자수와 형태를 고려하여 결정하였다. Fig. 8 은 선형과 면형으로 추출된 균열 유형의 판정 및 검출 결과 를 보여준다.

4.2 균열 탐지 정확도 검증

도로 균열 탐지의 정확도를 검증하기 위해 각각의 영상의 균열 존재 여부 및 균열의 종류에 대한 성능 지표를 측정하였 다. 검출은 UAV 영상에서 성공적으로 탐지된 균열 영상의 개 수를 나타낸다. 미검출(missing)은 검출과는 상반되는 개념 으로 UAV 영상에 존재하는 실제 균열이 검출되지 않은 경우 이고, 오검출(false positive)은 정확도에 상반되는 개념으로 실제 균열이 존재하지 않으나 균열이 검출된 경우를 나타낸 다. Table 2는 전체 470개의 UAV 촬영 영상을 이용하여 캐니 에지의 임계값 변화 따른 정확도 성능지표(검출, 미검출 및 오 검출 등)의 변화를 측정한 것이다. 임계값이 낮을수록 많은 에 지들이 추출되어 균열 미검출 수가 줄어드는 반면 오검출 수 도 증가됨을 알 수 있다. 마찬가지로 임계값이 높아질수록 에 지의 추출이 감소되어 미검출 수는 늘어나지만 그만큼 오검 출 수도 함께 줄어드는 것을 확인할 수 있다. 캐니 에지의 임계 값을 변화시켜가며 정확도 분석을 해 본 결과 임계값을 250으 로 지정했을 때 탐지 정확도 90.85%, 미검출율 4.68%, 오검출 율 4.47%로 가장 좋은 탐지 결과를 나타내었다.

미검출된 결과의 대부분은 영상 내에 균열이 뚜렷하게 나 타나지 않은 지역으로 에지 추출이 되지 않아 발생한 현상으 로 분석되었다. 오검출의 원인으로는 Fig. 9와 같이 도로상에 존재하는 시설물(배수구)의 경계를 균열로 인식한 오류와 도 로면과 유사한 밝기 값을 가지는 차량의 경계면을 균열로 인 식하는 오류가 대부분이었다. 그 외 포장 상태가 변하는 지역 의 경계를 균열로 인식하거나, 나무 잎사귀 등에서 발생된 에 지들이 필터링 되지 않고 남아 있어 균열로 인식되는 오류를 확인할 수 있었다.

Fig. 7. Boundary extract result by canny edge

Linear Crack

Surface Crack

Fig. 8. Types of pavement crack(linear, surface)

5. 결론 및 기대효과

본 연구에서는 UAV 영상을 이용해 도로의 관심영역(ROI) 설정과 캐니에지 검출기법을 이용하여 효과적인 도로 표면의 결함 탐지 방안을 제시하였다. 이는 UAV 영상에서 영상 처리 의 연산 시간을 줄이면서 인식 성능도 높여 효율적으로 도로 표면의 결함을 추출하기 위함이다. 아스팔트 도로면은 일관성 을 가져 도로 표면의 모든 픽셀 대신하여 특징적인 화소 값을

기법을 적용하여 원 영상의 ROI 상에 균열 부분만 추출하는 방법을 사용하였다. 본 연구에서는 도로상의 횡단, 및 종단 균 열을 선형 균열로 단일화하고 불규칙 형태의 망상 균열을 면 형 균열로 정의하여 추출하였다. 도로 균열 탐지의 정확도를 검증하기 위해 캐니 에지의 임계값 변화 따른 정확도 성능지 표(검출, 미검출 및 오검출 등)의 변화를 측정하였다. 임계값 을 250으로 지정했을 때 90%이상의 탐지 정확도를 확인 할 수 있었다. 본 연구 결과는 무인항공기를 활용하여 효율적인 도로 표면 결함 탐지 및 유지보수 방안으로 제시될 수 있다. 또 한 도로 이외 건물 빌딩 외벽 대규모 저장 탱크 등 다양한 건 축, 토목 구조물 등 발생된 균열 탐지에 활용이 가능하며 비 용 저감 효과를 기대할 수 있을 것이다. 본 연구에서 UAV 운 용 시 현행 제도상의 제약으로 인해 다양한 도로의 상황에 적 용하지 못한 한계를 가지고 있다. 향후, 도로 관심영역 설정 시 RGB 절댓값의 영향을 주는 촬영 날씨와 시간에 따른 정확도 분석이 필요할 것이다. 또한 도로 표면 다양성(포장 종류, 도 로 등급, 차선, 표지, 장애물 등 동적 상황)의 고려하여 제시된 방법론의 추가적인 적용과 검증이 필요할 것이다.

감사의 글

이 논문은 인하공업전문대학의 지원에 의하여 연구되었음.

References

Abdulhakam, A. (2008), Real time lane detection for Canny

Threshold

Total number of

images Detection Missing False

Positive Detection

Rate Missing

Rate

False Positive Rate

225 470 407 19 44 86.59574 4.042553 9.361702

240 470 419 21 30 89.14894 4.468085 6.382979

245 470 424 21 25 90.21277 4.468085 5.319149

250 470 427 22 21 90.8511 4.68085 4.46809

255 470 420 30 20 89.3617 6.382979 4.255319

260 470 419 31 20 89.14894 6.595745 4.255319

275 470 410 41 19 87.23404 8.723404 4.042553

Table 2. Performance evaluation of crack detection in UAV image

(a) Edge of facilities (drainage holes) on the road

(c) Edge of the area where packaging condition

changes

(b) Edge of parking vehicle having a brightness value

similar to a road

(d) Edge from tree leaf Fig. 9. The example of false positive in UAV image

13-15 May, Kuala Lumpur, Malaysia, pp. 82–88.

Cheng, H., (2006), Lane detection with moving vehicles in the traffic scenes, Journal of the IEEE Transactions on Intelligent Transportation Systems, Vol. 7, No. 4. pp. 571–582.

Hahm, C., Joo, Y., and Won, S. (2013), A study on automatic survey of road information for PMS maintenance, Proceedings of the 2013 Spring Conference of the Korean Society of Surveying Geodesy, Photogrammetry and Cartography, pp. 222-223.

Jang, H. (2012), The more environmentally robust edge detection of moving objects using improved Canny edge detector and Freeman chain code, The Journal of The Korean Institute of Communication Sciences, Vol. 37, No. 2, pp. 37- 42. (in Korean with English abstract)

Jeong, P. and Nedevschi, S. (2005), Efficient and robust classification method using combined feature vector for lane detection, Journal of the IEEE Transactions on Circuits And Systems for Video Technology, Vol. 15, No. 4. pp. 528–537.

Joel, C. and Mohan, M. (2006), Video based lane estimation and tracking for driver assistance survey, system, and evaluation, Journal of the IEEE Transactions on Intelligent Transportation Systems, Vol. 7, No. 1, pp. 20-37.

Joo, Y. and Hahm, C. (2013), A study on automatic detection of speed bump by using mathematical morphology image filters while driving, Journal of the Korean Society for Geospatial Information System, Vol. 21, No. 3, pp. 55-62. (in Korean with English abstract)

Kang, H., Baek, J., Han, B., and Chung, Y. (2017), Real- time side-rear vehicle detection algorithm for blind spot warning systems, Journal of the KIISE Transactions on Computing Practices, Vol. 23, No. 7, pp. 408-416. (in Korean with English abstract)

Lee, C. and Jung, D. (2014), An adaptive road ROI determination algorithm for lane detection, Journal of the Institute of Electronics and Information Engineers, Vol. 51, No. 1, pp. 116-125. (in Korean with English abstract)

Lin, Q., Han, Y., and Han, H. (2010) Real-time lane departure detection based on extended edge-linking algorithm, Second IEEE International Conference Computer Research and Development, pp. 725-730.