Comparison Analysis of Machine Learning for Concrete Crack Depths Prediction Using Thermal Image and Environmental Parameters

열화상 이미지와 환경변수를 이용한 콘크리트 균열 깊이 예측 머신 러닝 분석

Comparison Analysis of Machine Learning for Concrete Crack Depths Prediction Using Thermal Image and Environmental Parameters

김 지 형^* Kim, Jihyung

장 아 름^**

Jang, Arum

박 민 재^***

Park, Min Jae

주 영 규^****

Ju, Young K.

Abstract

This study presents the estimation of crack depth by analyzing temperatures extracted from thermal images and environmental parameters such as air temperature, air humidity, illumination. The statistics of all acquired features and the correlation coefficient among thermal images and environmental parameters are presented. The concrete crack depths were predicted by four different machine learning models: Multi-Layer Perceptron (MLP), Random Forest (RF), Gradient Boosting (GB), and AdaBoost (AB). The machine learning algorithms are validated by the coefficient of determination, accuracy, and Mean Absolute Percentage Error (MAPE). The AB model had a great performance among the four models due to the non-linearity of features and weak learner aggregation with weights on misclassified data. The maximum depth 11 of the base estimator in the AB model is efficient with high performance with 97.6% of accuracy and 0.07% of MAPE. Feature importances, permutation importance, and partial dependence are analyzed in the AB model. The results show that the marginal effect of air humidity, crack depth, and crack temperature in order is higher than that of the others.

Keywords : Concrete crack, Crack depth prediction, Thermography, Machine learning, AdaBoost

Journal of Korean Association for Spatial Structures Vol. 21, No. 2 (통권 84호), pp.99~110, June, 2021

1. 서론¹⁾

콘크리트 구조물은 시공 불량이나 수축, 노후화에 의 해 표면에 균열이 발생한다. 콘크리트의 균열은 외관의 미적 요소를 저해하는 동시에 구조물의 안전을 위협한 다. 외부 피해로부터 구조물이 손상되어 심각한 균열이 발생하였을 경우 구조물의 붕괴까지 이를 수 있으므로 구조물의 안전점검은 필수적이다. 현재 구조물의 안전성

* 학생회원, 고려대학교 건축사회환경공학과, 석사과정

**** School of Civil, Environmental, and Architectural

**** Engineering, Korea University

** 학생회원, 고려대학교 건축사회환경공학과, 석·박사통합과정

**** School of Civil, Environmental, and Architectural

**** Engineering, Korea University

*** 정회원, 고려대학교 건축사회환경공학부 연구교수, 공학박사

**** School of Civil, Environmental, and Architectural

**** Engineering, Korea University

**** 교신저자, 정회원, 고려대학교 건축사회환경공학부 교수,

**** 공학박사

**** School of Civil, Environmental, and Architectural

**** Engineering, Korea University

**** Tel: 02-3290-3327 Fax: 02-3290-5999

**** E-mail: [email protected]

을 평가하기 위하여 초음파 기법, 육안 검사 등 다양한 접촉식 기법을 적용하고 있다. 하지만 객관성이 결여되 고 표면에 접촉하여 평가하는 기법이 주를 이루므로 고 층건축물이나 인간이 도달할 수 없는 부분을 평가하기 어렵다.

이러한 이유로 열화상 기법이 비접촉식 콘크리트 평 가 방법으로 주목을 받고 있으며 활발히 연구가 이뤄지 고 있다¹⁾. Sham, Chen & Long(2008)은 콘크리트 균열 에 대한 방사열 메커니즘을 제시하고, 실험을 통해 균열 부의 온도가 표면 온도에 비해 상승하는 것을 입증하였 다²⁾. Mulaveesala, Dua & Arora(2019)는 철근콘크리트 속 보이지 않는 철근의 부식을 확인하고, 신호-노이즈 비율로 제안 모델과 기존 모델의 성능을 평가하였다³⁾. Omar & Nehdi(2017)는 무인비행체와 열화상 기법을 이용하여 실제 다리의 부분을 촬영하고 이미지를 분석 하여 콘크리트 균열 및 박리를 탐지하였다⁴⁾.

4차산업혁명 시대에 들어서면서 머신 러닝 및 빅데이 터에 대한 타 분야와 융합 연구도 진행되고 있다. Tong et al.(2011)은 컴퓨터 비전 시스템으로 콘크리트의 균

열을 실시간으로 탐지하는 기법을 연구하였다⁵⁾. Nguyen, Kam & Cheng(2012)은 고해상도의 이미지를 빠르게 처리하고 넓은 범위 및 잡음이 있는 이미지를 처 리할 수 있는 균열 여부 탐지 기법을 연구하였다⁶⁾. Zhu

& Song(2020)은 콘크리트 균열을 탐지하기 위한 Convolutional Neural Network(CNN)를 향상시킨 모 델과 Back Propagation Neural Network(BPNN), Support Vector Machine(SVM), AlexNet, GoogleNet, ResNet 모델을 비교하여 제안 모델이 우수함을 검증하 였다⁷⁾. 이러한 머신 러닝 모델들은 콘크리트 균열 이미 지에 대해서 균열도를 추출하거나 균열의 여부를 탐지 하는 모델만 제시되었으며, 콘크리트 균열 깊이를 예측 하는 정량적인 데이터를 추출하는 연구는 진행되지 않 았다. 본 연구는 콘크리트의 균열 깊이를 예측하는 콘크 리트 균열에 대한 정량적인 정보를 추출하는 머신 러닝 기법을 연구하고자 한다.

본 연구는 열화상 이미지로부터 추출된 온도와 환경 변수를 이용하여 콘크리트의 균열 깊이를 추정하는 목 적으로 연구되었다. 이를 위해 콘크리트 균열부를 촬영 한 열화상 이미지와 환경 변수 사이의 상관관계를 분석 하였다. 머신 러닝 모델 4개를 설계하고 이용하여 콘크 리트의 균열 깊이를 예측하고, 의사결정깊이에 따른 정 확도와 절대평균오차비 비교하였으며, 우수한 모델에 대 해서 변수중요도 및 부분의존도 분석을 진행하여 균열 깊이 예측의 기초자료를 제시하였다.

2. 적외선 열화상 데이터 구축 실험

본 연구는 콘크리트 구조물의 균열에 대하여 적외선 열화상 이미지와 환경 변수를 이용하여 머신 러닝 모델 을 설계하고 균열 깊이를 예측하는 기법이다. 먼저 콘크 리트 균열을 인위적으로 모사하여 실험체를 제작하였으 며, 열화상 카메라를 이용하여 실험을 진행하였다. 다양 한 머신 러닝 모델을 설계하고 성능을 평가하여 가장 적 절한 머신 러닝 모델을 선정한다. 이후 선정된 머신 러 닝의 성능을 검증하고 머신 러닝을 분석한다.

2.1 실험체 제작

콘크리트 구조물은 미세균열부터 육안으로 확인 가능

Width (mm)

5 8 10 12 15 20

10 - - 10-10 - 15-10 20-10 20 5-20 8-20 10-20 12-20 15-20 20-20 30 - - 10-30 - 15-30 20-30 40 5-40 8-40 10-40 12-40 15-40 20-40 50 - - 10-50 - 15-50 20-50 60 - 8-60 10-60 12-60 15-60 20-60

<Table 1> Test specimens

<Fig. 1> Detail of test specimens

한 대단위 균열까지 다양하게 분포한다. 균열의 발생 원 인은 매우 다양하나 목적에 따라서 구조적 균열과 비구 조적 균열로 나뉜다. 특히 10mm 이상의 균열 폭과 깊 이를 가지는 대단위 균열의 경우 구조적인 성능에 치명 적인 영향을 미칠 수 있다. 실험체는 콘크리트 균열의 폭 및 깊이에 따른 온도 차이를 확인하기 위해서 콘크리 트에 발생한 균열을 정량화하여 제작하였다. 실험은

<Table 1>과 같은 정량적인 폭과 깊이를 가지며, 균열 길이는 일정하게 100mm로 총 24개의 실험체를 제작하 였다. 실험체의 콘크리트 강도는 24MPa이며 형상은

<Fig. 1>과 같다. 본 연구는 연구개발 단계로 대단위 균 열 위주로 실험을 진행하였다.

2.2 적외선 열화상 데이터 구축 실험 및 계측 적외선 기법은 측정 대상으로부터 방출되는 에너지를 해석하는 수동적 기법과 측정 대상에 할로겐램프, 초음 파 가진 등 열원을 이용해 인위적으로 열에너지를 가하 여 측정하는 능동적 기법으로 나뉜다. 일반적인 콘크리 트 구조물의 균열은 태양열이 주요 열원이기에 수동적 적외선 기법을 사용하여 실험을 진행하였다. 또한 실제 현장의 촬영 조건을 고려하여 실험체에서 5m 떨어진 곳

Width (mm)

Depth (mm)

Crack temperature (℃)

Surface temperature (℃)

Air temperature (℃)

Air humidity (%)

Illumination (lux)

10 30 10.4 8.5 17.9 25.2 14,360

10 40 12.1 8.7 17.4 24 14,936

15 10 11.9 10 17.2 23.8 15,259

10 10 11.5 11 18.1 24.8 15,120

<Table 2> Samples of test results

<Fig. 2> Thermal image of test specimen

<Fig. 3> General concrete temperature distribution tendency of test specimen 에서 정상부와 균열부를 동시에 촬영하였다. 촬영 거리 는 UAV 항공 촬영 거리를 기준으로 선정하였다. 실험 데이터의 측정은 외부변수요소 대기 온도, 습도, 풍속과 조도를 함께 기록하였다.

측정된 열화상 이미지는 <Fig. 2>와 같으며, 콘크리트 의 균열부 온도가 정상부 온도에 비하여 상대적으로 높 은 것을 알 수 있다.

콘크리트 균열부는 야외 태양광이 입사할 때 방사열 이 균열부 표면에서 갇히게 되어 난반사가 발생하므로 콘크리트의 온도가 상승하게 된다. 반면 콘크리트 표면 의 경우에는 태양광이 반사되어 방사열이 그대로 방출 되어 콘크리트 표면 온도는 균열부 온도처럼 상승하지 않는다. 실험체 온도 분포의 경향성은 <Fig. 3>과 같이 나타나며, z축에 대하여 높으면 온도가 높음을 의미한다.

이러한 콘크리트의 열적 특성을 이용하여 콘크리트 균 열부의 위치를 탐지할 수 있다.

취득한 열화상 이미지에서 정형데이터를 만들기 위해 균열부 온도와 표면 온도의 평균을 측정하여 수치화하 고, 열화상 이미지로부터 추출한 콘크리트의 표면 및 균

<Fig. 4> Process of thermography technique 열부 온도와 환경변수를 정형데이터로 저장하였다. 이는

<Table 2>와 같이 정리하여 빅데이터화하였다. 저장된 데이터는 <Fig. 4>와 같은 프로세스를 통하여 균열 깊이 예측을 위해 활용되었다. 본 연구에서는 콘크리트 균열 깊이를 예측하는 4개의 머신 러닝 모델을 설계하고 모 델의 성능을 비교하였다.

본 연구는 열화상 이미지를 취득하는 외부 환경과 콘 크리트 균열부 및 표면 온도 간의 관계를 머신 러닝으로 학습하여 기존 기법보다 객관적으로 균열 깊이를 측정 하고자 하였다.

3. 빅데이터 분석

3.1 변수 분석

변수는 균열 온도, 표면 온도, 대기 온도, 대기 습도, 조도, 균열 폭, 균열 깊이이며, 변수별로 데이터를 측정 하였다. 데이터는 총 6,940개로 각 데이터는 변수별로 모두 측정하여 데이터베이스에 저장하였다. 변수별 기초 통계량은 <Table 3>과 같이 나타났다. 변수 중 균열 깊 이는 목표값, 이 외의 모든 변수는 특성값으로 설정하여 머신 러닝 알고리즘에 적용하였다. 연속적인 데이터인 균열부 온도와 표면 온도, 대기 온도, 대기 습도, 조도의 정규확률분포는 <Fig. 5>와 같이 나타나며, 모든 특성값 은 머신 러닝의 성능을 향상시키기 위해서 표준정규화 로 변환하여 사용되었다.

<Fig. 5> Normal distribution of machine learning features

Features Mean STD Quartile 25% Quartile 50% Quartile 75%

Crack temperature (℃) 24.80 13.50 16.00 26.70 37.00 Surface temperature (℃) 24.50 13.58 15.05 26.30 36.40

Air temperature (℃) 22.85 10.33 16.50 25.20 31.00

Air humidity (%) 37.23 12.35 27.30 40.50 45.50

Illumination (lux) 15625.84 16039.77 4435.50 9776.50 22227.50

Width (mm) 15.05 8.90 10.00 15.00 20.00

Depth (mm) 35.31 17.22 20.00 40.00 50.00

<Table 3> Statistics of the acquired data

3.2 상관관계 분석

상관관계 분석은 변수 간 상관성을 분석하는 통계적 인 기법으로, 두 변수 사이에 선형 관계의 정도를 나타 낸다. 일반적으로 입력값 간 상관계수를 감소시키고 출 력값과 입력값의 상관계수를 증가시키는 방향으로 데이 터 전처리를 작업해야 좋은 정확도를 기대할 수 있다.

변수 간 선형적인 관계를 확인하기 위해 상관계수 _

은 피어슨의 상관계수를 따랐다. 상관계수는 각 변수에 대한 표준편차를 곱한 값에 대한 두 변수의 공분산 비율

이다. 이는 식 (1)과 같다⁸⁾. <Fig. 6> Correlation coefficient of features

_{ }  





_ ^





_ ^





_ _ 

(1)

여기서, _, _는 해당 변수의 값,  ,  는 각 변수의 평균, 는 변수의 개수이다.

<Fig. 6>은 변수 간 상관계수를 나타내는 히트맵 차 트이다. <Fig. 6>의 오른쪽 컬러바는 식 (1)에 의한 상관 계수를 나타내며, 1 또는 -1에 가까울수록 상관성이 높 고 0에 가까울수록 상관성이 낮다. 먼저 콘크리트 표면 온도와 균열부 온도 간의 상관계수가 1.0으로 크게 나타 났으며 선형적으로 비례하는 것을 알 수 있다. 대기 온 도와 균열부 온도 혹은 표면 온도 간의 상관성이 평균 0.80으로 크게 나타났다. 열화상 이미지에서 취득한 표 면 온도와 균열부 온도, 대기 온도는 대기 습도와 상대 적으로 강한 상관성을 보여주며, 조도와 대기 습도의 상 관계수는 –0.47로 음의 상관관계를 보여주고 있다. 한 편, 본 연구의 목표인 균열 깊이와 다른 변수의 상관관 계를 보면 균열 폭의 상관계수가 –0.23, 습도가 –0.21 로 높게 나타났다. 하지만 콘크리트 균열 깊이와의 상관 계수가 가장 높은 것이 –1.0 또는 1.0보다 0에 가까우 므로 선형적인 상관관계가 약하다고 해석할 수 있으며, 콘크리트 균열 깊이와 다른 변수의 관계를 비선형적으 로 관찰할 필요가 있다고 판단하였다.

3.3 머신 러닝 모델

본 연구는 다층신경망, 랜덤 포레스트, 그래디언트 부 스팅, 에이다부스트 4개의 머신 러닝 모델을 사용하였다.

다층신경망(Multi Layer Perceptron, MLP)은 인공지 능 암흑기 이후 tanh과 ReLU, Leaky ReLU 등 활성화 함수의 연구가 진행되어 기울기 소실 문제와 과적합 문 제를 해결함에 따라 인공지능의 부각을 나타냈던 머신 러닝 모델이다⁹⁾. 다층신경망은 입력층과 출력층 사이에 많은 은닉층을 두어 비선형적으로 분리하여 결과를 예 측하게 하는 모델이다. 하지만 기울기 소실 문제와 과적 합 문제를 활성화 함수를 통해 보완하여도 이전과 동일 한 문제점을 가지고 있다. 적은 양의 데이터를 가지고 있으면 학습데이터를 잘 학습하여도 데스트 데이터에

대한 예측이 잘 이루어지지 않는 현상이 발생한다¹⁰⁾. 또 한 학습률과 은닉층 크기 등의 하이퍼파라미터가 다양 하고 조정이 복잡하므로 최적 학습 모델 선정에 어려움 이 있다.

랜덤 포레스트(Random Forest, RF)는 분산이 크게 되고 과적합될 가능성이 높은 의사결정나무의 특징을 보완하기 위해 개발되었다. 이는 다른 앙상블 학습보다 더 많은 무작위성을 부여하여 약한 학습 모델들을 생성 하고 선형결합하여 최종 학습 모델을 만들어낸다¹¹⁾. 중 복이 가능한 복원추출을 통해 훈련데이터를 선정하고 학습기에 입력하는 형태이며, 특성을 랜덤하게 추출하여 정보 획득을 최대화하는 임의노드 최적화를 진행하여 랜덤 포레스트를 학습한다. 수천 개의 변수를 통하여 학 습하며 변수 제거가 실행되지 않으므로 정확도가 높아 질 수 있으며, 입력변수가 많은 경우 앙상블 학습기법보 다 좋은 예측력을 보인다. 정확도가 높으며 여러 학습기 의 선형 결합으로 이루어져 과적합 가능성이 적은 장점 이 있으나 예측 과정을 해석할 수 없는 블랙박스인 단점 이 있다¹²⁾.

그래디언트 부스팅과 에이다부스트는 앙상블 기법 중 샘플링에 해당하는 부스팅 학습 모델로 유사한 특징을 가진다. 샘플링 앙상블은 분류하기 힘든 데이터들에 대 해서 분류를 잘하도록 유도하는 기법이다. 예측의 높은 성능을 기대할 수 있으며, 일반적으로 과적합을 방지할 수 있다고 알려져 있다¹³⁾.

그래디언트 부스팅(Gradient Boosting, GB)은 이전 모델이 예측한 데이터의 오차를 이용하며, 오차를 예측 하는 약한 학습기를 생성하여 결합하는 모델이다. 간단 한 다른 모델을 통해 실제와 예측 간의 오차를 예측하여 성능이 좋은 모델을 생성해낸다. 이러한 모델을 계속 반 복함으로써 잔차를 줄여가며 강한 학습 모델을 생성한 다. 각각의 약한 학습기를 순차적으로 적용해 나가는 과 정에서 잘못 분류된 샘플의 오차를 최적화한다. 그래디 언트 부스팅은 의사결정나무에 무작위성이 없으나 학습 이전에 가지치기가 진행된다¹⁴⁾. 그래디언트 부스팅에서 사용하는 의사결정나무는 깊이가 낮은 간단한 모델을 이용하여 여러 개의 모델을 연결한다. 그래디언트 부스 팅은 정확도가 높아 많이 사용되는 모델이지만 하이퍼 파라미터를 잘 조정해야 원하는 정확도를 얻을 수 있으 며 훈련 시간이 길다는 단점이 있다.

Randomized search cross validation Cross validation 3 Number of iteration 20

MLP

Hidden layer size array(500, 500) Max. iteration 200

Learning rate adaptive Learning rate

initialization 0.0005, 0.001, 0.005

Warm start True

RF Number of

estimators range(30, 200) Bootstrap True, False Max. depth range(10, 30)

Criterion MSE, MAE Min. samples split 10

GB Number of

estimators range(10, 150) Learning rate logspace(-2, 0, 20)

Max. depth range(2, 10) Loss ls, lad, huber

AB

Base estimator

Decision tree regression Min. samples

split 10

Max. depth range(3, 35) Number of

estimators range(30, 300) Loss linear, square, exponential

<Table 4> Details of cross validation and 4 machine learning models

에이다부스트(AdaBoost, AB)는 그래디언트 부스팅과 비슷하지만 학습데이터에 가중치 적용의 여부가 둘이 차이점이다. 에이다부스트는 학습 이후 잘못 분류된 학 습데이터에 가중치를 적용하여 새로운 학습 모델에서 가중치가 적용된 학습데이터를 우선으로 분류할 수 있 도록 분류 규칙을 적용 반복하는 알고리즘이다¹⁵⁾. 분류 하기 힘든 데이터들에 대해서 분류를 잘하도록 유도하 는 기법이며, 이전 모델에서 정 분류된 데이터에 낮은 가중치를 부여하고 오 분류된 데이터에 높은 가중치를 부여하여 여러 약한 학습기들을 순차적으로 진행하면서 학습데이터에 대한 가중치를 재조정함으로써 모델의 성 능을 높인다. 에이다부스트는 랜덤 포레스트 및 그래디

Model

Train score (^)

Test score (^)

±2mm acc.

(%)

±1mm acc.

(%)

MAPE (%) MLP 0.8441 0.8139 22.25 11.09 22.07

RF 0.9914 0.9690 87.54 80.99 3.81 GB 0.9992 0.9738 81.93 70.34 4.93 AB 0.9998 0.9896 98.49 97.70 0.60

<Table 5> Machine learning evaluation

언트 부스팅과 달리 약한 학습기를 의사결정나무 외에 다른 모델을 사용할 수 있으며, 대용량 데이터, 데이터와 데이터의 속성이 복잡할수록 모델을 적용하는데 유리한 장점이 있다. 하지만 계산량이 다소 높은 단점이 있다.

본 연구의 머신 러닝 모델 선정은 머신 러닝의 기본 적인 모델인 MLP와 앙상블 기법 비교를 위해 선정하였 고, 앙상블 기법의 대표적인 3가지의 기법 RF, GB, AB 를 선정하였다. 본 연구에서 사용된 4개 모델의 특성은

<Table 4>와 같이 나타내었다. 4가지 모델은 모두 랜덤 검색 교차검증을 이용하여 학습데이터를 3개의 집합으 로 나누어 교차검증하였다. 20의 iteration으로 표의 범 위 중 임의로 모델을 선정하여 최적의 머신 러닝 알고리 즘을 도출하여 학습하였다.

3.4 결과 및 고찰

3.4.1 머신 러닝 모델 비교 분석

4개 머신 러닝 모델의 결과는 <Table 5>와 같다. 모 델들은 학습데이터와 시험데이터에 대한 결정계수 또는 스코어, 실제 균열 깊이와 예측값 간 차이의 절댓값이 1mm 또는 2mm 이내인 정확도, 평균절대비오차를 구하 여 비교하였다.

결정계수는 데이터의 예측 균열 깊이와 실제 균열 깊 이의 적합성을 보여주며 0과 1 사이의 값을 나타낸다.

결정계수가 0이라면 실제 깊이와 예측 깊이 사이에 적 합성이 없다는 것을 보여주며, 결정계수가 1이라면 두 값이 완벽하게 적합하다는 것을 나타낸다¹⁶⁾. 결정계수

^는 다음 식을 사용하였다.

^ 

 





_ ^





_  ^







_ _  ^

 _{ }^ (2)

식 (2)에서 SSR은 예측값과 평균값의 차이 제곱의 합 인 회귀제곱합, SST은 실젯값과 평균값의 차이 제곱의 합인 전체제곱합을 의미한다. _, _는 각각 번째의 실 제 균열 깊이와 예측 균열 깊이이며, , 는 각 데이터 의 평균이다. 식 (2)에서 확인할 수 있듯이 피어슨의 상 관계수를 제곱한 값이 결정계수이며, 상관계수의 절댓값 이 높으면 적합성이 높다고 할 수 있다. <Table 5>에서 결정계수는 스코어로 표현하였으며, 보통 시험 스코어보 다 학습 스코어가 높은 것을 알 수 있다. 이 둘 사이의 격차가 커질수록 과적합이 되었다고 판단할 수 있다.

RF와 GB는 학습 스코어에서 0.99의 높은 적합성을 보 여주고 있으나, 시험 스코어에서 0.9690과 0.9738로 조 금 낮아진 것을 볼 수 있다. 반면, AB는 학습 스코어와 시험 스코어 모두 0.98 이상의 높은 적합성이 나타났다.

MLP에 비해 RF, GB, AB가 높은 스코어가 나타난 이유 는 약한 학습기를 합쳐놓은 앙상블 기법이 학습기 간 결 합되지 않은 단일의 머신 러닝 모델보다 학습 성능이 높 은 것으로 판단된다.

정확도는 예측 균열 깊이가 실제 균열 깊이의 허용오 차범위 내에 들어올 확률로 정의하였다. 허용오차범위는 균열모사실험체의 크기와 향후 미세 균열 탐지 정확성 을 고려하여 ±1mm 또는 ±2mm 범위로 설정하였다. 정 확도  측정은 식 (3)을 이용하였다.

  

_{ }

(3)

여기서, _{ }는 시험 데이터 중 허용오차범위 내 측 정된 예측 균열 깊이 데이터의 개수이며, 은 총 시험 데이터의 개수이다. 4개의 머신 러닝 모델을 비교하면 GB는 RF에 비해 스코어가 높지만 정확도가 떨어지는 결과가 나타났으며, AB가 나머지 3개의 모델보다 월등 한 정확도를 보여주고 있다. RF와 AB가 나머지 모델보 다 높은 정확도가 나타난 것은 의사결정나무를 활용하 여 학습하는 요인과 분류학습기법이 아닌 MLP와 GB의 학습 기법인 오차에 대한 학습으로 학습 성능이 더딘 것 이 원인으로 판단된다.

평균절대비오차(MAPE)는 RMSE와 같은 크기 의존적 인 오차의 단점을 보완하기 위해 사용되는 오차 평가 지

표이며 0에 가까울수록 해당 모델의 성능이 좋음을 의 미한다. MAPE의 식은 다음과 같다.

  

 ^_ ^

_ _

 (4) MAPE는 0과 1 사이의 값으로 정규화된 결과를 나타 내주어 성능의 비교 해석이 수월하고, RMSE와 달리 무 차원수로 나타낼 수 있다¹⁷⁾. 하지만 실제 균열 깊이 값 이 1보다 작고 오차가 커지게 되면 MAPE의 값이 무한 대로 발산할 수 있으므로 주의하여 사용해야 한다. 본 연구에서는 균열 깊이가 5~60mm 사이의 균열모사실험 체에 대한 모델 성능 평가이기 때문에 MAPE를 사용하 였다. 4개의 모델을 비교하면 AB가 0.6%로 가장 낮은 값을 가지고 앙상블 기법들은 모두 5% 이하의 MAPE로 좋은 성능을 보여주었다. MLP는 앙상블 기법에 비해 은 닉층 노드 및 iteration 부족으로 인하여 성능이 낮은 것 으로 판단된다.

에이다부스트의 검증을 위해 본 연구에서 기본 모델 인 의사결정나무회귀의 최대 의사결정깊이를 변화시키 면서 모델의 성능을 확인하였다. 최대 의사결정깊이는 2에서 35까지 변화시켰으며, 모델 성능은 학습, 시험 스 코어, MAPE 및 정확도를 통해 평가하였다.

최대 의사결정깊이 변화에 대한 스코어 및 MAPE 변 화는 <Fig. 7>과 같이 보였다. AB의 기본 모델인 의사결 정나무의 최대 의사결정깊이가 깊어질수록 성능이 더 좋아짐을 알 수 있다. 최대 의사결정깊이가 2에서부터 8 까지 학습 스코어가 0.0462에서 0.9404까지 급격한 성 능 향상을 보이고, 의사결정깊이 11까지와 학습 스코어 0.9953까지 완만한 성능 향상을 보인다. 이후 최종 모델 인 의사결정깊이 35일 때 학습 스코어가 0.998로 나타 났다. MAPE 또한 급격한 감소 이후 최종 모델에서 0.0060으로 AB의 좋은 성능을 검증하였다. <Fig. 8>에 서는 최대 의사결정깊이의 변화에 따른 정확도를 보여 준다. 최대 의사결정깊이가 2일 때 ±1mm, ±2mm의 허 용오차범위 내 정확도는 각각 0.0396, 0.0684이었으나 의사결정깊이 11에서 0.9762, 0.9842로 급격히 증가하 였다. 따라서 콘크리트 균열 깊이 예측을 위한 AB 모델 학습시간 대비 높은 성능 효율을 위해서는 의사결정나 무의 최대 의사결정깊이를 11 이상으로 설정하여 설계

<Fig. 7> Scores and MAPE – Max. decision depth in AB model

<Fig. 8> Accuracy - Max. decision depth in AB model

하는 것을 권장한다.

콘크리트 균열 깊이 예측을 위한 AB 모델은 특성들 의 비선형적인 관계와 의사결정나무 모델을 AB의 기본 모델로 사용하여 특성 간 복잡한 관계를 조건부확률분 포에 의한 분류, 잘못 분류한 학습데이터에 가중치를 부 여하여 그것을 우선으로 분류하는 학습 방법으로 인해 좋은 성능을 보였다고 판단된다.

3.4.2 예측 모델 구조 분석

앞서 변수 간의 선형적 상관관계가 없다는 것을 알 수 있었으나, 비선형적인 상관관계를 분석할 필요가 있 다. AB 모델에 대한 변수 중요도 및 부분의존도 분석을 통하여 콘크리트 균열 깊이와 특성값 간 관계를 분석하 고자 한다. AB 모델과 같은 앙상블 기법은 정확도와 스 코어가 높지만 해석력이 낮다. 이러한 앙상블 기법은 어 떤 과정에 의해서 콘크리트 균열 깊이를 예측할 수 있는 지 직접적으로 알 수 없는 블랙박스 모델이다. 블랙박스 모델을 간접적으로 관찰하기 위해 변수중요도 및 부분

의존도를 활용한다. 본 연구에서 변수중요도를 통해 AB 모델에서 어떤 변수가 중요한지 확인하고, 부분의존도를 통해서 외부 환경변수가 콘크리트 균열 깊이 예측에 어 떠한 상관성이 나타나고 있는지 파악하였다.

변수중요도는 특성중요도와 순열중요도를 사용하였 다. 특성중요도는 불순도 감소분의 평균(MDI)을 구하여 불순도를 가장 많이 낮춘 특성이 중요도가 높은 것을 이 용한 것이다. 각 변수가 의사결정 노드에 의해서 분류될 때 불순도가 감소한 정도를 평가한다¹⁸⁾. 노드 에서 

과 로 분류되어 각 노드의 데이터 개수는 _, _,

_이다. 각 노드에 대한 불순도를 , _, _라 고 하면 불순도의 감소분 은 다음 식으로 산정된다.

      _

_

 _  _

_

 _ (5)

AB 모델에서 변수별 불순도 감소분의 평균은 <Fig. 9>

와 같이 나타난다. AB 모델의 특성중요도는 대기 습도, 균열 폭, 균열부 온도, 대기 온도, 조도, 콘크리트 표면 온도 순으로 높게 나타났다. 환경변수 중 대기 습도가 균열 깊이를 분류하는데 가장 중요한 역할을 하였음을 알 수 있다. 다만 특성중요도는 변수의 중요도를 과대평 가할 가능성이 높다. 목표값과 관련 없는 랜덤한 변수를 가지는 특성을 생성하여 모델을 학습하였을 때 오히려 이 특성의 특성중요도가 높다고 평가할 수 있다¹⁹⁾. 또한

<Fig. 9>에서 볼 수 있듯이 특성중요도의 분산이 크게 나타나므로 신뢰성이 감소하게 된다. 이러한 문제점을 보완하기 위해 본 연구에서 순열중요도를 평가하여 특 성중요도를 검증하고자 하였다.

순열중요도는 측정하고자 하는 변수가 랜덤으로 분포

<Fig. 9> Feature importances in AB model

<Fig. 11> Partial dependence (Average crack depth, mm) - Standard-normalized features in AB model 될 경우 모델의 성능 저하가 발생함을 가정한다. 순열중

요도는 이러한 가정 하에 성능 저하 정도를 측정하여 중 요도를 측정한다. 모델의 성능 저하 정도가 클수록 해당 모델에 중요한 역할을 하는 것이므로 중요도가 높다는 사실을 이용한다. 성능 저하 정도는 학습할 때 사용되지 않은 검증 데이터로 의사결정나무의 정확도나 결정계수, 최소제곱오차와 같은 예측력과 알고자 하는 특성을 무 작위로 섞어 학습된 모델의 예측력을 산정하고, 두 예측 력 간 차이를 평균으로 순열중요도를 정의한다²⁰⁾. AB 모델에 대한 순열중요도는 <Fig. 10>과 같이 나타나며, 특성중요도가 높은 순서와 동일한 결과를 보인다. 따라 서 변수중요도의 신뢰성을 확보하였다. 순열중요도는 대 기 습도가 0.53으로 가장 높았으며, 콘크리트 균열폭이 0.47로 그 다음 높은 결과가 나타났다. AB 모델에서 의 사결정 중요도는 특성값 중 대기 습도가 가장 높았으며, 다음으로 균열 폭, 균열부 온도, 대기 온도, 조도, 표면

<Fig. 10> Permutation importances in AB model

온도 순으로 중요도가 높았다. 이를 통해 대기 습도에 의해서 콘크리트 균열 깊이를 분류하는데 가장 중요한 역할을 했음을 알 수 있다.

부분의존도는 기계학습 모델의 예측값에 대한 특성이 갖는 한계 효과를 보여주는 기법이다. Cutler et al.

(2007)은 생태학 분류를 랜덤 포레스트 머신 러닝을 통 해 예측하고, 부분의존도를 이용하여 변수별 생태 경향 성을 분석하였다²¹⁾. 부분의존도는 목표값과 특성값 간의 선형성이나 복잡성을 표현할 수 있다. 부분의존함수 _



는 다음 식으로 나타낸다.

_

_  ___ 



(6)

_는 부분의존도를 알고자 하는 특성, _는 머신 러 닝 모델  의 _ 외의 다른 특성을 의미하며, _

는 특 성 C에 대한 평균이다. 부분의존도는 특성 C에 대한 머 신 러닝 결과를 무시하도록 만들어 특성 S와 머신 러닝 의 예측값 간 관계를 보여준다²²⁾. 부분의존도의 결과는

<Fig. 11>과 같으며, 특성값에 대한 축은 모두 표준정규 화로 표현되었다. AB 모델에서 균열부 온도와 조도는 좁은 범위의 변동을 가지고 있으며, 표면 온도 및 대기 온도가 증가할 때 비선형적으로 부분의존도에 영향을 미치고 있음을 관찰할 수 있다. 환경변수 중 가장 영향

<Fig. 12> Partial dependence (Average crack depth, mm) between 2 standard-normalizaed features in AB model 력이 크게 관여하는 대기 습도는 습도가 높아질수록 예

측된 콘크리트 균열 깊이는 낮아지는 것을 알 수 있다.

이를 통해 다른 특성들이 일정하거나 독립적인 조건에 서 대기 습도와 균열 깊이의 관계가 반비례함을 보여주 었다. 조건부확률분포가 응용된 의사결정나무가 기본 모 델로 구성된 AB의 블랙박스에서 대기 온도 및 조도, 콘 크리트의 균열부와 표면 온도가 동일한 데이터를 분류 할 때 대기 습도가 높을수록 균열 깊이를 작게 예측할 확률이 높다고 해석할 수 있다. 이러한 해석 방식은 AB 모델에 다른 특성의 부분의존도에 대해서도 적용 가능 하다. <Fig. 12>는 표면과 균열부의 온도에 대한 부분의 존도와 균열부 온도 및 대기 습도에 대한 부분의존도를 3차원 그래프로 표현하였다. 균열부 온도에 비해 표면 온도와 대기 습도의 변화에 따라 부분의존도의 급격한 변화가 나타남을 보여주고 있다.

부분의존도는 모든 특성이 독립적일 때 해석하기 수 월하지만, 본 연구에서 AB 모델의 각 특성값은 복잡한 관계를 가진다. 본 연구는 대한민국에서 실험이 진행되 어 대기 온도와 습도의 관계가 비례하는 환경적 특성과 균열부 온도 및 표면 온도의 높은 상관관계에 따른 특성 간의 낮은 독립성이 있다. 따라서 온도 및 환경변수 데 이터에 의한 균열 깊이 예측은 변수 간의 관계가 복잡하 므로 부분의존도 해석의 한계를 가질 수 있다.

4. 결론

본 연구는 단순히 콘크리트의 균열을 탐지하는 것을 넘어서 열화상 기법과 머신 러닝을 이용하여 콘크리트 균열 깊이를 정략적으로 예측하는 안전진단 기법을 제 안하였다. 또한 콘크리트의 균열 깊이 예측의 정확도를 모델별로 비교하고 이에 대해 검증하였다. 콘크리트 균 열모사실험체를 대상으로 열화상 이미지를 및 환경변수 를 취득하여 데이터의 변수별 기초통계량을 제시하였다.

해당 데이터를 토대로 상관관계 분석과 4가지 머신 러 닝 모델을 비교 분석하였다. 머신 러닝 모델 중 성능이 가장 좋은 AB 모델에 대해서 최대 의사결정깊이에 따른 스코어, 정확도 및 MAPE 분석, 변수중요도, 부분의존도 를 측정하였다. 분석 결과는 다음과 같다.

1) 열화상 이미지에서 취득한 표면 온도와 균열부 온 도, 대기 온도는 대기 습도와 상대적으로 강한 상관성을 보여주며, 조도와 대기 습도의 상관계수는 음의 상관관 계 –0.47로 보여주고 있다. 머신 러닝의 목표값인 균열 깊이와 다른 변수의 상관관계는 균열 폭과 –0.23, 습도 와 –0.21로 높게 나타났으나 –0.5와 0.5 사이의 값을 가지므로 선형성이 강하다고 할 수 없다. 따라서 열화상 이미지와 환경변수를 바탕으로 균열 깊이를 측정하기 위해서는 변수들의 비선형성을 고려해야 한다.

2) 콘크리트 균열 깊이를 예측하는 4개의 머신 러닝 모델을 설계하여 비교 분석하였다. 비교 결과, AB 모델 이 0.9998의 학습 스코어, 0.9896의 시험 스코어를 가지 며, ±1 mm 허용오차범위 내 정확도는 97.70%, MAPE 는 0.60%의 우수한 성능을 보였다. 이는 특성들의 비선

형적인 상관관계와 의사결정나무를 기본 모델로 사용하 여 특성 간 복잡한 관계를 조건부확률분포에 의한 분류 하며, 잘못 분류한 학습데이터에 가중치를 부여하여 그 것을 우선으로 분류하는 학습 방법으로 인해 좋은 성능 을 보였다고 판단된다. 또한 AB 기본 모델의 최대 의사 결정깊이가 11 이상일 때 97% 이상의 정확도를 확보할 수 있었다.

3) 불순도를 감소시키는 방향으로 학습하는 의사결정 나무를 가지는 AB 모델에서 분류 의사결정 중요도는 특 성값 중 대기 습도가 가장 높았으며, 그 다음 균열 폭, 균열부 온도, 대기 온도, 조도, 표면 온도 순으로 중요도 가 높았다. 이를 통해 대기 습도가 콘크리트 균열 깊이 를 분류하는데 가장 중요한 역할을 했음을 알 수 있다.

4) AB 모델에 대한 부분의존도를 분석하였으며, 특성 값과 균열 깊이 관계의 비선형성을 확인하였다. 다른 특 성들이 모두 일정하거나 독립적이라는 가정 하에 대기 습도가 높을수록 AB 모델에서 균열 깊이를 낮게 예측하 였다. 하지만 특성들이 모두 독립적일 때 부분의존도의 해석 신뢰성이 높아지므로 본 연구에서 사용한 온도 및 환경변수 데이터에 의한 균열 깊이 예측은 변수 간의 관 계가 복잡하므로 부분의존도 해석에 대한 한계를 가질 수 있다.

감사의 글

이 논문은 정부(과학기술정보통신부)의 재원으로 한국연 구재단의 지원을 받아 수행된 연구입니다.

(No. NRF-2018R1A4A1026027,2020R1A2C3005687)

References

1. Omar, T., Nehdi, M. L., & Zayed, T.,

“Infrared thermography model for automated detection of delamination in RC bridge decks”, Construction and Building Materials, Vol.168, pp.313~327, 2018, doi:

10.1016/j.conbuildmat.2018.02.126

2. Sham, J., Chen, N., & Long, L. “Surface crack detection by flash thermography on concrete surface”, Insight-Non-Destructive

Testing and Condition Monitoring, Vol.50, No.5, pp.240~243, 2008, doi: 10.1784/

insi.2008.50.5.240

3. Mulaveesala, R., Dua, G., & Arora, V.,

“Applications of Infrared Thermography for Non-destructive Characterization of Concrete Structures”, Advances in Structural Health Monitoring, 2019, doi: 10.5772/

intechopen.83636

4. Omar, T., & Nehdi, M. L., “Remote sensing of concrete bridge decks using unmanned aerial vehicle infrared thermography”, Automation in Construction, Vol.83, pp.360~371, 2017, doi: 10.1016/

j.autcon.2017.06.024

5. Tong, X., Guo, J., Ling, Y., & Yin, Z. (2011).

A new image-based method for concrete bridge bottom crack detection. Proceedings of the 2011 International Conference on Image Analysis and Signal Processing, China, pp.568~571, doi: 10.1109/

IASP18108.2011

6. Nguyen, H. N., Kam, T. Y., & Cheng, P. Y.

(2012). A novel automatic concrete surface crack identification using isotropic undecimated wavelet transform. Proceedings of the 2012 International Symposium on Intelligent Signal Processing and Communications Systems, Taiwan, pp.766~771, doi: 10.1109/ISPACS20401.2012 7. Zhu, J., & Song, J., “An Intelligent

Classification Model for Surface Defects on Cement Concrete Bridges”, Applied Sciences, Vol.10, No.3, pp.972, 2020, doi: 10.3390/

app10030972

8. Fisher, R. A., “Statistical Methods for Research Workers”, Breakthroughs in Statistics, Springer, pp.66~70, 1992, doi:

10.1007/978-1-4612-4380-9_6

9. Glorot, X., Bordes, A., & Bengio, Y. (2011).

Deep Sparse Rectifier Neural Networks.

Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics, USA, pp.315~323, Retrieved from http://proceedings.mlr.press/v15/glorot11a /glorot11a.pdf

10. Dumitru, C., & Maria, V., “Advantages and Disadvantages of Using Neural Networks for Predictions”, Ovidius University Annals, Series Economic Sciences, Vol.13, No.1, pp.444~449, 2013

11. Lee, J. (2020). Evaluation of concrete crack depth using UAV, thermal images, and artificial intelligence (Master's thesis). Korea University, Seoul, South Korea.

12. Liaw, A., & Wiener, M., “Classification and Regression by randomForest”, R News, Vol.2, No.3, pp.18~22, 2002, Retrieved from https://cogns.northwestern.edu/cbmg/Lia wAndWiener2002.pdf

13. Zhang, C., & Ma, Y., “Ensemble Machine Learning: Methods and Applications”, Springer Science & Business Media, 2012.

14. Friedman, J. H., “Greedy Function Approximation: A Gradient Boosting Machine”, Vol.29, No.5, Annals of Statistics, pp.1189~1232, 2001, doi: 10.1214/aos/

1013203451

15. Witten, I. H., Frank, E., Hall, M. A., & Pal, C. J., “Practical Machine Learning Tools and Techniques”, 2^nd ed., Morgan Kaufmann, pp.578, 2005.

16. Zhang, D., “A Coefficient of Determination for Generalized Linear Models”, The American Statistician, Vol.71, No.4, pp.310~316, 2017, doi: 10.1080/

00031305.2016.1256839

17. De Myttenaere, A., Golden, B., Le Grand, B., & Rossi, F., “Mean Absolute Percentage Error for regression models”,

Neurocomputing, Vol.192, pp.38~48, 2016, doi: 10.1016/j.neucom.2015.12.114

18. Louppe, G., Wehenkel, L., Sutera, A., &

Geurts, P., “Understanding variable importances in forests of randomized trees”, Advances in Neural Information Processing Systems, Vol.26, 2013

19. Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., … Duchesnay, E., “Scikit-learn: Machine learning in Python”, Journal of Machine Learning Research, Vol.12, pp.2825~2830,

2011, Retrieved from

https://www.jmlr.org/papers/volume12/p edregosa11a/pedregosa11a.pdf

20. Altmann, A., Toloşi, L., Sander, O., &

Lengauer, T., “Permutation importance: a corrected feature importance measure”, Bioinformatics, Vol.26, No.10, pp.1340~1347, 2010, doi: 10.1093/bioinformatics/btq134 21. Cutler, D. R., Edwards Jr., T. C., Beard, K.

H., Cutler, A., Hess, K. T., Gibson, J., &

Lawler, J. J., “Random Forests for Classification in Ecology”, Ecology, Vol.88, No.11, pp.2783~2792, 2007, doi: 10.1890/

07-0539.1

22. Molnar, C., “Interpretable machine learning”, Lulu.com, 2020.

▪ Received : May 17, 2021

▪ Revised : May 31, 2021

▪ Accepted : May 31, 2021