Image based Concrete Compressive Strength Prediction Model using Deep Convolution Neural Network

1. 서론

1.1 연구의 배경 및 목적

시설물의 안전관리에 관한 특별법 대상 시설물 중 30년 이상 시설물의 비중이 2013년 9.5% (1860개)에서 2023년 21.6% (4,211개)로 급증할 것으로 예측됨에 따라(한국시설안 전공단, 2014), 시설물의 노후화가 사회적인 이슈로 대두되 고 있다. 특히, 15년 이상 된 아파트가 2014년 말 기준 전국 약 400만호로 노후화된 아파트의 재고가 폭발적으로 증가하 게 될 것으로 예상되면서 콘크리트 건축물 유지관리의 중요 성이 더욱 증대되고 있다.

시설물 유지관리란 시설물의 상태평가를 위한 점검과 진단 및 그 결과에 기초한 개량, 보수, 보강에 필요한 활동을 의미

한다. 콘크리트 건축물의 유지관리는 콘크리트 내구성을 평 가하고, 내구수명을 증가시키기 위한 활동이다. 콘크리트 압 축강도는 콘크리트의 품질을 나타내는 대표적인 인자로서 콘 크리트 내구성을 평가하는 기본적인 지표로 사용된다(Al- Amoudi et al., 2009; Tiberti et al., 2015; Baygin et al., 2017).

시설물의 콘크리트 압축강도를 측정하는 방법에는 대표적 으로 파괴시험법과 비파괴시험법이 있다. 파괴시험법은 공 시체 또는 모체콘크리트에서 채취한 코어를 파괴하여 강도 를 측정한다. 공시체를 통해 강도를 측정하는 경우 공시체가 모체와 다른 환경에서 양생이 되어 실제와 다른 값을 가질 수 있고, 장기 재령 압축강도 측정 시에는 공시체가 존재하지 않 는 문제가 있다. 코어를 채취하는 경우는 비용적인 측면뿐만 아니라 모체콘크리트를 훼손해야 한다는 점에서 구조물의 안 전상에 문제가 발생할 수 있다. 반면, 비파괴시험법은 구조물 에 손상을 입히지 않고 콘크리트 압축강도를 예측하는 방법 으로, 반발경도법과 초음파속도법이 그 간편성으로 인해 주

심층 컨볼루션 신경망을 활용한 영상 기반 콘크리트 압축강도 예측 모델

장유진¹·안용한¹·유재인²·김하영^*

1한양대학교 건축공학과 ·²아주대학교 금융공학과

Image based Concrete Compressive Strength Prediction Model using Deep Convolution Neural Network

Jang, Youjin

¹

, Ahn, Yong Han

¹

, Yoo, Jane

²

, Kim, Ha Young

^*

1Department of Architecture and Architectural Engineering, Hanyang University

2Department of Financial Engineering, Ajou University

Abstract :

As the inventory of aged apartments is expected to increase explosively, the importance of maintenance to improve the durability of concrete facilities is increasing. Concrete compressive strength is a representative index of durability of concrete facilities, and is an important item in the precision safety diagnosis for facility maintenance.

However, existing methods for measuring the concrete compressive strength and determining the maintenance of concrete facilities have limitations such as facility safety problem, high cost problem, and low reliability problem. In this study, we proposed a model that can predict the concrete compressive strength through images by using deep convolution neural network technique. Learning, validation and testing were conducted by applying the concrete compressive strength dataset constructed through the concrete specimen which is produced in the laboratory environment. As a result, it was found that the concrete compressive strength could be learned by using the images, and the validity of the proposed model was confirmed.

Keywords :

Facility Management, Concrete Compressive Strength Prediction, Deep Convolution Neural Network

* Corresponding author: Kim, Ha Young, Department of Financial Engineering, Ajou University, Suwon 135-080, Korea

E-mail: [email protected]

Received March 29, 2018: revised May 18, 2018 accepted May 28, 2018

로 사용되고 있다(Lee et al., 2015; Kim et al., 2016). 그러 나 비파괴시험을 통한 압축강도 예측은 값비싼 장비와 전문 인력이 필요할 뿐 만 아니라 예측값에 대한 신뢰도가 떨어진 다는 문제점을 가진다(Lee et al., 2015; Baygin et al., 2017).

이는 콘크리트가 균질하지 않는 재료이기 때문에 발생하는 불확실성, 비파괴시험법의 측정방법이나 측정환경, 측정자의 숙련도와 같은 재료 외적인 요인들의 영향을 받기 때문이다.

이와 같이 콘크리트 압축강도를 측정하고 유지관리를 판 단하는데 있어서 기존의 방법들은 시설물의 안전 문제, 고비 용 문제, 낮은 신뢰성 문제 등의 한계점을 가진다. 이러한 한 계를 해결하기 위해서는 콘크리트 압축강도 측정 및 성능유 지관리를 위한 혁신적인 원천 기술이 필요하다. 최근 고성 능 CPU 및 GPU의 등장과 더불어 빅데이터의 확보 및 사용 을 위한 인프라가 갖춰지면서 인공지능의 한 분야인 딥 러닝 (deep learning) 기술이 주목받고 있다. 특히, 딥 러닝 기술 중 하나인 심층 컨볼루션 신경망은 자율주행 자동차, 의료 진 단, 서비스 분야 등에서 활발히 연구가 진행되고 있으며, 영 상 인식에 있어서 정확도가 인정되고 있다.

이에 본 연구는 기존의 콘크리트 압축강도 측정의 한계를 극복하기 위해 심층 컨볼루션 신경망 기법을 활용하여 영상 을 통해 콘크리트 압축강도를 예측할 수 있는 새로운 방법을 제안하고자 한다. 연구의 최종 결과물인 영상 기반 콘크리트 압축강도 예측 모델을 통해 노후화된 콘크리트 건축물의 압 축강도 측정 시 소요되는 장비, 시간 그리고 비용을 절감하여 시설물 유지관리의 효율성을 높이고, 측정의 정확도를 높여 보편화에 기여하고자 한다.

1.2 연구의 범위 및 절차

본 연구는 딥 러닝 기술을 활용하여 건축물의 영상을 기반 으로 콘크리트 건축물 유지관리를 위한 내구성 평가 항목인 콘크리트 압축강도의 예측을 처음으로 시도하는 기초연구이 다. 따라서 심층 컨볼루션 신경망을 활용하여 영상으로 부터 콘크리트 압축강도 예측이 가능한지 살펴보는 것을 연구의 목적으로 한다. 심층 컨볼루션 신경망을 활용하여 콘크리트 압축강도를 예측하기 위해서는 콘크리트 건축물의 영상에 대 한 압축강도를 학습, 검증 및 테스트가 가능한 데이터셋이 필 요하다. 본 연구는 실험실에서 제작한 콘크리트 시편으로 데 이터셋을 구축하여 유효성을 실험하는 것으로 연구의 범위를 한정한다.

연구의 목적을 달성하기 위해 우선 콘크리트 압축강도에 영향을 주는 요인, 콘크리트 압축강도 예측 관련 연구 및 심 층 컨볼루션 신경망에 대한 고찰을 한다. 이를 바탕으로 영상 기반 콘크리트 압축강도 예측의 가능성을 살펴본다. 그리고 실험실 환경에서 콘크리트 시편을 제작, 영상을 촬영, 압축강 도 시험을 한 후 영상에 압축강도를 레이블링(labeling)하여

콘크리트 압축강도 데이터셋을 구축한다. 마지막으로 심층 컨볼루션 신경망을 활용하여 콘크리트 압축강도 예측 모델을 개발하고, 본 연구에서 구축한 콘크리트 압축강도 데이터셋 을 적용하여 학습, 검증 및 테스트를 통해 그 유효성을 살펴 본다.

2. 이론적 고찰

2.1 콘크리트 압축강도 영향요인

콘크리트는 시멘트, 물, 골재, 혼화제 등 여러 재료들로 구 성된 혼합체로서, 대표적인 임의 불균질성 다상재료(random heterogeneous multi-phase materials) 이다(Başyiğit et al., 2012; Chung et al., 2013). 일반적으로 다상재료는 각 구성 성분의 공간적 분포 상태에 의해 재료 특성이 영향을 받 는다. 따라서 다상재료인 콘크리트의 특성 역시 골재, 시멘 트 수화 생성물, 공극 등의 공간적 분포 상태 즉, 결합 상태 에 따라 압축강도가 변화한다(Chung et al., 2013).

콘크리트 구성 물질 중에서 골재는 대략 콘크리트의 80%

정도로서 가장 많은 부분을 차지하고 있으며 압축강도에 미 치는 영향이 매우 크다(Polat et al., 2013). 골재의 종류에 따 라 골재의 강도가 차이가 나며, 골재에 부착되어 있는 점토 성분 혹은 미립분에 의해서도 압축강도는 영향을 크게 받는 다. 또한 골재의 형상 및 입도에 따라 동일한 작업성을 얻기 위한 물의 양이 다르기 때문에 그 영향성이 크게 나타난다 (Jamkar & Rao, 2004). 골재의 입도가 작아지면 동일 슬럼 프를 유지하기 위한 단위수량이 증가하기 때문에 압축강도는 감소한다. 골재의 입형이 납작하거나 모가 나면 실적율도 작 기 때문에, 세골재 특히 모래를 많이 필요로 하고 단위수량이 증가하기 때문에 압축강도가 감소한다. 골재 중에 점토 및 미 분이 많으면 동일 슬럼프를 얻기 위해서 단위수량을 많이 필 요로 하게 되고, 또한 시멘트 페이스트와의 접착을 방해하기 때문에 압축강도가 감소한다. 또한 골재 중 약한 골재, 균열 이 내부적으로 있는 골재는 압축강도가 감소한다.

시멘트는 콘크리트의 결합재로서 콘크리트 압축강도와 직 접적인 영향을 가지고 있다. 콘크리트의 강도발현 메커니즘 을 살펴보면, 초기 수화반응 단계에서는 시멘트 입자가 물로 채워진 공간구조 내에 갇히게 되고, 수화반응이 지속되면서 시멘트 입자사이의 공간을 수화물과 공극이 채우게 된다. 따 라서 경화한 콘크리트는 시멘트 경화체와 골재로 구성되어 있으며, 시멘트 경화체는 시멘트 수화 생성물과 공극으로 구 성되어진다. 시멘트 경화체의 강도는 얼마나 치밀하게 수화 물이 형성되느냐에 크게 영향을 받는다. 물이 작은 콘크리트 는 다짐을 충분히 할 수 없으며, 물 부족에 의해서 콘크리트 내부의 압축강도는 매우 감소하게 된다. 반면, 시멘트의 수화 에 요구되는 물의 양보다 많은 물이 공급되면, 시멘트 수화에

는 문제가 없지만, 수화에 필요한 이상의 물은 증발되어 콘크 리트 내의 공극으로 남기 때문에 물시멘트비의 값이 증가할 수록 콘크리트 강도는 감소된다. 콘크리트의 압축강도가 내 부 공극의 양과 크기, 기포분포상태에 좌우되는 것은 강도이 론의 가장 기본이 되는 사실로, 내부 공극의 크기, 모양 등의 분포상태는 콘크리트의 압축강도를 결정하는 중요한 영향요 인이다(Baygin et al., 2017).

2.2 콘크리트 압축강도 예측 관련 연구

콘크리트 압축강도 예측에 대한 연구는 다양한 연구자들에 의해 지속적으로 관심을 받고 있으며, 크게 다음과 같이 구분 할 수 있다.

첫째, 비파괴시험을 통해 압축강도를 예측하는 연구이다.

1980년대 후반 비파괴시험방법이 국내에 소개된 이후 국내의 건설환경과 재료에 적합한 비파괴 강도 추정식을 개발하기 위한 연구들이 많이 진행되었다(Kim et al., 2002; Kwon et al., 2006). 비파괴시험에 관한 연구는 실제강도와 추정값 사 이에 상이한 결과값이 나오는 모순을 해결하여 비파괴시험에 대한 신뢰도를 높이는데 집중되고 있으며, 신뢰성 평가와 검 사법 규격화를 통해 비파괴시험의 현장적용성을 높이는 방안 을 모색하고 있다. 대부분의 비파괴시험법들이 다양한 영향 인자들을 고려한 많은 실험 데이터 축적이 필수적이며 이에 근거한 통계적 추정값을 제시한다. 이러한 통계적 예측값 제 시는 콘크리트의 재료 복잡성 및 영향인자의 최소화로 인한 한계가 존재한다.

둘째, 콘크리트 압축강도 결정의 주요 인자들을 고려하여 반경험식의 형태로 콘크리트의 압축강도를 예측하는 연구이 다. 물시멘트비나 단위수량 등의 배합요소, 재령, 양생조건 등을 입력변수로 하고 회귀분석, 확률이론, 인공신경망 등을 이용하여 콘크리트의 압축강도를 예측하는 방법들이 제안되 고 있다(Cho et al., 2003; Yoon & Kang, 2005). 이러한 연 구들은 압축강도의 예측을 통해 최적의 콘크리트 배합을 찾 기 위한 목적을 가진다. 그러나 노후화된 건축물의 경우 초기 입력변수 값들을 알 수 없어 콘크리트 압축강도 예측에 적용 하기 어렵고, 실제 현장조건아 반영되지 않는 수학적 예측모 델이라는 한계가 있다.

셋째, 공극률 및 수화물량을 고려한 압축강도 예측 연구이 다. 시멘트는 수화도가 증가함에 따라 강도가 증진되며, 동 일한 수화도에서 공극률이 증가하면 압축강도는 감소하게 된 다. 이러한 이론적 배경을 가지고 수화발열모델과 미세공극 형성 모델을 정립하고, 수화도 증분 및 모세관 공극률과 같은 미세구조특징을 고려한 콘크리트 압축강도 예측 모델을 제 안하는 연구가 진행되었다(Song et al., 2001; Lee & Kwon, 2012). 그러나 콘크리트의 압축강도에 영향을 미치는 요인을 공극과 수화물로 한정함으로써 다른 요인들을 반영하지 못한

한계를 가진다. 또한 이러한 연구들은 초기재령 콘크리트의 압축강도 예측을 목적으로 하고 있다는 점에서 노후화된 시 설물의 압축강도 예측에 적용하기에는 어려움이 존재한다.

마지막으로, 영상 처리(image processing)를 통해 콘크리 트 압축강도를 예측하는 연구이다. 최근 들어 콘크리트 시편 영상을 촬영하고, 영상 처리를 통해 콘크리트의 특징을 수치 화한 후, 수치화된 값을 회귀분석, 인공 신경망 등에 적용하 여 콘크리트의 압축강도를 예측하는 방법들이 제안되고 있 다(Başyiğit et al., 2012; Baygin et al., 2017; Dogan et al., 2017). 실제 콘크리트 표면을 촬영하여 그 영상을 통해 압축 강도를 예측한다는 점에서 앞선 연구들과 차별성을 가지며, 기존 비파괴시험법을 대체할 수 있는 방법으로 주목을 받고 있다. 그러나 영상 처리 시 연구자의 설계에 의해 골재 및 시 멘트의 양, 공극률과 같은 콘크리트의 특징이 추출되기 때문 에 연구자가 설계하기 어려운 고수준의 추상화된 특징은 압 축강도 예측 모델에 반영되지 못하는 한계를 가진다.

2.3 심층 컨볼루션 신경망

심층 컨볼루션 신경망(Deep Convolution Neural Network, DCNN)은 1989년 얀 르컨(Yann leCun)이 소개 한 심층 신경망(deep neural network) 기법 중 하나로 2012 ImageNet Challenge에서 심층 컨볼루션 신경망을 활용한 알 고리즘이 영상 분류에 가장 낮은 에러율을 보이면서 인공 신 경망 분야에서 새롭게 각광받기 시작하였다(Krizhevsky et al., 2012).

심층 컨볼루션 신경망은 주로 영상을 인식하는데 사용되며 컨볼루션 층(convolution Layer), 풀링 층(pooling layer), 완 전연결 층(fully connected layer)의 3가지 다른 층으로 이루 어져 있다. 컨볼루션 층은 컨볼루션 연산을 통해 특징들을 추 출하는 층으로 규칙적인 패턴을 가진 곱셈이 이루어진다. 풀 링 층은 입력 공간을 추상화하는 계층으로 서브샘플링(sub- sampling)을 통한 차원축소를 한다. 완전연결 층은 최상위 층들에서 마지막에 적용되며, 하위 층에서 전달된 특징들을 분류한다. 컨볼루션 층, 풀링 층의 반복이 이루어져 영상으 로부터 특징(feature)을 추출하게 되고, 마지막으로 완전연결 층을 통해서 분류된다.

심층 컨볼루션 신경망은 다층 인공신경망을 기반으로 특 징을 직접 학습하는 방식으로 신경망 내에 기존의 전처리, 특 징 추출, 특징 선택의 과정이 포함되어 있다. 따라서 국부적 특징 추출 및 분류에 강하며 가중치 공유 구조 특징 때문에 패턴인식 영역에서 탁월한 성과를 보인다. 대표적인 예로 심 층 컨볼루션 신경망을 활용한 자율주행 자동차, 당뇨성 망막 변증 판독, 도시환경에서의 안전도 점수 예측, 콘크리트 균열 검출, 건설현장 안전모 미착용자 감지 등의 연구에서 높은 정 확도를 보여주고 있다.

3. 콘크리트 압축강도 데이터셋 구축

노후화된 콘크리트 시설물의 압축강도를 측정함에 있어 파 괴강도시험법과 비파괴시험법을 대체할 방법으로 최근 영상 처리 기술을 이용하여 콘크리트 압축강도 예측하는 연구들이 진행되고 있다. 그러나 영상 처리를 통한 콘크리트 압축강도 예측은 특징 추출, 특징 선택, 후처리 등의 순서로 진행되어 왔고, 이 중에서도 특징 추출이 가장 중요하고 어려운 부분이 었다. 앞서 언급하였듯이 콘크리트는 다상재료로써 골재, 시 멘트 수화 생성물, 공극 등의 복합적인 공간적 분포 상태에 의해 압축강도가 영향을 받는다. 구성 재료들이 불균질하고, 불규칙적인 형상을 가지기 때문에 연구자가 압축강도에 영향 을 주는 모든 특징을 추출하는데 한계가 존재한다. 이러한 한 계를 극복하기 위해 본 연구에서는 콘크리트 시편 영상으로 부터 공간 정보를 반영한 고수준의 추상화된 특징을 추출하 는 단계가 내부에 포함되어 있고, 현재 예측분야에서 뛰어난 성능을 보여주고 있는 현심층 컨볼루션 신경망을 활용하고자 한다<Fig. 1>.

Fig. 1. Architecture of Deep Convolution Neural Network

이를 위해 실험실 환경에서 제작한 콘크리트 시편의 영상 을 촬영하고, 시험을 통해 압축강도를 통해 산출한 후, 촬영 한 영상에 산출한 압축강도를 레이블링하여 콘크리트 압축강 도 데이터셋을 구축하였다. 각 단계에 대한 구체적인 설명은 다음과 같다.

3.1 콘크리트 시편 제작

콘크리트의 압축강도는 물/시멘트비와 재령에 영향을 받 는다(Baygin et al., 2017). 본 연구에서는 다양한 범위의 압 축강도를 가질 수 있도록 <Table 1>과 같이 목표 압축강도 40MPa, 24MPa, 18MPa 기준으로 각각 물시멘트비 33%, 50%, 68% OPC100배합으로 설계하였다. 콘크리트 시편은 100×200㎜ 규격으로 세 가지 배합별로 재령 3일, 7일, 28일 시험용 각 3개씩 총 27개를 제작하였다. <Fig. 2>와 같이 콘 크리트 시편은 배합, 양생, 연마의 과정으로 완성된다.

Table 1. Concrete Mix Design Target

compressive strength

Water (l/m

³

)

Cement (kg/m

³

)

fine aggregate

(kg/m

³

)

corse aggregate

(kg/m

³

) Air content

(%) S/A (%)

W/C (%)

18MPa 170 250 932 944 4.5 51 0.68

24MPa 165 330 852 973 4.5 48 0.50

40MPa 160 480 749 965 4.5 45 0.33

Fig. 2. Preparation of sample specimens

3.2 콘크리트 시편 영상 촬영

콘크리트 시설물을 촬영하기 위해서는 휴대하고 다니기 쉽고, 촬영방법이 간편해야 할 것이다. 이에 본 연구에서 는 USB 현미경을 사용하여 <Fig. 3>과 같이 콘크리트 시편 영상을 촬영하였다. 본 연구에서 사용한 USB 현미경은 약 200만 화소(1,920×1,080 픽셀)이고, 해상도는 대략 5,400 dpi(dots per inch)이다. 가로 9mm, 세로 5mm의 구역을 촬 영할 수 있고, 이는 45m²의 면적이므로 1 픽셀의 크기는 4.66

㎛임을 의미한다. 따라서 1 픽셀은 콘크리트의 공극을 보여줄 수 있는 크기로 판단된다. 많은 수의 사진을 얻기 위해서 시 편의 윗면과 아랫면을 촬영하고, 한 시편 당 150~200장의 사 진을 촬영함과 동시에 동영상으로도 촬영하였다.

Fig. 3. Photo-shooting of specimens with USB microscope

3.3 콘크리트 압축강도 시험

콘크리트 압축강도 시험은 KS F 2405의 규정에 의거하고, 200 Ton UMT를 사용하였다. 물시멘트비 33%, 50%, 68%에 대해 각각 재령 3일, 7일, 28일에 시험한 결과는 <Table 2>와 같이 8.89MPa에서 41.48MPa 범위의 26가지 값들로 이루어 져 있다.

Table 2. Results of concrete compressive strength test

Unit: MPa

W/C Concrete

code 3 day Concrete

code 7 day Concrete code 28 day

68%

3-68A 10.29 7-68A 10.57 28-68A 17.09 3-68B 8.89 7-68B 10.84 28-68B 18.83 3-68C 9.21 7-68C 10.29 28-68C 18.70

50%

3-50A 16.67 7-50A 18.41 28-50A 28.29 3-50B 17.29 7-50B 17.73 28-50B 27.97 3-50C 16.77 7-50C 18.08 28-50C 20.27

33%

3-33A 25.96 7-33A 34.99 28-33A 40.59 3-33B 26.28 7-33B 30.58 28-33B 38.99 3-33C 27.58 7-33C 33.83 28-33C 41.48

(a) Mixing (b) Curing (c) Grinding

3.4 데이터셋 구축

심층 컨볼루션 신경망 모델은 복잡한 만큼 학습을 위해 많 은 데이터를 필요로 하며, 감독 학습 모델이기 때문에 모든 데이터에 대해 레이블 정보를 필요로 한다. 본 연구에서는 콘크리트 시편의 영상을 입력값(input)으로 하고, 해당 영상 에 대한 압축강도를 출력값(output)으로 하여 레이블링 하였 다. 동영상 촬영분에서는 1초당 29장의 사진을 추출하여 총 299,291개의 데이터셋을, 사진 촬영분에서는 총 5,145개의 데이터셋을 구축하였다.

4. 영상 기반 콘크리트 압축강도 예측 모델

본 장에서는 3장에서 구축한 데이터셋을 활용하여 압축강 도를 예측하는 심층 컨볼루션 신경망 모델을 설계한다. 심 층 컨볼루션 신경망의 구조를 결정하는 것으로는 층(layer) 의 수, 층의 종류, 층의 출력 뉴런수, 파라미터, 활성화 함수, 가중치 등 다양한 요인들이 있고, 이러한 요인들의 조합에 따라 다른 성능을 가진다. 본 연구에서는 심층 컨볼루션 신 경망의 유명한 모델인 AlexNet을 데이터에 맞게 구조를 일 부 변경해서 영상 기반 콘크리트 압축강도 예측 모델을 설 계한다. AlexNet은 ILSVRC (ImageNet Large Scale Visual Recognition Challenge) 2012 대회에서 우승한 모델로서 심 층 컨볼루션 신경망 구조가 대규모 영상 인식에서 성능을 인 증 받는 데 기여한 초기 모델이다. 이 모델의 특징은 첫째, 전 체 망을 두 개의 GPU로 분산시킴으로써 수용할 만한 계산 시간의 범위 내에서 통신양을 조절할 수 있다. 둘째, 노드의 활성화 함수로 포화되지 않는 비선형 구조의 ReLU를 사용하 여 포화되는 시그모이드 비선형 구조보다 여러 배 빠르게 수 렴하여 일관되게 개선된 학습속도를 가진다. 셋째, 풀링이 적 용되는 지역들을 겹치기(overlapped Pooling) 하면서 과적합 (overfitting)이 억제되고 에러율이 감소하는 특징을 가진다.

Fig. 4. Revised AlexNet Structure for Predicting Concrete Compressions Strength

AlexNet은 <Fig. 4>에 보이듯이 총 5개의 컨볼루션 층 (convolution layer)과 3개의 완전연결 층(fully connected layers)으로 구성되어 있다. 첫 번째 컨볼루션 층은 11×11×

3크기의 96개의 커널을 가지고 있다. 두 번째 컨볼루션 층은 첫 번째 컨볼루션 층의 결과인 55×55×96 크기를 입력으로 사용하며, 5×5×96크기의 256개 커널을 가지고 있다. 세 번 째 컨볼루션 층은 3×3×256크기의 38개의 커널을 가지고 있으며 네 번째와 다섯 번째 컨볼루션 층은 3×3×192크기의 384개 커널과 256개 커널을 각각 가지고 있다. 각 컨볼루션 층의 결과는 ReLU를 적용하며 첫 번째, 두 번째 그리고 다섯 번째 컨볼루션 층은 3×3크기의 맥스 풀링(max pooling)을 적용한다. 또한 첫 번째와 두 번째 컨볼루션 층은 맥스 풀링 의 결과에 로컬 응답 정규화(Local Response Normalization, LRN)를 적용한다. 컨볼루션 층에 이어지는 여섯 번째, 일곱 번째의 완전 연결 층은 각각 4096개, 4096개의 뉴런을 가진 다. 여덟 번째 완전 연결 층의 경우 기존의 AlexNet에서는 1000 종류의 영상 인식을 위해 1000개의 뉴런을 사용했지만, 본 연구에서는 콘크리트 압축강도 예측이 목표이기 때문에 압축강도를 나타내는 1개의 뉴런을 가지도록 변경하여 사용 한다.

입력값으로 사용되는 영상은 크기가 커질수록 정보의 양 이 많아지지만 모델 추정에 필요한 샘플 데이터의 개수가 기 하급수적으로 증가하게 되는 고차원의 저주(curse of high dimensionality)가 발생하여 학습에 방해가 된다. 반면 영상 의 크기를 너무 축소시키면 정보의 양이 줄어들기 때문에 성 능이 저해되는 문제가 발생한다. 이처럼 입력 영상의 크기에 의해 심층 컨볼루션 신경망 모델의 학습과 성능이 많이 좌우 된다. 본 연구에서는 입력 영상 크기에 따른 압축강도 예측 정확도를 비교해보기 위해 96×96, 84×84, 56×56 픽셀의 총 3가지 종류를 입력값으로 사용한다.

Fig. 5. Data Augmentation of Imput Image

심층 컨볼루션 신경망 모델은 빅 데이터(big data) 기반 에서 효과적으로 좋은 성능을 낼 수 있다. 따라서 본 연구에 서는 데이터 확장(data augmentation)을 통해 콘크리트 압 축강도 데이터셋을 확장시킨다. 데이터 확장이란 영상의 레 이블을 변경하지 않고 여러 방법을 통해 변형하여 데이터 셋의 수를 많게 하는 것이다. 본 연구에서는 무작위 크로 핑(random cropping)과 수평 플리핑(horizontal flipping) 을 사용하여 데이터셋의 수를 확장시킨다. 무작위 크로핑 은 <Fig. 5 (a)>와 같이 영상을 무작위로 잘라서 입력값에 사 용하는 방식이다. 본 연구에서는 1,920×1,080 픽셀의 원 본 영상 크기를 112×112 픽셀로 크기 조정(resizing)한 후, 좌측 상단의 18×18 픽셀 중에 무작위 시드(random seed) 를 생성하여 그 점을 우상단 좌표로 하여 각 96×96, 84×

84, 56×56 픽셀 크기의 영상을 생성한다. 또한 크기 조정 된 영상들은 <Fig. 5 (b)>와 같이 원본 영상을 x축으로 180 도 회전시키는 수평 플리핑 기법을 통해 데이터 수를 늘린다.

5. 콘크리트 압축강도 예측 실험 및 결과

5.1 콘크리트 압축강도 예측 실험 방법

본 연구에서 콘크리트 시편의 동영상 촬영을 통해 획득한 영상 데이터는 화질이 많이 흔들림으로 인해 학습데이터로 사용하기 어려운 문제가 발생하였다. 따라서 동영상에서 구 축한 영상 데이터셋을 사전학습(pre-training)에 사용하고, 그 후 얻은 영상으로 실험을 진행하였다. 이때 학습을 위한 연산량이 많아지고, 과하게 학습하여 실제 데이터에 대해 오 차가 증가하는 과적합을 방지하기 위해 영상 학습 시에도 사 진 촬영분 데이터 48개와 동영상 추출분 데이터 4개, 총 52개 를 미니배치(minibatch)하여 학습한다.

출력값인 콘크리트 시편의 압축강도는 범위가 8.89MPa 에서 41.48MPa로 실수값을 가진다. 이 실수값을 예측하 기 위해 심층 컨볼루션 신경망 학습을 위한 손실 함수(loss function)로 식 (1)과 같은 유클리디안 손실(euclidean loss)을 사용한다. 여기서 N은 데이터의 총 개수이고, 는 압축강도 예 측값이며, 는 압축강도 실측값이다. 심층 컨볼루션 신경망은 이 손실 함수를 가지고, 역전파알고리즘을 이용하여 손실 함 수가 최소가 되는 방향으로 가중치들이 학습된다.

(1)

사진 촬영을 통해 구축한 총 5,145개의 데이터는 학습데이 터로 3,601개 (70%), 검증데이터로 515개 (10%), 테스트데이 터로 1,029개 (20%)를 사용한다. 앞서 언급하였듯이 입력 영 상 크기에 따른 콘크리트 압축강도 예측 정확도를 비교해보 기 위해 본 연구에서는 96×96, 84×84, 56×56 픽셀 총 3가

Table 3. Compressive strength distribution of test dataset Compressive

strength (MPa)

Test dataset

(%)

Compressive strength

(MPa)

Test dataset

(%)

Compressive strength

(MPa)

Test dataset

(%)

8.89 6 18.08 3 30.58 3

9.21 5 18.41 3 33.83 3

10.29 8 18.70 2 34.989 3

10.57 2 18.83 3 38.99 3

10.84 2 20.27 2 40.59 3

16.67 5 25.96 5 41.48 2

16.77 6 26.28 5

17.09 4 27.58 6

17.29 5 27.97 4

17.73 3 28.29 3

지 크기에 대해 각각 학습, 검증, 테스트를 실시한다. 데스 트데이터로 사용한 콘크리트 압축강도의 분포는 <Table 3>

에 보이듯 8.89MPa (6%), 10.29MPa (8%), 16.77MPa (6%), 27.58MPa (6%) 순으로 많은 비율을 차지하고 있다.

본 연구에서는 초기 학습율을 0.00001로 설정하였고, dropout 비율은 0.5로 설정하였다. 제안한 콘크리트 압축강 도 예측을 학습하기 위해서 딥러닝 프레임워크 CAFFE (Jia et al., 2014)을 사용하였고, Geforce GTX 1080Ti그래픽 카 드를 사용하여 학습을 실시했다. 본 연구에서 제시한 예측모 델을 학습 및 검증하는데 96시간이 걸렸으며, 테스트하는데 약 0.28초의 시간이 소요되었다.

5.2 콘크리트 압축강도 예측 실험 결과

본 연구에서 제안한 모델을 통해 각 영상 크기별로 콘크리 트 압축강도 예측을 90,000,000 반복(iteration) 수행한 결 과는 <Fig. 6>과 같다. 각 영상 크기에 대한 학습 손실(train loss)과 검증 손실(validation loss)은 둘 다 반복(iteration)이

Fig. 6. Loss Curve

증가함에 따라 줄어들고 있음을 확인할 수 있다. 이는 본 연 구에서 제안하는 모델이 과적합 없이 잘 학습됨을 의미한다.

또한 입력 영상이 84×84 픽셀 크기일 때 검증 손실이 가장 작은 것을 알 수 있다.

앞서 언급하였듯이 콘크리트 압축강도 예측모델은 테스 트 시 학습을 통해 나온 예측값과 실측값과의 차이, 즉 테스 트 손실(test loss)을 최소화하는 것을 목표로 한다. 따라서 예 측모델의 학습률이 어떻게 달라지고, 그에 따른 정확도가 어 떻게 차이 나는지 확인하기 위해 예측 결과값으로 평균제곱 근 오차(Root mean squared error, RMSE)를 계산하여 비교 하였다. 평균제곱근오차는 압축강도 예측값과 실측값의 오차 제곱을 산술 평균한 값의 제곱근으로 측정한다.

<Table 4>는 각 콘크리트 시편 별 실측 압축강도 값과 평 균 예측 압축강도 값 그리고 평균제곱근오차를 입력 영상 크 기별로 정리한 것이다. 평균제곱근오차를 살펴보면 입력 영 상이 56×56 픽셀일 경우 5.10, 84×84 픽셀일 경우 4.64, 96

×96 픽셀일 경우 4.73의 값을 가진다. 이를 통해 본 연구에 서 개발한 심층 컨볼루션 신경망을 활용한 영상 기반 모델이 콘크리트 압축강도의 예측에 적용 가능함을 확인할 수 있다.

또한, 세 가지 입력 영상 크기 중 84×84 픽셀일 경우 평균제 곱근오차가 가장 낮게 나타났다. 일반적으로 영상의 크기가 클수록 많은 정보를 포함한다. 그럼에도 불구하고, 본 연구에 서는 94×94 픽셀보다 84×84 픽셀에서 평균제곱근오차 즉, 예측 정확도가 높게 나타났다. 이는 콘크리트 압축강도 예측 시 영상 크기가 크다고 하여 더 높은 예측 정확도를 가지지는 않음을 의미한다. 따라서 향후 콘크리트 시설물의 압축강도 예측 시 본 연구에서 사용한 해상도 5,400 dpi와 동일한 USB 현미경으로 사용할 경우, 입력영상으로 94×94 픽셀보다 84

×84 픽셀을 사용하는 것이 더 높은 예측 정확도를 가질 것으 로 판단된다.

Table 4. Compressive Strength Prediction Results by Image size

Image size

56 x 56

Image size 84 x 84

Image size 96 x 96 Concrete

code CS

e

CS

ap

RMSE CS

ap

RMSE CS

ap

RMSE

03-68B 8.89 12.41 4.05 11.11 2.91 11.82 3.45 03-68C 9.21 11.96 3.15 10.83 2.60 11.53 2.84 03-68A 10.29 12.86 3.83 11.46 3.18 12.12 2.78 07-68C 10.29 14.12 4.54 13.72 3.99 14.48 4.73 07-68A 10.57 13.71 3.89 13.28 3.21 13.97 3.85 07-68B 10.84 16.33 6.78 16.44 7.52 16.22 6.41 03-50A 16.67 13.78 3.68 13.64 3.59 14.54 2.98 03-50C 16.77 21.44 5.78 20.75 5.32 20.49 5.26 28-68A 17.09 21.68 5.54 19.38 4.38 20.19 4.61 03-50B 17.29 15.06 4.24 14.86 3.64 15.55 3.04 07-50B 17.73 21.79 5.12 21.21 5.56 21.37 5.52 07-50C 18.08 22.10 5.78 20.30 4.78 20.74 5.10 07-50A 18.41 21.31 4.54 19.31 2.89 18.91 2.26 28-68C 18.70 20.19 2.48 18.48 1.71 19.08 2.64 28-68B 18.83 20.44 3.54 20.56 3.61 20.09 2.94 28-50C 20.27 25.29 6.80 24.58 5.42 24.30 5.94 03-33A 25.96 25.10 2.66 25.95 3.02 25.35 2.85 03-33B 26.28 24.76 3.89 24.87 3.61 24.34 3.37 03-33C 27.58 25.48 3.30 26.69 2.26 25.34 3.36 28-50B 27.97 23.06 6.48 23.39 6.82 22.55 6.89 28-50A 28.29 24.76 4.75 23.92 5.87 23.56 6.01 07-33B 30.58 28.16 5.33 31.17 4.99 30.53 4.42 07-33C 33.83 28.64 6.73 27.77 7.72 29.66 6.55 07-33A 34.99 27.28 8.51 29.37 6.99 29.11 8.11 28-33B 38.99 35.46 7.92 37.98 5.47 37.30 5.89 28-33A 40.59 34.18 8.45 34.70 7.62 34.66 9.41 28-33C 41.48 34.77 7.54 36.12 7.27 36.73 7.00

Total - - 5.10 - 4.64 - 4.73

※ CSe: Experimental compressive strength

※ CSap: Average of predicted compressive strength

Fig. 7. Examples of prediction results (CSe: Experimental compressive strength, CSp: Predicted compressive strength)

그러나 본 연구 모델의 평균제곱근오차는 아직 기존 압축 강도 예측 모델의 실험결과들과 유사한 수준이다. 따라서 다 양한 입력 영상 크기와 심층 컨볼루션 신경망 구조를 적용하여 최적의 모델을 찾기 위한 연구가 향후 진행되어야 할 것이다.

<Fig. 7>은 본 연구에서 제안한 콘크리트 압축강도 예측모델 에 입력 영상으로 84×84 픽셀 크기를 사용해 예측한 콘크리 트 압축강도의 성공적인 결과와 실패한 결과의 예시이다.

6. 결론

국내 콘크리트 건축물의 노후화가 진행됨에 콘크리트의 내 구성 평가에 대한 중요성이 증대되고 있다. 콘크리트 내구성 을 평가하는 기본적인 지표 중 하나인 압축강도는 현장에서 코어 채취, 비파괴 검사 등을 통해 측정하고 있으나 시설물의 안전문제, 고비용, 낮은 신뢰성 등의 문제점을 가지고 있다.

최근 들어 영상 처리 기법을 적용한 연구들이 진행되고 있으 나, 콘크리트 특징 추출에 있어 한계를 가진다. 이에 본 연구 에서는 심층 컨볼루션 신경망을 활용하여 영상 기반 콘크리 트 압축강도 예측 모델을 제안하고, 실험실 환경에서 구축한 콘크리트 압축강도 데이터셋을 적용하여 그 유효성을 확인하 였다.

본 연구는 딥 러닝 기술을 활용하여 영상으로 콘크리트 압 축강도를 예측할 수 있는 방법을 제안함으로써 시설물 유지 관리 분야에 적용 가능한 새로운 기술의 가능성을 제시하였 다. 본 연구에서 제안한 콘크리트 압축강도 예측 모델은 딥 러닝 기술의 활용을 통해 기존에 알려진 콘크리트 압축강도 에 영향을 미치는 특성뿐만 아니라 고차원의 특성을 추출함 으로써 예측 정확도를 향상시킬 수 있을 것으로 기대된다. 또 한 콘크리트 표면 영상만으로 장소의 제한 없이 압축강도를 진단함으로써 시설물 유지관리에 드는 시간과 비용 감소에 기여할 수 있을 것이다. 그러나 본 연구는 심층 컨볼루션 신 경망을 활용하여 영상을 통해 콘크리트 압축강도 예측이 가 능한지 여부를 확인하는데 목적을 가지고, 실험실 환경에서 제작한 콘크리트 시편만을 대상으로 학습, 검증, 테스트를 진 행했다는 점에서 한계를 가진다. 향후 연구에서는 실제 노 후화된 콘크리트 시설물을 바탕으로 빅데이터를 구축하고, GoogleNet, ResNet 등과 같은 다양한 심층 컨볼루션 신경망 모델을 활용하여 예측 성능을 개선해야할 것이다.

감사의 글

본 연구는 국토교통부 국토교통기술촉진연구사업의 연구 비지원(18CTAP-C129782-02) 결과의 일부입니다. 또한 본 연구는 2016학년도 아주대학교 일반연구비 지원에 의하여 연 구되었습니다.

References

Al-Amoudi, O. S. B., Al-Kutti, W. A., Ahmad, S., and Maslehuddin, M. (2009). “Correlation between compressive strength and certain durability indices of plain and blended cement concretes.” Cement and Concrete Composites, 31, pp. 672-676.

Başyiğit, C., Çomak, B., Kılınçarslan, and Üncü, I. S.

(2012). “Assessment of concrete compressive strength by image processing technique.” Construction and Building Materials, 37, pp. 526-532.

Baygin, M., Ozkaya, S.G, Alperen, M. and Kazaz, I.

(2017). “A new approach based on image processing for measuring compressive strength of structures.”

International Journal of Intelligent Systems and Applications in Engineering, Special Issue, pp. 21- 25.

Cho, H., Yoon, S., and Jee, N. (2003). “The estimation of compressive strength of ready-mixed concrete on the basis of mix design.” Journal of the Architectural Institute of Korea Structure & Construction, 19(4), pp. 105-112.

Chung, S. Y., Han, T. S., Yeom, K. S., and Kim, J.

S. (2013). “Analysis of constituents of insulating concrete using Micro CT images.” Journal of the Korean Society of Hazard Mitigation, 13(2), pp. 43- 48.

Dogan, G., Arslan, M.H., and Ceylan, M. (2017).

“Concrete compressive strength detection using image processing based new test method.”

Measurement, 109, pp. 137-148.

Jamkar, S. S., and Rao, C. B. K. (2004). “Index of aggreate particle shape and texture of coarse aggregate as a parameter for concrete mix proportioning.” Cement and Concrete Research, 34, pp. 2021-2027.

Jia, Y., Shelhamer, E., Donahue, J., Karayev, S., Long, J., Girshick, R., Guadarrama, S., and Darrell, T. (2016). “Caffe: Convolutional architecture for fast feature embedding.” in Processing of the ACM International Conference on Multimedia, pp. 675- 678.

Kim, M. H., Choi, S. J., Kang, S. P., Kim, J. H. and Jang, J. H. (2002). “A study on the application of non-destructive testing equation for the

estimation of compressive strength of high strength concrete.” Journal of the Korea Institute of Building Construction, 2(3), pp. 123-130.

Kim, M. W., Oh, H., and Oh, K. C. (2016). “Estimating the Compressive strength of high-strength concrete using surface rebound value and ultrasonic velocity.”

Journal of the Korea Institute for Structural Maintenance and Inspection, 20(2), pp. 1-9.

Krizhevsky, A., Sutskever, I., and Hinton, G. E. (2012).

“Imagenet classification with deep convolutional neural networks.” in Processing of the Advances in Neural Information Processing Systems, pp. 1097- 1105.

Kwon, Y. W., Park, S. C., and Kim, M. S. (2006).

“Strength prediction equations for high strength concrete by schmidt hammer test.” Journal of the orea Concrete Institute, 18(3), pp. 389-395.

Lee, H. K, Lee, B. J., Oh, J. C., and Kim, Y.Y. (2015).

“Reliability evaluation for prediction of concrete compressive strength through impact resonance method and ultra pulse velocity method.” Journal of the Korea Institute for Structural Maintenance and Inspection, 29(4), pp. 18-24.

Lee, H. S., and Kwon, S. J. (2012). “Modeling on compressive strength in high performance concrete using porosity.” Journal of the Korean Institute for Structural Maintenance and Inspection, 16(6), pp.

124-133.

Polat, R., Yadollahi, M. M., Sagsoz, A. E., and Arasan, S. (2013). “The correlation between aggregate shape and compressive strength of concrete: Digital image processing approach.” International Journal of Structural and Civil Engineering Research, 2(3), pp.

62-80.

Song, H. W., Cho, H. J., Park, S. S., Byun, K. J., and Maekawa, K. (2001). “Early-age cracking resistance evaluation of concrete structure.” Concrete Science and Engineering, 3, pp. 62-72.

Tiberti, G., Minelli, F., and Plizzar, G. (2015). “Cracking behavior in reinforced concrete members with steel fibers: a comprehensive experimental study.”

Cement and Concrete Research, 68, pp. 24-34.

Yoon, J. E., and Kang, K. I. (2005). “Prediction of the compressive strength of recycled aggregate concrete by data mining technique.” Journal of the Architectural Institute of Korea Structure &

Construction, 21(10), pp. 119-126.

요약 :

노후화된 아파트의 재고가 폭발적으로 증가하게 될 것으로 예상됨에 따라 콘크리트 시설물의 내구성을 향상시키기 위한 유지 관리의 중요성이 증대되고 있다. 콘크리트 압축강도는 콘크리트 시설물의 내구성을 나타내는 대표적인 지표로, 시설물 유지관리 를 위한 정밀 안전 진단에 있어서 중요한 항목이다. 그러나 콘크리트 압축강도를 측정하고 유지관리를 판단하는데 있어서 기존의 방법들은 시설물의 안전 문제, 고비용 문제, 낮은 신뢰성 문제 등의 한계점을 가진다. 기존의 콘크리트 시설물의 압축강도 진단 방 법을 대체할 수 있는 방안으로, 본 연구는 심층 컨볼루션 신경망 기법을 활용하여 영상을 통해 콘크리트 압축강도를 예측할 수 있 는 모델을 제안하였다. 또한 실험실 환경에서 콘크리트 시편 제작을 통해 구축한 콘크리트 압축강도 데이터셋을 적용하여 학습, 검증 및 테스트를 진행하였다. 그 결과 콘크리트 표면 영상으로 콘크리트 압축강도를 학습할 수 있음을 알 수 있었고, 본 연구에서 제안하는 모델의 유효성을 확인하였다.

키워드 :

시설물 유지관리, 콘크리트 압축강도예측, 심층 컨볼루션 신경망