Structural Optimization and Improvement of Initial Weight Dependency of the Neural Network Model for Determination of Preconsolidation Pressure from Piezocone Test Result

地 盤 工 學

大 韓 土 木 學 會 論 文 集

第29卷 第3C 號·2009年 5月 pp. 115~125

피에조콘을 이용한 선행압밀하중 결정 신경망 모델의 구조 최적화 및 초기 연결강도 의존성 개선

Structural Optimization and Improvement of Initial Weight Dependency of the Neural Network Model for Determination of Preconsolidation Pressure from

Piezocone Test Result

김영상*·주노아**·박현일***·박솔지****

Kim, Young-Sang

·

Joo, No-Ah

·

Park, Hyun-Il

·

Park, Sol-Ji

···

Abstract

The preconsolidation pressure has been commonly determined by oedometer test. However, it can also be determined by in- situ test, such as piezocone test with theoretical and(or) empirical correlations. Recently, Neural Network (NN) theory was applied and some models were proposed to estimate the preconsolidation pressure or OCR. It was already found that NN model can come over the site dependency and prediction accuracy is greatly improved when compared with present theoretical and empirical models. However, since the optimization process of synaptic weights of NN model is dependent on the initial synaptic weights, NN models which are trained with different initial weights can't avoid the variability on prediction result for new database even though they have same structure and use same transfer function. In this study, Committee Neural Network (CNN) model is proposed to improve the initial weight dependency of multi-layered neural network model on the prediction of preconsolidation pressure of soft clay from piezocone test result. Prediction results of CNN model are compared with those of conventional empirical and theoretical models and multi-layered neural network model, which has the optimized structure. It was found that even though the NN model has the optimized structure for given training data set, it still has the initial weight dependency, while the proposed CNN model can improve the initial weight dependency of the NN model and provide a con- sistent and precise inference result than existing NN models.

Keywords :artificial neural network, committee neural network, genetic algorithm, piezocone, preconsolidation pressure

···

요 지

지반의 응력이력을 정의하는데 이용되는 선행압밀하중은 일반적으로 일차원 실내압밀실험으로부터 결정되어져 왔으나 피 에조콘과 같은 원위치 시험의 관측값을 이용한 이론적인 방법과 경험적인 상관관계를 통한 결정도 가능하다. 최근 선행압밀 하중을 결정하기 위한 인공신경망 모델들이 제안된 바 있으며, 기존의 이론적·경험적 선행압밀하중 추정 방법들이 갖는 지 역의존성의 문제를 극복하고 예측 정확도 면에서도 크게 개선된 것으로 보고되었다. 그러나 인공신경망 모델은 모델구조와 학습과정에서 초기에 무작위로 부여되는 연결강도에 영향을 받아 예측에 변동성이 존재한다. 본 연구에서는 기존의 피에조콘 결과를 이용한 선행압밀하중 추정 인공신경망 모델이 연약지반에서 선행압밀하중 예측 시 보이는 변동성을 개선하기 위하여 신경망 모델의 구조 최적화를 수행하고 군집신경망 모델을 구축하였다. 제안된 군집신경망 모델을 이용한 예측결과는 기존의 다층신경망 모델 및 이론적·경험적 모델들과 비교되었다. 연구결과, 최적화된 구조를 갖는 다층신경망 모델일지라도 초기 연결강도에 따라 최종 학습 후 예측결과의 변동성이 여전히 존재하나, 다층신경망을 네트워크로 연결하여 제안된 군집신경망 모델은 기존의 다층신경망 모델들이 갖는 초기 연결강도 의존성을 개선하여 다층신경망 모델에 비해 일관성 있으며 보다 정 확한 예측이 가능한 것으로 나타났다.

핵심용어

:

인공신경망, 군집신경망, 유전자알고리즘, 피에조콘, 선행압밀하중

···

*정회원·교신저자·전남대학교 건설환경공학부 조교수 (E-mail : [email protected])

**(주)다산이엔지지반부사원 (E-mail : [email protected])

***정회원·삼성물산(주) 건설부문기술연구센터수석연구원 (E-mail : [email protected])

****전남대학교 대학원 건설환경공학과 석사과정 (E-mail : [email protected])

1.

서 론

선행압밀하중(

σ'p)

은 지반이 과거로부터 받았던 최대 유효 압력으로 정의되며 현재유효응력(

σ^'vo)

과 비교하여 과압밀비

(overconsolidation ratio, OCR=σ'p/σ'vo)

를 구함으로써 흙의 응력이력 상태를 파악하는데 이용된다. 연약지반은 선행압밀 하중을 기준으로 현재 유효상재하중(

σ^'p)

과 하중의 증가(∆P) 정도에 따라 기초지반의 변형이나 전단파괴의 양상이 달라 지므로 연약지반 상의 구조물 안정성 평가는 선행압밀하중 의 정확한 추정으로부터 출발한다고 할 수 있다. 일반적으로 선행압밀하중은 원위치지반에서 채취된 불교란 시료를 이용 한 실내 압밀시험을 통해 산정이 되지만 시료의 채취과정, 운반과정, 시료성형과정 등에서 필연적으로 시료 교란이 발 생되며(김태준 등, 2002) 실내시험에 많은 시간과 경비가 요 구되는 단점이 있다. 따라서 시료채취 및 조성과정의 시료교 란 효과를 제거하고 현장상태 그대로의 공학적 특성을 파악 하기 위하여 원위치시험을 통한 접근방법이 점차 그 중요성 을 더해가고 있다. 그 중 피에조콘 관입시험은 대상지반의 특성을 반영하는 저항력 들(q

^T, fs, u2)

을 연속적으로 얻을 수 있고 대상 지역이 방대한 경우에도 빠른 시험과정 때문 에 시간과 비용 부담이 적어 최근에는 국내 연약지반조사 시 필수 항목으로 자리 잡고 있다. 이러한 장점 때문에 피 에조콘 관입시험에서 얻어진 관측값을 이용하여 지반의 응 력이력 및 비배수강도, 흙분류, 압밀계수 등을 추정하는 연 구가 국내외적으로 꾸준히 수행되어 왔다. 피에조콘 관입시 험 관측값을 이용한 연구 중 지반의 선행압밀하중 추정 연 구들은 크게 흙의 이론적 거동모델을 도입하여 얻어진 이론 적인 모델(Konrad와 Law, 1987; Chen, 1994)과 피에조콘 관측값들과 선행압밀하중(또는 과압밀비)을 통계적 방법이나 회귀분석을 이용해 직접 관계식 형태로 제안한 경험적인 모 델(Chen, 1994; Chen과 Mayne, 1996, 장인성 등, 2002;

이강운 등, 2002), 간단한 지반의 정보와 피에조콘 관측값을 바탕으로 지반의 응력이력을 추정하는 신경망 모델(Kurup과

Dudani, 2002;

김영상 등, 2002)들이 있다. Chen(1994)에

의하면 기존의 이론적 모델에서 사용하는 변수들은 모든 지 역의 지반에 대하여 적용될 수 있는 일반화된 변수로 증명 된 바 없고 지역 의존성이 매우 높은 것으로 나타났다. 또 한 경험적 모델구축을 위해 주로 사용하는 회귀분석법은 최 초에 부여된 관계의 적절성에 따라 그 예측의 정도

(accuracy)

가 결정되는 특징이 있다. 그러나 기존에 제안된

선형관계식들의 예측결과를 볼 때 모델변수들과 선행압밀하 중의 관계를 일차원적인 관계만으로 표현하기에는 다소 부 적합한 것으로 보고되었다(김영상 등, 2002). 한편, 선행압밀 하중 추정에 신경망이론의 도입은 기존의 이론·경험적 모 델과 같이 입력변수들 간의 수학적 관계를 미리 부여하는 것이 아니라 입력자료들과 출력자료들 간의 비선형적인 관 계를 가장 잘 묘사할 수 있는 연결강도를 학습하므로 예측 오류는 최소화하고 다양한 지반의 특성을 복합적으로 고려 할 수 있어 기존 방법들의 지역의존성 문제와 비선형성 문 제를 동시에 해결할 수 있는 가능성이 높은 것으로 알려졌 다. 그러나 오차역전파(back propagation) 알고리즘으로 학습 된 다층인공신경망 모델(Multi-Layered Perception model,

MLP)

은 모델구조와 모델 학습 시 각 층(layer)에 존재하는 뉴런(neuron)간의 초기 연결강도에 따라 학습과정에서 최적 화된 연결강도가 다를 수 있으므로 새로운 자료에 대한 예 측결과에 변동성이 항상 존재한다.

본 연구에서는 선행압밀하중의 추정에 있어 신경망 모델이 기존의 이론적인 방법이나 경험적인 방법이 갖는 지역적 한 계성의 문제를 극복하기는 하였으나 학습과정에서 최초에 무 작위로 부여되는 연결강도에 따라 발생되는 예측결과의 변 동성을 개선하기 위하여 최적화된 구조에 대한 다양한 접근 을 시도하였고 이를 바탕으로 피에조콘 시험결과로부터 연 약지반의 선행압밀하중을 보다 효과적이고 일관성 있게 예 측하기 위한 군집신경망 모델의 구축에 대하여 기술하였다.

개발된 군집신경망 모델을 기존의 선행압밀하중의 추정에 이 용된 바 있는 이론적·경험적 모델과 비교분석하여 그 효율 성을 검증하였다.

2.

피에조콘을 이용한 기존의 선행압밀하중 추정 모델

2.1

이론적 방법과 경험적 방법

Konrad

와 Law(1987)는 콘 관입 시 선단부 아래에 존재하

는 지반요소의 응력경로와 유발되는 간극수압에 대한 연구 를 바탕으로 점토의 선행압밀하중에 해당하는 유효 연직항 복응력(effective vertical yield stress)

σ^'yc

을 산정하는 이론 식을 식 (1)과 같이 제안하였다.

(1)

여기서, q

T=

수정 콘선단저항력=q

c+(1-a)u2, qc=

콘 선단저 항력, a=불균등면적비, u

2=

콘 선단부 뒤에서 관측된 간극수 압,

α=

콘 선단부 뒤에서 관측된 간극수압을 선단부 파괴영 역의 값으로 환산하기 위한 상수, M=흙과 콘 마찰면 사이 의 마찰계수,

φ^'=

유효마찰각, 2

θ⁼

콘 선단각

식 (1)의 각 변수들의 값을 결정할 수 없는 경우를 위하 여 중간정도의 거칠기를 가지는 콘에 대해

α=1.0, φ'=30^o, M=1.0

을 사용할 것을 제안하였으며 정리하면 다음과 같은 간단한 식을 얻을 수 있다.

(2)

Mayne(1991)

과 Chen(1994)은 피에조콘 간극수압의 관측

위치에 따라서 과압밀비를 결정하는 식을 제안하였으며 식

(3)

은 콘 선단부 뒤에서 간극수압 u

2

를 관측한 경우의 해 이다.

(3)

여기서,

σ^'vo=

유효 상재하중,

Λ⁼

소성 체적변형률 비=1-C

s/ Cc, Cs=

팽창지수(swelling index), C

c=

압축지수(compression

index), φ'=

유효마찰각

또한, Chen(1994)은 식 (3)이 유효마찰각에 민감하지 않다 고 지적하고 평균적인 값으로서

φ^'

≈30

^o

와

Λ^=0.75

를 적용하 여 다음의 간편식 (4)를 제안하였다.

σ

^'_yc ^qT–

α

^u2

1 Mtan⁺

φ

^'cot

θ

---

=

σ

^'_yc=^{0.5 q}

(

_T^–u₂

)

OCR 2 0.38 0.25sin

(

^–

φ

^'

)

q_T–u₂

σ

^'_vo ---

⎝ ⎠

⎛ ⎞

1 Λ----

=

(4)

지금까지 기술된 이론 해들은 콘 관입 시 지반의 응력-변 형 거동을 바탕으로 제안되었으므로 명확한 이론적 배경을 바탕으로 하고 있으나, 제안된 식에서 요구하는 특정 입력변 수를 얻기 위한 정교한 실험을 동반하는 불편함이 있으며 이를 위한 불교란 시료 채취 시 그 교란효과를 피할 수 없 다. 또한 이론해 유도과정에서 적용된 단순화된 구성관계로 인하여 다양한 종류의 지반에 대하여 검증되어야 하는 과제 를 남기고 있다. 따라서 지반 공학자들에게는 제안자들에 의 하여 평균적으로 입력변수들로 정리된 간략식 (2)와 (4)가 이용되거나 다음에 설명될 경험적인 관계들이 선호되어 왔다.

표 1은 피에조콘 관측 값으로부터 지반의 과압밀비와 선 행압밀하중을 추정하기 위하여 제안되었던 경험적 모델들의 피에조콘 변수(parameter)들을 정리한 것으로 지금까지 많은 국외 연구자들에 의하여 다양한 변수들이 제안되어 왔다. 한 편, 국내지반을 대상으로 한 경험적인 모델에 대한 연구가 장인성 등(2002)과 이강운 등(2002)에 의해 진행된 바 있다.

장인성 등(2002)은 국내 10개 지역을 대상으로 국내지반에 적합한 과압밀비 예측식을 개발하였고, 이강운 등(2002)은 부산 신항만 지역을 대상으로 경험적 상관관계들에 대한 적 용성 연구를 수행하였다. 그러나 대부분의 경험적 변수들과 제안식들이 제안 당시 자료로 이용된 특정 지반에만 적용이 가능한 경우가 많아 일반적인 경험식으로서 활용되지 못하 였다(Chen과 Mayne, 1996). 따라서 경험적 변수들을 이용 하여 응력이력을 예측하는 경우에는 적용될 지반에 대하여 반드시 보정(calibration) 및 검증 과정을 거쳐야하므로 경험 적 방법 역시 이론적 모델과 동일한 불편함이 존재한다.

Chen(1994), Chen

과 Mayne(1996)은 이러한 경험적 관계들

의 지역의존성을 극복하고 보다 일반화된 관계의 도출을 위 하여 세계 각 지역에서 얻어진 방대한 자료를 바탕으로 회

귀분석을 수행하고 다음과 같은 제안식을 도출하였다.

σ'p=0.305(qT

−

σvo), n=1256, R²=0.82 (5)

σ^'p=0.53(u2

−u

0), n=811, R²=0.722 (6)

σ'p=0.5(qT

−u

2), n=884, R²=0.797 (7)

여기서, n=회귀분석 시 사용된 자료의 개수, u

o=

콘관입전 정수압,

σvo=

총상재응력, R

²=

결정계수

2.2

신경망이론을 이용한 모델

인공신경망은 인간 신경계의 처리과정을 모사하기 위해 개 발된 정보처리기법으로서 입력 물성치와 출력치의 복잡한 물 리적인 관계가 수학적 관계식으로 명확하게 표현되기 어려 울 때 이러한 공학문제를 모델링하기 위한 것으로 최근 토 목공학 및 지반공학 분야의 다양한 문제에 적용되고 있다(김 병탁 등, 2001; 이성진 등 2002; 황명기 등, 2003; Lee

and Lee, 1996; Rahman

등, 2001). 김영상 등(2002)과

Kurup

과 Dudani(2002)는 그림 1과 같이 Chen(1994)의 연

구자료를 바탕으로 피에조콘의 관측값과 간단한 지반정보를 입력하여 선행압밀하중과 과압밀비를 예측하는 신경망 모델 을 각각 제안하였다. 그 결과 그림 1(b), (d)에 나타난 바와 같이 신경망에 의한 지반의 응력이력 추정은 기존의 이론 적·경험적 모델과 비교하여 매우 정확한 예측이 가능하고 지역의존적인 모델이 아닌 일반적인 지역 모델로서 적용 가 능함을 확인하였다.

그러나 김영상 등(2002)과 Kurup과 Dudani(2002)의 모델 이 동일한 연구자료를 바탕으로 제안되었음에도 불구하고 입 력변수와 출력변수, 사용된 전달함수 등이 다른 것을 알 수 있다. 이는 특정문제에 대한 신경망의 최적 구조 설계가 지 금까지 어떤 공식화된 설계원칙이 존재하지 않기 때문으로, 대부분 신경망 개발 전문가의 경험적 지식(heuristic)과 많은

OCR 0.32 q_T–u₂

σ

^'_vo ---

⎝ ⎠

⎛ ⎞

^1.33

=

표

1.

과압밀비와 선행압밀하중을 예측하기 위한 경험적 접근법들의 피에조콘 변수들

(updataed from Lunne et al., 1997)

예측값 피에조콘 변수 제안자

OCR u₁/q_c Baligh et al.

OCR

∆u

2/qc=(u2

−u

0)/qc Campanella

와 Robertson

OCR B_q=

∆u/(q

c-

σ

vo) or

∆u/(q

T

− σ

vo) Senneset, Janbu

와 Svano, Wroth

OCR Wroth (1988), Robertson

과 Mayne, Lunne et al.

OCR , Sully et al.

OCR

∆u/ σ

^'vo Mayne

과 Bachus

OCR Larsson

과 Mulabdic

OCR

장인성 등

σ

^'p (q_c

− σ

vo) Tavenas

와 Leroueil

σ

^'p 0.39(u₂

−u

0)

이강운 등

여기서, u

1=

콘 선단부에서 관측된 간극수압, ∆u=u

2

−u

o=

관입과잉간극수압, N

OCR=

경험계수

q_T–σ_vo

σ'_vo ---

⎝ ⎠

⎜ ⎟

⎛ ⎞

PPD u₁–u₂ u₀ ---

= PPR u₁–u₀

u₂–u₀ ---

=

q_T–σ_vo σ'_vo ---

⎝ ⎠

⎜ ⎟

⎛ ⎞

q_T–σ_vo ( )⁄σ'_vo

N_OCR ---

수의 신경망 구조를 반복적으로 적용하는 경험적 반복법

(Trial-Error, TE)

에 의존하고 있기 때문이다.

한편 다층신경망의 학습과정은 그림 2와 같이 두 단계로 이루어져 있다. 첫 번째 단계는 전방향(forward)단계로 임의 의 입력자료가 첫 번째 연결강도들을 거쳐 은닉층으로 전달 되면 은닉층에서는 자료에 대하여 은닉층의 뉴런 하나하나 가 활성(active)될 것인지 억제(inhibitive)될 것인지에 대한 가공이 이루어지고 출력층과 은닉층 사이의 연결강도들을 거 쳐 출력층으로 전달된다. 출력층에서는 가공된 자료(predic-

tion vector)

들을 학습자료의 목표자료(target vector)와 비교

하여 그 오차가 어느 하한치(minimum criterion) 이내를 만 족하게 되면 학습을 종료한다. 그러나 최초의 연결강도들

(wA1, wA2, wA3, wB1, wB2, wB3)

은 무작위(random)로 부여

되므로 정확한 예측수행이 이루어질 수 없으며 큰 오차를 보이게 된다. 두 번째 단계에서는 전방향 단계에서의 오차와 연결강도의 기울기(gradient)에 비례하도록 역방향(backward) 으로 연결강도들을 조정하며 오차가 하한치 이내를 만족할 때까지 전방향과 역방향 단계를 반복하게 되며 이를 학습이 라 한다.

이와 같이 일반적인 반복학습에 의하여 학습을 수행할 때 동일한 모델의 입력 및 출력변수, 전달함수, 학습율, 수렴기 준을 가지는 경우에도 학습 최초에 무작위(random)로 부여 된 연결강도에 의해 역방향 단계의 연결강도가 재조정되기 때문에 만일 최초 연결강도를 다르게 부여한다면, 학습 후에 최적화된 연결강도들이 전역해가 아닌 국부해에 수렴하는 경 우도 있어 다층신경망의 예측결과가 다르게 얻어질 수 있다.

이는 일반적인 반복과정으로 신경망을 학습할 때 발생할 수 있는 문제로 초기연결강도 의존성이 높은 경우 때때로 새로 운 자료에 대한 일관성 있는 예측을 어렵게 할 수 있다(Lee 등, 2004).

본 연구에서는 다층 신경망을 이용하여 피에조콘으로부터 지반의 선행압밀하중을 결정하는데 있어서 기존의 경험적 반 복법과 박현일 등(2005)에 의하여 제안된 유전자 알고리즘을 이용한 구조 최적화 방법을 통하여 단일 다층신경망의 구조 를 최적화 하였다. 또한 학습과정에서 부여되는 초기 연결강 도에 의한 예측의 변동성을 최소화하기 위하여 다층 신경망 그림

1.

피에조콘으로부터 응력이력 예측을 위한 신경망 모델들

그림

2.

다층신경망

(Multi-Layer Perceptron)

의 학습과정

을 네트워크 형태로 연결한 군집신경망을 구축하고 비교하 였다.

3.

다층 신경망 구조의 최적화

3.1

데이터베이스

(Database)

다층신경망 모델의 구조 최적화와 초기 연결강도 의존성 개선을 위한 군집신경망 모델 구축에 사용된 데이터베이스 는 세계 7개국(스웨덴, 노르웨이, 미국, 영국, 브라질, 캐나다, 이탈리아) 점토지반에서 수행된 피에조콘 관측값과 일차원 압밀실험 결과, 그리고 상재하중 및 소성지수 자료(Chen,

1994)

들로 학습 데이터 119개와 검증 데이터 28개로 구성하

였다. 표 2에는 사용된 입력변수들의 통계적 특성 값들이 제시되어 있다.

3.2

경험적 반복에 의한 단일 다층신경망 구조의 최적화 군집신경망 모델의 구축을 위해 먼저 네트워크 내의 단일

다층신경망(Multi-Layer Perceptron, MLP)의 구조 최적화를 수행하였다. 먼저 일반적인 경험적 반복법에 의한 신경망구 조의 최적화를 수행하였으며, 적은 수의 은닉층과 뉴런 수를 갖는 가장 간단한 구조부터 검토하기 시작하여 이후에 입력 변수와 출력의 관련성을 탐색하면서 점차 각층의 뉴런 수를 증가시켰다. 또한 네트워크의 입력변수와 출력변수 사이에 비선형성을 제공하는 전달함수로는 선형(linear), 로그 시그모 이드(log-sigmoid), 탄젠트 시그모이드(tangent-sigmoid)의 조 합을 검토하였고 은닉층의 뉴런 수는 입력변수 개수의 최대

2

배까지 검토하였다. 표 3과 같이 입력변수에 따라 총 6개 의 모델이 검토되었으며, 입력변수로는 지반의 응력상태를 반영할 수 있도록 상재하중(

σvo)

과 유효상재하중(

σ^'vo)

을 선 택하였고 피에조콘 관측값으로는 불균등 면적비에 대해 보 정된 선단저항력(q

T)

과 콘 선단부와 선단부 바로 뒤에서 관 측된 간극수압 u

1

과 u

2

를 입력변수로 선정하였다. 그 외에도 지반의 소성지수를 이용할 경우 콘 관측결과와 선행압밀하 중간의 통계적 상관성을 높일 수 있다는 Chen과 Mayne

(1996), Lunne

등(1997)의 보고를 반영하여 소성지수 PI를

입력변수로 선정한 모델에 대해서도 검토를 수행하였다. 학 습 시 각각 다른 스케일(scale)로 분포하고 있는 모든 입력 변수들을 0과 1사이의 값의 분포를 가지도록 정규화 하였 고, 학습의 종료 조건은 최종 목표오차(e)가 0.005이하로 수 렴하거나, 최대 반복회수(maximum epoch)가 10,000번에 도 달하는 경우 종료되도록 하였다.

표 3에 나타난 바와 같이 각 모델에 대하여 은닉층과 출 력층에 사용되는 전달함수를 기준으로 각 모델에서도 9개의 조합이 검토되었으며, 각 조합에서도 은닉층 내의 뉴런 수를 표

2.

입력변수들의 통계적 특성 범위

입력변수 학습자료 검증자료

max min max min

σ

'vo (kPa) 566.4 13.2 521.2 39.5

σ

^'vo (kPa) 255 3.4 238.3 10.1

qT (kPa) 1885 58 1885 148

u₁ (kPa) 1210 53 1128 108

u2(kPa) 1089 41 1013 82

PI 85 5 85 5

표

3.

모델변수 및 전달함수에 따른 모델 예측능력 비교

모델명 입력변수 뉴런수 전달함수 결정계수(R

²)

학습 검증 최적구조

모델A σ

^'vo, q_T, u₂ 8 Logsig - Logsig 0.930 0.905

모델B σ

^'vo, q_T, u₁, u₂ 9 Logsig - Linear 0.929 0.889

모델C σ

^'vo,

σ

vo, q_T, u₂ 7 Logsig - Logsig 0.929 0.922

○

모델D σ

^'vo,

σ

vo, q_T, u₁, u₂ 7 Tansig - Logsig 0.929 0.903

모델E σ

^'vo,

σ

vo, q_T, u₂, PI 10 Tansig - Tansig 0.931 0.914

모델F σ

^'vo,

σ

vo, q_T, u₁, u₂, PI 7 Tansig - Linear 0.930 0.909

그림

3.

전달함수와 뉴런 수에 따른 모델

C

의 예측 결정계수 비교

늘이면서 많은 수의 모델에 대하여 검토하였다. 검토된 모델 중에서 모델 C의 경우가 학습자료와 검증자료에 대하여 가 장 높은 예측 결정계수를 보였으며 그림 3(a)에 전달함수와 은닉층 내의 뉴런 수에 따른 모델 C의 학습자료에 대한 예 측 결과를 나타내었다. 전달함수 및 은닉층 수에 관계없이 모든 모델이 은닉층 내의 뉴런의 수가 6개 이후로 수렴된 예측이 가능하였다. 그러나 검증자료에 대한 예측결과에서는 수렴의 경향성은 보이지 않아 상대적으로 가장 높은 결정계 수(R

²)

를 갖는 7개의 뉴런 수를 최적 구조로 선정하였다. 경 험적 반복법에 의하여 선정된 단일 다층신경망의 최적구조 는 입력변수가 전응력(

σvo),

유효응력(

σ^'vo),

보정된 선단저항 력(q

T),

콘선단부 바로 뒤에서 관측되는 간극수압(u

2)

이고 은 닉층 내의 뉴런 수가 7개, Logsig-Logsig의 전달함수를 가 지는 조합이 최적의 모델구조인 것으로 나타났다.

3.3

유전자 알고리즘을 이용한 다층신경망 모델구조의 최 적화

인공신경망이 공학문제를 해결할 수 있는 효율적인 방법임 에도 불구하고, 최적의 신경망 구조와 설계변수 값들을 결정 할 수 있는 기법에 대한 연구는 활발하지 않다. 신경망 구 조설계는 어떤 공식화된 설계원칙이 존재하지 않는 분야로 서 신경망 개발 전문가의 주관적인 경험적 지식(heuristic)과 많은 수의 신경망 구조를 반복적으로 적용하는 경험적 반복 법(Trial-Error, TE)에 의존하고 있다. 따라서 신경망 모델의 경우 모델 설계자의 전문성에 의하여 모델의 예측정도가 크 게 영향을 받게 된다. 박현일 등(2005)은 유전자 알고리즘

(Genetic Algorithm, GA)

과 인공신경망 기법을 접목하여 입

력값과 출력값의 최적의 연관성을 갖는 신경망 구조 설계를 수행하기 위하여 그림 4와 같은 과정을 제안하였다.

임의적으로 생성된 개체군에서 각 개체는 입력층의 변수조 합, 은닉층의 뉴런 수, 전이함수 조합 등과 같은 NN 구조 에 필요한 설계변수 정보를 갖고 있으므로, 각 개체에 대한

NN

구조의 목적 함수를 계산할 수 있다. 목적함수는 식

(8)

과 같이 오차함수와 NN 구조 복잡도 함수로 구성되어 있으며, 계측값들에 대한 예측오차의 합이 작으면서 NN 구 조가 단순한 개체가 우선순위를 갖도록 목적함수를 설정하 였다.

ObjV(i) = Ei+ Pi (8)

먼저, 오차함수, E

i

는 각 개체의 설계정보로 이루어진 신 경망의 출력값(t)과 목표값(T)과의 차이를 이용하여 식 (9)와 같이 가정하였다.

(9)

여기서, N

mea=

계측자료의 총 개수, T

max=

목표값 가운데 최 대치, T

k=k

번째 목표값, t

k=k

번째 신경망 출력값을 의미한 다. 인공신경망 구조가 복잡해질수록 오차함수 값은 감소할 가능성이 증가하지만, 과적응(overfitting)으로 인하여 일반성 이 떨어질 수 있으므로, 복잡한 인공신경망을 피하기 위하여 벌점함수, P

i

를 다음과 같이 정의하였다.

(10)

여기서, N

nⁱ=i

번째 개체에서 사용되는 총 뉴런 개수, N

max=

대상 문제에서 인공신경망 구조가 가질 수 있는 최대 뉴런 수, CW

ⁱ=i

번째 개체에서 사용되는 연결강도의 총 개수,

CWmax=

대상 문제에서 인공신경망 구조가 가질 수 있는 최 대 연결강도 개수이며,

α=0.01

로 가정되었다.

이후에 각 개체들의 목적함수 값을 근거로 하여 선정된 우선순위를 바탕으로 선정된 개체들에 대하여 교배와 돌연 변이에 근거한 유전자 처리과정을 거치게 되며 이를 바탕으 로 다음 세대에 필요한 개체군을 생성하게 된다. 이러한 유 전적 처리에 대한 과정을 반복적으로 일정 횟수만큼 수행하 여 최종단계(MAXGEN)까지 개체군에서 가장 우수한 목적 함수 값을 갖는 개체를 최적의 개체로 선정하게 된다.

이와 같은 과정을 통하여 경험적 반복법과 동일한 데이 터베이스에 대하여 다층 신경망의 구조를 최적화하였으며 이를 위하여 필요한 초기 설계조건이 표 4에 정리되어 있다.

유전자 알고리즘을 이용한 구조 최적화 결과, 다층 신경망 모델의 구조 설계변수들은 경험적 반복방법에 의해 결정된 모델과 달리 상재하중(

σvo)

과 u

1

이 제외된 4개의 입력변수

σ^'vo, qT, u2, PI

가 선정되었으며, 은닉층 개수는 1개이고, 은닉층 내의 뉴런 수는 14개로 결정되었다. 입력층-은닉층 및 은닉층-출력층에 적용된 전달함수는 Tangent-sigmoid 함 수와 선형(linear) 함수로 각각 결정되었다. 유전자 알고리즘

E_i T_k–t_k

T_max ---

k=1 N_mea

⎝ ∑ ⎠

⎜ ⎟

⎜ ⎟

⎛ ⎞

N_mea

⁄

=

P_i

α

^Nni

^⁄

^{Nmax CW}

i

⁄

CW_max +

---2

⎝ ⎠

⎜ ⎟

⎛ ⎞

=

그림

4.

유전자알고리즘을 이용한 인공신경망 최적화 흐름도

표

4.

유전자알고리즘을 이용한 다층신경망 구조의 최적화를 위한 설계조건

변수 값

GA

관련변수

세대당 개체수

1000

총 세대 수

40

유전자 처리를 위한 선별 개체수

900

돌연변이 확률

0.005

NN

관련변수

최대 입력변수 개수

6

은닉층 최대 개수

2

은닉층 최대 뉴런 수

15

을 이용하여 최적화 신경망 모델의 예측정도는 학습 및 검 증 단계에서 결정계수(R

²)

가 각각 0.959 및 0.889로 구해 졌다.

3.4

경험적 방법과 유전자알고리즘에 의한 최적 다층신경 망의 비교

경험적 반복법(TE)과 유전자알고리즘(GA)에 의하여 최 적화된 다층신경망 모델구조와 각 모델에 대하여 최상의 예측결과를 주는 다층신경망의 결정계수(R

²)

가 표 5에 정 리되어 있으며 그림 5에는 각 모델을 이용한 선행압밀하중 예측결과가 나타나 있다. 그림 5(a)에 나타난 바와 같이 학습자료에 대한 예측결과는 유전자알고리즘 다층신경망이 경험적 다층신경망에 비하여 높은 결정계수를 보이나 그림

5(b)

에 나타난 바와 같이 새로운 검증자료에 대한 예측에 서는 경험적 다층신경망을 통한 예측이 높은 결정계수를 보이는 것으로 나타나 어떤 모델이 우수하다고 단정하기 어렵다.

4.

초기 연결강도의 의존성과 군집신경망의 구축

4.1

초기 연결강도의 의존성

경험적 반복법와 유전자알고리즘에 의하여 구축된 다층 신 경망 모델의 최적구조를 이용하여 20개의 서로 다른 초기 연결강도와 바이어스(bias) 값에 대해 독립적으로 학습을 수 행하고 학습에 활용되지 않은 검증자료에 대한 예측을 수행 하였다. 그 결과 그림 6(a)와 같이 경험적 반복법에 의한 최적화 모델은 학습자료에 대해 큰 변동 없이 평균적으로 결정계수(R

²)

가 0.93정도의 예측을 수행하였다. 그러나 그림

6(b)

의 새로운 자료(검증자료)에 대한 예측에서는 동일한 최 적구조를 갖는 단일 다층신경망들임에도 불구하고 예측 결 정계수가 R

²=0.84

에서 R

²=0.94

까지 매우 변동적임을 알 수 있다. 또한 유전자알고리즘을 이용한 최적화 모델 역시 그림

7

에 나타난 바와 같이 학습자료에 대해서는 결정계수(R

²)

가 평균적으로 0.95정도로 높은 정확도의 예측이 가능하였으나 검증자료에 대해서는 R

²=0.86

에서 R

²=0.91

까지 변동성을 가 표

5.

최적화 방법에 따른 다층신경망의 모델 구조

최적화 방법 입력변수 뉴런수 전달함수 결정계수 (R

²)

학습 검증

경험적 반복법 σ

^'vo,

σ

vo, q_T, u₂ 7 Logsig-Logsig 0.929 0.922

유전자알고리즘 σ

^'vo, q_T, u₂, PI 14 Tansig-Linear 0.959 0.889

그림

5.

최적화 방법에 따라 구축된 다층신경망 모델의 선행압밀하중 예측 비교

그림

6.

다양한 초기 연결강도로 학습된 경험적 다층신경망의 예측 결정계수 비교

짐을 알 수 있다. 이는 최적화된 구조를 가지는 다층신경망 모델들일지라도 초기 연결강도에 따라 학습과정에서 최적화 된 연결강도가 서로 상이하여 새로운 검증자료에 대한 예측 결과가 다르게 나타남을 의미한다.

한편, 검증자료 예측 결정계수에 대한 표준편차를 비교하 면 경험적 다층신경망 모델은 0.03, 유전자알고리즘 다층신 경망 모델은 0.014로 유전자알고리즘 다층신경망이 경험적 다층신경망 모델에 비하여 상대적으로 예측 분산이 2배 이 상 작아 단일 신경망으로 예측할 경우 유전자알고리즘 다층 신경망 모델이 예측의 변동성이 더 작으며 우수한 것으로 판단된다.

4.2

군집신경망

(Committee Neural Network, CNN)

모 델 이론

군집신경망은 서로 다른 초기 연결강도에 대하여 독립적으 로 학습이 수행되어 최적화된 N개의 인공신경망(Network1,

Network2, … Network N)

들이 그림 8과 같이 군집(net-

work)

을 이룬 신경망 집단이다. 군집신경망을 이용한 구조건

전도 평가에 대한 연구결과(Lee 등, 2004)에 의하면 군집신 경망을 이용함으로써 단일 다층신경망의 경우에 나타나는 무 작위로 선정되는 연결강도의 초기값에 의한 예측결과의 오 차를 현저히 감소시킬 수 있는 것으로 알려졌다. 또한 군집 신경망은 개개의 신경망 구조의 훈련 시 훈련 자료에 포함 된 노이즈(noise)와 제한된 수의 훈련자료 등으로 인하여 발 생될 수 있는 연결강도의 국부해 문제까지 해결할 수 있어 개개의 신경망 예측에 비하여 높은 정확도를 확보할 수 있 는 것으로 보고되었다.

군집신경망 내 개개의 다층인공신경망들은 서로 다른 초기 연결강도를 가지고 식 (11)과 같은 학습패턴에 대해 독립적

으로 학습된다.

TP1={x1, t1}, TP2={(x2, t2)}, ..., TPN={(xN, tN)} (11)

여기서, TP

i=i

번째 신경망의 학습 패턴, x

i=i

번째 신경망의 입력벡터, t

i=i

번째 신경망의 출력벡터

또한, 사상(寫像)함수 f

i(xi)

값과 목표함수 값 d

i(xi)

을 바탕 으로 식 (12)와 같이 오차 e

i(xi)

를 정의할 수 있다.

ei(xi) = di(xi)

− f

i(xi) (12)

군집신경망의 함수(committee mapping function)는 다음 식 (13)과 같이 표현된다.

(13)

여기서, N=군집내의 신경망 수,

αi=i

번째 신경망의 가중치이 며 Σ

αi=1

따라서 군집신경망의 출력은 다음 식 (14)와 같이 각 신 경망의 결과들의 가중평균으로 표현된다.

(14)

fcom

의 평균제곱오차(MSE)는 다음과 같이 계산된다.

(15)

군집신경망 네트워크를 구성하는 각 인공신경망들은 같은

f_com( )X α_if_i i 1=

∑

N ^αi(di–ei) i 1=

∑

N ^αidi i 1=

∑

N ^αiei i 1=

∑

N

– d α_ie_i

i 1=

∑

N –

= = = =

y_com

α

_iy_i

i=1

∑

N

=

ε [

^f_com

] E d f [ (

–_com

)

²

] E α

_i'e_i

i 1=

∑

N

⎝ ⎠

⎜ ⎟

⎛ ⎞

²

= =

그림

7.

다양한 초기연결강도로 학습된 유전자알고리즘 다층신경망의 예측 결정계수 비교

그림

8.

군집신경망의 모식도

구조와 전달함수로 구성될 수도 있으나 경우에 따라서는 서 로 다른 구조와 전달함수를 갖는 다양한 인공신경망들의 네 트워크로 구성될 수도 있고, 같은 구조와 전달함수를 갖더라 도 독립적인 학습자료에 대해 학습될 수도 있다(김영상 등,

2007).

이제 그림 6과 7의 1~20까지의 단일 다층신경망들을 그림

8

과 같이 네트워크로 연결하고 식 (14)를 이용하여 각 다층 신경망의 예측결과의 평균으로 선행압밀하중을 예측하는 군 집신경망을 구축하였다.

4.3

군집신경망의 선행압밀하중 예측결과

한편 군집신경망 구성 시 네트워크 내 단일 신경망의 개 수에 따른 군집신경망의 예측능력 변화를 검토하기 위하여, 네트워크 내 단일 신경망의 수를 늘려가면서 학습 및 검증 자료에 대한 예측을 수행하였으며 그 결과가 그림 9와 10에 나타나 있다. 군집신경망 모델(Committee Neural Network) 은 개별 신경망의 예측결과의 변동과 무관하게 신경망의 수 가 증가 할수록 학습과 검증 모두에 대해 결정계수가 단일 신경망에 비해 증가하고 군집 내 다층신경망이 일정한 수 이상이 되면 수렴하는 경향을 보였다. 경험적 반복법에 의한 군집신경망은 학습과 검증에서 12개 이상의 다층신경망들의

군집부터 수렴하는 경향이 나타났고, 유전자알고리즘에 의한 군집신경망은 학습과 검증에서 4개 이상의 군집부터 예측결 과가 안정적으로 수렴하는 것을 알 수 있다.

이 결과로부터 서로 다른 방법에 의해 최적화된 구조들일 지라도 20개의 다층신경망들이 다양한 초기 연결강도에 대 해 학습되고 군집으로 연결되어 예측을 수행할 경우 서로 다르게 예측하는 결과들이 평균적으로 제공되기 때문에 다 층신경망의 초기 연결강도에 따른 변동성이 개선되며 오차 의 최소화가 가능하여 보다 신뢰성 있고 일관성 있는 예측 이 가능함을 알 수 있다.

또한, 유전자알고리즘과 같이 고도화된 방법에 의하여 최 적화된 모델이 아니라 경험적 반복법과 같은 일반적인 방법 에 의하여 최적화된 신경망 모델일지라도 초기 연결강도가 다른 개개의 단일 신경망을 군집신경망으로 구성할 경우 표

6

에 나타난 바와 같이 경험적 모델과 유전자알고리즘 모델의 예측결과는 상당히 근사(近似)하게 나타남을 알 수 있어 기 존의 경험적 방법에 의한 신경망 모델의 개선이 크게 어렵 지 않게 이루어질 수 있다.

4.4

기존의 이론적·경험적 모델과 비교·분석

그림 11에는 식 (2)의 이론적 모델과 식(5)의 경험적 모델

그림

9.

군집신경망 내 경험적 다층신경망 누적 수에 따른 예측결과 비교

그림

10.

군집신경망 내 유전자알고리즘 다층신경망 누적 수에 따른 예측결과 비교

을 이용하여 예측한 선행압밀하중과 본 연구에서 제안하는 군집신경망 모델의 선행압밀하중 예측결과를 비교하였다. 군 집신경망 모델이 기존의 이론적·경험적 선행압밀하중 예측 모델들에 비해 매우 적은 분산을 가지고 일관성 있게 예측 하고 있음을 알 수 있고 제안된 신경망 모델이 콘 측정값으 로부터 효과적으로 선행압밀하중을 예측하는데 사용될 수 있 음을 확인할 수 있다.

5.

결 론

본 연구에서는 피에조콘으로부터 연약지반의 선행압밀하중 을 예측하기 위해 기존에 제안되었던 신경망 모델이 입력변

수, 출력변수, 은닉층의 수, 전달함수와 같은 구조변수뿐 아 니라 초기 연결강도에 큰 영향을 받는다는 것을 설명하고, 최적 구조를 도출하기 위하여 경험적 반복법과 유전자 알고 리즘을 이용한 최적화 기법에 의해 최적 구조를 도출하였다.

또한 다수의 초기 연결강도에 대해 독립적으로 학습된 신경 망들을 네트워크로 연결한 군집신경망 모델을 구축하고 이 를 이용하여 수행된 예측결과를 비교·검증하였다.

1.

다층신경망의 최적화된 구조 도출을 위하여 경험적 반복

(Trial-Error)

법과 유전자 알고리즘에 의한 최적화법을 적

용하였다. 경험적 반복법은

σvo, σ'vo, qT, u2

를 입력변수 로 사용하며 단일 은닉층 내의 뉴런 수가 7개이고

Logsig-Logsig

전달함수 조합을 갖는 최적의 단일 다층신

경망 구조를 도출하였다. 유전자알고리즘을 이용한 최적화 에서는 입력변수로

σ'vo, qT, u2, PI

를 가지며 단일 은닉 층으로 14개의 뉴런을 가지고 Tansig-Linear의 전달함수 조합을 갖는 구조가 단일 다층신경망의 최적 구조로 도출 되었다.

2.

최적화된 구조를 갖는 단일 다층신경망들은 학습자료에 대 해서는 대부분 비교적 좋은 예측능력을 보였지만 검증자 료에 대해서는 동일한 구조를 가진 모델일지라도 초기에 부여되는 연결강도에 따라 예측능력에 차이를 나타내었다.

표

6.

최적화 방법에 따른 군집신경망 모델의 예측결과 경험적 반복법 유전자알고리즘 입력변수 σ

^'vo,

σ

vo, q_T, u₂

σ

vo, q_T, u₂, PI

뉴런수

7 14

군집내 신경망 수

20

개

20

개

전달함수

Logsig-Logsig Tansig-Linear

결정계수

(R²)

학습

0.948 0.959

검증

0.908 0.900

그림

11.

기존 모델들과 군집신경망 모델의 예측 결과 비교

유전자 알고리즘으로 최적화된 다층신경망 모델은 경험적 으로 최적화된 모델에 비하여 검증자료에 대한 예측의 변 동성이 상대적으로 작은 것으로 나타났다.

3.

그러나 최적화된 다층신경망을 네트워크로 연결한 군집신 경망에서는 경험법에 의한 신경망 모델과 유전자알고리즘 에 의한 신경망이 모두 학습자료와 검증자료에 대해 군집 신경망 네트워크 내의 다층신경망의 수가 증가함에 따라 예측성능이 개선되며 일정 개수 이상의 단일 신경망이 조 합될 경우에는 예측결과가 수렴하는 경향을 뚜렷이 보여 매우 안정되게 예측하는 것으로 나타나 단일 신경망의 초 기 연결강도 의존성이 크게 개선되는 것으로 나타났다.

4.

유전자알고리즘과 같이 고도화된 방법이 아니라 경험적 반 복법과 같은 일반적인 방법을 통하여 최적화된 신경망일 지라도 초기 연결강도가 다른 개개의 단일 신경망을 군집 신경망으로 구성할 경우 경험적 모델과 유전자알고리즘 모 델의 예측결과는 상당히 근사(近似)하게 나타남을 알 수 있어 기존의 경험적 방법에 의한 신경망 모델의 개선이 크게 어렵지 않게 이루어질 수 있다.

참고문헌

김병탁, 김영수, 배상근(2001) 압축지수의 추정을 위한 인공신경 망 적용과 경험식 제안, 한국지반공학회논문집, 한국지반공학 회, 제17권, 제6호, pp. 25-36.

김영상, 이승래, 김종수(2002) 피에조콘을 이용한 연약지반 선행 압밀하중 결정의 인공신경망 이론 적용 연구, 대한토목학회논 문집, 대한토목학회, 제22권, 제6-C호, pp. 623-633.

김영상, 주노아, 이종재(2007) 군집신경망과 확률신경망 이론을 이용한 연약지반의 측방유동 평가 모델, 한국지반공학회논문 집, 한국지반공학회, 제23권, 제7호, pp. 65-76.

김태준, 박봉기, 이재성, 전일수, 이충원, 정충열, 변영기, 윤현진, 이우진(2002), 선행압밀하중 결정방법의 비교분석, 한국지반 공학회 연약지반기술위원회

2002

학술세미나, 한국지반공학회 박현일, 권기철, 황대진, 이승래(2005) 최적의 인공신경망 구조 설계를 통한 지반 물성치 추정, 한국지반공학회논문집, 한국 지반공학회, 제21권, 제9호, pp. 25-34.

이강운, 윤길림, 채영수(2002) 해성점토 지반에서 CPT를 이용한 응력이력(OCR, σ

^'P)

의 산정, 한국지반공학회논문집, 한국지반 공학회, 제18권, 제6호, pp. 73-81.

이성진, 이승래, 장범수(2002) 인공신경망 모델을 이용한 불포화 겉보기점착력 추정에 관한 연구, 대한토목학회논문집, 대한토 목학회, 제22권, 제3-C호, pp. 331-344.

장인성, 권오순, 정충기, 김명모(2002) 피에조콘 관입시험 결과와 점성토의 과압밀비의 관계, 대한토목학회논문집, 대한토목학 회, 제22권, 제6-C호, pp. 651-659.

황명기, 김지형, 김영욱(2003) 초음파-토양수세법을 이용한 오염 지반 복원률증대에 인공신경망의 적용, 한국지반공학회논문 집, 한국지반공학회, 제19권, 제6호, pp. 343-350.

Chen, B.S.Y. (1994) Profiling stress history of clays using piezo- cone with dual pore pressure measurements, Ph.D. thesis, Georgia Institute of Technology, p. 350.

Chen, B.S.Y. and Mayne, P.W. (1996) Statistical relation ships between piezocone measurements and stress history of clays, Canadian Geotechincal Journal, Vol. 33, pp. 488-498.

Konrad, J-M., and Law, K.T. (1987) Preconsolidation pressure from piezocone tests in marine clays, Geotechnique, Vol. 32, No. 2, pp. 177-190.

Kurup, P.U. and Dudani, N.K. (2002) Neural networks for profil- ing stress history of clays from PCPT data, Journal of Geo- techincal and Geoenvironmental Engineering, Vol. 128, No. 7, July, pp. 569-579.

Lee, I. M. and Lee, J. H. (1996) Prediction of pile bearing capacity using artificial neural networks, Computers and Geotechnics, Vol. 18, No. 3, pp. 189-200.

Lee, J.W., Yi, J.H., Kim, J.D., and Yun, C.B. (2004) Health moni- toring method using committee of neural networks, Key Engi- neering Materials, Vol. 270-273, pp. 1983-1988.

Lunne, T., Robertson, P.K., and Powell, J.J.M. (1997) Cone pene- tration testing in geotechnical practice, Taylor & Fancis.

Mayen, P.W. (1991) Determination of OCR in clay by piezocone tests using cavity expansion and critical state concepts, Soils and Foundations, Vol. 31, pp. 65-76.

Rahman, M.S., Wang, J., Deng, W., and Carter, J.P. (2001) A neu- ral network model for the uplift capacity of suction caissions, Computers and Geotechnics, Vol. 39, pp. 337-356.

(

접수일: 2009.2.16/심사일: 2009.3.15/심사완료일: 2009.3.15)