Global Function Approximations Using Wavelet Neural Networks

<학술논문> DOI:10.3795/KSME-A.2009.33.8.753

웨이블렛 신경망을 이용한 전역근사 메타모델의 성능비교

신 광 호^* · 이 종 수^†

(2009 년 5 월 14 일 접수, 2009 년 7 월 24 일 수정, 2009 년 7 월 24 일 심사완료)

Global Function Approximations Using Wavelet Neural Networks

Kwang Ho Shin and Jongsoo Lee

Key Words : Global Function Approximation(전역근사화), Feed-Forward Neural Networks(신경망), Wavelet Neural Network(웨이블렛 신경망), Wavelet Transform(웨이블렛 변환)

Abstract

Feed-forward neural networks have been widely used as function approximation tools in the context of global approximate optimization. In the present study, a wavelet neural network (WNN) which is based on wavelet transform theory is suggested as an alternative to a traditional back-propagation neural network (BPN). The basic theory of wavelet neural network is briefly described, and approximation performance is tested using a nonlinear multimodal function and a composite rotor blade analysis problem. Laplacian of Gaussian function, Mexican function, and Morlet function are considered during the construction of WNN architectures. In addition, approximation results from WNN are compared with those from BPN.

1. 서 론

최근 해석모델링을 위한 시스템이 복잡해지면서 주어진 데이터를 이용하여 미지의 데이터를 구하는 근사 모델을 적용하는 움직임이 활발하며, 공학설계 및 최적화 과정을 진행 하는데 있어서 방대한 계산과 자료처리가 요구되고 있다. 전역근사화 방법으로서 실험 또는 컴퓨터해석 모델의 데이터를 통해 반응표면을 생성하는 방법인 인공 신경망(artificial neural network, ANN)을 활발히 사용하고 있다.⁽¹⁾ 인공신경망은 생물학 적인 뇌의 신경세포를 모델화하여 인공적인 계산 프로세스를 생성하는 것이다. 인공신경망에 있어서 중요한 구성요소는 데이터 및 정보 처리기와 이들 상호간의 연결이다.

신경세포의 인공적인 모델은 뉴런에 연결된 다른

처리기들로부터의 입력에 연결선의 가중치를 고려한 후, 그 결과를 적당한 활성화 함수로 처리하여 연결된 다른 처리기로 출력하는 것을 기본으로 하고 있다.

신경망의 구조는 입력층, 은닉층, 출력층의 세 계층으로 이루어져 있으며, 중간계층(은닉층)의 개수 및 뉴론의 개수 변화를 통하여 모델링 하고자 문제의 비선형적 특성에 따라 다양하게 사용되고 있다.

신경망 모델의 대표적인 방법으로 역전파 신경망 및 최상학습기계(extreme learning machine)⁽²⁾와 원주 기저함수(radial basis function)⁽³⁾ 방법 등이 사용되고 있다. 이러한 근사화 및 정보처리의 장점을 가지고 있는 신경망기반 근사화 메타모델을 이용하여 최적화 과정에서 함수 계산량이 방대하게 증가하는 유전알고리즘⁽⁴⁾ 및 진화컴퓨팅방법 등과 연계하여 효율적인 전역근사 최적해를 탐색하는데 유용하게 사용되고 있다.^(5~8)

본 연구에서는 입력변수와 출력함수간에 비선형성 (nonlinearity)과 비오목성(nonconvexity)의 특성을 내포하고 있는 설계문제에 대한 전역근사화 능력을 높이기 위한 신경망모델의 방법으로서 푸리에 변환으로부터 변형된 형태인 웨이블렛을 이용한 웨이블렛 신경망을 제안하고, 기존의 역전파 [이 논문은 2009 년도 CAE 및 응용역학부문 춘계학술대회

(2009. 5. 14.-15., 한국관광공사 T2 아카데미) 발표논문임]

† 책임저자, 회원, 연세대학교 기계공학부 E-mail: [email protected]

TEL: (02)2123-4474, FAX: (02)362-2736

* 회원, 연세대학교 대학원 기계공학과

2. 웨이블렛 신경망

웨이블렛변환은 푸리에변환을 이용한 시간-주파수 변환과는 달리 신호에 포함되어 있는 스케일에 대해 뛰어난 분해능력을 지니고 있다. 스케일이 변하는 경우 푸리에변환은 적용의 한계를 가지는데 이러한 단점을 보완하고 비선형 함수의 특성을 정확하게 표 현하기 위해 웨이블렛을 적용한다. 본 연구에서는 웨이블렛변환 과정에서의 ‘시간-주파수’간의 관계를 근사화모델 과정에 필요한 ‘입력변수-출력변수’의 관 계로 대치하여 메타모델을 구현하였다.

2.1 웨이블렛 함수

근사화하고자 하는 출력함수의 비선형성을 표현 하기 위해 웨이블렛에서는 다음과 같은 형태의 모 함수(mother function), Y_{a b,} ( )t 를 정의한다.

,

( ) 1 ( )

a b

t t b a a

Y = Y - (1)

여기서, a^는 모함수로부터 웨이블렛의 전이를 나 타내는 즉, 출력 값을 변화시키는 웨이블렛 압축 (dilation)계수이며 b 는 입력값에서의 웨이블렛의 전이를 나타내는 전이(translation)계수이다⁽⁹⁾. 식(1) 은 웨이블렛 모함수로부터 압축계수와 전이계수를 변화시켜 크기가 다른 다양한 웨이블렛의 집합을 정의하며 아래의 조건을 만족한다.

| ( ) |2

| | ^g

w dw C

w

+¥

-¥ Y =

ò

여기서, Y( )w 는 웨이블렛 Y( )t 의 푸리에변환을 나타낸다. 이 조건을 만족하기 위해서는 w=0^에 서 Y( )w 가 무한대로 발산하지 않기 위한 조건이 필요하며 이를 푸리에변환과 연결하면 다음의 관 계식을 얻는다.

(w 0) 0

Y = = , ^+¥ ( )t dt 0

-¥Y =

ò

식 (3)으로부터 웨이블렛의 푸리에변환은 w=0인 지점에서 스펙트럼의 값이 0 이라는 것을 나타내 며, 식 (2) 및 (3)은 웨이블렛변환을 위해 웨이블 렛이 만족해야 하는 허용가능조건이다.⁽¹⁰⁾

전통적인 역전파 신경망에서 활성함수(activation function)의 역할을 하는 웨이블렛의 모함수로서 본 연 구에서는 다음과 같은 세 가지 함수를 고려한다.

12

( )x xe^-2^x

Y = - (4)

(a) Laplacian of Gaussian function

(b) Mexican function

(c) Morlet function Fig. 1 Wavelet mother functions

12

2 2

( ) (1x x e) ^{- x}

Y = -

(5)

1 2 2

0

( ) 1 cos(2 )

2

x e^- x pv x

Y = , v₀>0.8 (6) 여기서, 식 (4), (5), 및 (6)을 각각, 라플라스 가우 시안(Laplacian of Gaussian function, L of G), 멕시칸 (Mexican function) 및 모를렛 함수(Morlet function) 라 하며 이들을 Fig. 1 에 나타내었다. 라플라스 가 우시안 함수는 비선형성이 강한 함수에 대한 근사 화 및 수렴성이 뛰어나며, 멕시칸 함수는 불연속 적인 특징을 갖는 함수에 대해 근사화 적용이 가 능하지만, 입력 값과 압축, 전이 계수에 민감하게 반응하여 신경망근사화 값이 실제 값을 과도하게 예측하는 단점이 있다. 모를렛 함수는 단일 변수 함수에 대한 근사화가 빠르게 이루어 지는 특징을 갖는다.⁽¹¹⁾

Fig. 2 Typical WNN architecture

2.2 웨이블렛 신경망의 구조

기존의 역전파 신경망은 은닉층과 출력층을 통과 하는 학습과정에 활성함수를 적용하지만 웨이블렛 신경망에서는 식 (4)~(6)과 같은 웨이블렛 모함수를 은닉층에서만 적용한다. 웨이블렛 신경망에 의한 출 력 값의 근사화 결과는 다음의 식으로 표현된다.

,

1 1

( ) _{j j}( )

L M

i ij a b jk k

j k

y t w w x

= =

=

å

å

여기서, x_k 및 y_i는 각각, 입력벡터 및 출력벡터이며, wij 는 은닉층의 j번째 뉴런과 출력층의 i번째 뉴런 사이의 연결강도, w_jk는 입력층의 k번째 뉴런과 은닉 층의 j번째 뉴런 사이의 연결강도이다. 즉, 전통적인 역전파 신경망에서 사용했던 은닉층과 출력층에서 활 성함수를 모두 적용하여 근사화 출력 값을 산출하는 방식과 다르게 웨이블렛 신경망에서는 은닉층에서 출 력되는 값에 대해서만 웨이블렛 모함수를 적용하여 근 사화 결과를 계산하였다. 본 이론을 설명하는 간단한 구조의 웨이블렛 신경망을 Fig. 2 에 나타내었다.

2.3 초기화 및 학습

웨이블렛 신경망을 초기화하는 과정으로 압축계 수 a_j 와 전이계수 b_j 를 적절히 선택해야 한다.

설계변수의 범위인 [x_k^min,x_k^max]를 고려하고 입력벡 터의 범위 내에서 중심 t₀와 반지름 s_Y를 이용 하여 웨이블렛의 구간을 다음과 같이 설정한다.

0 0

[b_j +a t_j -a_js_Y,b_j+a t_j +a_js_Y] (8) 여기서, 각각의 상한 및 하한은 아래의 식으로 표현 된다.⁽¹²⁾

0 min

1 M

j j j jk k

k

b a t as_Y w x

=

+ - =

å

0 max

1 M

j j j jk k

k

b a t as_Y w x

=

+ + =

å

Fig.3 Ackley’s path function

이를 바탕으로 본 연구에서 사용하는 압축계수와 전이계수는 각각, 다음과 같이 설정된다.

max min

1 1

2

M M

jk k jk k

k k

j

w x w x

a ⁼ s_Y⁼

-

=

å å

(10)

max 0 min 0

1 1

( ) ( )

2

M M

jk k jk k

k k

j

w x t w x t

b

s s

s

Y Y

= =

Y

- - +

=

å å

입력층, 은닉층, 출력층의 뉴런간의 연결강도를 나 타내는 연결가중치는 역전파 신경망의 경우와 같 이 각각의 초기값은 무작위(random)로 선정하여 학습과정을 수행한다. 초기 값을 통하여 얻은 출 력 값과 목표 값에 대한 오차를 최소화하기 위해 웨이블렛 신경망 역시 기존의 역전파 신경망에서 사용하는 경사하강에 의한 최소평균자승 방법을 이용한다. 즉, 입력 설계변수의 모든 훈련 데이터 값에 대해 오차가 최소화 되는 과정을 통해 뉴런 간의 연결강도와 압축계수 및 전이계수를 조절하 는 학습과정을 거치게 된다.

3. 비선형 함수예제

신경망기반 전역근사화 메타모델링의 성능을 계산 하기 위해 Fig. 3 과 같이 강한 비선형성과 비오 목 성을 내포하고 있는 Ackley’s path function 을 다 음과 같이 고려한다.

2 2

1 2

0.2 2

1 2

( , ) 20

x x

f x x e

- +

= - (11)

1 2

cos(2 ) cos(2 )

2 20 1

x x

e e

p + p

- + +

1 2

2 x x, 2

- £ £

주어진 설계영역에서 무작위로 선정된 훈련데이터 의 개수를 50, 100, 150, 200 개로 변화시켜가며

(a) 50 training data

(b) 100 training data

(c) 150 training data

(d) 200 training data

Fig. 4 Testing error of Ackley’s path function

전역근사화 결과를 분석하였다. 이때 4 가지 경우 에 적용한 테스트데이터 역시 무작위로 선정되었 으며, 훈련데이터의 최소개수보다 적은 30 개의 동 일한 테스트데이터가 사용되었다. Fig. 4 를 통해 각각, 역전파 신경망과 웨이블렛 신경망으로 구성 한 반응표면의 근사 값과 실제 값의 상대오차를 평균 및 최대치를 기준으로 비교하였다.

layers function

1 BPN 1 3 Sigmoid

2 BPN 2 3-2 Sigmoid

3 BPN 1 3 HT

4 BPN 2 3-2 HT

5 WNN 1 3 L of G

6 WNN 1 2 Mexican

7 WNN 1 3 Morlet

Table 1 에 표시한 바와 같이 역전파 신경망의 경우 은닉층의 개수 및 주어진 은닉층에서의 뉴론 의 수를 변화시켰으며, 활성함수로서는 시그모이 드 함수(sigmoid function)와 하이퍼볼릭 탄젠트 함 수(hyperbolic tangent function, HT)를 적용하였다. 본 연구에서 사용한 웨이블렛 신경망기반 전역근사화 의 반응표면이 훈련데이터 수의 규모에 관계없이 역전파 신경망보다 우수한 근사화 성능을 나타내 고 있음을 알 수 있다.

4. 로터 블레이드 설계문제

구조설계문제로서 XV-15 로터에 사용되는 복합 재 블레이드를 고려하였다.^(13,14) 구조역학적으로 강한 비선형성을 갖는 블레이드의 단면은 Fig. 5 및 Table 2 에 나타낸 바와 같이 D-spar, skim, web 등으로 구성되어 있으며, 설계문제를 위해 D-spar 의 두께(h_D), skin 의 두께(h_skin), web 의 두께(h_web) 및 web 의 위치(d_loc)와 web 의 경사각도(d_ang)를 설계변수로 선정하였다.⁽¹⁵⁾ 본 설계문제는 로터블 레이드의 플러터 불안정성을 피하기 위해 c를 블 레이드의 코드길이라 할 때, 공력중심, c/ 4와 전 단중심 c_x간이 거리를 최소화하도록 앞서 설명한 5 가지의 설계변수를 결정하는 문제이다. 이를 위 해 구조역학적 제한조건으로는 공탄성학적 설계변 경이 발생하더라도 기존의 구조역학적 성능 즉, 비틀림 및 굽힘강성의 변화가 급격히 발생하는 것 을 방지해야 하는 조건이 필요하다. 현재 사용되 는 로터 블레이드의 구조역학적 성능의 큰 변화 없이 공탄성학적 성능을 개선하기 위한 설계문제 를 최적설계 수식화를 통해 표현하면 아래와 같이 정리될 수 있다.⁽¹⁵⁾

Table 2 Design variables in rotor blade problem Design

variable

Lower bound

Upper bound

Unit

hD 0.3 0.4 in

hskin 0.04 0.05 in

hweb 0.01 0.05 in

dloc -8.5 -7 in

dang 60 120 degree

Fig. 5 Composite rotor blade section

Minimize 1

| |

x 4

f =c - c (12)

subject to 1

base

m

m £ (13)

0.95 1.05 ( )_base

GJ

£ GJ £ (14)

²²

22

0.95 1.05

( )_base EI

£ EI £ (15)

³³

33

0.95 1.05

( )_base EI

£ EI £ (16)

여기서, 하첨자 base는 현재 사용되는 로터 블레 이드 설계 값이며 m, GJ , EI₂₂ 및 EI₃₃는 각각 블레이드 단면의 질량, 비틀림강성, 굽힘강성을 나 타낸다. 즉, 식 (12)~(16)이 의미하는 것은 질량의 감소가 이루어져야 하며, 비틀림 및 굽힘강성에 대해서는 기존 설계 대비 +5%의 변화만이 허용되 는 제한조건하에 블레이드의 공력중심과 전단중심 간의 거리를 최소화하는 식 (12)를 이용함으로써

(a) m

(b) GJ

(c) EI22

(d) EI33

Fig. 6 Averaged testing error of rotor blade problem 공탄성학적 성능을 개선하기 위한 블레이드의 단 면치수들을 결정하는 최적화 문제이다.

본 논문에서는 최적화를 수행하기에 앞서 식 (13)~(16)에 표현된 구속조건 함수에 대해 전역 근 사화 모델을 신경망을 이용하여 생성하고자 한다.

5. 결과 및 토의

훈련데이터를 통해 5% 이내의 오차 범위를 가지

layers

1 BPN 1 3 Sigmoid

2 BPN 2 3-2 Sigmoid

3 BPN 1 3 HT

4 BPN 2 3-2 HT

5 WNN 1 3 L of G

6 WNN 1 4 L of G

7 WNN 1 5 L of G

8 WNN 1 3 Mexican

9 WNN 1 4 Mexican

10 WNN 1 5 Mexican

11 WNN 1 3 Morlet

12 WNN 1 4 Morlet

13 WNN 1 5 Morlet

고 있도록 하였다. Fig. 6 에서는 역전파 신경망 및 웨이블렛 신경망에 대해 은닉층과 뉴런의 개수, 활성화 함수 및 웨이블렛 모함수의 종류를 변화 시키면서 500 개의 훈련데이터에 대한 92 개의 테 스트데이터의 근사값과 실제값의 근사화 결과의 상대오차를 비교하였다. 이때 훈련데이터 및 테스 트데이터는 각 설계변수 범위 내에서 무작위로 선 택되었다. Table 3 에 표시한 다양한 수치실험의 조 건을 기반으로 전역근사화의 결과를 살펴보면, 역 전파 신경망에서는 m, GJ, EI22, EI33에 대한 예측 능력이 일정하지 못하고 0.5% 이상의 오차 값을 얻어내는 경우가 발생하였다. 반면에 웨이블렛 신 경망에서는 예측 능력이 신경망구조 변화에 관계 없이 일정한 수준으로 나타나는 것을 볼 수 있다.

결과 값을 통해 다 변수 문제에 대하여 본 연구에 서 적용한 웨이블렛 신경망기반의 근사모델 결과 가 기존의 역전파 신경망방법 보다 예측 능력이 우수함을 알 수 있다.

복합재 로터 블레이드 설계문제를 통해 신경망 구조를 결정하는 주요 파라미터인 은닉층의 개수, 은닉층 뉴론의 개수, 활성함수 또는 웨이블렛 모 함수 및 훈련데이터의 개수 등에 대한 다양한 선 택과 변화를 통해 기존의 역전파 신경망보다 학습, 훈련 및 테스트결과에 있어서 근사화 오차율이 개 선되는 웨이블렛 신경망의 장점을 확인하였다.

갖는 함수에 대한 전역근사 메타모델링의

방법으로 웨이블렛 신경망을 제안하였고, 복합재 로터 블레이드의 단면설계문제에 있어서 질량, 비틀림강성 및 굽힘강성에 대한 근사화 결과를 역전파 신경망의 결과와 비교하였다. 신경망 구조를 결정하는 은닉층의 개수, 은닉층 뉴론의 개수 및 활성함수 또는 웨이블렛 모함수, 훈련데이터의 개수 등 다양한 가변 파라미터의 변화를 통해 기존의 역전파 신경망보다 우수한 웨이블렛 신경망의 우수성을 확인하였다. 향후, 웨이블렛 신경망기반 전역근사화 모델을 바탕으로 해석과정에 있어 설계변수와 반응함수 사이에 비선형성 및 비오목성의 특징을 내포하고 있는 설계문제에 대하여 유전알고리즘 및 진화연산 최적화기법을 이용하여 전역근사최적화를 수행할 예정이다.

참고문헌

(1) Hornik, K., Stinchcombe, M. and White, H., 1990,

“Universal Approximation of an Unknown Mapping and Its Derivatives Using Multilayer Feed-forward Networks,” Neural Networks, Vol. 3, pp. 551~560.

(2) Gondal, Z. and Lee, J., 2008, “Reliability Assessment Using Neural Network Based Approximations and Monte Carlo Simulation,” Proceedings of the 5th China-Japan-Korea Joint Symposium on Optimization of Structural and Mechanical Systems, Jeju, Korea.

(3) Chung, S., Min, S., Lee, T., Choi, D.-H., Lee, J., Volovoi, V. and Mavris, D., 2005, “Metamodeling of High Dimensional Models Using Sequential Adaptive Radial Basis Function,” Proceedings of the 6th World Congress on Structural and Multidisciplinary Optimization, Rio de Janeiro, Brazil.

(4) Lee, J. and Kim, D., 2006, “A Method of Genetic Algorithm Based Multiobjective Optimization via Cooperative Coevolution,” Journal of Mechanical Science and Technology, Vol. 20, No. 12, pp.

2141~2149.

(5) Lee, J. and Hajela, P., 1996, “Parallel Genetic Algorithm Implementation in Multidisciplinary Rotor

Blade Design,” Journal of Aircraft, Vol. 33, No. 5, pp.

962~969.

(6) Lee, J. and Kim, S., 2007, “Optimal Design of Engine Mount Rubber Considering Stiffness and Fatigue Strength,” Proceedings of the Institution of Mechanical Engineers, Part D: Journal of Automobile Engineering, Vol. 221, No. 7, pp. 823~835.

(7) Lee, J. and Kang, S., 2007, “GA Based Meta- Modeling of BPN Architecture for Constrained Approximate Optimization,” International Journal of Solids and Structures, Vol. 44, No. 18~19, pp.

5980~5993.

(8) Lee, J., Jeong, H. and Kang, S., 2008, “Derivative and GA Based Methods in Meta-Modeling of Back- Propagation Neural Networks for Constraint Approximate Optimization,” Structural and Multidisciplinary Optimization, Vol. 35, No. 1, pp.

29~40.

(9) Yacine, O. and Gerard, D., 2000, “Initialization by Selection for Wavelet Network Training,”

Neurocomputing, Vol. 34, pp.131~143.

(10) Zhang, Q. and Benveniste, A., 1992, “Wavelet

Networks,” IEEE Transactions on Neural Networks, Vol. 3, No. 6, pp. 889~898.

(11) Oussar, Y. and Rivals, I., 1998, “Training Wavelet Networks for Nonlinear Dynamic Input-Output Modeling,” Neurocomputing, Vol. 20, pp.173~188.

(12) Zhou, B., Shi, A, Cai, F. and Zhang, Y., 2004,

“Wavelet Neural Networks for Nonlinear Time Series Analysis,” ISNN 2004, Vol. 3174, pp. 430~435.

(13) Cesnik, C. E. S. and Hodges, D. H., 1997, “A New Concept for Composite Rotor Blade Cross-Sectional Modeling,” Journal of American Helicopter Society, Vol. 42, No. 1., pp.27~38.

(14) Yu, W., Hodges, D. H., Volovoi, V. V. and Cesnik, C.

E. S., 2002, “On Timoshenko Like Modeling of Initially Curved and Twisted Composite Beams,”

International Journal of Solids and Structures, Vol. 39, No. 7, pp. 5185~5203.

(15) Lee, J., Jeong, H., Choi, D.-H., Volovoi, V. and Mavris, D., 2007, “An Enhancement of Constraint Feasibility in BPN Based Approximate Optimization,”

Computer Methods in Applied Mechanics and Engineering, Vol. 196, Issues 17-20, pp. 2147~2160.