A Comparison Study of Model Parameter Estimation Methods for Prognostics

A Comparison Study of Model Parameter Estimation Methods for Prognostics

안 다 운* 김 남 호** 최 주 호†

An, Dawn Kim, Nam Ho Choi, Joo Ho

···

요 지

건전성 예측은 구조물의 고장이 발생될 때까지 남은 시간인 잔존유효수명을 예측하는 것으로, 이는 안전 및 정비 계획과 직접적으로 연관되기 때문에 매우 중요하다. 건전성 예측방법에는 물리모델 기반방법, 데이터 기반방법과 두 방법의 장점 을 통합하는 방법이 있으며, 본 연구에서는 잔존수명 예측의 정확도가 모델변수 추정과 직접적으로 관련되는 물리모델 기 반 건전성 예측에 초점을 맞춘다. 물리모델기반 건전성 예측에서는 모델변수 추정을 통해 시스템 상태의 장기 예측이 가능 하지만, 대부분의 실제 구조물들의 상태모델은 여러 개의 모델변수를 포함함은 물론이고, 그 변수들이 서로 상관되어 있기 때문에 모델변수를 추정하는 일은 간단한 문제가 아니다. 본 연구에서는 물리모델 기반 건전성 예측을 위한 세 가지 변수 추정방법들의 차이를 논한다. 이 세 가지 방법들은 파티클 필터, 전반적인 베이지안 접근법, 그리고 순차적인 베이지안 접 근법으로 모두 베이지안 추론이라는 하나의 이론적 바탕에 기반하지만, 샘플링 방법이나 갱신 절차 등에서 차이가 있다.

균열성장을 표현하는 Paris 모델의 변수 추정을 통해 세 가지 방법의 차이점이 논해지고, 건전성 예측 메트릭을 이용하여 정량적 차이를 표현한다. 파티클 필터방법이 건전성 예측 메트릭 측면에서 가장 높은 성능을 나타내었지만, 전반적인 베이 지안 방법은 파티클 필터방법과 근소한 차이를 보이면서도 데이터가 집단으로 존재할 때에는 가장 효율적인 방법으로 나 타났다.

핵심용어 : 파티클 필터, 마코프체인 몬테카를로, 베이지안 추론, 변수 추정, 물리모델 기반 건전성 예측

Abstract

Remaining useful life(RUL) prediction of a system is important in the prognostics field since it is directly linked with safety and maintenance scheduling. In the physics-based prognostics, accurately estimated model parameters can predict the remaining useful life exactly. It, however, is not a simple task to estimate the model parameters because most real system have multivariate model parameters, also they are correlated each other. This paper presents representative methods to estimate model parameters in the physics-based prognostics and discusses the difference between three methods; the particle filter method(PF), the overall Bayesian method(OBM), and the sequential Bayesian method(SBM). The three methods are based on the same theoretical background, the Bayesian estimation technique, but the methods are distinguished from each other in the sampling methods or uncertainty analysis process. Therefore, a simple physical model as an easy task and the Paris model for crack growth problem are used to discuss the difference between the three methods, and the performance of each method evaluated by using established prognostics metrics is compared.

Keywords : particle filter, Markov chain Monte Carlo, Bayesian inference, parameter estimation, physics based prognostics

···

†책임저자, 종신회원․한국항공대학교 항공우주 및 기계공학부 교수 Tel: 02-300-0117 ; Fax: 02-3158-2191

E-mail: [email protected]

* 한국항공대학교 항공우주 및 기계공학과 박사과정

** University of Florida, Dept. of Mechanical & Aerospace Engineering 교수

∙이 논문에 대한 토론을 2012년 10월 30일까지 본 학회에 보내주 시면 2012년 12월호에 그 결과를 게재하겠습니다.

1. 서 론

구조물의 결함 여부와 상관없이 정기적으로 행해지는 예방

정비의 비효율적인 측면을 개선하기 위한 방안으로써, 상태 기반정비가 최근 관심을 받고 있다. 상태기반정비는 구조물 에 부착된 감지기를 통해서 운용 중 발생된 결함을 감지, 관

찰하는 구조건전성 모니터링에 기반한다. 건전성 모니터링으 로부터 얻어진 데이터는 건전성 예측기법을 통해서 구조물의 미래 건전성 상태 및 잔존유효수명을 예측하고 이로부터 정 비계획을 세우는데 이용된다.

건전성 예측방법은 일반적으로 데이터 기반(Schwabacher, 2005), 물리모델 기반(Luo 등, 2008), 그리고 두 방법의 장 점들이 결합된 통합 방법(Yan 등, 2007)의 세 가지로 구분되 며, 본 연구에서는 물리모델과 측정된 데이터를 통합하여 구조 물의 미래 상태 및 잔존유효수명을 예측하는 물리모델 기반 건 전성 예측방법의 측면에서 모델변수 추정방법들을 비교하여 차이점을 논하고자 한다. 파티클 필터(particle filter, PF), 전반적인 베이지안 접근법(overall Bayesian method, OBM), 그리고 순차적인 베이지안 접근법(sequential Bayesian method, SBM)의 세 가지가 논의 대상에 포함된다.

파티클 필터(Orchard 등, 2007; Zio 등, 2011)는 순차적 인 몬테카를로 방법이라고도 불리며, 베이지안 접근법에 기반 하여 시간 의존적 시스템 모델을 추정하고 순차적으로 갱신하 는 방법이다. 전반적인 베이지안 접근법(안다운 등, 2010;

An 등, 2012)은 현재까지 얻어진 데이터 집단에 기반하여 추 정하고자 하는 변수의 사후분포를 구축한 후 샘플링을 위해 적 절한 방법을 사용한다. 마코프체인 몬테카를로 샘플링이 효과 적인 방법으로 알려져 있다. 순차적인 베이지안 접근법은 파티 클 필터와 마찬가지로 데이터 추가에 따라 갱신과정이 순차적 으로 이루어지며, 전반적인 베이지안 방법에서 사용하는 마코 프체인 몬테카를로 방법을 사용한다.

이 세 가지 방법들은 모두 베이지안 추론이라는 하나의 이론 적 배경을 갖고 있음에도 불구하고 각 방법을 사용한 추정 및 예 측 결과는 차이가 있다. 파티클 필터와 순차적인 베이지안 접근 법은 시간에 따른 예측에 기반하여 불확실성 분석이 단계적으로 이루어지지만, 전반적인 베이지안 방법은 엄밀히 말하면 시간 의존적이기 보다는 데이터에 의존하기 때문에 집단으로 존재하 는 데이터를 한꺼번에 이용할 수 있다. 샘플링 방법 역시 결과에 차이를 나타내는 중요한 원인이며, 파티를 필터와 순차적인 베 이지안 방법이 같은 시간 의존적 접근방법임에도 차이가 나는 원인을 설명한다. 세 가지 방법들은 물리적 거동이 비교적 잘 알 려져 있기 때문에 물리모델 기반 건전성 예측 연구에 많이 이용 되는 균열성장문제(Orchard 등, 2007; Zio 등, 2011; An 등, 2012)를 대상으로 하여 수행되고, 각 방법으로부터 얻어진 결과와 그 결과가 나타나는 원인이 구체적으로 분석된다.

2. 베이지안 기반 건전성 예측방법

베이지안 추론은 관측된 데이터를 이용하여 불확실한 변수

를 추정하기 위한 확률적 접근법으로, 다음과 같은 베이의 법칙(Bayes, 1763)을 기본이론으로 한다.

 ∝





^





^

^

^

^{ }

^

^

^

2.1 파티클 필터(particle filter, PF)

파티클 필터(particle filter, 이하 PF)에서는 갱신과정이 순차적으로 이루어지는데, 이때 추정하고자 하는 불확실 변 수의 확률정보가 파티클(또는 샘플)의 형태로 전달되기 때문 에 PF를 순차적인 몬테카를로(sequential Monte Carlo) 방법이라고도 부른다(Orchard 등, 2007). 이 방법의 절차 가 Fig. 1에 나타나 있으며, 크게 예측, 갱신, 재추출의 과 정을 거친다.

예측단계(prediction step)

이전단계의 사후분포가 현 단계에서 사전분포로 활용되는 단계를 말하며, 다음과 같은 상태천이함수(state transition function)

^

 _    ^     _  _ 

여기서,

^ 

^

^ 

 _   _{  }   _ ∆   _

데이터가 측정되는 시간 구간

^∆

^ 

^ 

^ 

^ 

^   

으며(

^    _{  }

^ 

계의

^   

^ 

Fig. 1 Illustration of PF process

Fig. 2 The results from PF in the simple example

샘플들이 항상 필요하기 때문에 시간 스텝

^{ }

^{ }

갱신단계(update step)

갱신은 새로운 데이터가 추가 되면서 이루어지며, 사후분포 를 만족하는 샘플을 추출하는 단계이다. 보통 비가우시안 분포 로 표현되는 사후분포로부터 샘플을 추출하기 위해 중요분포 (importance distribution)

^

^

   ^  _{≡ }

   ^ 



  ^     ^ 

   …

여기서,

^

^   ^  ≡

  ^ 



 ^   _ ^  _ ^ 

 

^   _

 



    



  _ ^

 ^     ^ 

  ^{ }

     …

 _    ^   _ 

여기서,

^ 

^

^

^ 

^ 

 ^  

재추출단계(resampling step)

가중치는 Fig. 1의 수직막대로 나타낸 것과 같이,

^   _



^ 

 _ ^  

  





 ^   _ ^  _ ^ 



 ^   _ ^  _ ^ 

   …

변수의 각 샘플에 해당하는 가중치가 얻어지면 재추출 (resampling) 과정을 통하여 가중치에 비례하여 샘플이 복 제되거나 제거됨으로써 사후분포가 되고, 이 결과는 또 다음 단계에서의 사전정보로 활용된다.

측정데이터에 기반한 갱신과정이 완료되면, 이후 시간에서 의 시스템상태 예측은 마지막 갱신과정에서 얻어진 모델변수 와 상태천이함수에 기반해서 이루어진다. Fig. 2에 식 (3)의 변수추정 및 시스템상태 예측결과를 나타내었다. 프로세스 노이즈와 측정 노이즈는 각각

^ 

^{}

^ 

^{}

^

2.2 전반적인 베이지안 접근법(Overall Bayesian method, OBM)

전반적인 베이지안 접근법(Overall Bayesian method, 이하 OBM)의 사후분포는 식 (8)과 같이 각각의 데이터 정

Fig. 3 Illustration of OBM process

Fig. 4 The results from OBM in the simple example

이 사후분포의 확률 특징을 잘 표현해 주는 샘플들이 추출됨 으로써 갱신과정이 완료된다.

∝

 _  ×

 _  ×⋯×

 _  × 

본 논문에서는 마코프체인 몬테카를로(Markov Chain Monte Carlo, 이하 MCMC; Andrieu 등, 2003) 샘플링 방법을 적용하였으며, MCMC 샘플링의 대표적인 방법인 Metropolis-Hastings(M-H) 알고리즘이 아래에 요약되어 있다.

1. Initialize

^{ }

^{  }

^{  }

- Sample

^{ ∼}

_{ }

^{  ∼ }   ^  ^ 

- if

^{ }

  ^  ^     ^{ }    ^      ^  ^ 

   ^      ^   ^ 



^{     }

^{     }

여기서,

^{ }

^



^   ^  ^ 

일반적으로 OBM에서는 시스템 상태가 모델변수에 의해서 만 표현되기 때문에, PF에서 사용된 예제, 식 (3)은 프로세 스 노이즈를 무시하면 다음 식 (10)과 같이 다시 쓸 수 있으 며, 사후분포는 모든 데이터의 우도와 모델변수의 사전분포 의 모든 곱으로써, 식 (11)과 같이 표현된다.

 _   ×  _

 

^   _

 





 _{ }





  



  _ ^

 ^    _  ^{ }



 × 

PF에서의 예제와 마찬가지로, 데이터 개수

^



2.3 순차적인 베이지안 접근법(Sequential Bayesian method, SBM)

순차적인 베이지안 접근법(Sequential Bayesian method, 이하 SBM)은, PF와 마찬가지로 데이터 추가에 따라 갱신과 정이 순차적으로 이루어지지만, 샘플링 측면에서는 OBM과 마찬가지로 MCMC 방법을 사용한다. 갱신방법은 식 (12)과 같이, 샘플링 방법은 식 (13)과 같이 나타난다.

 _  _{  } ∝

 _  _  ×  _{  }  _{    } 

^{  }

^

^   ∼   ^     _{    } 

3. For

^{  }

^{  }

^{ ∼}

_{ }

^ 

 ∼   ^     _{    } 

- if

^{ }

 ^    _ ^  ^{   }







 

 ^   



 ^    ^









^      _ ^

^      _ ^

(a) PF (b) SBM

Fig. 6 Illustration of sampling characteristic of PF and SBM

(a) sequential process: PF and SBM

(b) overall process: OBM

Fig. 5 Illustration of the Bayesian inference

세 가지 방법이 모두 베이지안 접근법에 기반하고 있는지 만, 차이를 보이는 원인은 갱신절차와 샘플링 방법이 다르기 때문이다. Fig. 5는 세 방법의 갱신절차를 묘사한 그림으로 Fig. 5(a)는 PF와 SBM의 순차적인 방법을, Fig. 5(b)는 OBM의 전반적인 방법을 나타낸다. PF와 SBM에서는 순차 적인 방법을 통해서 갱신이 이루어짐에 따라 누적되는 샘플 링 오차가 생기게 되는 반면, OBM은 최종 갱신된 사후분포 에서 한 번의 샘플링이 이루어지기 때문에 갱신에 의한 오차 가 없고, 따라서 샘플링 방법의 성능이 증가할수록 정확한 추정 결과를 나타낼 수 있다.

PF와 SBM의 갱신절차는 같지만, Fig. 6에 나타낸 것과 같이 샘플링 방법에는 차이가 있고, 따라서 갱신에 의한 누 적오차 또한 다르게 나타난다. PF에서는 이전단계의 사후분 포의 모든 샘플들이 선택되어 현 단계에서의 사전분포 역할 을 하고, 우도에 의해서 평가된 후 제거되거나 복제되는 과 정을 거치기 때문에, 샘플의 빈약 현상(scanty samples phenomenon)이 생길 수 있다. 반면, SBM에서는 임의로 선택된 이전단계의 사후분포들이 현 단계에서의 사전분포 역 할을 하게 된다. 따라서 어떤 샘플들은 중복되어 선택되지만 어떤 샘플은 선택에서 배제되기도 한다. 이에 따른 SBM의 누적 샘플링 오차 결과는 어떤 한 부분으로 샘플들이 집중 되는 현상이다. 다음 장에서 이에 대한 결과가 균열성장문

제를 통해 보여진다. 균열성장은 물리적 거동이 비교적 잘 알려져 있어 물리모델 기반 건전성 예측 연구에 많이 이용 되고 있다.

3. 균열성장문제 적용을 통한 세 가지 방법의 비교

세 가지 방법의 수행을 위해 균열성장 거동을 나타내는 다 음 식과 같은 Paris 모델(Paris 등, 1963)이 적용된다.







 ^  

 

^ 

여기서,

^

^

^

^

^ 

 _ 



 



 ^{  } 

  ^{ ∆}

^{            }   ^{   }



(15)

측정데이터는, 모델변수의 실제값

^  

 

×10

^-10

^  

^{ }

   

^

^   

^   

(a) PF

(b) OBM

(c) SBM

Fig. 8 The results of estimated parameters at 1000 cycles (a) crack growth prediction with estimated parameters at

1000 cycles

(b) convergence process of  (c) convergence process of 

Fig. 7 Results from PF in crack growth problem

는 노이즈를 더하여 얻은 값을 이용한다. Fig. 7(a)에 검정 색 점들이 변수추정에 사용된 1000cycles 까지의 측정데이 터 들을 나타낸다. 우도는 정규분포를 따른다고 가정되며,



^ 

 ∼

  _ ∼





∼

    ×  ^{ }     ×  ^{ } 

우선, 두 개의 모델 변수 중에 의 실제값이 알려져 있다 고 가정했을 때, PF를 이용한

^ 

7(b)와 (c)에 나타나있다. 이 결과에서 1000 사이클에서의 변수 추정결과를 이용하여 균열성장을 예측 결과가 Fig.

7(a)에 나타나 있으며, 1500 사이클 이후(2500 사이클)에 서의 균열크기까지 정확히 예측하고 있음이 확인되며, 이러 한 결과는 OBM과 SBM에서도 유사하게 나타난다.

반면,  역시 불확실 변수로 포함된 세 변수 추정문제에 서는 세 방법에서의 결과가 다소 차이를 나타낸다. Fig. 8이 세 변수추정 문제에서 의미가 있는 결과 차이를 보이는

^

플링 특성이 나타난다. 갱신에 의한 누적오차가 없기 때문에 사후분포의 형태를 잘 표현하지만,

^

이러한 변수 추정 결과는 식 (17)을 통해 계산되어지는 잔존수명예측(remaining useful life, RUL)에도 영향을 미 친다.



_{ }



 ^{  } 

  ^{ ∆}

^{   }

 _ ^{  }   _ ^{  }

  _  

매 사이클 마다 추정된 변수들을 식 (16)에 적용하여 구한, 잔존유효수명의 결과가 Fig. 9에 나타나있고, 건전성 예측 메트릭(Saxena 등, 2009)을 통한 비교를 Table 1에 나타 내었다. 그림으로 부터 PF의 결과가 실제와 가장 가깝게 좁 은 산포로 빨리 수렴함을 알 수 있으며, 표에는 굵은 글씨로 높은 성능을 나타내는 결과에 표시를 했는데, 여기에서도 역 시 PF가 가장 효과적인 방법으로 나타난다. 하지만 OBM의 결과 역시 PF와 큰 차이는 보이지 않는다. 이 결과로부터,

PF OBM SBM PH

(  =10%) 1600 1600 1300

   accuracy

(  =10%,  =0.5) true true false

RA

(  =0.5) 0.9940 0.9731 0.8953

CRA 0.9391 0.9262 0.8958

Convergence (

 is nonnegative

prediction error)

735 642 524

Table 1 Performance evaluation for three methods

PF OBM SBM

update process sequential overall sequential

sampling method resampling MCMC MCMC

initial

distribution prerequisite not necessary not necessary levels of

difficulty for performance

simple complex normal

accuracy of model parameter

estimation

good

very good (not easy to

obtain)

normal

evaluation of

RUL prediction very good good fair

computational costs (data added in

stages)

low high lower than

OBM

computational costs (batch data

existence)

normal very low high

proper usage

progressed problem by time step

when batch

data exist -

Table 2 Summary of the differences between the three methods

(a) PF

(b) OBM

(c) SBM

Fig. 9 The RUL prediction

추정 변수의 사후분포의 형태를 잘 표현한 결과 순 (PF>OBM>>SBM)으로 잔존유효수명의 정확도가 높고, PF 의 샘플 빈곤현상이 예측에 결과에 크게 영향을 미치지 않는 다는 것을 알 수 있다.

본 균열성장 예제에서는 PF의 샘플빈곤현상이 잔존유효수 명 예측에 영향을 미치지 않았지만, 갱신과정이 더 진행된다 면 예측의 정확도를 떨어뜨릴 수 있는 여지도 있다. OBM이 정확도 측면에서 PF와 큰 차이를 보이지 않은 점을 생각하 면, 이 두 방법은 건전성 예측을 위한 변수추정에 각각의 장 단점을 보완하여 양립될 수 있다. 갱신의 초기 단계에 OBM 을 사용함으로써, 집단 데이터를 사용하는 것에 따른 시간 효율 증가뿐만 아니라, 충분한 샘플을 획득할 수 있는 장점 이 있고, 갱신과정의 후반에서는 PF를 사용하여 예측의 정 확도를 높일 수 있다. PF와 OBM이 각각 시간측면과 데이 터 측면으로 구분되어 적용되어 왔던 부분이 본 논문에 사용 된 균열성장 문제와 같이 분명한 모델식이 존재하는 경우에 한에서는 구분없이 또는 보완적으로 사용될 수 있다. Table

2에 지금까지 언급되었던, 각 방법들의 특징을 요약하여 나 타내었다.

4. 결 론

본 논문에서는 물리모델 기반 건전성 예측을 위해 사용되 는 세 가지 변수 추정방법, PF(파티클 필터), OBM(전반적 인 베이지안 접근법), SBM(순차적인 베이지안 접근법)의 특성을 비교하고, 그 특성이 나타나는 원인을 분석하였다. 세 방법은 균열 성장 문제를 대상으로 수행되었고, 건전성 예측 메트릭을 통해 정량적으로 평가되었다. SBM에서의 추정은 PF와 마찬가지로 순차적으로 이루어지지만, 두 방법의 샘플

링 방법은 서로 차이가 있어 다른 예측 결과를 나타내었다.

PF의 샘플링 방법이 훨씬 더 효율적이며, 샘플자체를 사전 정보로 활용하는 효과적인 방법임이 밝혀졌다. 반면, OBM 은 파티클 필터보다 다소 낮은 성능을 나타내었지만, 샘플링 방법의 정확도가 향상된다면, 더 정확한 결과를 얻을 수 있 는 여지가 있다. 결과적으로, PF와 OBM은 각각, 실시간 추 정과 집단 데이터 이용에 효과적이기도 하지만, 두 방법의 장단점에 기반하여 물리모델 기반 건전성 예측을 위한 변수 추정에 보완적으로 사용될 수 있다.

감사의 글

본 연구는 2011년도 지식경제부의 재원으로 한국에너지기 술평가원(KETEP)의 지원을 받아 수행한 연구 과제입니다 (No. 20118520020010).

참 고 문 헌

안다운, 강진혁, 최주호 (2010) MCMC Approach for Parameter Estimation in the Structural Analysis and Prognosis, 한국전산구조공학회 논문집, 23(6), pp.641~649.

An, D., Choi, J.H., Kim, N.H. (2012) Identification of Correlated Damage Parameters under Noise and Bias Using Bayesian Inference, Structural Health Monitoring, 11(3), pp.292~302.

Andrieu, C., Freitas, D.N., Doucet, A., Jordan I.M. (2003) An Introduction to MCMC for Machine Learning, Machine Learning, 50(1), pp.5~43.

Bayes, T. (1763). An Essay Towards Solving a Problem in the Doctrine of Chances, Philosophical Transactions of the Royal Society of London, 53, pp.370~418.

Glynn, P.W., Iglehart, D.L. (1989) Importance Sampling for Stochastic Simulations, Management

Science, 35(11), pp. 1367~1392.

Luo, J., Pattipati, K.R., Qiao, L., Chigusa, S.

(2008) Model-based Prognostic Techniques Applied to a Suspension System, IEEE Transactions on System, Man and Cybernetics, 38(5), pp.1156~

1168.

Orchard, M.E., Vachtsevanos, G.J. (2007) A Particle Filtering Approach for On-Line Failure Prognosis in a Planetary Carrier Plate, International Journal of Fuzzy Logic and Intelligent Systems, 7(4), pp.221~227.

Paris, P.C., Erdogan, F. (1963) A Critical Analysis of Crack Propagation Laws, ASME Journal of Basic Engineering, 85, pp.528~534.

Saxena, A., Celaya, J., Saha, B., Saha, S., Goebel, K. (2009) On Applying the Prognostic Performance Metrics, Annual Conference of the Prognostics and Health Management Society, San Diego, CA.

Schwabacher, M.A. (2005) A Survey of Data-driven Prognostics, AIAA Infotech@Aerospace Conference, Reston, VA.

Yan, J., Lee, J. (2007) A Hybrid Method for On-line Performance Assessment and Life Prediction in Drilling Operations, IEEE International Conference on Automation and Logistics, Shandong, China.

Zio, E., Peloni, G. (2011) Particle Filtering Prognostic Estimation of the Remaining Useful Life of Nonlinear Components, Reliability Engineering and System Safety, 96(3), pp.403~409.

논문접수일 2012년 7월 4일 논문심사일 2012년 7월 9일

게재확정일 2012년 8월 16일