Gaussian linear structural equation model learning using prior information^†

2020, 31

4)

489–500

사전 지식을 이용한 가우시안 선형 구조 방정식 학습

^†

기 ᆷ영환

1

²

³

123서울시립대 통계학과

ᄌ ᅥ

ᆸᄉ ᅮ 2020ᄂ ᅧ ᆫ 6ᄋ ᅯ ᆯ 5ᄋ ᅵ ᆯ, ᄉ ᅮᄌ ᅥ ᆼ 2020ᄂ ᅧ ᆫ 7ᄋ ᅯ ᆯ 7ᄋ ᅵ ᆯ, ᄀ ᅦᄌ ᅢ ᄒ ᅪ ᆨᄌ ᅥ ᆼ 2020ᄂ ᅧ ᆫ 7ᄋ ᅯ ᆯ 13ᄋ ᅵ ᆯ

요 약

ᄇ

ᅦᄋ ᅵᄌ ᅵᄋ ᅡ ᆫ ᄂ ᅦᄐ ᅳᄋ ᅯᄏ ᅳᄅ ᅳ ᆯ ᄋ ᅵᄋ ᅭ ᆼ ᄒ ᅡ ᆫ ᄇ ᅧ ᆫᄉ ᅮᄀ ᅡ ᆫ ᄇ ᅡ ᆼᄒ ᅣ ᆼᄉ ᅥ ᆼ ᄀ ᅪ ᆫ ᄀ ᅨ ᄎ ᅮᄅ ᅩ ᆫᄋ ᅳ ᆫ ᄆ ᅩᄌ ᅵ ᆸᄃ ᅡ ᆫᄋ ᅦᄉ ᅥ ᄌ ᅩᄎ ᅡ ᄇ ᅮ ᆯ ᄀ ᅡᄂ ᅳ ᆼ ᄒ ᅡᄃ ᅡᄀ ᅩ ᄋ ᅡ ᆯᄅ ᅧᄌ ᅧ ᄋ ᅵ ᆻ ᄋ

ᅥ ᆻᄋ ᅳᄂ ᅡ, ᄎ ᅬ ᄀ ᅳ ᆫ ᄋ ᅧ ᆫᄀ ᅮᄋ ᅦᄉ ᅥ ᄋ ᅩᄎ ᅡᄋ ᅴ ᄇ ᅮ ᆫ ᄉ ᅡ ᆫᄋ ᅳ ᆯ ᄋ ᅵᄋ ᅭ ᆼ ᄒ ᅡᄋ ᅧ ᄀ ᅡᄋ ᅮᄉ ᅵᄋ ᅡ ᆫ ᄉ ᅥ ᆫᄒ ᅧ ᆼ ᄀ ᅮᄌ ᅩᄇ ᅡ ᆼᄌ ᅥ ᆼᄉ ᅵ ᆨᄋ ᅴ ᄉ ᅵ ᆨᄇ ᅧ ᆯᄀ ᅡᄂ ᅳ ᆼ ᄒ ᅡ ᆷᄋ ᅳ ᆯ ᄌ ᅳ ᆼᄆ ᅧ ᆼᄒ ᅡᄋ ᅧ ᆻ ᄃ

ᅡ. ᄒ ᅡᄌ ᅵᄆ ᅡ ᆫ ᄌ ᅦᄋ ᅡ ᆫ ᄃ ᅬ ᆫ ᄉ ᅵ ᆨᄇ ᅧ ᆯᄉ ᅥ ᆼ ᄌ ᅩᄀ ᅥ ᆫᄋ ᅳ ᆫ ᄃ ᅡᄋ ᅣ ᆼᄒ ᅡ ᆫ ᄒ ᅧ ᆼᄐ ᅢᄋ ᅴ ᄇ ᅧ ᆫᄉ ᅮᄅ ᅳ ᆯ ᄀ ᅡᄌ ᅵ ᆫ ᄃ ᅦᄋ ᅵᄐ ᅥᄋ ᅦᄉ ᅥᄂ ᅳ ᆫ ᄆ ᅡ ᆫᄌ ᅩ ᆨ ᄒ ᅡᄀ ᅵ ᄋ ᅥᄅ ᅧ ᆸᄃ ᅡ. ᄄ ᅡᄅ ᅡᄉ ᅥ ᄇ

ᅩ ᆫ ᄋ ᅧ ᆫᄀ ᅮᄋ ᅦᄉ ᅥᄂ ᅳ ᆫ ᄉ ᅡᄌ ᅥ ᆫ ᄌ ᅵᄉ ᅵ ᆨᄋ ᅳ ᆯ ᄒ ᅪ ᆯᄋ ᅭ ᆼ ᄒ ᅡᄋ ᅧ ᄆ ᅩᄃ ᅦ ᆯ ᄉ ᅵ ᆨᄇ ᅧ ᆯᄉ ᅥ ᆼ ᄀ ᅡᄌ ᅥ ᆼᄋ ᅵ ᄆ ᅡ ᆫᄌ ᅩ ᆨ ᄒ ᅡᄌ ᅵ ᄋ ᅡ ᆭᄃ ᅥᄅ ᅡᄃ ᅩ ᄀ ᅡᄋ ᅮᄉ ᅵᄋ ᅡ ᆫ ᄉ ᅥ ᆫᄒ ᅧ ᆼ ᄀ ᅮᄌ ᅩ ᄇ ᅡ ᆼᄌ ᅥ ᆼ ᄉ ᅵ

ᆨᄋ ᅳ ᆯ ᄒ ᅡ ᆨᄉ ᅳ ᆸ ᄒ ᅡᄂ ᅳ ᆫ ᄇ ᅡ ᆼᄇ ᅥ ᆸᄋ ᅳ ᆯ ᄌ ᅦᄋ ᅡ ᆫᄒ ᅡ ᆫᄃ ᅡ. ᄌ ᅦᄋ ᅡ ᆫᄒ ᅡᄂ ᅳ ᆫ ᄋ ᅡ ᆯᄀ ᅩᄅ ᅵᄌ ᅳ ᆷᄋ ᅳ ᆫ ᄎ ᅥ ᆺᄇ ᅥ ᆫᄍ ᅢᄅ ᅩ ᄋ ᅵ ᆫᄀ ᅪ ᄆ ᅵ ᆾ ᄇ ᅡ ᆼᄒ ᅣ ᆼᄉ ᅥ ᆼ ᄀ ᅪ ᆫ ᄀ ᅨᄅ ᅳ ᆯ ᄋ ᅡ ᆯᄀ ᅩ ᄋ ᅵ ᆻᄂ ᅳ ᆫ ᄂ ᅩ ᄃ

ᅳ ᄀ ᅳᄅ ᅮ ᆸ ᄀ ᅪ ᄆ ᅩᄅ ᅳᄂ ᅳ ᆫ ᄂ ᅩᄃ ᅳ ᄀ ᅳᄅ ᅮ ᆸᄋ ᅳ ᆯ ᄂ ᅡᄂ ᅮᄀ ᅩ, ᄃ ᅮᄇ ᅥ ᆫᄍ ᅢᄅ ᅩ ᄆ ᅩᄅ ᅳᄂ ᅳ ᆫ ᄂ ᅩᄃ ᅳ ᄀ ᅳᄅ ᅮ ᆸ ᄋ ᅦᄉ ᅥᄋ ᅴ ᄋ ᅩᄃ ᅥᄅ ᅵ ᆼᄋ ᅳ ᆯ ᄇ ᅮ ᆯᄒ ᅪ ᆨ ᄉ ᅵ ᆯᄉ ᅥ ᆼ ᄌ ᅥ ᆷᄉ ᅮᄅ ᅩ ᄒ ᅡ

ᆨᄉ ᅳ ᆸ ᄒ ᅡᄀ ᅩ, ᄆ ᅡᄌ ᅵᄆ ᅡ ᆨᄋ ᅳᄅ ᅩ ᄌ ᅩᄀ ᅥ ᆫᄇ ᅮ ᄃ ᅩ ᆨᄅ ᅵ ᆸᄀ ᅪ ᆫ ᄀ ᅨᄅ ᅳ ᆯ ᄐ ᅩ ᆼ ᄒ ᅡᄋ ᅧ ᄇ ᅧ ᆫᄉ ᅮᄀ ᅡ ᆫ ᄇ ᅡ ᆼᄒ ᅣ ᆼᄉ ᅥ ᆼ ᄉ ᅥ ᆫᄋ ᅵ ᄌ ᅩ ᆫ ᄌ ᅢᄒ ᅡᄂ ᅳ ᆫ ᄌ ᅵ ᄑ ᅡᄋ ᅡ ᆨᄒ ᅡ ᆫᄃ ᅡ. ᄃ ᅡᄋ ᅣ ᆼᄒ ᅡ ᆫ ᄆ

ᅩᄋ ᅴᄉ ᅵ ᆯᄒ ᅥ ᆷᄋ ᅳ ᆯ ᄐ ᅩ ᆼ ᄒ ᅡᄋ ᅧ ᄇ ᅩ ᆫ ᄋ ᅧ ᆫᄀ ᅮᄋ ᅦᄉ ᅥ ᄌ ᅦᄋ ᅡ ᆫᄒ ᅡ ᆫ ᄇ ᅡ ᆼᄇ ᅥ ᆸᄋ ᅵ ᄀ ᅵᄌ ᅩ ᆫ ᄋ ᅴ ᄉ ᅥ ᆫᄒ ᅧ ᆼ ᄀ ᅮᄌ ᅩ ᄇ ᅡ ᆼᄌ ᅥ ᆼᄉ ᅵ ᆨ ᄒ ᅡ ᆨᄉ ᅳ ᆸ ᄋ ᅦ ᄊ ᅳᄋ ᅵᄂ ᅳ ᆫ Uncertainty Scoring (US), Greedy DAG Search (GDS), Linear non-Gaussian Models (LINGAM) ᄋ ᅡ ᆯᄀ ᅩᄅ ᅵᄌ ᅳ ᆷ ᄃ

ᅳ

ᆯ ᄀ ᅪ ᄋ ᅵ ᆯᄇ ᅡ ᆫᄌ ᅥ ᆨᄋ ᅵ ᆫ ᄇ ᅡ ᆼᄒ ᅣ ᆼᄉ ᅥ ᆼ ᄇ ᅵᄉ ᅮ ᆫᄒ ᅪ ᆫ ᄀ ᅳᄅ ᅢᄑ ᅵᄏ ᅥ ᆯ ᄆ ᅩᄃ ᅦ ᆯ ᄒ ᅡ ᆨᄉ ᅳ ᆸ ᄋ ᅦ ᄊ ᅳᄋ ᅵᄂ ᅳ ᆫ PC, Greedy Equivalent Search (GES) ᄋ

ᅡ

ᆯᄀ ᅩᄅ ᅵᄌ ᅳ ᆷᄃ ᅳ ᆯ ᄇ ᅩᄃ ᅡ ᄑ ᅧ ᆼᄀ ᅲ ᆫᄌ ᅥ ᆨᄋ ᅳᄅ ᅩ ᄃ ᅥ ᄌ ᅥ ᆼᄒ ᅪ ᆨ ᄒ ᅡᄀ ᅦ ᄀ ᅳᄅ ᅢᄑ ᅳᄅ ᅳ ᆯ ᄎ ᅮᄌ ᅥ ᆼᄒ ᅡᄂ ᅳ ᆫ ᄀ ᅥ ᆺᄋ ᅳ ᆯ ᄒ ᅪ ᆨ ᄋ ᅵ ᆫᄒ ᅡᄋ ᅧ ᆻᄃ ᅡ. ᄆ ᅡᄌ ᅵᄆ ᅡ ᆨᄋ ᅳᄅ ᅩ ᄉ ᅵ ᆯᄌ ᅦ 2014 - 2019ᄂ ᅧ ᆫ ᄇ ᅮᄃ ᅩ ᆼ ᄉ ᅡ ᆫ ᄀ ᅥᄅ ᅢ ᄃ ᅦᄋ ᅵᄐ ᅥᄋ ᅦ ᄌ ᅥ ᆨᄋ ᅭ ᆼ ᄒ ᅡᄋ ᅧ ᄒ ᅢᄉ ᅥ ᆨ ᄀ ᅡᄂ ᅳ ᆼ ᄒ ᅡ ᆫ ᄇ ᅧ ᆫᄉ ᅮᄀ ᅡ ᆫ ᄀ ᅪ ᆫ ᄀ ᅨᄅ ᅳ ᆯ ᄎ ᅡ ᆽᄂ ᅳ ᆫ ᄀ ᅥ ᆺᄋ ᅳ ᆯ ᄒ ᅪ ᆨ ᄋ ᅵ ᆫᄒ ᅡᄋ ᅧ ᆻᄃ ᅡ.

ᄌ

ᅮᄋ ᅭᄋ ᅭ ᆼ ᄋ ᅥ: ᄀ ᅮᄌ ᅩᄒ ᅡ ᆨᄉ ᅳ ᆸ, ᄇ ᅡ ᆼᄒ ᅣ ᆼᄉ ᅥ ᆼ ᄇ ᅵᄉ ᅮ ᆫᄒ ᅪ ᆫ ᄀ ᅳᄅ ᅢᄑ ᅵᄏ ᅥ ᆯ ᄆ ᅩᄃ ᅦ ᆯ, ᄇ ᅦᄋ ᅵᄌ ᅵᄋ ᅡ ᆫ ᄂ ᅦᄐ ᅳᄋ ᅯᄏ ᅳ, ᄉ ᅥ ᆫᄒ ᅧ ᆼ ᄀ ᅮᄌ ᅩ ᄇ ᅡ ᆼᄌ ᅥ ᆼᄉ ᅵ ᆨ, ᄋ ᅵ ᆫᄀ ᅪ ᄀ ᅪ ᆫ ᄀ ᅨ ᄇ

ᅮ ᆫᄉ ᅥ ᆨ.

1. 서론 ᄇ

ᅦ이지안 네트워크 (Bayesian network) 또는방향성 비순환그래피컬 모델 (directed acyclic graph- ical model)은 변수들의 확률적 의존관계 또는 인과관계를 표현하기 위한 모델로서, 최근 복잡한 영 ᄋ

ᅧᆨ (domain)에서 불확실성을 해결하기 위한 머신러닝 방법으로 부각되고 있다. 이에 따라 의학, 기상 ᄒ

ᅡᆨ, 소프트웨어, 스포츠 분야 등다양한 분야에서 변수들이 이루는시스템을설명하는데활용되고 있다 (Choi와 Lee, 2016; Park, 2019; Park과 Park, 2019). 하지만 변수간 방향성관계를정확히 찾을수 없 느

ᆫ모델 식별성 (model identifiability) 문제로 인해 학습알고리즘의 개발은제한적으로 이루어졌다.

CPDAG Learning Algorithm 설명 대표적인 방향성 비순환 그래피컬 모델의 학습알고리즘으로는 추

ᆼ실성 가정 (faithfulness assumption) 하에서 마코프 동등그룹 (Markov equivalence class; MEC)를 ᄎ

ᅡᆽ을수 있는 PC알고리즘과 Greedy Equivalent Search (GES) 알고리즘이 있다. 여기서 충실성 가정

†

ᄋ ᅵ ᄉ ᅥ ᆼᄀ ᅪᄂ ᅳ ᆫ 2018ᄂ ᅧ ᆫᄃ ᅩ ᄀ ᅪᄒ ᅡ ᆨᄀ ᅵᄉ ᅮ ᆯᄌ ᅥ ᆼᄇ ᅩᄐ ᅩ ᆼᄉ ᅵ ᆫᄇ ᅮᄋ ᅴ ᄌ ᅢᄋ ᅯ ᆫ ᄋ ᅳᄅ ᅩ ᄒ ᅡ ᆫᄀ ᅮ ᆨᄋ ᅧ ᆫᄀ ᅮᄌ ᅢᄃ ᅡ ᆫᄋ ᅴ ᄌ ᅵᄋ ᅯ ᆫᄋ ᅳ ᆯ ᄇ ᅡ ᆮᄋ ᅡ ᄉ ᅮᄒ ᅢ ᆼᄃ ᅬ ᆫ ᄋ ᅧ ᆫᄀ ᅮᄋ ᅵ ᆷ(NRF- 2018R1C1B5085420).

1

(02504) ᄉ ᅥᄋ ᅮ ᆯ ᄃ ᅩ ᆼ ᄃ ᅢᄆ ᅮ ᆫ ᄀ ᅮ ᄉ ᅥᄋ ᅮ ᆯ ᄉ ᅵᄅ ᅵ ᆸᄃ ᅢᄅ ᅩ 163, ᄉ ᅥᄋ ᅮ ᆯ ᄉ ᅵᄅ ᅵ ᆸᄃ ᅢ ᄐ ᅩ ᆼ ᄀ ᅨᄒ ᅡ ᆨᄀ ᅪ, ᄃ ᅢᄒ ᅡ ᆨᄋ ᅯ ᆫᄉ ᅢ ᆼ.

2

(02504) ᄉ ᅥᄋ ᅮ ᆯ ᄃ ᅩ ᆼ ᄃ ᅢᄆ ᅮ ᆫ ᄀ ᅮ ᄉ ᅥᄋ ᅮ ᆯ ᄉ ᅵᄅ ᅵ ᆸᄃ ᅢᄅ ᅩ 163, ᄉ ᅥᄋ ᅮ ᆯ ᄉ ᅵᄅ ᅵ ᆸᄃ ᅢ ᄐ ᅩ ᆼ ᄀ ᅨᄒ ᅡ ᆨᄀ ᅪ, ᄃ ᅢᄒ ᅡ ᆨᄋ ᅯ ᆫᄉ ᅢ ᆼ.

3

ᄀ ᅭᄉ ᅵ ᆫᄌ ᅥᄌ ᅡ: (02504) ᄉ ᅥᄋ ᅮ ᆯ ᄃ ᅩ ᆼ ᄃ ᅢᄆ ᅮ ᆫ ᄀ ᅮ ᄉ ᅥᄋ ᅮ ᆯ ᄉ ᅵᄅ ᅵ ᆸᄃ ᅢᄅ ᅩ 163, ᄉ ᅥᄋ ᅮ ᆯ ᄉ ᅵᄅ ᅵ ᆸᄃ ᅢ ᄐ ᅩ ᆼ ᄀ ᅨᄒ ᅡ ᆨᄀ ᅪ, ᄀ ᅭᄉ ᅮ.

E-mail: [email protected]

ᄋ

ᅵ란 모든변수들의 조건부 독립관계와 그래프에서 방향성 분리 (d-separation)가 서로 필요충분관계 ᄋ

ᅵ며, 이때 방향성 분리란 그래프에서 변수 X와 Y 가 서로 연결되어 있지 않은경우를의미한다. 또한 ᄆ

ᅡ코프 동등그룹이란 앞서 언급한 조건부 독립관계들을 공유하는 그래프들의 집합을의미한다. 하지 ᄆ

ᅡᆫ 대부분의 마코프 동등그룹은하나 이상의 그래프를포함하고 있기 때문에 실제 그래프를추정하는데 ᄋ

ᅥ려움이 있다 (Spirtes 등, 2000).

ᄄ

ᅡ라서 방향성 비순환 그래피컬 모델을 정확히 추정하기 위하여 식별성 조건을 제안하고, 이를 학 ᄉ

ᅳ

ᆸ하는 알고리즘들이 개발되고 있다. 특히 선형 구조 방정식을 학습하기 위한 방법으로 (Peters와 B¨uhlmann, 2014; Park과 Kim, 2020; Shimizu 등, 2006)에서 각각 Greedy DAG Search (GDS) 알 ᄀ

ᅩ리즘, Uncertainty Scoring (US)알고리즘, LINGAM알고리즘이 개발되었다. 이를자세히 설명하 ᄆ

ᅧᆫ, (Peters와 B¨uhlmann, 2014)이 제안한 GDS 알고리즘은선형 구조 방정식의 모든가산오차의 분산 ᄋ

ᅵ 같다는 동일 오차 분산을가정하여 그래프 구조를학습한다. 하지만 동일 오차 분산 가정은 공간 및 ᄉ

ᅵ계열과 같은 데이터라 할지라도 만족하기 어렵다. 따라서 (Park과 Kim, 2020)은 오차의 분산이 비 ᄉ

ᅳ

ᆺ하더라도 그래프 학습이 가능한 Uncertainty Scoring (US) 알고리즘을개발하였다. 그리고 마지막으 ᄅ

ᅩ (Shimizu 등, 2006)이 제안한 LINGAM 알고리즘의 경우 오차의 분산에는제약조건이 없지만 모든 ᄋ

ᅩ차의 비가우시안 분포를가정하고 선형 구조 방정식을학습한다 (모델 식별성 조건의 자세한 설명은 3절에서 다룬다).

ᄒ

ᅡ지만 위의 세 가지 학습알고리즘들은모델 식별성 가정이 만족하지 않으면 모집단에서조차 변수간 ᄇ

ᅡᆼ향성관계를찾는것이 불가능하다고 알려져 있다. 또한 위에서 언급한 동일 및 비슷한 오차 분산, 비 ᄀ

ᅡ우시안 오차분포와 같은가정은변수의 수가 많은 빅데이터의환경에서는만족하기 매우 어렵다. 따 ᄅ

ᅡ서 본연구에서는선형 구조 방정식의 모델 식별성 조건을완벽히 만족하지 않더라도, 사전 지식을바 ᄐ

ᅡᆼ으로 학습할 수 있는 방법을 제안한다. 제안하는 구조 학습 알고리즘은 다음과 같이 세가지 단계로 ᄀ

ᅮ성된다. 첫번째로 인과 및 방향성관계를알고 있는노드 (node) 그룹과 모르는노드 그룹을나눈다.

ᄃ

ᅮ번째로 모르는노드 그룹에서의 오더링을 US알고리즘에서 사용하는 불확실성 점수를이용해 학습한 ᄃ

ᅡ. 마지막으로 조건부 독립성 검정을 통하여 변수간 방향성 선이 존재하는지 파악한다.

보

ᆫ연구의 구성은 다음과 같다. 2절에서는 방향성 비순환그래피컬 모델과 가우시안 선형 구조 방정 시

ᆨ의 이론적 배경을설명하고, 3절에서는 본연구에서 제안하는학습알고리즘을설명한다. 그리고 4절 ᄋ

ᅦ서는 학습 알고리즘과 기존의 방법들을모의실험을 통해 비교하며, 5절에서는 제안한 학습알고리즘 ᄋ

ᅳᆯ 2014 - 2019년 서울시 부동산 데이터에 적용하여 전세가와 매매가의관계를추론한다. 마지막으로 6절에서는연구의 결과를요약하며 결론을맺는다.

2. 이론적 배경 ᄋ

ᅵ 절에서는 본 논문에 사용된방향성 비순환그래피컬 모델의 용어와 개념을소개하고, 선형 구조 방 저

ᆼ식에 대한 기존의 학습방법에 대해 설명한다.

2.1. 방향성 비순환 그래피컬 모델의 기본 개념 ᄇ

ᅡᆼ향성 그래프 G는 (V, E)로 표현되며, V = {1, 2, ..., p}는노드들의 집합이고, E ⊂ V ×V 는노드간 ᄉ

ᅥᆫ (edge)들의 집합이다. 노드 j로부터 k로 가는방향성 선의 경우 j → k 혹은 (j, k) ∈ E로 표현한다.

ᄂ

ᅩ드 j의 부모 집합 (parents set)은 Pa(j) := {k ∈ V | (k, j) ∈ E},그 반대를자식 집합 (children set) Ch(j) := {k ∈ V | (j, k) ∈ E}이라 한다. 만약 노드 j로부터 k로 가는방향성 경로가 j → · · · → k인 겨

ᆼ우, j는 k의 조상 (ancestor)이고, k는 j의 자손 (descendant)이라 한다. 이때 노드 j의 자손 집 ᄒ

ᅡᆸ은 De(j)이며, 노드 j의 비자손 집합 (non-descendant set)은 N d(j) := V \ ({j} ∪ De(j))이라

ᄒ

ᅡᆫ다. 방향성 비순환 그래프는 부모노드가 자식노드보다 먼저 위치하는 오더링 (ordering)을 가지며, π = (π1, π2, ..., πp)으로 표기한다. 즉, 모든 j < k에 대하여 πj와 πk가 서로 선으로 연결되어 있으면, πj는반드시 π^k의 부모노드가된다. 그리고 입력차수 (in-degree)는 d = maxj|Pa(j)|로 각 노드가 가 ᄌ

ᅵ는부모 수의 최대값이다.

ᄀ

ᅳ래프에 대응하는확률벡터는 X := (Xj)j∈V,그래프의 결합확률분포는 P(G) = P(X1, X2, ..., Xp) ᄋ

ᅳ로 표기한다. 또한 노드 j ∈ V 에 대하여, P(X^j| XS)는확률벡터 X^S:= {Xs| s ∈ S}가 주어질 때 Xj의 조건부확률분포를의미한다. 그래프의 결합밀도함수는 인수분해 정리에 의하여 다음과 같다.

fG(X1, X2, ..., Xp) =

p

Y

j=1

fG(Xj| XPa(j)). (2.1)

ᄋ

ᅵ때 fG(Xj| XPa(j))는 XPa(j):= {Xk : k ∈ Pa(j)}가 주어질 때의 Xj의 조건부확률밀도함수이다.

ᄇ

ᅡᆼ향성 비순환그래피컬 모델에 대한 보다 자세한 내용은 (Lauritzen, 1996; Spirtes 등, 2000)에서확인 ᄒ

ᅡ기를추천한다.

2.2. 선형 구조 방정식과 학습 알고리즘 ᄉ

ᅥᆫ형 구조 방정식 모델은각 변수들이 부모 변수들과 선형관계를이루고, 서로 독립인 가산오차를갖 느

ᆫ방향성 비순환그래피컬 모델의 특별한 형태이다. 다음은선형 구조 방정식 모델의 구조이다:

Xj= βj0+ X

k∈Pa(j)

βjkXk+ ϵj, for all j ∈ V. (2.2)

ᄋ

ᅵ때 (ϵ^j)j∈V는서로 다른 분산을허용하는가산오차이다. 이를 행렬로 표현하면 다음과 같이 쓸수 있 ᄃ

ᅡ:

(X1, X2, ..., Xp)^T = B0+ B(X1, X2, ..., Xp)^T+ (ϵ1, ϵ2, ..., ϵp)^T, ᄋ

ᅵ때 B0 = (β10, β20, ..., βp0)^T ∈ R^p는절편 벡터이고, B = (βjk) ∈ R^p×p는선 가중치 또는자기회 ᄀ

ᅱ 행렬이다. 선 가중치 행렬의 원소 [B]jk= βjk는 Xk가 Xj에 영향을주는정도라고 할 수 있다. 또 ᄒ

ᅡᆫ, ϵ = (ϵ1, ϵ2, ..., ϵp)^T ∼ N (0p, Σϵ),여기서 0^p= (0, 0, ..., 0)^T ∈ R^p이며 Σ^ϵ∈ R^p×p은오차의 분산 (σj²)j∈V을 원소로 갖는대각형렬이다.

ᄉ

ᅥᆫ 가중치 행렬 B는 변수들이 이루는 인과 및 함수관계를 반영하여 k ∈ Pa(j)라면 βjk ̸= 0이고, k /∈ Pa(j)라면 βjk = 0인 0이 아닌 선 가중치 조건 (non-zero edge weights condition)을 만족한다.

ᄋ

ᅵ 조건하에서 가우시안 선형 구조 방정식 모델은마코프 조건 (Markov condition)과 인과적 최소성 조 ᄀ

ᅥᆫ (causal minimality condition)을만족하여, 다음과 같은변수들의 조건부 독립관계를만족하게된다 ((Pearl, 2014)): 모든노드 j ∈ V 에 대하여,

k ∈ Pa(j) ⇐⇒ Xj⊥̸⊥ Xk| XS, for all Pa(j) \ {k} ⊂ S ⊂ Nd(j) \ {k}. (2.3) ᄒ

ᅡ지만 방향성 비순환그래피컬 모델은변수간의 직·간접적인 영향력을설명할 수 있다는장점에도 불 ᄀ

ᅮ하고, 추가적인 정보 없이는그래프 학습이 불가능한 식별성 (identifiability) 문제를가지고 있다. 예

X1 X2

G1

X1 X2

G2

X1 X2

G3

Figure 2.1 Bivariate directed acyclic graphs of G

, G

and G