The effect of latent variable distribution and divergence on the performance of deep generative network based semi-supervised learning^†

2019, 30

5)

997–1009

잠재변수의 분포와 정보량이 심층생성망 기반 준지도학습의 성능에 미치는 영향에 관한 연구 ^†

ᄋ

ᅵ영현

¹

²

12인제대학교 통계학과

ᄌ ᅥ

ᆸᄉ ᅮ 2019ᄂ ᅧ ᆫ 8ᄋ ᅯ ᆯ 23ᄋ ᅵ ᆯ, ᄉ ᅮᄌ ᅥ ᆼ 2019ᄂ ᅧ ᆫ 9ᄋ ᅯ ᆯ 14ᄋ ᅵ ᆯ, ᄀ ᅦᄌ ᅢ ᄒ ᅪ ᆨᄌ ᅥ ᆼ 2019ᄂ ᅧ ᆫ 9ᄋ ᅯ ᆯ 16ᄋ ᅵ ᆯ

요 약

ᄌ

ᅮ ᆫ ᄌ ᅵᄃ ᅩᄒ ᅡ ᆨᄉ ᅳ ᆸ (semi-supervised learning)ᄋ ᅳ ᆫ ᄆ ᅩ ᆨ ᄑ ᅭᄀ ᅡ ᆹ (target value)ᄋ ᅵ ᄋ ᅵ ᆻᄂ ᅳ ᆫ ᄃ ᅦᄋ ᅵᄐ ᅥᄆ ᅡ ᆫ ᄋ ᅵᄋ ᅭ ᆼ ᄒ ᅡᄂ ᅳ ᆫ ᄌ ᅵ ᄃ

ᅩᄒ ᅡ ᆨᄉ ᅳ ᆸ ᄀ ᅪᄂ ᅳ ᆫ ᄃ ᅡ ᆯᄅ ᅵ ᄆ ᅩ ᆨ ᄑ ᅭᄀ ᅡ ᆹᄋ ᅵ ᄋ ᅥ ᆹᄂ ᅳ ᆫ ᄃ ᅦᄋ ᅵᄐ ᅥᄃ ᅩ ᄋ ᅵᄋ ᅭ ᆼ ᄒ ᅡᄋ ᅧ ᄒ ᅡ ᆨᄉ ᅳ ᆸ ᄒ ᅡ ᆫᄃ ᅡ. ᄆ ᅩ ᆨ ᄑ ᅭᄀ ᅡ ᆹ ᄒ ᅬ ᆨᄃ ᅳ ᆨ ᄋ ᅴ ᄋ ᅥᄅ ᅧᄋ ᅮ ᆷ ᄄ ᅢᄆ ᅮ ᆫ ᄋ ᅦ ᄌ ᅮ ᆫ ᄌ ᅵᄃ ᅩ ᄒ

ᅡ ᆨᄉ ᅳ ᆸ ᄋ ᅦ ᄃ ᅢᄒ ᅡ ᆫ ᄋ ᅧ ᆫᄀ ᅮᄀ ᅡ ᄒ ᅪ ᆯ ᄇ ᅡ ᆯᄒ ᅡ ᆫᄃ ᅦ ᄎ ᅬ ᄀ ᅳ ᆫ ᄋ ᅦᄂ ᅳ ᆫ ᄉ ᅵ ᆷᄎ ᅳ ᆼᄉ ᅢ ᆼᄉ ᅥ ᆼᄆ ᅡ ᆼ (deep generative model)ᄋ ᅳ ᆯ ᄋ ᅵᄋ ᅭ ᆼ ᄒ ᅡ ᆫ ᄌ ᅮ ᆫ ᄌ ᅵᄃ ᅩᄒ ᅡ ᆨᄉ ᅳ ᆸ ᄋ

ᅦ ᄆ ᅡ ᆭᄋ ᅳ ᆫ ᄀ ᅪ ᆫ ᄉ ᅵ ᆷᄋ ᅳ ᆯ ᄀ ᅡᄌ ᅵ ᆫᄃ ᅡ. ᄋ ᅵ ᄒ ᅡ ᆨᄉ ᅳ ᆸ ᄋ ᅦᄉ ᅥ ᄋ ᅩᄇ ᅮ ᆫ ᄅ ᅲᄋ ᅲ ᆯ ᄀ ᅪ ᄒ ᅡ ᆷᄁ ᅦ ᄉ ᅩ ᆫᄉ ᅵ ᆯᄒ ᅡ ᆷᄉ ᅮ ᄋ ᅧ ᆨᄒ ᅡ ᆯᄋ ᅳ ᆯ ᄒ ᅡᄂ ᅳ ᆫ ᄀ ᅳ ᆫ ᄀ ᅥᄀ ᅵᄇ ᅡ ᆫᄒ ᅡᄒ ᅡ ᆫ (evidence lower bound)ᄋ ᅳ ᆫ ᄇ ᅩ ᆨᄋ ᅯ ᆫ ᄋ ᅩᄎ ᅡ (reconstruction error)ᄋ ᅪ ᄇ ᅥ ᆯᄎ ᅵ ᆨᄒ ᅡ ᆼ (regularization term) ᄀ ᅳᄅ ᅵᄀ ᅩ ᄋ ᅦ ᆫᄐ ᅳᄅ ᅩᄑ ᅵ ᄅ

ᅩ ᄀ ᅮᄉ ᅥ ᆼᄃ ᅬ ᆫ ᄃ ᅡ. ᄀ ᅳᄅ ᅵᄀ ᅩ ᄇ ᅩ ᆨᄋ ᅯ ᆫ ᄋ ᅩᄎ ᅡᄋ ᅪ ᄇ ᅥ ᆯᄎ ᅵ ᆨᄒ ᅡ ᆼᄋ ᅦᄉ ᅥ ᄉ ᅡᄋ ᅭ ᆼ ᄃ ᅬᄂ ᅳ ᆫ ᄌ ᅡ ᆷᄌ ᅢᄇ ᅧ ᆫᄉ ᅮᄋ ᅴ ᄇ ᅮ ᆫ ᄑ ᅩᄅ ᅳ ᆯ ᄌ ᅥ ᆼᄀ ᅲᄇ ᅮ ᆫ ᄑ ᅩᄅ ᅩ ᄀ ᅡᄌ ᅥ ᆼᄒ ᅡᄀ ᅩ, ᄇ ᅥ ᆯᄎ ᅵ ᆨ ᄒ

ᅡ ᆼᄋ ᅳ ᆫ ᄏ ᅮ ᆯᄇ ᅢ ᆨ-ᄅ ᅡᄋ ᅵᄇ ᅳ ᆯ ᄅ ᅥ ᄌ ᅥ ᆼᄇ ᅩᄅ ᅣ ᆼ (Kullback-Leibler divergence; KL)ᄋ ᅳ ᆯ ᄋ ᅵᄋ ᅭ ᆼ ᄒ ᅡᄋ ᅧ ᄀ ᅨᄉ ᅡ ᆫᄒ ᅡ ᆫᄃ ᅡ. ᄇ ᅩ ᆫ ᄋ ᅧ ᆫᄀ ᅮᄋ ᅦᄉ ᅥ ᄂ

ᅳ ᆫ ᄌ ᅡ ᆷᄌ ᅢᄇ ᅧ ᆫᄉ ᅮᄋ ᅴ ᄇ ᅮ ᆫ ᄑ ᅩᄋ ᅪ ᄌ ᅥ ᆼᄇ ᅩᄅ ᅣ ᆼᄋ ᅵ ᄌ ᅮ ᆫ ᄌ ᅵᄃ ᅩᄒ ᅡ ᆨᄉ ᅳ ᆸ ᄋ ᅴ ᄉ ᅥ ᆼᄂ ᅳ ᆼ ᄋ ᅦ ᄆ ᅵᄎ ᅵᄂ ᅳ ᆫ ᄋ ᅧ ᆼᄒ ᅣ ᆼᄋ ᅳ ᆯ ᄉ ᅡ ᆯᄑ ᅧᄇ ᅩ ᆫ ᄃ ᅡ. ᄉ ᅵ ᆯᄒ ᅥ ᆷ ᄀ ᅧ ᆯᄀ ᅪ, ᄉ ᅵ ᆯᄒ ᅥ ᆷᄋ ᅦ ᄉ ᅡ ᄋ

ᅭ

ᆼᄃ ᅬ ᆫ MNISTᄋ ᅪ Fashion-MNIST ᄃ ᅦᄋ ᅵᄐ ᅥᄋ ᅦᄉ ᅥᄂ ᅳ ᆫ ᄌ ᅥ ᆼᄀ ᅲᄇ ᅮ ᆫ ᄑ ᅩᄅ ᅳ ᆯ ᄄ ᅡᄅ ᅳᄂ ᅳ ᆫ ᄌ ᅡ ᆷᄌ ᅢᄇ ᅧ ᆫᄉ ᅮᄋ ᅪ KL, Neyman ᄀ ᅳᄅ ᅵ ᄀ

ᅩ Jeffrey ᄌ ᅥ ᆼᄇ ᅩᄅ ᅣ ᆼᄋ ᅳ ᆯ ᄋ ᅵᄋ ᅭ ᆼ ᄒ ᅡ ᆯ ᄄ ᅢ ᄉ ᅥ ᆼᄂ ᅳ ᆼ ᄋ ᅵ ᄋ ᅮᄉ ᅮᄒ ᅡ ᆫ ᄀ ᅥ ᆺᄋ ᅳᄅ ᅩ ᄂ ᅡᄐ ᅡᄂ ᅡ ᆫᄃ ᅡ. ᄀ ᅳᄅ ᅵᄀ ᅩ Fashion-MNIST ᄃ ᅦᄋ ᅵᄐ ᅥᄋ ᅦᄉ ᅥ ᄂ

ᅳ ᆫ KL, Neyman ᄀ ᅳᄅ ᅵᄀ ᅩ Jeffreyᄋ ᅳ ᆯ ᄌ ᅦᄋ ᅬᄒ ᅡ ᆫ ᄂ ᅡᄆ ᅥᄌ ᅵ ᄌ ᅥ ᆼᄇ ᅩᄅ ᅣ ᆼᄋ ᅳ ᆫ ᄌ ᅡ ᆷᄌ ᅢᄇ ᅧ ᆫᄉ ᅮᄋ ᅴ ᄇ ᅮ ᆫ ᄑ ᅩᄋ ᅦ ᄆ ᅡ ᆭᄋ ᅳ ᆫ ᄋ ᅧ ᆼᄒ ᅣ ᆼᄋ ᅳ ᆯ ᄇ ᅡ ᆮᄂ ᅳ ᆫ ᄀ ᅥ ᆺ ᄋ

ᅳᄅ ᅩ ᄂ ᅡᄐ ᅡᄂ ᅡᄂ ᅳ ᆫ ᄃ ᅦ ᄐ ᅳ ᆨ ᄒ ᅵ ᄇ ᅦᄐ ᅡᄇ ᅮ ᆫ ᄑ ᅩᄋ ᅦᄉ ᅥ ᄂ ᅡ ᆽᄋ ᅳ ᆫ ᄌ ᅥ ᆼᄒ ᅪ ᆨ ᄃ ᅩᄅ ᅳ ᆯ ᄇ ᅩᄋ ᅵ ᆫᄃ ᅡ. ᄄ ᅩᄒ ᅡ ᆫ ᄌ ᅡ ᆷᄌ ᅢᄇ ᅧ ᆫᄉ ᅮᄀ ᅡ ᄏ ᅩᄉ ᅵᄇ ᅮ ᆫ ᄑ ᅩᄅ ᅳ ᆯ ᄄ ᅡᄅ ᅳᄆ ᅧ ᆫ ᄀ ᅡ ᆼᄀ ᅥ ᆫ ᄒ

ᅡ ᆫ ᄉ ᅥ ᆼᄂ ᅳ ᆼᄋ ᅳ ᆯ ᄇ ᅩᄋ ᅵᄂ ᅳ ᆫ ᄃ ᅳ ᆼ ᄌ ᅡ ᆷᄌ ᅢᄇ ᅧ ᆫᄉ ᅮᄋ ᅴ ᄇ ᅮ ᆫ ᄑ ᅩᄋ ᅪ ᄌ ᅥ ᆼᄇ ᅩᄅ ᅣ ᆼᄋ ᅵ ᄉ ᅵ ᆷᄎ ᅳ ᆼᄉ ᅢ ᆼᄉ ᅥ ᆼᄆ ᅡ ᆼ ᄀ ᅵᄇ ᅡ ᆫ ᄌ ᅮ ᆫ ᄌ ᅵᄃ ᅩᄒ ᅡ ᆨᄉ ᅳ ᆸ ᄋ ᅴ ᄉ ᅥ ᆼᄂ ᅳ ᆼ ᄋ ᅦ ᄆ ᅡ ᆭᄋ ᅳ ᆫ ᄋ ᅧ ᆼᄒ ᅣ ᆼᄋ ᅳ ᆯ ᄌ

ᅮ ᆯ ᄉ ᅮ ᄋ ᅵ ᆻᄂ ᅳ ᆫ ᄀ ᅥ ᆺᄋ ᅳᄅ ᅩ ᄂ ᅡᄐ ᅡᄂ ᅡ ᆻᄃ ᅡ.

ᄌ

ᅮᄋ ᅭᄋ ᅭ ᆼ ᄋ ᅥ: ᄃ ᅵ ᆸᄅ ᅥᄂ ᅵ ᆼ, ᄇ ᅧ ᆫᄇ ᅮ ᆫ ᄋ ᅩᄐ ᅩᄋ ᅵ ᆫᄏ ᅩᄃ ᅥ, ᄉ ᅵ ᆷᄎ ᅳ ᆼᄉ ᅢ ᆼᄉ ᅥ ᆼᄆ ᅡ ᆼ, ᄉ ᅵ ᆷᄎ ᅳ ᆼᄉ ᅵ ᆫᄀ ᅧ ᆼᄆ ᅡ ᆼ, ᄌ ᅡ ᆷᄌ ᅢᄇ ᅧ ᆫᄉ ᅮ, ᄌ ᅥ ᆼᄇ ᅩᄅ ᅣ ᆼ, ᄌ ᅮ ᆫ ᄌ ᅵᄃ ᅩᄒ ᅡ ᆨᄉ ᅳ ᆸ, ᄏ ᅮ ᆯᄇ ᅢ ᆨ- ᄅ

ᅡᄋ ᅵᄇ ᅳ ᆯ ᄅ ᅥ ᄌ ᅥ ᆼᄇ ᅩᄅ ᅣ ᆼ.

1. 서론 ᄎ

ᅬ근 딥러닝 (deep learning) 분야에서 비정형 데이터 분석이 성공적으로 진행되고 있는데 이러한 성 ᄀ

ᅩ

ᆼ의 배경에는대용량의 데이터도큰 몫을 차지한다 (Goodfellow, 2016). 목표값 (target value)을 얻 ᄀ

ᅵ 위해 많은시간과 경비를투자해야하기 때문에 목표값이 없는데이터가 많이 생성되므로 목표값이 있 느

ᆫ데이터와 없는데이터를모두 이용하여 학습하는 준지도학습 (semi-supervised learning)이 많은관 시

ᆷ을받고 있다. 이 분야의 전반적인 내용은 Chapelle 등 (2006)과 Seok (2007)을참고할 수 있다.

ᄀ

ᅡ장 이해하기 쉬운 준지도학습은자기훈련 (self-training)인데 (Rosenberg 등, 2005)이는 신뢰도가 노

ᇁ은 예측값을가지는 데이터를 목표값이 있는데이터에 추가하는과정을반복하는방법이다. 이 방법

†

ᄋ ᅵ ᄂ ᅩ ᆫᄆ ᅮ ᆫᄋ ᅳ ᆫ 2017ᄂ ᅧ ᆫᄃ ᅩ ᄌ ᅥ ᆼᄇ ᅮᄋ ᅴ ᄌ ᅢᄋ ᅯ ᆫ ᄋ ᅳᄅ ᅩ ᄒ ᅡ ᆫᄀ ᅮ ᆨᄋ ᅧ ᆫᄀ ᅮᄌ ᅢᄃ ᅡ ᆫᄋ ᅴ ᄌ ᅵᄋ ᅯ ᆫᄋ ᅳ ᆯ ᄇ ᅡ ᆮᄋ ᅡ ᄉ ᅮᄒ ᅢ ᆼᄃ ᅬ ᆫ ᄋ ᅧ ᆫᄀ ᅮ (NRF- 2017R1E1A1A01075541)ᄋ ᅵ ᆷ.

1

(50834) ᄀ ᅧ ᆼᄂ ᅡ ᆷ ᄀ ᅵ ᆷᄒ ᅢᄉ ᅵ ᄋ ᅵ ᆫᄌ ᅦᄅ ᅩ 197, ᄋ ᅵ ᆫᄌ ᅦᄃ ᅢᄒ ᅡ ᆨᄀ ᅭ ᄐ ᅩ ᆼ ᄀ ᅨᄒ ᅡ ᆨᄀ ᅪ, ᄉ ᅥ ᆨᄉ ᅡ.

2

ᄀ ᅭᄉ ᅵ ᆫᄌ ᅥᄌ ᅡ: (50834) ᄀ ᅧ ᆼᄂ ᅡ ᆷ ᄀ ᅵ ᆷᄒ ᅢᄉ ᅵ ᄋ ᅵ ᆫᄌ ᅦᄅ ᅩ 197, ᄋ ᅵ ᆫᄌ ᅦᄃ ᅢᄒ ᅡ ᆨᄀ ᅭ ᄐ ᅩ ᆼ ᄀ ᅨᄒ ᅡ ᆨᄀ ᅪ, ᄋ ᅵ ᆫᄌ ᅦᄃ ᅢᄒ ᅡ ᆨᄀ ᅭ ᄐ ᅩ ᆼ ᄀ ᅨᄌ ᅥ ᆼᄇ ᅩᄋ ᅧ ᆫᄀ ᅮᄉ ᅩ, ᄀ ᅭᄉ ᅮ.

E-Mail: [email protected]

ᄋ ᅳ

ᆫ한 번 잘못된 예측이 계속영향을끼쳐 오류를발생시킬 가능성이 높다는한계를가진다. Joachims (1999)이 개발한 전환적 서포트벡터머신 (transductive support vector machine)은 목표값이 주어지지 ᄋ

ᅡ

ᆭ은데이터를이용하여 마진 (margin)을최대로 하는과정을반복하는학습이다. 이 방법은 목적함수 ᄀ

ᅡ 볼록함수 (convex function)가 아니므로 최적화 문제를 풀기 어려울수 있고 목표값이 주어지지 않 ᄋ

ᅳ

ᆫ 데이터가 많을수록계산량이 지수적으로 증가하는 단점을 갖는다. 그래프 기반 준지도학습은 데이 ᄐ

ᅥ를 꼭지점 (vertex)과 연결선 (edge)을가지는그래프로 표현하여 목표값을추론하는방법이다 (Zhu, 2003). 이 방법은그래프 구조와 가중치에 따라 민감하게 반응하며 새로운데이터를 분류하려면 알고리 ᄌ

ᅳ

ᆷ전체를다시 실행해야 하는한계를가진다.

시

ᆷ층생성망 기반 준지도학습 (semi-supervised learning based on deep generative model; SSL- DG)은 심층생성망의 일종인 변분 오토인코더 (variational autoencoder, VAE)와 분류기를 결합하 ᄋ

ᅧ 잠재변수의 생성과 분류를 수행한다. 이와 관련된 대표적인 연구는 Kingma 등 (2014), Odena (2016), Oliver 등 (2018)을비롯하여 최근의 Berthelot 등 (2019)이 있는데 대부분의 연구는 Kingma ᄋ

ᅪ Welling (2014)의 모형을기반으로 한다. SSL-DG는학습과정에서 잘못예측하더라도 다음 훈련에 ᄉ

ᅥ 이를보완하기 때문에 오류가 적고, 손실함수가 볼록함수로 정의되기 때문에 최적화 문제를 쉽게 풀 ᄉ

ᅮ 있으므로 이전에 개발된 준지도학습의 한계를보완할 수 있다 (Berthelot 등, 2019).

보

ᆫ연구에서는 Kingma 등 (2014)의 모형을 SSL-DG라 부른다. 이 모형의 손실함수는근거기반하한 (evidence lower bound, ELBO)과 오분류율로 구성되고 ELBO는 또 다시 복원오차 (reconstruction error)와 벌칙항 (regularization term) 그리고 엔트로피 (entropy)로 구성된다. 전형적으로 복원오차와 버

ᆯ칙항의 계산에 필요한 잠재변수의 분포는 정규분포를 가정하고 벌칙항은 쿨백-라이블러 (Kullback- Leibler; KL) 정보량을이용하여 계산한다. 그리고 심층신경망의 모형선택에관한 대부분의 연구는 층 ᄋ

ᅴ 수, 필터 크기, 드랍아웃 (dropout)비율,에폭 (epoch)수 등의 초모수 (hyperparameter) 선택에 주 ᄅ

ᅩ관심을두고 있다. 그렇지만 잠재변수의 분포와 정보량도 준지도학습의 성능에 영향을미칠 수 있으 ᄆ

ᅳ로 본연구에서는잠재변수의 분포와 정보량이 준지도학습의 성능에 미치는영향을경험적으로 살펴 ᄇ

ᅩ고 모형선택 과정에서 이것들도 고려할 것을제안한다.

시

ᆯ험 결과, MNIST 데이터에서는 정규분포를 따르는잠재변수와 KL, Neyman 그리고 Jeffrey 정보 ᄅ

ᅣᆼ을이용할 때 성능이 우수하고, Fashion-MNIST 데이터에서도 KL과 Neyman 그리고 Jeffrey 정보량 으

ᆯ사용하면 좋은 성과를보이는것으로 나타나지만 이 외의 정보량은잠재변수의 분포에 많은영향을 ᄇ

ᅡ

ᆮ는 것으로 나타나는데 특히 베타분포에서 낮은정확도를보인다. 그리고 코시분포에서는항상 더 강 ᄀ

ᅥᆫ한 성능을보였다.

2절에서는 VAE와 SSL-DG를소개하고 3절에서는 분석에 사용된데이터와 실험환경을설명한다. 그 ᄅ

ᅵ고 4절에서는성능비교를위해 사용된잠재변수의 분포와 정보량에 대한 소개를하고 실험결과를기 ᄉ

ᅮ

ᆯ하였다. 마지막으로 연구에 대한 결론과 제안은 5절에 다루었다.

2. 심층생성망 기반 준지도학습

2.1. 변분 오토인코더 ᄇ

ᅧᆫ분오토인코더 (VAE)는데이터에 내재하는 잠재변수의 분포를 학습하여 새로운 데이터를생성하 ᄂ

ᅳᆫ 일종의 생성모형이다 (Kingma와 Welling, 2014). Figure 2.1은 VAE구조에 대한 그림인데 심층신 겨

ᆼ망인 인코더와 디코더로 구성된다. 인코더 qϕ(zzz|xxx)는 평균 µµµ와 분산 Σ를추정하여 데이터 xxx ∈ D를 p차원 잠재변수 zzz ∼ Np(µµµ, Σ)로 변환하여 차원을 축소하는 역할을 한다. 그리고 Np(µµµ, Σ)에서 추출 되

ᆫ잠재변수 z를이용하여 디코더 pθ(xxx|zzz)에서 xxx와 유사한 데이터를생성한다. 인코더와 디코더의 모 ᄉ

ᅮ ϕ와 θ는 심층신경망의 가중치를포함하는모든모수와 초모수를의미한다. 학습된VAE는잠재변수

z를 복원하여 실제 데이터와 유사한 데이터를만들어 낼 수 있다. VAE의 학습과정은다음절에서 소개 ᄃ

ᅬ는 심층생성망 기반 준지도학습의 학습과정과 유사하므로 생략한다.

Figure 2.1 The structure of variational autoencoder

2.2. 심층생성망 기반 준지도학습

SSL-DG는 생성모형 VAE와 분류기를결합한 모형인데 Figure 2.2은 SSL-DG의 구조를 나타낸다.

ᄆ ᅩ

ᆨ표값이 없는데이터 D^U = {xxxU}는 분류기 q^τ(y|xxx)를 통해 목표값 y^U를만든다. 인코더 q^ϕ(zzz|xxx, y)에 ᄉ

ᅥ는 목표값이 있는데이터 DL = {(xxxL, yL)}와 없는데이터 ˆDU = {(xxxU, yU)}의 평균 µµµ와 분산 Σ를 ᄎ

ᅮ정하고, Np(µµµ, Σ)에서 잠재변수 z를추출한다. 그리고 디코더 pθ(xxx|zzz, y)에서는잠재변수 z와 목표값 yL, yU를이용하여 xxx를생성한다. 학습된SSL-DG은 좋은데이터를생성할 수 있을 뿐아니라 정확하 ᄀ

ᅦ 분류할 수 있다.

Figure 2.2 The structure of deep generative semi-supervised learning

SSL-DG의 손실함수는 목표값이 있을때와 없을때의근거기반하한 (evidence lower bound, ELBO)과 ᄋ

ᅩ분류율로 구성된다. 먼저 목표값이 있을 때의 ELBO (L(xxx, y))는 다음과 같이 우도함수로부터 구할 ᄉ

ᅮ 있다.

log pθ(xxx, y) = log Z

qϕ(zzz|xxx, y)pθ(xxx, y, zzz) qϕ(zzz|xxx, y)dzzz

≥ Z

qϕ(zzz|xxx, y) logpθ(xxx, y, zzz) qϕ(zzz|xxx, y)dzzz

= Z

qϕ(zzz|xxx, y)[log pθ(xxx|zzz, y) + log pθ(y)]dzzz +

Z

qϕ(zzz|xxx, y) log pθ(zzz) qϕ(zzz|xxx, y)dzzz

=Eq_ϕ(zzz|xxx,y)[log pθ(xxx|zzz, y) + log pθ(y)] − DKL(qϕ(zzz|xxx, y)||pθ(zzz))

=L(xxx, y), (2.1)

ᄋ

ᅧ기에서 D^KL(p||q) = R p log^p_q는 분포함수 p와 q의 KL 정보량이다. 목표값이 없을 때의 ELBO (U (xxx))는다음과 같이 구한다.

log pθ(xxx) = logX

y

Z

qϕ(zzz, y|xxx)pθ(xxx, y, zzz) qϕ(zzz, y|xxx)dzzz

≥X

y

Z

qϕ(zzz, y|xxx) logpθ(xxx, y, zzz) qϕ(zzz, y|xxx)dzzz

=X

y

qτ(y|xxx) Z

qϕ(zzz|xxx, y) logpθ(xxx, y, zzz) qϕ(zzz|xxx, y)dzzz

−X

y

qτ(y|xxx) log qτ(y|xxx) Z

qϕ(zzz|xxx, y)dzzz

=X

y

{qτ(y|xxx)L(xxx, y) + H(qτ(y|xxx))}

=U (xxx), (2.2)

ᄋ

ᅧ기에서 H(p) = −R p log(p)는 엔트로피이다. 목표값이 있을때와 없을때의 ELBO와 오분류를고려 ᄒ

ᅡᆫ SSL-DG의 손실함수는다음과 같이 정의된다.

Loss = − X

(xxx,y)∈D_L

L(xxx, y) − X

x x x∈D_U

U (xxx) − α · E(xxx,y)∈D_L[log qτ(y|xxx)], (2.3)

ᄋ

ᅧ기에서 는 분류기의 성능에 대한 가중치이다. 식 (2.3)의 Loss를최소화하는 신경망의 층의 수, 노드 ᄉ

ᅮ, 드랍아웃 (dropout)비율, 필터 크기와 수 그리고 잠재변수의 차원 등의 초모수들은많은연구자들이 ᄃ

ᅡ루고 있지만 본연구에서는비교적관심이 적은잠재변수의 분포와 정보량을다룬다.

ᄃ

ᅢ부분의 연구에서는 잠재변수의 분포를 정규분포로 가정하는데, 복잡한 이미지의 잠재분포를 정규 부

ᆫ포로 한정하여 표현하는 것보다 좀 더 다양한 분포를 고려하는 것이 의미가 있다고 사료된다. 그리 ᄀ

ᅩ 두 분포의 차이를 나타내는 KL 정보량은 대칭이 아닐 뿐 (DKL(p||q) ̸= DKL(q||p)) 아니라 서포 ᄐ

ᅥ (support, {xxx|p(xxx) > 0})가 일치하지 않으면 두 분포의 거리를 잘 표현하지 못한다. 그러므로 식 (2.3)의 KL 정보량 대신 두 분포의 거리를나타내는여러 가지 정보량을 고려한 손실함수를고려할 수 이

ᆻ다. 즉,잠재변수의 분포와 정보량이 SSL-DG의 성능에 얼마나 많이 영향을미치는지에 대해 알아보 ᄀ

ᅩ자 한다. 다음절에서는 본연구의 실험에서 사용되는자료와 실험환경에 대해 소개한다.

3. 분석데이터 및 실험환경

3.1. 분석데이터 ᄇ

ᅵ교 분석에 사용되는데이터는 손으로 쓴 0∼9의 숫자들로 이루어진 데이터 MNIST (Modified na- tional institute of standards and technology database)와 의류, 신발, 가방 등패션에관련된 10종류 ᄋ

ᅵ미지로 이루어진 Fashion- MNIST다. 각 데이터는크기가 60,000인 훈련데이터, 10,000인 시험데이 ᄐ

ᅥ로 구성되어 있으며 각 이미지는 28×28=784 크기의 회색조이고 각 셀의 값이 이진형인 데이터와 실 ᄉ

ᅮ형인 데이터로 구분된다. Figure 3.1에 MNIST와 Fashion-MNIST 예제 이미지를보여준다.

Figure 3.1 Example images of MNIST (left) and Fashion-MNIST (right)

후

ᆫ련데이터의 각 클래스마다 10 (50)개씩 총 100 (500)개를 랜덤추출하여 목표값이 있는데이터로 사 ᄋ

ᅭ

ᆼ하고 나머지 59,900 (59,500)개는 목표값이 없는데이터로 사용하였는데, 두 가지 경우의 결과가 유사 ᄒ

ᅡ므로 10개씩 추출한 실험결과만 언급한다. 실험은 100에폭 (epoch) 실시하였고, 각 조합에서 3번씩 ᄇ

ᅡᆫ복하였다.

3.2. 실험환경 보

ᆫ연구에 사용한 컴퓨터의 자원은 Intel Xeon Bronze3106 CPU과 titanXP GPU 이며 사용한 딥러 니

ᆼ 프레임워크는 python 3.6버전에 기반한 pytorch (버전 0.4.1)이다. 그리고 실험에 사용된프로그램 ᄋ

ᅳᆫ https://github.com/wohlert/semi-supervised-pytorch를참고하였다.

3.3. 모형 구조 ᄇ

ᅩᆫ 연구에 사용된 SSL-DG의 구조는 Table 4.3에 나타내었다. 각 모형의 값들은 입력층과 은닉층 ᄃ

ᅳ

ᆯ 그리고 출력층의 노드 수를 나타낸 값이다. 분류기와 인코더의 마지막 층에 각각 사용된활성함수 (activation function)는 softmax와 sigmoid이고 나머지 층에는 ReLU를사용하였다. 분류기 입력층의 ᄂ

ᅩ드 수는이미지의 크기와 같은 28×28=784이고 출력층의 노드 수는 MNIST 데이터의 클래스 수인 10이다. 그리고 인코더의 출력층의 노드 수는 µµµ와 Σ를 위한 노드가 결합된 64 (=32+32)이고 디코더 ᄋ

ᅦ 입력되는잠재변수의 차원은 32이고 출력층의 노드 수는 입력 이미지와 같은크기인 784이다.

Table 3.1 The structure of classifier, encoder and decoder Model Structure

q

(y|x x x) 784-256-10 q

(z z z|x x x, y) 794-256-128 < 32

32 p

(x x x|z z z, y) 42-128-256-784

4. 실험

4.1. 잠재변수의 분포 보

ᆫ 연구에서는 왜도와 첨도를 고려하여 표준정규분포, 베타분포1 (α=1, β=1), 베타분포2 (α=1, β=2), 베타분포3 (α=2, β=1), 로그정규분포, 코시분포 그리고 지수분포 등 7가지를 잠재변수의 분 ᄑ

ᅩ로 사용하였는데 Table 4.1에 나타내었다. 그리고 각 분포함수의 그래프를 Figure 4.1에 나타내었다.

Table 4.1 Latent variable distributions Index Distribution type (P) f (x)

1 standard normal

2π

e

2 2

2 beta1 (α=1, β=1)

( 1, 0 ≤ x ≤ 1 0, else 3 beta2 (α=1, β=2)

( 2(1 − x), 0 ≤ x ≤ 1

0, else

4 beta3 (α=2, β=1)

( 2x, 0 ≤ x ≤ 1 0, else

5 standard lognormal

x√ 2π

e

(ln(x))2 2

6 standard Cauchy

7 standard exponential

( e

, x ≥ 0 0, x < 0

4.2. 정보량 저

ᆼ보량 (divergence)은 두확률분포의 차이를 계산하는함수이며 항상 0 이상의 값을갖고 값이 0인 겨

ᆼ우는두 분포가 동일하다는것을의미한다. 정보량에 따른성능의 차이를살펴본연구는경쟁적 생성 ᄆ

ᅡᆼ (generative adversarial networks, GAN; Goodfellow, 2014) 분야에서 있었는데 (Nowozin 등, 2016) ᄋ

ᅧ기에서 고려한 정보량을참고하여 본연구에서는 Table 4.2에서 제시된11가지 정보량을적용하여 비 ᄀ

ᅭ하고자 한다.

Jensen-Shannon-weighted 정보량의 π와 alpha 정보량의 α는 사전 실험을 통해 0.6 과 3으로 각각 서

ᆯ정하였다.

Figure 4.1 Plot of latent variable distributions

4.3. 실험결과

4.3.1. MNIST 데이터

Table 4.3는 이진형 MNIST 데이터를 적용한 실험결과인데 시험용데이터의 정확도 평균 (%)으로 ᄂ

ᅡ타내었다. 기울임체는정확도가 낮은 값이고 굵게 표시한 값은정확도가 가장 높은 3개를 나타낸다.

Figure 4.2은 Table 4.4를평행 좌표 그림으로 표현한 것이다. 이 표와 그림을 통해 KL과 Neyman 그 ᄅ

ᅵ고 Jeffrey 정보량을사용하면 모든잠재변수의 분포에서 좋은성능을보이지만 alpha 정보량은정규 ᄇ

ᅮᆫ포에서만 좋은성능을보이는것을알 수 있다. 전체적으로 정규분포에서 좋은성능을보이지만 정보 ᄅ

ᅣᆼ에 영향을많이 받는것으로 나타난다. 그러나 잠재변수의 분포가 코시분포를따르면 정보량에 크게 여

ᆼ향을받지 않는것으로 나타난다.

Table 4.4와 Figure 4.3은 실수형 MNIST 데이터를적용한 결과를나타낸다. 이진형 데이터의 결과 ᄋ

ᅪ 같이 KL와 Neyman 그리고 Jeffrey 정보량을사용하면 좋은성과를보이는것으로 나타난다. Al- pha 정보량은정규분포와는 좋은조합이될수 있지만 다른 분포와 같이 사용될때 나쁜결과를보임을 ᄃ

ᅡ시 한 번 알 수 있다. 그리고 squared Hellinger 정보량은 모든 분포에서 낮은정확도를 보인다. 잠 ᄌ

ᅢ변수의 분포가 코시분포를따르면 정보량에 크게 영향을받지 않고 특히 Jensen-Shannon 정보량에서 ᄌ

ᅩᇂ은결과를보임을알 수 있다.

Table 4.2 Divergence type

Index Divergence type (D) Equation

a Kullback-Leibler R

p(x) log

dx

b Reverse Kullback-Leibler R

q(x) log

dx

c Total variation

R

|p(x) − q(x)|dx

d Pearson R

p(x)

dx

e Neyman R

q(x)

dx

f Squared Hellinger R 

pp(x) − pq(x) 

dx

g Jeffrey R

(p(x) − q(x)) log 

q(x)

 dx

h Jensen-Shannon

R

p(x) log

+ q(x) log

dx

i Jensen-Shannon-weighted R

p(x)π log

+ (1 − π)q(x) log

dx

j GAN R

p(x) log

+ q(x) log

dx − log(4)

k Alpha

R 

p(x) h

p(x)

− 1 i

− α(q(x) − p(x))  dx

Table 4.3 Means of accuracy with binary type MNIST data (%) (P : probability distribution, D : divergence)

PP PP

P

D 1 2 3 4 5 6 7

a 87.49 85.05 81.91 84.45 86.06 78.22 85.84

b 73.17 59.56 59.21 59.05 64.98 75.40 64.41

c 69.22 61.69 61.66 58.78 70.16 75.84 67.47

d 85.22 62.81 62.62 61.33 72.92 73.01 70.47

e 87.67 81.28 82.34 81.98 82.09 73.80 86.52

f 69.58 63.86 62.60 62.10 70.25 72.39 69.68

g 88.30 82.00 77.68 78.10 80.76 74.94 88.14

h 69.69 60.17 58.86 61.30 69.05 77.08 66.51

i 68.98 60.24 62.65 60.89 67.56 77.98 65.36

j 70.01 63.87 66.24 58.31 70.23 73.85 66.24

k 87.01 59.26 59.62 59.08 70.58 74.76 70.16

4.3.2. Fashion-MNIST 데이터

Table 4.5과 Figure 4.4는 이진형 Fashion-MNIST 데이터를 적용한 결과를 나타낸다. 여기에서도 MNIST와 같이 KL와 Neyman 그리고 Jeffrey 정보량을사용하면 좋은 성과를보이는것으로 나타난 ᄃ

ᅡ. 그리고 나머지 정보량은잠재변수의 분포에 많은 영향을받는것으로 나타나는데 특히 베타분포에 ᄉ

ᅥ 낮은정확도를보인다. 그리고 잠재변수의 분포가 코시분포 또는정규분포를따르면 정보량에 크게 여

ᆼ향을받지 않고 높은정확도를보이는것으로 나타난다.

Table 4.6과 Figure 4.5는 실수형 Fashion-MNIST 데이터를적용한 결과를나타낸다. 여기에서는잠 ᄌ

ᅢ변수의 분포와 정보량의 조합에 따라 정확도의 변동성은 적지만 순위가 많이 변하는 것을 볼 수 있

Figure 4.2 Parallel coordinate plot of mean accuracy with binary type MNIST data

Table 4.4 Means of accuracy with float type MNIST data (%) (P : probability distribution, D : divergence)

PP PP

P

D 1 2 3 4 5 6 7

a 91.39 90.93 88.99 89.16 85.93 79.01 87.67

b 71.13 71.57 71.48 68.54 74.53 75.27 71.05

c 69.85 70.02 68.27 69.91 73.62 77.30 72.15

d 88.05 71.05 71.64 69.73 75.44 76.35 73.96

e 88.69 85.31 86.48 81.79 86.01 76.57 88.65

f 72.08 71.47 70.30 71.37 74.42 78.43 73.55

g 89.21 84.80 85.31 79.65 85.55 73.81 87.45

h 73.24 69.40 70.72 68.56 70.42 84.30 71.40

i 72.52 72.92 71.73 67.11 73.63 77.29 72.20

j 70.00 70.77 71.55 68.37 74.04 77.27 74.31

k 91.15 70.10 70.15 70.93 72.50 72.39 72.40

Table 4.5 Means of accuracy with binary type Fashion-MNIST data (%) (P : probability distribution, D : divergence)

PP PP

P

D 1 2 3 4 5 6 7

a 68.28 66.97 64.91 64.04 65.03 64.19 64.27

b 62.01 33.57 30.83 35.84 53.99 64.06 47.31

c 57.13 35.46 33.88 37.02 55.19 65.76 46.50

d 67.77 37.19 38.69 40.56 59.16 65.49 59.33

e 66.84 67.06 68.66 64.66 69.46 65.18 67.67

f 61.87 35.25 37.57 36.71 57.23 64.79 51.22

g 65.76 63.94 61.94 63.74 62.73 63.61 60.77

h 58.02 30.18 34.33 36.12 56.02 66.92 48.32

i 59.76 33.09 31.72 37.90 53.26 67.10 47.70

j 60.70 36.32 34.47 38.19 55.41 64.57 52.28

k 67.37 33.53 32.70 35.51 57.81 63.30 56.87

Figure 4.3 Parallel coordinate plot of mean accuracy with float type MNIST data

Figure 4.4 Parallel coordinate plot of mean accuracy with binary type Fashion-MNIST data

ᄃ

ᅡ. 예를 들어 잠재변수의 분포가 지수분포일 때 Pearson 정보량에서는정확도가 66.63으로 가장 낮지 ᄆ

ᅡᆫ Neyman 정보량에서는 74.15로 가장 높은값을보인다. 그리고 beta3 분포를따를때 KL 정보량을 ᄉ

ᅡ용하면 정확도가 72.88로 가장 높지만 Squared Hellinger, Jeffrey, Jensen-Shannon 그리고 GAN 정 ᄇ

ᅩ량에서는가장 낮은값을보인다.

5. 결론 및 제안 ᄇ

ᅩᆫ연구에서는잠재변수의 분포와 정보량이 심층생성망 기반 준지도학습의 성능에 미치는영향을 알 ᄋ

ᅡ보기 위해 7개의 분포와 11개의 정보량으로 실험하였다. 실험 결과, KL과 Neyman 그리고 Jeffrey 저

ᆼ보량을사용하면 거의 보든잠재변수의 분포에서 좋은성능을보였다. 준지도학습은전반적으로 정규

Table 4.6 Means of accuracy with float type Fashion-MNIST data (%) (P : probability distribution, D : divergence)

PP PP

P

D 1 2 3 4 5 6 7

a 70.15 69.58 71.42 72.88 70.88 69.11 72.40

b 68.58 66.08 67.25 67.42 68.33 68.96 71.01

c 68.21 65.45 66.93 67.90 70.77 69.44 67.60

d 70.42 68.51 68.80 66.77 68.31 69.96 66.63

e 72.15 68.30 69.18 69.58 71.26 68.19 74.15

f 69.79 68.45 68.45 66.48 68.67 68.72 67.80

g 72.25 69.23 70.32 66.63 71.31 68.42 69.48

h 68.27 68.10 67.21 66.81 71.15 68.92 68.54

i 68.90 65.09 67.63 67.18 68.65 69.95 68.45

j 70.14 67.51 67.78 66.20 68.73 68.59 69.08

k 71.71 67.79 66.82 66.84 70.97 68.72 68.21

Figure 4.5 Parallel coordinate plot of mean accuracy with float type Fashion-MNIST data

부

ᆫ포에서 좋은성능을보이는데 특히 Alpha 정보량은정규분포와는 좋은조합이될수 있지만 다른 분 ᄑ

ᅩ와 같이 사용될때 나쁜결과를보였다. 그리고 잠재변수의 분포가 코시분포를따르면 정보량에 크게 여

ᆼ향을받지 않는안정된 정확도를보이는것으로 나타난다. 또한 잠재변수의 분포와 정보량의 조합에 ᄄ

ᅡ라 정확도의 변동성과 순위가 많이 변하는경우도 볼수 있었다.

ᄋ

ᅵ와 같이 심층생성망 기반 준지도학습의 성능이 잠재변수의 분포와 정보량에 영향을받는것을경험 ᄌ

ᅥᆨ으로확인하여 잠재변수의 분포와 정보량을모형선택에서 고려할 것을 제안한다. 다만, 실험환경의 ᄌ

ᅦ약으로 인해 더 깊은모형으로 더 크고 다양한 데이터를이용한 실험을하지 못한 것은추후과제로 남 기

ᆫ다.

References

Berthelot, D., Carlini, N., Goodfellow, I., Oliver, A., Papernot, N. and Raffel, C. (2019). Mixmatch: A

holistic approach to semi-supervised learning. arXiv:1905.02249.

Chapelle, O., Schulkopf, B. and Zien, A. (2006). Semi-supervised learning, MIT Press, Cambridge, Mas- sachusetts.

Goodfellow, I., Bengio, Y. and Courville, A. (2016). Deep learning, MIT press, Cambridge, Massachusetts.

Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A. and Bengio, Y. (2014). Generative adversarial nets. arXiv:1406.2661.

Joachims, T. (1999). Transductive inference for text classification using support vector machines. In Pro- ceedings of the sixteenth International Conference on Machine Learning, 99, 200-209.

Kingma, D. P. and Welling, M. (2014). Auto-encoding variational Bayes. arXiv:1312.6114.

Kingma, D. P., Rezende, D. J., Mohamed, S. and Welling, M. (2014). Semi-supervised learning with deep generative models. In Advances in Neural Information Processing Systems, 3581-3589.

Nowozin, S., Cseke, B. and Tomioka, R. (2016). f-gan: Training generative neural samplers using varia- tional divergence minimization. arXiv:1606.00709.

Odena, A. (2016). Semi-supervised learning with generative adversarial networks. arXiv:1606.01583.

Oliver, A., Odena, A., Raffel, C., Cubuk, E. D. and Goodfellow, I. (2018). Realistic evaluation of deep semi- supervised learning algorithms. In Advances in Neural Information Processing Systems, 3235?3246.

Rosenberg, C., Hebert, M. and Schneiderman, H. (2005). Semi-supervised self-training of object detection models. Seventh IEEE Workshops on Applications of Computer Vision (WACV/MOTION’05), 1, 29-36.

Seok, K. (2007). Semi-supervised learning using kernel estimation. Journal of the Korean Data & Infor- mation Science Society, 18, 629-636.

Zhu, X., Ghahramani, Z. and Lafferty, J. (2003). Semi-supervised learning using gaussian fields and har-

monic functions. In Proceedings of the twentieth International Conference on Machine Learning,

912?919.

2019, 30

5)

997–1009

The effect of latent variable distribution and divergence on the performance of deep generative network based

semi-supervised learning ^†

Younghyun Lee

¹

²

12Department of Statistics, Inje University

Received 23 August 2019, revised 14 September 2019, accepted 16 September 2019

Abstract

Semi-supervised learning uses unlabeled data, unlike supervised learning, which uses labeled data only. Because of the difficulty in obtaining the target values, study on semi-supervised learning is active. Recently, there is much interest in semi-supervised learning using deep generative model (SSL-DG). In this learning, the evidence lower bound, which serves as a loss function with a misclassification rate, consists of re- construction error, regularization term, and entropy. The latent variables required for reconstruction error and penalty terms are assumed to follow normal distributions and penalty terms are calculated using Kullback-Leibler divergence. In this study, we inves- tigate the effect of the latent variable distribution and divergence on the performance of SSL-DG with MNIST and Fashion-MNIST data. Experimental results show that SSL-DG performs well when latent variables follow the normal distribution and the divergence is Kullback-Leibler or Neyman or Jeffrey. The other divergences appear to be heavily influenced by the distribution of latent variables, especially in beta distri- bution. In addition, when the latent variable follows the Cauchy distribution, SSL-DG yields more robust performance than other distributions. In this way, we can conclude that the distribution of latent variables and the divergences can have a great influence on the performance of SSL-DG.

Keywords: Classification, deep generative network, Kullback-Leibler divergence, semi- supervised learning, variational autoencoder.

†

This research was supported by Basic Science Research Program through the National Research Foun- dation of Korea (NRF) funded by the Ministry of Education (NRF-2017R1E1A1A01075541).

1

Master of Science, Department of Statistics, Inje University, Kimhae 50834, Korea.

2

Corresponding author: Professor, Institute of Statistical Information, Department of Statistics, Inje

University, Kimhae 50834, Korea. E-mail: [email protected]