순환신경망

대표적인 비정형 자료인 텍스트 데이터에서 한 문장에서 추출한 단어 는 맥락(context)에 의해서 의미론적인 중요성을 가진다고 할 수 있다.

개별 단어의 중요도를 기준으로 단순 합산하여 점수화 방식과 달리 전체 문장의 의미를 파악한 후에 전체 문장에서의 개별 단어가 가지는 가중치 를 평가하는 방안을 고려해볼 수 있다. 또한 문장은 단어들에 따른 순서 구조가 가지고 있기 때문에 순서가 있는 시퀀스 자료(sequence data) (시간에 따라 서로 독립되지 않고 연관성, 의존성을 갖는 데이터)로 처리 하는 방식을 고려할 필요성이 있다. 시간의 순서를 반영하는 다양한 방법 들 중 이 절에서는 심층신경망 기법에서 대표적으로 많이 사용하는 방법 인 순환신경망(recurrent neural net; RNN) 에 대해 간단히 살펴본다.

가. 순환신경망의 구조 전파 방법 BPTT(back propagation through time)을 사용하여 훈련 을 한다. 순환신경망은 장기 기억의존성(long-term dependency)에 취 약한 것으로 알려져 있다. 현재 시점 에서 이 시점 이전의 먼 과거시점들

의 자료들의 특징을 잘 반영하지 못한다. 기본 순환신경망이 가진 장기 는 대표적인 모형은 sequence to sequence(seq2seq)이다. 순환신경망 의 일종인 seq2seq 모형의 구조는 입력 문장을 받는 인코더와 출력 문장

가중치를 반영하여 맥락벡터의 표현력을 높이는 방법이 제안되었으며 2 절에서 소개한 어텐션(attention) 기법이 대표적인 방법이라 할 수 있다.

다. 시계열 자료에 대한 오토인코더

seq2seq 모형의 한 예로써 오토인코더 모형을 살펴보기로 한다. 입력 값이 시계열의 종단구조로 얻어지는 경우, 시간에 따른 종속성을 반영할 수 있는 오토인코더를 고려할 수 있다. 〔그림 4-11〕은 입력이 시계열 자 료일 때의 오토인코더의 모형을 보여준다. 그림에서 학습된 표현이 임베 딩벡터인 맥락벡터를 나타낸다. 전반부는 인코더 단계로 이때의 가중치 행렬은 _이고 후반부는 디코더 단계로 시점에 상관없이 공유되는 가중 치 행렬은 이다. 후반부의 첫 번째 입력은 인코더를 통한 맥락벡터가 되며 _는 첫 번째 시점에서 추정된 값이며 그 다음의 출력시점의 입력으 로 활용되게 된다.

순환신경망 기반의 오토인코더에서는 인코더단계는 입력 시퀀스마다 인코더를 수행하여 전체 시퀀스의 정보를 축약한 맥락(context) 임베딩 벡터로 변환한다. 만약 을 출력 시퀀스의 시간의 길이라고 하면 디코더 는 출력 시퀀스의 길이인 번만큼 디코딩을 반복한다.

〔그림 4-11〕 LSTM 오토인코더 모형

자료: Srivastava et al. (2015). “Unsupervised Learning of Video Representations using LSTMs”, Proceedings of Machine Learning Research, 37, p. 843-852 재인용.