모델 이론

본 논문에서 제안하는 전력사용량 결측 구간의 데이터를 보정하는 모델은 합성 곱신경망(CNN; Convolutional Neural Network)과 장단기메모리순환신경망(LSTM;

Long Short-Term Memory)을 결합하고 여기에 가중치를 적용하는 모델이다. 주된 아이디어는 시계열 데이터 예측에 많이 사용되는 장단기메모리순환신경망(LSTM) 에 정확도를 높이고자 합성곱신경망(CNN)을 결합하였다. 그리고 예측된 결과에 가 중치를 적용함으로써 결측 구간의 길이에 따라 오차가 증가하는 단점을 보완하고 결측의 마지막 보정 데이터가 결측 후 첫 번째 존재하는 실제 데이터보다 커지는 현상을 제거 한다.

일반적으로 딥러닝 모델에서 적용하는 신경망 이론은 크게 세 가지를 많이 사용 한다.

첫 번째 이론은 합성곱신경망(CNN)으로 주로 사진 및 문자 인식 등에 사용되며, 아래 [그림 4-1]과 같이 입력 이미지 행렬(4×4)과 필터 행렬(3×3)을 합성곱하여 출 력(2×2) 값을 만들어 낸다. 합성곱신경망(CNN)은 필터를 사용해서 이미지의 특징 을 추출해내는 것이 특징이다. 본 논문에서는 값이 하나인 시계열 데이터이므로 1 차원 합성곱신경망(CNN)을 사용하여 모델은 만든다.

44

-[그림 4-1] CNN의 합성곱 개념

두 번째 이론은 순환신경망(RNN; Recurrent Neural Network)으로 은닉층의 노 드에서 활성화 함수를 통해 나온 결괏값을 출력층 방향으로도 보내면서, 동시에 다 시 은닉층 노드의 다음 계산의 입력으로 보내는 특징이 있다. 결국 이전 셀의 값을 기억하고 있다. 이를 메모리 셀이라고 한다. 은닉층의 메모리 셀은 각각의 시점에 서 바로 이전 시점의 은닉층의 메모리 셀에서 나온 결과를 입력으로 재귀적으로 사용하고 있다. 즉, 현재 시점에서의 메모리 셀은 과거의 메모리 셀들의 값에 영향 을 받고 있는 것이다. 그래서 앞의 입력이 뒤에 영향을 주는 시계열 예측이나, 자 연어 처리에서 많이 사용되고 있다. 특히, 딥러닝 기반의 시계열 자료 예측모형인 기본 순환신경망(RNN), GRU(Gate Recurrent Unit) 그리고 장단기메모리순환신경 망(LSTM)의 성능을 비교한 연구가 있는데 장단기메모리순환신경망(LSTM) 모델 을 적용하였을 경우에 예측 정확도가 가장 높게 나타난 바 있다[87]. RNN은 시점 (time step)의 길이가 짧은 경우는 효과적이나, 시점의 길이가 길 경우 앞의 정보를 뒤로 잘 전달하지 못하는 현상이 발생한다. 뒤로 갈수록 정보의 손실이 생기고, 영 향력이 거의 없어진다. 이렇게 RNN은 충분한 기억력을 가지고 있지 못해서 예측 정확도가 떨어진다. 이를 장기 의존성 문제(the problem of Long-Term Dependencies) 라고 한다.[88]. 또한, 수치형 값으로 구성된 전력사용량 자료와 같이 시간의 변화 에 따라 사용량의 차이가 클 경우 과거 데이터의 학습 과정을 거치면서 오차가 증 가하는 현상이 발생할 수 있다. 이러한 문제를 해결하기 위해 장단기메모리순환신 경망(LSTM)을 적용하는 것이 바람직하다[89]. [그림 4-2]와 같이 장단기메모리순 환신경망(LSTM)은 RNN의 이러한 단점을 보완한 RNN의 장단기 메모리(Long Short-Term Memory)라고 하며, 줄여서 LSTM이라고 한다. LSTM은 은닉층의 메 모리 셀에 입력 게이트, 삭제 게이트, 출력 게이트를 추가하여 불필요한 기억을 지

우고, 기억해야할 것들을 정한다. 이를 통해서 장기 의존성 문제를 해결하였다. 은 닉 상태와 셀 상태를 구하기 위해 입력 게이트, 출력 게이트, 삭제 게이트를 가지 고 있으며, 3개의 게이트는 공통적으로 시그모이드 함수가 존재한다. 이 시그모이 드 함수를 통해서 각 게이트를 조정한다.

[그림 4-2] LSTM(Long Short-Term Memory)

입력 게이트는 정보를 기억하기 위한 게이트로 현재 입력 값과 이전 셀에서의 출력 값을 가중치를 적용하여 시그모이드와 하이퍼볼릭 탄젠트 함수를 통과시켜 기억할 정보의 양을 결정한다. 삭제 게이트는 기억을 삭제하기 위한 게이트로 현재 입력 값과 이전 셀에서의 출력 값을 가중치를 적용하여 시그모이드를 통과시켜 삭 제할 정보의 양을 결정한다. 출력 게이트는 단기상태와 장기상태 값을 출력하는 게 이트로 현재 입력 값과 이전 셀에서의 출력 값을 가중치를 적용하여 시그모이드를 통과시켜 단기상태를 출력하고, 입력 게이트와 출력 게이트의 결과 값을 하이퍼볼 릭 탄젠트 함수를 통과시켜 다음 셀에 사용할 장기상태를 출력한다.

세 번째는 심층신경망(DNN; Deep Neural Network)으로 심층신경망은 입력층과 여러 개의 은닉층, 출력층으로 이뤄진 신경망이다. 일반적인 인공신경망처럼 복잡 한 비선형 관계들을 모델링하는데 사용되며, 분류 및 수치 예측에 많이 사용된다.

무엇보다도 본 논문에서 제안한 CNN-LSTM결합 가중치적용 모델이 일반적인 시계열 데이터 예측과 가장 큰 차이점은 미래를 예측하는 것이 아니고 실제 데이 터의 앞, 뒤 시점의 데이터가 존재하고 중간에 결측이 발생한 경우만을 가정하고 있으며, 그 데이터의 형태가 계속 증가하는 값을 가져야 하며, 누적 전력사용량 값

46

-이 -이전 시간대보다 적어지는 경우가 발생하지 않아야 한다. 또한 일반적인 시계열 데이터 예측 알고리즘인 장단기메모리순환신경망(LSTM) 모델에 합성곱신경망 (CNN) 알고리즘을 결합하여 24시간의 전력사용량 패턴을 입력하여 그 특징을 추 출하여 이용한다는 것이 차이점이며, 예측한 결괏 값에 가중치를 적용하여 본 논문 에서 고려해야하는 누적 전력사용량의 중간 결측 보정법에 최적화된 기법을 제안 한다.

[그림 4-3] DNN(Deep Neural Network)