모델 개발

56

력사용량에서 (t-1)시간의 누적 전력사용량을 차분하여 (t)시간의 구간 전력사용량 을 계산하는 데이터 전처리를 수행한다. 그리고 전처리가 끝난 데이터를 이용하여 CNN-LSTM결합 딥러닝 모델에 입력을 위한 데이터 세트를 만든다. [그림 4-7]처 럼 하나의 데이터 세트는 24시간 구간 전력사용량 데이터와 Label 데이터 1개로 구성하고, 1시간씩 쉬프트하면서 총 551개의 딥러닝 모델의 입력 데이터 세트를 만 들었다. 본 논문에서 7월 25일 24개의 데이터가 결측 되었다고 가정하고 실험을 진 행하기 때문에 학습데이터는 551개, 테스트 데이터는 24개로 실험을 진행하였다.

CNN-LSTM결합 딥러닝 모델의 하이퍼파라미터 최적화를 위해서 학습데이터 551 개 중 검증 데이터로 110개를 사용하였다. 검증 데이터는 모델 개발 시에만 사용하 고, 전체 1000개 계량기 실험 시에는 사용하지 않는다.

[그림 4-7] 딥러닝 모델의 입력 데이터 세트

전처리된 데이터 세트를 입력하여 CNN-LSTM결합 딥러닝 모델에 입력하여 모 델을 학습시키고 7월 25일 0시부터 7월 25일 23시까지의 구간 전력사용량 데이터 를 예측한다. 이것을 1차 예측이라고 한다. 그리고 1차로 예측한 데이터에 가중치 를 적용하여 2차 시간별 구간 전력사용량을 예측한다. 마지막으로 결측 이전 마지 막 데이터인 7월 24일 23시 누적 전력사용량 데이터에 예측된 시간별 구간 전력사 용량 데이터인 25일 0시 사용량을 합산하고, 다시 합산된 7월 25일 0시 누적 전력 사용량에 예측된 구간 전력사용량인 7월 25일 1시 사용량을 합산한다. 이렇게 계속

58

-반복하여 결측 구간의 누적 전력사용량을 최종 예측한다.

본 논문에서는 딥러닝 기반 CNN-LSTM결합 가중치적용 모델 개발하기 위해서 우선적으로 CNN-LSTM결합한 딥러닝 모델의 정확도를 향상시킬 필요가 있고, 이 를 위해 여러 가지 실험을 수행하고, 최적의 모델을 만들어서 가중치를 적용하고자 한다.

시간별 구간 전력사용량을 예측하는 모델을 아래 [그림 4-8]과 같이 만들었다.

계량기에서 생성돼서 수집되는 데이터 종류는 여러 가지가 있으나 모두 누적 전력 사용량과 무관하며, 결측이 발생하게 되면 동시간대 모든 데이터가 결측 된다. 그 래서 입력 데이터로 사용할 수 있는 데이터가 누적 전력사용량 데이터만 있으므로 1차원 CNN모델을 사용했다.

시계열 데이터에 적용하기 위해서 1차원 CNN(1D convolution)[90,91]을 첫 번째 레이어에 배치하여 전력사용량 패턴을 인식하여 성능을 향상시키고자 한다. Kernel size를 5, filter를 150개, padding은 ‘same’, strides는 ‘1’, activation function은 relu 를 사용했다.

두 번째, 세 번째 레이어에는 LSTM을 배치하였고, 출력 레이어는 30개씩 하였 다. 그리고 네 번째 레이어는 Dense Layer[92]를 출력 레이어 30개로 배치, 다섯 번째 레이어는 Dense Layer를 출력 레이어 10개로 배치, 그 다음 출력결과를 하나 만 얻기 위해 Dense Layer를 출력 레이어 하나로 설정한다. 그리고 마지막으로 딥 러닝 정확도 향상을 위해서 람다(Lambda) 레이어를 추가하여 scale-up을 150배 하 였다.

[그림 4-8] 구간 전력사용량 1차 예측 네트워크 구조

딥러닝 모델을 만들고 모델을 학습시키기 위해서 loss function과 optimizer가 중 요하다. 그래서 정확도 향상을 위해서 여러 종류의 loss function과 optimizer를 실 험을 통해서 결정하고자 한다.

손실함수(loss function)는 머신러닝 혹은 딥러닝 모델의 예측값과 실제값(레이 블)의 차이를 계산하는 함수이며, 차이(loss)를 최대한 줄이는 방향으로 학습이 진 행된다. 여러 종류의 손실함수가 있으며 이항 교차 엔트로피(binary_crossentropy)

60

-나 범주형 교차 엔트로피(categorical_crossentropy) 등은 분류 문제에 사용되고, 연 속 값인 회귀 문제에 널리 사용되는 손실함수로는 평균제곱오차(MSE; Means Squared Error)와 MSE에 루트(^)를 씌운 제곱근 평균제곱오차(RMSE; Root Mean Squared Error)가 있다.

회귀 모델을 학습시키는데 잡음 데이터가 조금 있을 경우 평균 제곱 오차는 큰 오차에 너무 과한 벌칙을 가하기 때문에 정확하지 않은 모델이 만들어질 수 있다.

평균 절댓값 오차는 이상치에 관대해서 학습이 수렴되기까지 시간이 걸린다. 그리 고 모델이 잘 학습되지 않는다. 이런 경우 평균 제곱 오차대신 후버(Huber) 손실을 사용한다[93]. 식(4-5)처럼 후버(Huber) 손실은 오차가 1보다 작은 경우는 Square Error를 사용하고, 오차가 1보다 큰 경우는 오차값에서 0.5를 빼서 사용한다. 본 논 문에서는 사전 데이터 분석결과에서 보듯이 이상치 데이터가 많이 존재한다. 그래 서 손실함수로 후버(Huber)손실을 사용한다.

        ^ 

         

       ≦              

(4-5)

optimizer는 여러 종류가 있는데 그 중에서 본 연구에서는 몇 가지를 실험하여 최적의 optimizer를 선정하고자 한다.

첫 번째로 확률적 경사 하강법(SGD; Stochastic Gradient Descent)은 학습할 때 전체 데이터에 가중치를 조절하지 않고, 일부 추출한 랜덤한 데이터에 가중치를 조 절한다[94]. 결과적으로 속도는 개선되지만 정확도는 낮다.

두 번째로 모멘텀(Momentum)은 경사 하강법처럼 매회 기울기를 계산하지만, 가 중치를 수정하기 전에 수정 전 방향(+,-)을 참고하여 계속 같은 방향으로 일정한 비율만 수정하는 방법이다. 그래서 이전에 같은 값을 고려해서 다음 값을 결정하므 로 관성의 효과가 나타날 수 있다[95].

세 번째로 아다그라드(Adagrad)는 변수의 갱신 횟수에 따라 학습률을 수정하는 옵션이 추가된 방법이며, 크게 변화하지 않은 변수는 학습률을 크게하고, 크게 변 화한 변수들은 학습률을 적게 한다[96]. 이는 크게 변화한 변수는 최적값에 근접했 을 것이라는 가정하에 작은 크기로 이동하면서 세밀한 값을 조정하고, 적게 변화한 변수들은 학습률을 크게 하여 빠르게 loss값을 줄인다. 또한 같은 입력 데이터가

여러번 학습되는 학습모델에 유용하게 쓰인다.

네 번째로 알엠에스프롭(RMSprop)은 지수 이동평균으로, 아다그라드의 G(t)의 값이 무한정 커지는 것을 방지할 수 있는 방법이다[97].

다섯 번째 아담(Adam; Adaptive Moment Estimation)은 Momentum과 RMSprop 를 조합한 경사하강법이다. RMSprop의 gradient 제곱을 지수 평균한 값을 사용하 는 것이 Momentum의 특징, gradient를 제곱하지 않은 값을 사용하며 지수평균을 구하고 수식에 활용한다[98].

아래 [표 4-8]는 optimizer를 선정하기 위해 샘플 데이터를 대상으로 실험을 진 행하였다. 그 결과 Adam 이 본 논문에서 제안한 예측 모델에는 가장 좋은 성능을 보였다. 그래서 본 연구의 실험에도 Adam을 사용하여 모델을 학습한다.

[표 4-8] optimizer 종류별 MSE, MAE optimizer SGD &

Momentum Adagrad RMSprop Adam MSE 0.001924465 0.002298609 0.0047534 0.000537506 MAE 0.036171153 0.036102742 0.0540142 0.019394478

다음은 에포크(epoch)의 수에 따른 모델의 성능을 비교해보고 적정한 반복횟수를 선정한다[99]. x축은 에포크(epoch) 개수이다. 계량기마다 반복학습 횟수에 따라 정 확도가 달라지기 때문에 에포크는 크게 하면 좋을 수도 있지만 오버피팅(overfitting) 으로 정확도가 떨어질 수도 있고[100], 실제 업무에 적용 시에 서버 자원의 사용률 도 고려해야 함으로 적정수준을 찾는 것이 바람직하다. 물론 1000개 계량기의 모든 모델을 비교평가 할 수는 없으므로 몇 개의 샘플 데이터에 대해서 에포크 개수별 정확도를 비교했다. [표 4-9]에서 보듯이 에포크 수가 증가함에 따라 오차가 줄어 들고 R-Squared 값이 증가하는 것을 알 수 있다. 그 결과 에포크 개수가 30 이상 에서는 크게 좋아지지 않는다. 그래서 에포크 개수는 30개로 선정했다.

62 -[표 4-9] 에포크(epoch)에 따른 정확도

1차 예측을 위한 CNN-LSTM결합 딥러닝 모델을 만들었고, 여기에 가중치를 적 용한 2차 예측을 수행한다. 결측 전·후 총 사용량 범위를 벗어나지 않도록 보정하 기 위해서 1차 예측한 시간별 구간 전력사용량을 총 합이 1이 되도록 각 구간별 비율을 계산하고, 각 구간별 비율에 결측 구간의 총 사용량 값을 곱하여 2차 예측 한다.

그리고 마지막으로 결측 직전 누적 전력사용량 데이터에 2차로 예측한 각 구간 별 가중치가 적용된 시간별 구간 전력사용량을 합산하여 최종 예측을 수행한다.

본 논문에서 제안한 모델을 적용한 Algorithm 1을 설명하고자 한다. 먼저 입력데 이터로는 실험 데이터로 준비한 계량기번호 목록이다. 계량기 번호를 먼저 DB에서 조회한다. 계량기별 누적 전력사용량 데이터를 조회하고, 차분을 통해 시간별 구간 전력사용량을 계산하고, 입력 데이터세트를 준비하는 전처리 과정을 수행한다. 그 리고 전처리된 데이터를 딥러닝 모델에 입력하여 학습시키고 결측 구간의 구간 전 력사용량을 1차 예측한다. 결측 전·후 누적 전력사용량 차분을 통해 전체 구간 전 력사용량을 계산하고 이를 기반으로 1차 예측된 사용량의 가중치를 계산하여 2차 예측을 한다. 2차 예측된 데이터를 이용해서 최종 누적 전력사용량을 예측하고, 결 과를 저장한다.

Algorithm 1. Weighted CNN-LSTM Processing Input: MeterList

Output: ResultDataPool

Definition: Ra – After real data(first real data after missing termination) Rb – Before real data(real data just before missing)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

begin

Initalize list TmpRetPool;

READ MeterList with MissingValues;

for each MID in MeterList do

AccumulatedUsage = AccumulatedUsageDB.getvalue(MID);

IntervalUsage = COMPUTE IntervalUsage by time using AccumulatedUsage;

Model = DeepModel.fit(IntervalUsage);

DeepModel_IntervalUsage = Model.predict;

Sum_DeepModel_InervalUsage =



TmpRet = Rb

for each EIU in DeepModel_IntervalUsage do

Weighted_Usage = (Ra - Rb) x EIU / Sum_DeepModel_InervalUsage ; TmpRet = TmpRet + Weighted_Usage;

TmpRetPool = TmpRetPool.putvalue(TmpRet);

end for

ResultDataPool = ResultDataPool.putvalue(TmpRetPool);

ClearTmpRetPool;

end for end

64