인공신경망 딥러닝 기반 레이더 강우예측 연구 현황

Water for Future

1. 개요

예측강우는 수재해와 관련한 국민안전을 위해 필수적인 자료이므로, 이를 정확히 예측하여 정 보를 제공하는 것이 중요하다. 일반적으로 기상 분야에서는 기상수치모델, 레이더기반 예측기법을 적용하여 강우량과 강우발생 지역을 예측하고 있 다. 그 중 레이더 자료를 이용한 강우예측 기법은 기상레이더에서 관측되는 강우장이 동일한 호우 에 대해서는 동일한 기상특성을 갖는 것으로 판단 하고, 외삽기반의 예측기법을 사용한다. 역학·물 리적 원리에 기반한 기상예측 외에도 1990년대부 터 인공신경망기법을 이용한 강우예측연구가 수행 되어 왔는데, 이는 강수에 영향을 미치는 다양한

기상요소와 예측에 활용되는 방대한 관측자료를 활용하기 위함 이었다(Kuligowski et al., 1998;

Lee et al., 1998; Hall et al., 1999; Seo et al., 2012) 최근에는 딥러닝 기법 중 하나인 DBN(deep belief network)과 40년간의 AWS(Automatic Weather System)의 지점 관측자료와 태양과 달 의 궤도 관련 자료를 활용하여 새로운 강수예측 방법을 제시하기도 하였다(Ha et al., 2016).

특히, 국외의 경우 이미지 검색 및 분류와 같은 컴퓨터 비전 분야에서 강점을 갖는 딥러닝 기법과 기상레이더 자료와 같은 2차원 데이터들을 이용 하여 강우를 예측하는 연구 추세가 증가하고 있으 나, 국내의 경우는 시작단계이다. 이에 본 고에서 는 딥러닝 기반 레이더 강우예측 연구 사례를 살 펴봄으로써 국내에서도 해당 연구의 활성화를 기 대해본다.

2. 인공지능과 딥러닝의 이해 2.1 인공지능의 개요

인공지능은 기계로부터 만들어진 지능 혹은 인 공적인 장치들이 가지는 지능이며, 특히 인간과 같이 데이터 속에서 특징(feature)를 인지하고 생 성하여 현상을 모델화하는 것이 가능한 기술을 의

인공신경망 딥러닝 기반 레이더 강우예측 연구 현황

이 동 률

한국건설기술연구원 국토보전연구본부 선임연구위원

[email protected] 윤 성 심

한국건설기술연구원 국토보전연구본부 수석연구원

[email protected]

Water for Future

미한다.

인공지능은 크게 레벨 1부터 레벨 4까지의 4단 계로 분류할 수 있다(유타카, 2015).

레벨 1은 단순한 제어 프로그램을 ‘인공지능’이 라고 하며, 지극히 단순한 제어프로그램을 탑재하 는 전자제품을 언급할 때 사용되기도 한다. 이러 한 기술은 ‘제어공학’이나 ‘시스템공학’이라는 학문 분야에 해당한다.

레벨 2는 행동의 패턴이 다채로운 경우에서의 지능을 의미하는 고전적인 인공지능이다. 입력과 출력 관계를 맺는 방법이 세련되어 입력과 출력의 조합수가 극단적으로 많으며, 이 때의 인공지능은 적절한 판단을 내리기 위해 추론/탐색을 하거나, 기존에 보유한 지식을 기반으로 판단하기도 한다.

고전적인 퍼즐을 푸는 것, 진단 프로그램이 이에 해당된다.

레벨 3은 기계학습을 받아들인 인공지능으로써 검색엔진에 내장되어 있거나 빅데이터를 바탕으로 자동적인 판단을 한다. 추론의 구조나 지식 베이 스가 데이터를 바탕으로 학습하는 것으로써 전형

적인 기계학습의 알고리즘이 이용된다. 기계학습 은 표본이 되는 데이터를 바탕으로 규칙이나 지식 을 스스로 학습하는 것이며, 대표적으로 패턴 인 식을 들 수 있다.

레벨 4는 딥러닝을 받아들인 인공지능으로써, 기 계학습을 할 때의 데이터를 나타내기 위해서 사용 되는 입력값(특징) 자체를 학습하는 것이다. 현재 컴퓨팅 성능의 향상과 학습에 활용할 수 있는 방대 한 빅데이터와 더불어 기술적으로 크게 발전한 딥 러닝이 최근 인공지능 붐의 기반이 되고 있다.

인공지능 연구는 연결주의적 학습접근 방식인

‘인공신경망(Artificial Neural Network)’과 궤를 같이 한다. 인공신경망에 영감을 준 것은 인간의 뇌가 지닌 생물학적 특성인 뉴런의 연결 구조였 다. 인공신경망은 인간의 신경망 구조를 모방하여 노드(node)와 레이어(layer)로 네트워크를 구성하 여 추론 결과를 얻어낸다. 특히 딥 러닝은 인공지 능과 기계학습의 하위집합으로 여러 계층의 인공 신경망을 이용하여 정확도를 향상시키는 데 일조 하고 있다.

그림 1. 인공지능, 머신러닝, 딥러닝의 관계(https://developer.nvidia.com/deep-learning)]

Water for Future

2.2 딥러닝의 개요

앞서 언급한 대로 레이더 강우예측에 활용되는 딥러닝 기법은 넓은 의미로 머신러닝 중 “신경망 (neural network)”이라는 모델의 일종이다. 딥러 닝은 “신경망이 이미지를 인식했다”라고 구글이 발표할 무렵부터 세상의 주목을 받기 시작했다.

딥러닝은 ‘심층학습’ 혹은 ‘특징표현 학습’이라고도 하며, 기본적으로는 다층 신경망을 이용한 기계학 습이지만 단순히 계층을 증가시켜 복잡화하는 것 이 아니라 해결해야 할 문제에 맞게 각각의 노드 에 특별한 역할을 부여하거나 노드간의 연결방식 을 다양하게 구성한 신경망이라고 할 수 있다.

딥러닝은 응용목적별로 다양한 신경망으로 발 전하고 있다(http://www.asimovinstitute.org/

neural-network-zoo). 그 중 대표적인 딥러닝 신경망으로 합성곱 신경망(CNN, convolutional neural network), 순환신경망(RNN, Recurrent Neural Network), 생성 대립 신경망(GAN, Generative Adversarial Network), 제한된 볼츠 만 머신(RBM, Restricted Boltzmann Machine), 심층 신뢰 신경망(DBN, Deep Belief Network), 관계형 네트워크(RL, Relation Network) 등 이 있다. CNN은 특징맵을 생성하는 필터도 학

습할 수 있어 컴퓨터 비전 분야에서 우수한 성능 을 보이며, RNN은 텍스트, 음성, 영상 등 순차 적 정보가 담긴 데이터에서 규칙적인 패턴을 인 식하고, 추상화된 정보를 추출할 수 있다. 그 중 RNN-LSTM(Long Short-Term Memory)은 Gradient vanishing 문제로 패턴학습을 수행하지 못하는 경우를 개선하기 위해 개발되었다. RBM 은 차원 축소, 분류, 선형 회귀 분석, 필터링, 비지 도 학습에 활용되며, DBN은 사전 훈련된 RBM을 다층으로 쌓은 구조로 잠재변수의 다중계측으로 이루어진 신경망이다. 특히 라벨이 없는 데이터에 대한 비지도 학습에 강하며, 부분적인 이미지에서 전체를 연상하는 일반화, 추상화 과정을 구현한 다. GAN은 비지도 학습된 패턴을 이용해 이미지 나 음성, 새로운 의미를 갖는 이미지도 생성할 수 있다. RL은 최근 구글의 딥마인드에서 개발한 것 으로 물리적 사물, 문장, 추상적인 아이디어들 사 이의 관계를 파악해 논리적 추론을 할 수 있다.

2.3 합성곱 신경망

본 고에서는 컴퓨터 비전 분야에서 좋은 성능으로 보이며 위성사진이나 일기도, 레이더와 같은 2차원 데이터 활용시 유용한 알고리즘인 CNN을 중심으로

그림 2. 대표적인 딥러닝 신경망 노드구조(http://www.asimovinstitute.org/neural-network-zoo)]

Water for Future

레이더 강우예측 연구 현황을 정리하고자 한다.

CNN은 생물의 시신경이 동작하는 원리에서 영 감을 얻어 이미지 데이터의 처리에 적합한 구조로 만들어진 신경망으로, 1990년대 후반부터 필기 숫 자 인식, 얼굴 인식 등의 제한적인 어플리케이션 으로 활용되어오다, 딥러닝 기술이 활성화 되면서 2012년 ImageNet Challenge에서 Deep CNN이 기존의 컴퓨터 비전 기술을 앞서면서 고해상도의 자연 이미지에서도 일반적인 사물을 인식할 수 있 는 수준에 이르며, 사진 자동 분류, 내용 기반 이 미지 검색, 이미지-텍스트 멀티모달 학습 등으로 확장되었다(Kim et al., 2015).

CNN은 크게 convolution-pooling 레이어와 fully connected 레이어의 두 부분으로 구성되어 있다. 전자는 입력된 이미지로부터 계층적 구조의 특징을 추출하는 역할을, 후자는 추출된 특징을 입력받아 타겟 클래스로 분류하는 역할을 담당한 다. CNN 레이어는 Local connectivity와 shared weights를 통해 이미지 데이터의 특성을 반영하 는 동시에 모델의 복잡도를 크게 단순화시킨다

Local connectivity은 가장 일반적인 형 태인 fully connected 레이어와 달리, 해당 convolution 필터의 크기인 NxN window 내의 인접한 뉴런들에만 연결이 되어있다. 이는 인접 한 픽셀들끼리는 상관관계가 높지만 멀리 떨어진 픽셀들은 그렇지 않은 이미지의 특성(locality)을

반영한 것이다. Shared weights는 convolution 필터들이 적용되는 위치가 달라도 같은 weight 값을 공유한다는 것으로, 픽셀 값의 통계적 특 성이 이미지 상의 좌표와 무관한 이미지의 특성 (stationarity)을 반영한 것이다.

여기서 Pooling 레이어는 NxN window 내의 입 력값들을 그 최대값 또는 평균값으로 매핑함으로써 이미지의 크기를 점차적으로 줄인다. 그 결과 상위 레이어로 올라갈수록 같은 크기의 convolution 필 터가 상대적으로 넓은 영역을 처리하게 되어, 상위 레이어에서는 하위 레이어의 저차원 특징을 조합하 여 고차원 특징을 학습하는 효과를 가져온다.

3. 딥러닝을 활용한 강우예측 연구 사례

3.1 Convolution Long Short Term Memory Network를 이용한 강우예측 연구

CNN을 활용한 대표적인 레이더 강우 예측 연구 로 홍콩의 3년치(2011년~2013년) 기상레이더 반 사도 자료와 Convolutional LSTM Network를 이 용하여 선행 90분까지 예측을 수행한 사례가 있다 (Shi et al., 2015).

기본적으로 기상 레이더 데이터를 이용하는 연 구는 시계열 예측의 문제로써 다음 식 (1)과 같이 수식화 할 수 있다.

그림 3. 숫자인식을 위한 합성곱 신경망의 내부구조 (LeCun et al., 1998)

(1)

Water for Future

식에서 는 t 시점에서의 데이터(기상레이 더 자료)이며, t 시점을 현재 시점이라고 할 때,

는 과거에서부터 현재까지 의 관측값 J개를 의미하며, K개의 미래 예측값은

이다. 모델에서는 가장 높은 확률로 추정되는 예측값을 추출하는 것을 목적으로 한다.

해당연구에서는 CNN으로 각각의 이미지 특 징 벡터를 추출하고, 해당 특징들을 LSTM의 입 력으로 이용하는 일반적인 방법을 따르지 않고, 시간적인 정보와 공간적인 정보를 모두 잘 처리 하기 위해 그림 4와 같이 LSTM 내부 오퍼레이 션 자체에 합성곱을 삽입하는 기법을 제안하였다.

LSTM은 과거의 순차적 정보를 이용하여 학습을 할 수 있는 순환신경망(RNN, Recurrent Neural Network)의 한 종류로 장기간의 의존을 학습하는 능력을 가지고 있다.

특히 해당연구는 그림 5와 같이 Encoding- Forecasting 모델을 사용하여 단일 LSTM 구성을

다수의 convolutional LSTM으로 쌓아놓도록 하 여 입력과 출력, 상태를 모두 3차원 텐서로 효율적 으로 다룰 수 있게 하였다.

그림 6은 홍콩의 레이더 자료를 이용하여 ConvLSTM으로 예측된 강우와 기존의 세미 라그랑지안 이류벡터 기반의 초단시간 예측강 우(ROVER) 결과의 일부분을 도시한 것이다.

ConvLSTM이 강우의 시공간분포를 보다 정확하 게 예측할 수 있었으나, 이 기법은 불확실성으로 인해 확률모델에 많은 가정을 하면서 다양한 자 료가 평균적으로 섞여서 뭉개진(blurry) 이미지 를 생성한다는 단점이 있다. 따라서 예측된 강우 분포 이미지가 흐리게 나타났다. 기존 ROVER2 는 강우분포가 명확하게 나타나나, 단순이동된 강 우예측 분포 형태를 보여 예측강우의 평가지표 (mean squared error (Rainfall-MSE), critical success index (CSI), false alarm rate (FAR), probability of detection (POD), correlation)

그림 4. 제시된 ConvLSTM 내부 구조 (Shi et al., 2015)

그림 5. 강우예측을 위한 Encoding-forecasting ConvLSTM network

Water for Future

에서 ConvLSTM보다 낮은 예측 정확도를 보였 다.(Wong et al., 2016)

그러나 ConvLSTM을 이용한 연구는 0.5mm 의 강우 임계값을 기준으로 정확도가 평가되어 서 재해 위험도가 큰 강한 강우에 대한 알고리즘 의 성능을 평가하지 못한 한계가 있었으며, 위치 불변필터(location-invariant filter)를 사용하는 ConvLSTM을 사용하는 것이 강우의 회전과 강도 변화와 같은 이동패턴을 파악하는데 비효율적이었 다. 후속 연구에서는 이러한 한계를 극복하기 위 해 위치-변형 구조를 능동적으로 학습할 수 있는 Trajectory GRU 모델을 제안한 바 있다(Shi et al., 2017).

3.2 CIKM AnalytiCup 2017

2017년에 개최된 Conference on Information and Knowledge에서는 중국 심천(Shenzhen) 기 상청과 알리바바 그룹의 후원으로 전세계 연구자 들을 대상으로 기존 외삽기반의 레이더 예측강우 의 정확도를 개선하기 위한 CIKM AnalytiCup 경 연대회를 진행한 바 있다. 해당 대회는 전적으로 데이터 분석 기반으로 예측모델을 구축하는 것을 목표로 하여, 참가자들 대부분이 기계학습과 딥

러닝 기반의 레이더 강우예측 결과를 도출하였다 (Shenzhen Meteorological Bureau-Alibab).

경연대회에서 제공된 레이더 반사도는 그림 8 과 같으며, 6분 간격의 3차원 관측자료가 15개 (1 시간 30분)가 학습을 위해 10,000 세트, 데스트를 위해 2,000 세트 제공되었다. 즉, 과거 1시간 30 분 간의 과거 레이더 관측 자료를 활용하여 선행 1

〜2시간의 예측강우를 산정하는 것이다. 비교기준 값으로 제시한 선형회귀모형으로 예측된 강우와 관측강우간의 평균제곱근오차(RMSE)는 14.69(기 준 값)였으나, 경연대회의 수상팀들은 기계학습 과 딥러닝 알고리즘을 적용한 예측을 수행하고, 기준 오차값보다 작은 10.997, 12.333, 12.948 의 평균제곱근오차를 보였다. 그 중 1등 수상팀은 SIFT(Scale-invariant feature transform) 알 고리즘으로 산정된 속도벡터를 기반으로 구름의 궤적을 추정하면서, CNN 기법으로 구름 패턴의 전반적인 특성과 구름 이동의 시공간 해석, 레이 더 이미지의 지역적 특징을 얻었다(Yao and Li, 2017).

2등 수상팀은 서로 다른 시점과 높이의 레이더 강우분포에서 강도의 히스토그램(histogram of intensity)을 기반으로 기계학습의 일종인 PCA

그림 6. ConvLSTM과 ROVER2로 산정된 예측강우 결과

(최상단부터 입력강우, 실제 관측강우, ConvLSTM 예측강우, ROVER2 예측강우)]

Water for Future

(Principle Component Analysis)와 Xgboost를 활용하였다(Zhang and Wei, 2017).

3등팀은 강수량 예측을 위해 레이더 강우분포 의 공간적, 시간적 특성을 보다 심층적으로 학 습하도록 Deep Residual Network(ResNet)와

ConvLSTM을 활용하였다(Nguyen et al., 2017).

3.3 DeepRain

국내의 딥러닝을 활용한 레이더 강우예측 연 구는 시작단계로 한국과학기술정보연구원에서 그림 7. 딥러닝 기반 예측강우(ConvLSTM, FC-LSTM)과 이류벡터 기반 예측강우의 정확도 비교 결과

그림 8. 경연대회에서 제공한 중국 심천지역 레이더 자료 형태

Water for Future

는 DeepRain이라는 딥러닝 기반 레이더 데이터 를 이용한 강우량 예측 기법을 개발하고 있다(Kim et al., 2017). 해당 연구에서는 그림 11과 같이 ConvLSTM과 ConvGRU (Convolutional Gated Recurrent Unit)을 이용하여 강우량 예측 인공신

경망 학습 모델을 개발하고 성능을 분석한 바 있 다. 해당 연구 역시 CIKM 2017에서 사용된 심천 지역의 레이더 관측 반사값으로부터 정규화 및 익 명화과정을 거친 데이터를 사용하였다.

특히, DeepRain은 기존 연구들과 달리 대량의 그림 9. 1등 수상팀의 이용한 sub-image matching

그림 10. 3등 수상팀의 강우예측 산정 절차

Water for Future

과거 레이더 자료로부터 예측 강우를 생성하지 않 고, 1시간〜2시간 사이의 강우량 값이 레이블된 자료를 사용에 강우량을 산정했다는 차별점을 두 고 있다. 그림 12와 같이 딥러닝 기법(FC-LSTM, ConvLSTM)과 학습조건(Epoch, Optimizer)을 차별화하여 예측정확도를 향상시키는 연구를 지속 하고 있다.

4. 맺음말

수자원 분야의 홍수재해 저감을 위한 사전대응 을 위해서는 정확한 예측강우는 반드시 수반되어 야 한다. 현재까지 기상분야 뿐만 아니라 수자원 분야에서 다양한 기법을 활용해서 강우를 예측하 그림 11. ConvLSTM을 활용한 DeepRain의 내부 구조

그림 12. 다양한 딥러닝 기법과 학습조건별(Epoch, optimizer) 강우예측 평가 결과

Water for Future

고 정확도를 향상시키기 위한 노력을 하고 있다.

특히 기상이변으로 인한 강우의 변동성이 증가하 는 상황에서 전통적인 강우예측과 함께 기존 패러 다임에서 벗어나서 최신의 인공지능 기술인 딥러 닝을 접목하는 것이 필요한 상황이다. 지금까지 국내외 딥러닝을 활용한 레이더 강우예측 연구현 황에서 보듯이 딥러닝의 활용은 기존의 이류기반 의 예측 기술보다 시공간 상관성을 잘 포착하고, 보다 정확한 강우 예측성능을 보여주었다. 특히, 국외에서는 이와 같이 활발한 연구가 진행되면서 오프라인 강우예측 뿐만 아니라 딥러닝 기반의 실

시간 레이더 강우예측시스템의 구축을 시도하고 있는 상황으로 국내에서도 딥러닝을 활용한 강우 예측 기술이 유용하게 활용될 수 있을 것으로 판 단된다.

감사의 글

본 연 구 는 국 토 교 통 부 / 국 토 교 통 과 학 기 술 진 흥 원 의 지 원 으 로 수 행 되 었 음 ( 과 제 번 호 18AWMP-B127555-02).

마쓰오 유타카 (2015) 인공지능과 딥러닝, ㈜동아엠앤비.

Kim, J., Pyo, H., Ha, J., Lee, C., Kim, J. (2015) “Deep learning algorithms and applications” Communications of the Korean Institute of Information Scientists and Engineers, Korea Information Science Society, 33(8), 2015.8, 25-31.

Kim, S., Hong, S., Joh, M., Song, S. (2017) “DEEPRAIN: convLSTM network for precipitation prediction using multichannel radar data” 7th International Workshop on Climater Informatict September 20-22.

Ha, J.H., Lee, Y.H., Kim, Y.H. (2016). “Forecasting the Precipitation of the Next Day Using Deep Learning”, Journal of Korean Institute of Intelligent Systems 26(2), 93-98.

Hall, T., Brooks, H.E., Doswell, C. A. (1999) “Precipitation forecasting using a neural network”, Weather and Forecasting, vol. 14, no.3, pp. 338-345, 1999.

Kuligowski, R.J., Barros, A.P. (1998), “Localized precipitation forecasts from a numerical weather prediction model using artificial neural networks”, Weather and Forecasting, vol. 13, no. 4, pp.1194-1204

LeCun, Y., Bottou, L., Bengio, Y., Haffner, P. (1998) “Gradient-based learning applied to document recognition” Proceedings of the IEEE, vol. 86, issue 11, pp.

2278-2324, November 1998.

Lee, S., Cho, S., Wong, P.M. (1998), “Rainfall prediction using artificial neural networks”, Journal of Geographic Information and Decision Analysis, vol. 2, no.

2, pp. 233-242 참고문헌

Water for Future

Nguyen, M., Nguyen, P., Vo, T., Hoang, L. (2017) “Deep Neural Networks with Residual Connections for Precipitation Forecasting” CIKM 2017, Nov 2017, Singapore

Seo, J.H., Lee, Y.H., Kim, Y.H. (2012), “Feature selection to predict very short-term heavy rainfall based on differential evolution”, Journal of Korean Institute of Intelligent Systems, vol.

22, no. 6, pp. 706-714.

Shenzhen Meteorological Bureau-Alibab, “Short-Term Quantitative Precipitation Forecasting,” https://tianchi.aliyun.com/competition/information.htm?spm=5176.100067.5 678.2.jsxLyX&raceId=231596

Shi, X., Chen, Z., Wang, H., Yeung, D., Wong, W., Woo, W. (2015) “Convolutional LSTM network: A machine learning approach for precipitation nowcasting.” Advances in Neural Information Processing Systems. 2015.

Shi X., Gao, Z., Lausen, L., Wang, H., Yeung D., Wong, W., Woo, W. (2017) “ Deep learning for precipitation nowcasting: a benchmark and a new model” 31st Conference on Neural Information Processing Systems (NIPS 2017), Long Beach, CA, USA.

Wong, W., Shi, X., Yeung, D., Woo, W. (2016). “A deep-learning method for precipitation nowcasting” WMO WWRP 4th International symposium on nowcasting and very-short-range forecast 2016.

Yao, Y., Li, Z. (2017) “CIKM AnalytiCup 2017: Short-Term Precipitation Forecasting Based on Radar Reflectivity Images” CIKM 2017, Nov 2017, Singapore.

Zhang, Z., Wei, S. (2017) “A Method for Short-Term Quantitative Precipitation Forecasting”

CIKM 2017, Nov 2017, Singapore.