Water for Future
1. 서 론
모든 학문은 과학적 방법론을 중시하며 실험과 경험에 기반한 원리 도출과 연구를 통해 발전하였 으며, 데이터는 의사결정 행위에 핵심적 도구로 활 용된다. 현재 생성되는 데이터는 규모와 생성속도 측면에서 기존 데이터와 차별하여 빅데이터로 불 리고 있으며, 가치 창출을 위한 핵심 기반으로 평 가된다(안춘모, 2017). IDC(International Data Corporation)에서 발표하는 디지털 유니버스 보고 서(2014)에 의하면, 2103년 생성 복제 및 유통되는 디지털 데이터량은 4.4 제타바이트이며 2020년까 지 약 44제타바이트가 생성될 것으로 예측된다(40 제타바이트는 전 지구상 해변의 모래알 수로 추정 되는 7억50만조의 75배). 과학기술 분야에서는 네 크워크 기술 발달과 대용량 과학기술 실험 장비 등 장으로 연구 실험 데이터가 급격하게 증가하고 있
수리모형실험 데이터의 빅 데이터 활용을 위한 방향
정 재 상
한국농어촌공사 농어촌연구원 주임연구원
fingon@ekr.or.kr
장 정 렬
한국농어촌공사 농어촌연구원 수석연구원
wgjang@ekr.or.kr
김 한 태 (주)부린 부사장
htkim@eburin.com
그림 1. 한국농어촌공사 농어촌연구원 수행 수리모형실험 종류
Water for Future
으며, 과학기술 관련 국제기구 및 기술 선진국들은 1960년대 이후 과학 데이터의 체계적인 수집, 관리 및 효율적인 공동 활용을 촉진하기 위한 다양한 정 책들을 추진하고 있으며, 관련 정보시스템을 지속 적으로 운영하고 있다(조민희 등, 2013).
한국농어촌공사 농어촌연구원은 1959년 구룡지 구 수리모형시험을 효시로 국내외의 다양한 수리 구조물에 대한 수리모형실험을 수행하여 현재까 지 260여 건의 수리모형실험 경험과 실적을 보유 하고 있다. 전통적 농업생산기반 정비사업 기술지 원에서 출발하여 새만금사업과 관련된 30여년간의 현장 조사와 전구역 수리모형실험 데이터, 국가 주 요 수리시설인 소양강, 임하댐 등에 대한 수리실험 과 바레인 담수화 설비, 파키스탄 수력발전소 실험 등 해외 프로젝트, 최근에는 해양, 항만, 수산 분야 로 확대되었으며, 데이터의 종류 또한 과거 저용량 의 텍스트 위주의 데이터에서 PIV(Particle Image Velocimetre) 장치의 이미지 파일 등 대용량 화상 데이터와 같은 거대한 양의 데이터가 매년 생산되 고 있다.
일반적으로 데이터는 어떤 패턴을 찾아낼 때 비 로소 빅데이터로서 활용가치가 부여된다. 즉, 데 이터의 크기나 양이 아니라 원하는 다양한 가치 를 얻을 수 있을 때 빅데이터라 할 수 있다(송민정, 2017). 한국농어촌공사는 260여건의 수리실험 실적 과 결과 데이터를 보유하고 있으나 관측 자료의 관 리는 실험자에 따라 다양한 방식과 형식으로 개별 적으로 저장·관리 되어 자료의 구조가 매우 복잡 한 반면, 정보의 수준은 매우 낮거나 단순 보고서로 만 존재하는 등 실험 결과의 체계화와 표준화를 통 한 새로운 부가가치 창출을 위한 정보화가 미흡하 다. 한국농어촌공사 뿐만 아니라 다른 실험 수행기 관들도 수리모형실험 데이터의 관리는 한국농어촌 공사와 크게 다르지 않은 것으로 파악하고 있다.
이에 한국농어촌공사는 수리모형실험 데이터의 빅데이터 활용을 위해 먼저 과거 실험데이터, 보 고서, 사진 등을 전산화하여 체계적으로 저장 및
관리할 수 있는 시스템을 구축하고 있다. 향후 본 시스템이 완성되고 과거 수행한 다양한 수리모형 실험 데이터베이스가 구축되면, 본 실험 데이틔 빅데이터 활용을 위한 방안, 유사한 실험 수행 기 관들 사이의 데이터 표준화, 공유 및 공동 활용 등 에 대해서도 논의가 필요할 것이다. 본 기사에서 저자는 향후 구축될 수리모형실험 빅데이터의 활 용을 위한 다양한 과제들에 대해 제시한다.
2. 빅 데이터 리뷰
빅 데이터에 대해서는 사람에 따라 다양하 게 정의하고 있는데, 메타그룹의 애널리스트 Laney(2001)는 데이터의 급성장에 따른 이슈 와 기회를 데이터의 양(Volume), 데이터의 입출 력 속도(Velocity) 그리고 데이터 종류의 다양성 (Variety)라는 세 개의 차원으로 정의하였다. 이후 Laney(2012)는 기존의 정의를 다시 개정하였는 데, 그는 빅데이터를 “고속제어가 가능하고, 고용 량 및 다양한 형식의 데이터로써 보다 향상된 통 찰력과 의사결정을 위한 보다 경제적이고 혁신적 인 형태의 데이터 가공 형태”로 정의하였다.
Laney(2001)에 따르면 빅 데이터의 기본 특 성은 3가지로 요약할 수 있다. 먼저 방대한 용량 (Volume)을 그 특성으로 볼 수 있는데, 2015년 30억명의 세계 인구가 8제타바이트의 정보를 생 산할 정도로 방대한 정보가 형성되고 있다. 두 번 째로는 빠른 분석속도(Velocity)이다. 아무리 정보 량이 방대하다고 하더라도 이를 빠르게 처리하지 못한다면 아무 쓸모가 없을 것이다. 세 번째 특성 은 정보의 다양함(Variety)이다. 과거 단순한 텍스 트 위주의 정보에서 지금은 수 많은 사진자료, 영 상자료, 음성자료 등 매우 다양한 정보들이 생산 되고 또한 소비되고 있다. 최근 IBM에서는 여기에 데이터의 불확실성을 뜻하는 Veracity를 추가하여 4V라고 지칭하기도 한다(장동인, 2017).
Water for Future
3. 해외 실험자료 공유 및 공개 시스템
국내외적으로 다양한 분야에서 빅데이터 활용 에 대한 연구가 수행 중에 있다. 농업분야 빅데이 터 활용사례는 닛폰전기의 작물수확량 예측, 몬 산토의 Integrated system platforms, 인텔의 ACWMS, 에어이노브의 데이터 농업, 농촌진흥청 의 유전자 정밀지도 등이 있다. 물관리 분야에서 는 IBM의 스마트물관리, HDS의 상수도관리, 뉴 욕시의 하수도관리 등이 있고 재난분야에서는 영 국의 해안홍수데이터베이스, 재난안전연구원의 스 마트빅보드 등이 있다. 이태호 등(2017)은 농업생 산기반정비사업의 조사설계 유지관리 분야에서 빅 데이타 활용성에 대한 연구를 수행한 바 있다.
수리실험분야에서는 EU에서 9개국 15개의 수리시험장 보유 기관들이 네트워크를 형성한
‘hydralab+’를 통하여 상호 협력하고 있으며, JAR3 FREE Data 플랫폼을 통하여 실험 데이타 의 재활용과 상호교환 활성화를 추진하려고 노력 하고 있다. 특히 hydralab+에서는 CLASH 프로 젝트를 통해 해안가에 위치하는 호안을 대상으로
15개 기관이 수행한 방대한 양의 월파량 측정 수 리모형실험 데이터와 과거 약 30년간 수행한 실험 데이터를 분석하여, 대부분의 호안을 대상으로 사 용할 수 있는 일반적이고 정확한 월파량 예측식이 고안되기도 하였다.
현재까지 세계적으로 실험기관들의 폐쇄성으로 인해 각 기관에서 수행한 실험 Data를 공유하는 경우는 극히 드물다. 하지만 선도적인 몇몇 기관 에서 실험 Data를 공유한 사례가 있다. 첫 번째로 미국 U.S. Geological Survey에서 1992-2017년 사이의 약 25년간의 토석류 실험 영상자료 DB를 구축하여 홈페이지에 공개하였다(https://pubs.
usgs.gov/of/2007/1315/). 미국 U.S. Geological Survey에서는 약 100 m 길이의 급경사수로를 구 축하였으며, 본 실험시설에서 수행한 실험 영상 을 공개하였지만, 이들도 수치화 된 자세한 실험 Data(토석류 자유수면 시계열, 압력 시계열 등)는 공유하지 않았다.
또 다른 사례로 미국 U.S. Army Corps에서 2005년-2017년(약 12년) 사이에 해양에서 관측한 파랑의 에너지 스펙트럼 자료의 DB를 구축하고,
그림 2. EU의 Hydralab+의 홈페이지 및 실험자료 공유 (http://hydralab.eu/research—results/exchange-of- experimental-data)
Water for Future
그림 4. 미국 U.S. Army Corps의 해양 관측자료 공개 홈페이지(https://frfdataportal.erdc.dren.mil/) ftp 서버를 통해 공개하였다. 그들은 스펙트럼을
분석할 수 있는 fortran 코드도 함께 공개하였다.
하지만 미국 U.S. Army Corps에서도 실제 각 관 측장비(수위계)에서 획득한 raw data인 수위 시계 열자료까지 공개하지는 않았다.
실험 및 관측 데이터를 공유하는 사례로 DATAHUB라는 포털 사이트가 존재한다. 본 사이 트에서는 수리실험 뿐만 아니라 지질학, 의학, 화 학 등 거의 모든 학문분야의 실험, 관측 등 Data
를 공유하는 사이트이다. 본 사이트에는 연구보고 서, 논문, raw data, 사진, 동영상, 도면, 지도 등 매우 다양한 자료들을 공유하고 있으며, 매우 많 은 연구자들이 본 사이트를 이용하고 있다. 하지 만 DATAHUB에서도 단순한 Database 구축 및 Data 공유 측면에서 활용되고 있고, 축적된 Data 를 재 분석하여 빅 데이터화 하는 수준까지는 시 스템 개발이 이루어지지 않았다.
그림 3. 미국 U.S. Geology Survey의 토석류 실험자료 공개 홈페이지(https://pubs.usgs.gov/of/2007/1315/)
Water for Future
4. 수리모형실험 빅데이터 시스템의 활용성
우리나라에서도 한국농어촌공사나 한국건설기 술연구원 등과 같은 전문기관에서 과거 수많은 수 리모형실험을 수행하여왔다. 만약 과거 수행한 다 양한 수리모형실험의 결과들이 현재까지 잘 관리 되어 왔다면, 이들 실험 결과들은 하천이나 수리
학 분야의 연구발전과 더 나아가 인류의 삶의 질 향상을 위해 큰 기여를 했을 것이라 생각된다. 하 지만, 단순한 수리모형실험 데이터의 인류의 삶의 질 향상을 위한 활용방안에 대해서는 좀 더 많은 고민이 필요할 것이다.
수리모형실험 데이터의 빅데이터 활용사례로 가 깝게는 앞서 설명한 유럽의 hydralab+의 사례가 그림 5. DATAHUB 홈페이지(https://datacenterhub.org)
그림 6. DATAHUB의 Data 리스트
Water for Future
그림 7. CLASH 프로젝트에서 제시한 무차원화된 호안고 대비 무차원화된 월파량 실험 결과(van der Meer et al., 2009)
그림 8. 수리실험 데이터의 빅데이터 활용을 위한 목표시스템 구축방향 설정
Water for Future
있다(그림 7). 그림 7은 방대한 실험데이터에서 패 턴을 찾아 낸 하나의 예를 나타낸다. 매우 다양한 조건의 방대한 실험 데이터를 분석함으로써, 실 험 데이터의 특정 패턴을 파악할 수 있었으며, 그 결과로 일반적인 월파량 예측식을 개발할 수 있었 다. 만약 우리도 과거 수행한 수리모형실험의 방 대한 데이터를 수집하고, 실험목적이나 구조물 종 류별로 분류한 후 이들 데이터에 대해 깊이 있는 분석을 수행한다면, 현재까지도 부족함이 있는 하 천이나 수공구조물 관련 설계 기준들의 재정립에 도 큰 도움이 될 것이다. 그리고, 일단 데이터가 수집되어 방대한 DB가 구축된다면, 이에 대한 활 용은 우리 모두가 예상치 못한 분야에서의 성과도 기대할 수 있을 것이다.
5. 한국농어촌공사의 수리모형실험 데이터 의 빅데이터 활용을 위한 시스템 소개
5.1 목표시스템 구축 방향
한국농어촌공사에서는 수리모형실험 데이터의 빅데이터 활용을 위해 먼저 수리모형실험 데이터 베이스 구축을 시작하였다. 따라서, 본 장에서는 수리모형실험 데이터 베이스 설계 사례에 대해 간 단히 소개한다. 수리모형실험 데이터의 빅데이터 활용을 위한 목표 시스템의 구축방향을 설정하기 위해 목표 모델은 공동활용 및 공공개방에 필요한 사항을 기술적 관점, 데이터/정보 관점, 운영환경 변화 관점에서 검토하고 목표시스템 구축의 중요 한 요소로서 활용성, 정확성, 지속성, 미래지향성 을 설정하였다(그림 8). 목표 시스템은 수리모형
그림 9. 목표 시스템 DB 설계(안)
Water for Future
실험과 관련된 지원업무와 공동 활용에 필요한 기 초자료를 제공하고 자료 융·복합을 통하여 새로 운 자료를 생산, 제공하는 시스템으로 설계한다.
시스템의 구성은 내부 업무시스템과 공동활용 및 대민서비스로 분류하고 내부업무시스템은 수리모 형실험 지원 시스템과 관리 프로그램을 포함하고, 공동 활용 및 대민서비스는 공동활용 시스템과 서 비스 시스템으로 설계하는 것을 기본적인 구축방 향으로 설정하였다.
5.2 목표시스템 DB 설계
DB 설계의 기본 방향은 수리모형실험 단계별 산출물, 보고서 및 최종 결과물 등 다향한 산출물
의 키워드를 기반으로 온톨로지 검색을 기반으로 사용자에게 정보 검색의 편리성을 기반으로 한다.
홍보 및 견학 등 수리모형실험에서 주관하는 모든 정보를 관리할 수 있도록 DB를 설계하였다. 또한 Data Base 구축을 위해서 사용자가 입력이 용이 하도록 설계하였다(그림 9).
5.3 활용체계 시스템 소개
수리모형실험 데이터 관리 및 저장을 위한 데이 터베이스의 화면 구성은 최신 HTML5 기반의 웹 화면 구조를 바탕으로 상단 메뉴, 검색 영역, 목록 영역으로 구성하였으며, 사용자 UI/UX를 최대한 고려하였다. 수리모형실험 데이터베이스에는 계측
그림 10. 수리모형실험 DB상세(실험 결과) 화면 예시
Water for Future
장비를 통해 계측한 raw data와 간단한 데이터 후 처리 tool, 그래프, 사진, 동영상 등의 자료를 포함 한다. 아래 그림 10은 가공하지 않은 원본 데이터 와 그래프를 나타낸 그림이며, 그림 11은 수리모형 실험 동영상 메뉴를 나타낸 그림이다.
6. 향후 과제 및 발전방향
본 기사에서는 수리모형실험 데이터의 빅데이터
활용을 위해 다양한 해외사례 소개, 빅데이터 시 스템의 활용성 및 한국농어촌공사의 수리모형실험 데이터베이스 구축 사례에 대해 간단히 소개하였 다. 과거 오랜 기간 수행된 다양한 수공구조물을 대상으로 한 수리모형실험 데이터는 매우 큰 가치 를 가지고 있다. 이 데이터들은 수공구조물 실제 기준의 재정립이나 신뢰성 향상에 활용될 수 있 다. 따라서, 본 데이터들의 재가공과 재분석을 통 한 새로운 가치 창출은 수리모형실험을 수행하는 그림 11. 수리모형실험 DB상세(사진 조회) 화면 예시
Water for Future
연구자 입장에서는 충분히 도전해 볼 만한 과제로 생각된다.
수리모형실험 데이터의 빅데이터화 및 재분석 을 위해서 먼저 기존의 실험데이터들의 수집과 이 에 대한 데이터베이스 구축이 가장 우선적으로 수 행되어야 할 것이다. 그리고, 이후에는 현재 수행 하고 있는 실험 데이터의 체계적 관리 및 저장이 수반되어야 할 것이다. 그리고, 이들 실험 데이터 들은 수행기관에서 독점적으로 보관하기보다는 개 방과 공유를 통해 다양한 연구기관들이 사용할 수 있다면, 향후 수공학 분야의 발전과 인류의 삶의
질 향상에도 큰 도움이 될 수 있을 것이다.
본 기사에서는 수리모형실험 데이터의 빅데이터 활용에 대해서만 주로 기술하였다. 하지만, 유량, 유사량, 수위 등 다양한 현장 관측 데이터들에 대 한 데이터베이스 구축 및 빅데이터 활용 역시 수 공학 분야의 학문 발전 뿐만 아니라 인류에 큰 기 여를 할 수 있을 것이라 생각된다. 향후, 한국농어 촌공사의 수리모형실험 데이터의 빅데이터 활용을 위해 데이터베이스 구축 사례가 관련 분야 빅데이 터 분석 기술 발전에 긍정적인 사례가 될 수 있도 록 할 계획이다.
송민정 (2017). 빅데이터가 만드는 비즈니스 미래지도, 한스미디어, 상지사.
안춘모 (2017). 빅데이터 플랫폼 현황 및 이슈 분석, Insight Report 2017-33, 한국전자 통신연구원 미래전략연구소.
이태호 등 (2017). 조사설계·유지관리 빅데이터 구축 및 활용방안 연구, 한국농어촌공 사 농어촌연구원
장동인 (2017). 빅데이터로 일하는 기술, 한빛미디어
조민희 등 (2013). 과학기술 빅데이터 동향 및 활용 방안, 주간기술동향 1593:14-26, 정 보통신산업진흥원.
van der Meer, J.W., Verhaeghe, H. and Steendam, G.J. (2009). The new wave overtopping database for coastal structures, Coastal Engineering, Vol. 56, pp.
108-120.
Laney, D. (2001). 3D Data Management: Controlling Data Volume, Velocity and Variety, Gartner.
Laney, D. (2012). The Importance of ‘Big Data’: A Definition, Gartner.
https://datacenterhub.org
https://frfdataportal.erdc.dren.mil/
http://hydralab.eu/research-results/exchange-of-experimental-data https://pubs.usgs.gov/of/2007/1315/
참고문헌
