ISBN :
KNLTER 데이터 관리 시스템
요구사항분석 및시험보고서
적 활용이 불가능하다. - 국내 데이터 통합 생태의 범위는 정의하기에 따라 그 크기가 무한대로 커질 수 있는 빅데이터 영역이 될 수도 있다. 생물, 환경, 지리, 토질, 화학 등 학문적으로도 총체적으로 구성된다. 뿐만 아니라 센서 기술의 발달로 원시 데이터 종류도 다양해질 뿐 아니라 동영상과 같은 비디오 데이터는 크기와 처리과정도 복잡하다. 환경을 기반으로 하는 생물 정 보를 통합 가능 생태 데이터로 본다면, 국가장기생태연구, 국립공원생태연구, 전국자 연환경조사, 생물다양성연구 등이 그 대상일 것이다. - 외부 활용 데이터 현재 진행 중인 생태연구는 학문간의 상관관계 복잡도가 높지는 않다. 따라서, 생물 종 데이터를 기반으로 기상, 공간 정보 등이 외부 데이터로 활용 가능하다. 기상청 지역별 기상정보 서비스, 지리통계시스템의 지도좌표 및 신구주소 서비스, 구글지도 데이터 등이 대상이며, 이 밖에도 활용범위의 확장에 따라 NASA의 MODIS 데이 터도 식물계절 분석에 활용 될 수 있다. ¡ 통합 가능 사용자 생성 데이터 표준화된 프로토콜에 준해 데이터 수집을 수집 및 축적을 했어야 하는데 과거 국내 생 태연구는 이를 등한시하여 통합 데이터 관리가 어려웠다. 이는 장기적 관점의 데이터 품 질을 저해하는 요소로써 과거 시스템에서는 연구자들의 관심분야 데이터를 표준화된 프 로토콜과 연계해서 보여줄 방법이 없었다. 호주 TERN의 컴퓨팅 시설(Facility)인 AEKOS에서는 프로토콜과 별개로 개인별 조사(Survey) 데이터도 축적시킬 수 있도록 하고 있다. 자신이 정의한 데이터셋에 대해 표준화된 프로토콜에 따른 데이터셋을 통합 관리하는 것이 필요하다.
¡ 데이터전환/가공 (Data Conversion and Synthesis)
함될 수 있는 곳은 KNB, DataONE과 현재 모든 연구데이터의 글로벌 공유를 목적으 로 하는 RDA가 있다. 글로벌 데이터 연계를 위해 생태연구에 대한 표준화된 메타데이 터를 활용이 필요하고, 자세한 사항은 이후 절에서 언급하도록 한다.
¡ EML(Ecological Metadata Language)
생태학자에 의해 개발된 EML은 XML 스키마를 기반으로 하고 있다. EML은 메타데 이터에 대한 구조적 표현을 할 수 있는 XML 스키마 문서 형식으로 되어 있어 단위별 로 규격화된 모듈을 이용하여 확장이 가능하도록 제공된다. 각각의 모듈은 전체 메타데 이터의 일부분을 기술할 수 있게 설계되어 있다. 2. 요구사항 분석 개요 제시된 KNLTER의 문제점을 해결하고, 상기의 융합된 데이터 통합 모델을 지원하기 위한 KNLTER 데이터 관리 시스템 연구환경에 대한 요구사항은 다음과 같다. 첫째, 향 후 국내에서 수집되는 장기생태 데이터에 관한 통합 저장소 및 서비스에 대한 레퍼런스 를 제공한다. 둘째, 표준화된 프로토콜에 따라 정의되어 수집된 데이터를 표준화된 스키 마에 따라 관리할 수 있는 방법을 제공한다. 이와는 별도로 표준화되지 않은 일반 연구 자가 수집한 데이터에 대해서도 일관된 형식의 메타데이터를 기반으로 데이터를 저장하 고 서비스할 수 있는 역할을 지원하다. 셋째, 데이터에 대한 변환 가공 방법을 지원한 다. 이를 통해 기존 수집된 다양한 형태의 legacy 데이터를 통합 분석할 수 있는 방법 을 제공한다. 넷째, 데이터(raw data)로부터 요약 데이터를 추출하여 다양한 형태로 가 시화할 수 있는 방법을 제공한다. 이를 통해 연구자의 상세 데이터 분석에 앞서 데이터 추세에 대한 Insight를 제공할 수 있다. 다섯째, 데이터와 메타데이터에 대한 품질관리 (QA/QC)를 제공한다. 장기생태연구에서 필수적인 요소 중의 하나가 데이터의 품질관리 이며, 품질관리를 거치지 않은 데이터는 신뢰성이 매우 떨어진다. 여섯째, 해외 메타데 이터와의 연계를 지원한다. 이를 통해 해외 장기생태 데이터와 국내 장기생태 데이터와 의 통합 분석의 가능성을 제시한다. 이외의 요구사항으로는 Controlled vocabularies 제공, DOI 발급 등이 있다. 3. 요구사항 범위 ¡ Drupal/DEIMS* 기반의 통합 생태관측 시범 웹 포털 구축
* Drupal Ecological Information Management System: Drupal 기반의 생태 메타 데이터 관리 시스템
- 사용자/그룹 및 권한 관리 인터페이스
> 프로토콜과 스키마 다운로드 및 이에 따른 동적 UI 지원 > 직접 입력 방식, 로컬파일로 저장, 데이터 파일 업로드/다운로드 - 데이터 변환가공 인터페이스 > 데이터 변환 및 통계처리를 위한 데이터 처리 인터페이스 개발 - 국제데이터 호환 모듈(Metacat@DEIMS 활용) 연계 - 데이터 품질제어 인터페이스 (시스템 QC*/사용자 QC) * 데이터 정합성/유효성 체크 - 구글지도기반의 데이터셋 검색, 메타데이터 검색, 표현 인터페이스 - 검색결과의 가시화* 및 Summary 데이터 생성 기능 개발 * 데이터셋 조건별 효과적 수치자료 가시화(통계 그래프) 및 지도표시 > 데이터 가시화 플러그인을 활용한 시각화 - 데이터 종류에 따라 파일/DB/클라우드 연동 지원 - 자료실, 게시판 등의 기능을 제공 ¡ KNLTER 데이터 관리 시스템 고도화 - 사용자/그룹 권한 관리 및 인증/접근제어
요구사항명 요구사항 설명 기능요구사항 포털 서비스 디자인 제공 ․각종공지,팝업․메인 메뉴 구성은 반드시 변경 가능한 형태로 제공 메타데이터/데이터 입력 및 관리 ․데이터셋의근간이되는메타데이터입력기제공 ․제공되는생태조사프로토콜에따른데이터입력기제공 ․외부데이터임포트(import)기능제공 ․csv형식데이터파일생성 - 외부 시스템 연계 인터페이스 개발
> 기상정보 연계 및 Metadata Federation을 위한 Metacat 연계 - 민감 데이터 보호 기능
> 민감 데이터 별도 관리 기능 개발(사용자별 공개 범위 설정에 따라) - 검색 및 관리 인터페이스 개발 및 고도화
> Data Discovery 기능 개선 및 Imported Data@dataset 조회 기능 개발 > 연계정보 관리 기능 (대상: DOI, 민감정보, 프로젝트, EML 변환 등)
> Entity, Species taxonomy, Controlled Vocabulary, People, Organization 등 관리 기능 개선 - 클라우드 스토리지 연계 기능 고도화 > 데이터 전송 안정화 및 비디오 데이터 가시화 - 모바일용 웹 개발 - SW 배포판 구성 - 데이터베이스 구축 지원 ¡ 마이그레이션 - 데이터 마이그레이션
> Data Importer 프로그램 개발을 통한 migration 및 DB 정제/복제 - 시스템 마이그레이션
¡ 포털을 통한 데이터 입력
> 확보된 기존 데이터(국립생태원, 국립공원, ECN, 학명, 기상 데이터 등)와 변환 가공된 데이터의 입력
요구사항명 요구사항 설명 검색 결과의 가시화 및 Summary 데이터 생성 ․검색을통한생태데이터에대한통계그래프를팝업형태로제공 ․데이터유형별(비디오,텍스트,이미지등)적합한시각화서비스기능구현 ․분석정보/메타데이터를지도기반으로가시화(eg.heatmap) ․국/내외정보비교그래프제공 프로토콜,사이트,변수에따라그래프형태로요약데이터가시화 사용자가 최대 2개의 프로토콜, 다수 사이트, 프로토콜당 지원하는변수를 선택할 수 있는 메뉴를 제공 그래프에 사용된 사이트의 위치를 지도에 표시 사용자가 메타데이터를 검색할때, 검색한 정보를 Faceted검색결과로 보여줘야 한다. 저장소 연계 인터페이스 개발 ․텍스트 기반 정형 데이터 저장을 위한 파일시스템/데이터베이스 연계 ․이미지, 동영상 등의 비정형 데이터 저장을 위한 클라우드 스토리지 시범 연계 ․데이터 파일은 데이터셋과 연동 스토리지 시범 연계해야이미지, 동영상 등의 비정형 데이터 저장을 위한 클라우드한다. 데이터 베이스는 POSTGRE SQL을 이용하여 개발해야 한다. 사용자 관리 인터페이스 ․사용자계정 생성 및 관리․커뮤니티 권한에 따른 커뮤니티 접근 제한 ․사용자/커뮤니티 권한에 따른 데이터 접근 제한 사용자 인증 사용자/관리자/anonymous 별 권한에 따라 보여지는 메뉴와 내용을다르게 함 데이터 Download에 대한 접근 기록 Audit 게시판 ․전체사용자를위한게시판제공․전체사용자를위한게시판은홈페이지메인에서요약정보로제공 ․회원권한과연동 메타데이터 관리도구 메타데이터 프로토콜,사이트,데이터셋, 유저 등을드루팔관리자페이지에서 제공 데이터관리 데이터 2중화를 위한 클라우드로 데이터 백업 지원(데이터 csv파일자동생성 된 부분) 데이터 파일에 대한 Revision 관리(데이터 csv파일에 대한 네이밍규칙) 키워드 관리도구 키워드나 어휘(Vocabulary) 등을 드루팔관리자페이지에서 관리
Dataset states Meaning Next state
Draft V1 Dataset generation starts before the submission 2 Need Data Manager Work Data manager starts screening 3, 7
Need Review Review by area experts is possible 4, 8 Ready for Publication Dataset publication is requested 5, 9
Published The paper is published 6
Draft V2 Dataset update starts, but occurs before the submission 2, 5 Reject & Need Data Contributor
Work Error correction request sent to the previous step 2, 1 Reject & Need Data Manager Work Error correction request sent to the previous step 3, 7 Reject & Need Review Error correction request sent to the previous step 3, 8
구분 상세설명 서버 KISTI 서버 워크스테이션 개발자의 PC Share Point(TRAC) 온라인 프로젝트 관리 툴 <시험환경> 서버 사양
- 2 x Intel Xeon E5-2620v3 (2.4GHz 15MB QPI 8.0GT/sec 85W 6-Core)
- 64GB RAM (RDIMM 2133MT/s Dual Rank x8 Data Width) - 2 x 1TB 2.5 7200RPM SATA HDD
- 1Gb Network Card (Ethernet Cable 포함)
1 SET <시험 서버 사양> 가. 시험환경 시험 환경은 서버, 워크스테이션, Share Point로 구성된다. 가. 서버 가. 시험항목 이 시험은 시험 그룹을 통해 시험계획서에서 정의한 기간에 따라 진행 된다. 시험의 정의 및 범위:
시험은 사용자 그룹별(Data Manager, Reviewer, Data Contributor, Authenticated User, Anonymous User)로 나누어 각 그룹에 맞는 역할을 수행한다.
§ Data Manager: Data, Site, Measurement, Species, Taxonomy 등 콘텐츠 관리 § Reviewer: Data 검토
§ Data Contributor: Data 등록 및 Update
§ Authenticated User: 뉴스 등 게시판 글 등록 및 Update
§ Anonymous User: 데이터 검색
No Scenario ID Scenario Name Sub-Scenario ID Sub-Scenario Name Description 1 KE-TEST-01 Register / Login KE-TEST-01-001 회원가입 § Anonymous 사용자가 시스템에 회원가입 할 수 있음 KE-TEST-01-002 로그인 § Authenticated 사용자가 시스템에 로그인 할 수 있음 2 KE-TEST-02 Mainpage KE-TEST-02-001 Mainpage 오버뷰 § KNLTER 데이터 관리 시스템 Mainpage UI
고도화 오버뷰
3 KE-TEST-03 Dataset Search
KE-TEST-03-001 Unified Search § Dataset Unified Search
KE-TEST-03-002 Faceted Search § Dataset Faceted Search
4 KE-TEST-04 Dataset
View KE-TEST-04-001
Dataset View
§ Dataset 상세 뷰페이지(EML, File download, Chart, Map, DOI)
5 KE-TEST-05 Chart
KE-TEST-05-001 Summary Data Explorer
§ 그래프 차트 Summary Data
Explorer(Yearly, Monthly, Daily, Height)
KE-TEST-05-002
Summary Data Comparison
§ 그래프 차트 Summary Data
Comparison(Yearly, Monthly, Daily, Height)
KE-TEST-05-003
Summary Ste Weather
§ 그레프 차트 Summary Site
Weather(Yearly, Monthly, Daily, Height)
6 KE-TEST-06 Species Classification
KE-TEST-06-001 Species Search § Species Search(jsTree)
KE-TEST-06-002
Species Zoomable
Search §
Species Zoomable Search(Plugin)
7 KE-TEST-07 Controlled Vocabulary KE-TEST-07-001 Controlled Vocabulary Search §
Controlled Vocabulary Search(jsTree)
KE-TEST-07-002
Controlled Vocabulary
Zoomable Search
§ Controlled Vocabulary Zoomable Search(Plugin)
8 KE-TEST-08 Metadata 작성
KE-TEST-08-001 Measurement 작성 § Metadata Measurement 작성방법(Data
Manager)
KE-TEST-08-002 Site 작성 § Metadata Site 작성(Data Manager)
9 KE-TEST-09 Meatadata 관리
KE-TEST-09-001 Integrated Dataset Manager
§ - Entity, Unit, Validation 관리
KE-TEST-09-002 사용자 관리 § RSS feed 구축을 사이트 생성에 맞춰 데이터를 받을 수 있게 설정 KE-TEST-09-003 Keyword 관리 § 공통된 형식의 게시판 스타일 메뉴 콘텐츠
삭제(Notice, Resource, Calendar)
KE-TEST-09-004 Site 관리 § 별도로 지역정보 추가하여 RSS를 받을 수
있도록 설정
KE-TEST-09-005 Measurement 관리 § 데이터셋과 사이트에 연계 정보로 추가(페이지 하단) KE-TEST-09-006 슬라이드쇼 § Viewer 시간별 날씨, 풍속, 습도 등
콘텐츠 관리 조회(Synthesis) 10 KE-TEST-10 데이터 품질관리 (QA/QC) KE-TEST-10-001 Data Submission & Validation § 데이터 작성, Validation, 제출 - Data Contributor KE-TEST-10-002 Data Review by Data Manager § 데이터 리뷰 및 Importing - Data Manager
KE-TEST-10-003 Review by Expert § 데이터 리뷰 및 출판요청 - Data Reviewer
KE-TEST-10-004 Published by Data Manager
§ 데이터 최종출판 - Data Manager
11 KE-TEST-11 Publication데이터
KE-TEST-11-001 QC / DOI / LICENSE
§ 데이터 품질관리 프로세스, 보존을 위한 DOI, 사이트 콘텐츠 운용정책 관련 라이센스 KE-TEST-11-002 Amazon Web Service S3 § 오래된 데이터에 따른 외부저장소 솔루션 연계
12 KE-TEST-12 Big Data 동영상
KE-TEST-12-001 동영상 업로드 § 데이터 리뷰 및 출판요청 - Data Reviewer
KE-TEST-12-002 라이브러리마이 § 마이페이지 내 업로드한 데이터
라이브러리 제공
13 KE-TEST-13 글로벌 데이터 공유
KE-TEST-13-001 Metacat server § 글로벌 데이터 공유를 위한 Metacat 서버 연동 KE-TEST-13-002 monitoringMetacat § KNLTER 데이터 관리 시스템 데이터의
시 시험하고, 수정 결과에 대한 승인 여부를 결정한다.
아래 이미지는 솔루션, 각 단계에서의 설명 및 책임의 과정을 나타냅니다:
<List of Test for the Web Service>
가. 시험 결과 관리
No Scenario ID Scenario Name Description 1 KE-TEST-01 Register / Login § Anonymous 사용자가 시스템에 회원가입 할 수 있음 § Authenticated 사용자가 시스템에 로그인 할 수 있음
2 KE-TEST-02 Mainpage § KNLTER 데이터 관리 시스템 Mainpage UI 고도화 오버뷰
3 KE-TEST-03 Dataset Search
§ Dataset Unified Search § Dataset Faceted Search
4 KE-TEST-04 Dataset View § Dataset 상세 뷰페이지(EML, File download, Chart, Map, DOI)
5 KE-TEST-05 Chart
§ 그래프 차트 Summary Data Explorer(Yearly, Monthly, Daily, Height) § 그래프 차트 Summary Data Comparison(Yearly, Monthly, Daily, Height) § 그레프 차트 Summary Site Weather(Yearly, Monthly, Daily, Height)
6 KE-TEST-06 Species Classification
§ Species Search(jsTree)
§ Species Zoomable Search(Plugin)
7 KE-TEST-07 Controlled Vocabulary
§ Controlled Vocabulary Search(jsTree)
§ Controlled Vocabulary Zoomable Search(Plugin)
8 KE-TEST-08 Metadata 작성
§ Metadata Measurement 작성방법(Data Manager) § Metadata Site 작성(Data Manager)
9 KE-TEST-09 Meatadata 관리
§ Entity, Unit, Validation 관리
§ RSS feed 구축을 사이트 생성에 맞춰 데이터를 받을 수 있게 설정 § 공통된 형식의 게시판 스타일 메뉴 콘텐츠 삭제(Notice, Resource, Calendar) § 별도로 지역정보 추가하여 RSS를 받을 수 있도록 설정 § 데이터셋과 사이트에 연계 정보로 추가(페이지 하단) § Viewer 시간별 날씨, 풍속, 습도 등 조회(Synthesis) 10 KE-TEST-10 데이터 품질관리 (QA/QC)
§ 데이터 작성, Validation, 제출 - Data Contributor § 데이터 리뷰 및 Importing - Data Manager § 데이터 리뷰 및 출판요청 - Data Reviewer § 데이터 최종출판 - Data Manager 11 KE-TEST-11 Publication데이터 § 데이터 품질관리 프로세스, 보존을 위한 DOI, 사이트 콘텐츠 운용정책 관련 라이센스 § 오래된 데이터에 따른 외부저장소 솔루션 연계
12 KE-TEST-12 Big Data 동영상 § 데이터 리뷰 및 출판요청 - Data Reviewer
Acknowledgement:
This work is supported by both Korea Ministry of Environment as "Public Technology Program based on Environmental Policy (Grant No.: 2014000210004)" and the KISTI (Grant No. : K-17-L01-C01).
도서명: KNLTER 데이터 관리 시스템 요구사항 분석 및 시험보고서 발행일: 2017년 2월 28일
