빅데이터 통합 모니터링 및 분석을 위한 고성능 데이터베이스 솔루션 개발
(최종보고서)
2016. 4. 14
주관기관 알티베이스
참여기관 유누스 리스트
한국과학기술정보연구원 한국디지털융합진흥원
미래창조과학부
기술개발사업 최종보고서 초록
1. 일반 현황
사업명 SW컴퓨팅산업원천기술개발사업 기술분류 융합SW 빅데이터 과제명(과제번호) 빅데이터 통합 모니터링 및 분석을 위한 고성능 데이터베이스 솔
루션 개발 (B0101-15-0353)
주관기관
기관
(기업)명 알티베이스 설립일 1999.11.26 주소 서울특별시 구로구 구로동 182-13 대륭포스트타워 2차 10층 대표자
(기관장) 장재웅 연락처 02-2082-1000
홈페이지 www.altibase.com Fax 02-2082-1099
기술 개발 현황
총괄책임자 최정혜 연락처 02-2082-1067
실무담당자 서광익 연락처
(e-mail) [email protected] 참여기관
(책임자)
유누스(정현석), 리스트(이명진), 한국과학기술연구원(정도헌), 한국디지털융합진흥원(김두찬)
총사업비 (천원)
정부출연금 민간부담금
현금 현물 합계
3,200,000 53,500 1,016,500 4,270,000 총수행
기간 2014 . 4 . 1 ~ 2016 . 2 . 29
키워드 빅데이터 어플라이언스, 하둡, 인메모리 클러스터, 분산 스토리지, 그래프 데이터베이스
핵심기술
빅데이터 분석을 위한 통합 데이터베이스 플랫폼, 어플라이언스 플랫폼, 사용자 친화적인 SQL-like 형태의 통합 질의 처리 기술, 고성능 계층 관계형 데이터 분석 기술 등
최종목표 다양한 형태의 빅데이터를 고성능으로 분석하기 위해 비정형 데 이터베이스, 정형 데이터베이스 및 그래프 데이터베이스를 통합 2. 기술개발 개요 (개발기술 및 제품 소개
,
전반적인 개발기술에 대한 요약 정보)
[통합 고성능 빅데이터 분석 플랫폼 개념도]
○ 주요 기능
- 고확장성 메모리 분산 데이터 처리 기능 - 분산 저장 스토리지 통합 관리 기능 - In-Memory 멀티 노드 데이터 저장 기능 - 양방향 하둡(Hadoop) 연결 기능
- Graph-like 확장 쿼리 제공 기능 - 계층 관계형 데이터 저장 관리 기능
- 통합(정형/비정형/그래프) 데이터 확장 SQL 규격 - 빅데이터 분석을 위한 고성능 어플라이언스 기술
- 분산된 다양한 저장매체(Memory, Storage)통합 클러스터링 기술
3. 개발결과 요약
적으로 제공하는 통합 데이터베이스 플랫폼(빅데이터 어플라이언 스) 개발
개발내용 및 결과
○ 정형 데이터베이스 엔진 - 고확장성 분산 데이터 시스템 - 분산 스토리지 통합 관리 엔진 - In-Memory 멀티 노드 데이터베이스
○ 비정형 데이터베이스 엔진
- 하둡기반 비정형 데이터베이스 연동 커넥터 - 정형/비정형 데이터 통합 질의기
- 반정형 실시간 스키마 정의 SQL
○ 그래프 데이터베이스 엔진 - graph-like 쿼리 실행기 - graph-like 쿼리 작성 도구
- 계층 관계형 데이터 스토리지 개발
○ 통합 질의기
- 정형/비정형/그래프 데이터 확장 SQL
- 정형/비정형/그래프 데이터 확장 SQL 질의 처리기
○ 고성능 아키텍처 인프라
- Zero-copy RDMA기반의 고성능 네트워크 프로토콜 - Main-memory 기반의 멀티 노드 데이터베이스 기능
○ 통합 데이터베이스 관리 도구 - Configuration/Setup Tool - Integrated Monitoring Tool - Integrated Analytics Tool
기술개발 배경
최근 정형/비정형/그래픽 데이터는 천문학적인 규모로 형성되고 있 으며 기존의 분석 및 관리 체계로서는 감당하기 어려운 정도의 데이 터가 생산되고 있음. 이러한 빅데이터에 대한 분석 및 관리를 위하여 새로운 기술 및 체계적인 기법을 바탕으로 빅데이터의 수집, 처리, 전 달 및 저장 과정에서의 실시간 정형/비정형/그래프 데이터베이스 활 용에 대한 연구를 필요로 함. 또한 차별화된 정보를 추출하고 이를 경영활동에 접목하기 위해서는 정형 및 비정형 뿐 아니라 그래픽 계 층관계형 고성능 빅데이터 활용 어플리케이션 인프라가 필요함.
핵심개발 기술의 의의
○ 정형, 비정형 DB와 그래프 DB등 이기종 DBMS (Heterogeneous DBMS)를 통합하여 처리하고 분석이 가능
○ 대용량의 정형, 비정형, 그래프 데이터를 메모리, 디스크에 효율적으로 분산 저장하고 쉬운 확장이 가능
○ 정형, 비정형 데이터 연계 처리시 디스크 뿐만 아니라 메모 리를 활용하여 데이터 처리 성능을 높임
○ 통합 데이터베이스 플랫폼 S/W와 빅데이터를 빠른 속도로 처리할 수 있는 빅데이터 어플라이언스 개발
적용 분야
○ 사물인터넷 기반의 정보 저장 및 프로세싱의 인프라 ex) SOC 시설관제, 환경관제, 전력관제, 빌딩 관제등
○ 고객 분석, 상품분석 및 소셜분석등 관계형 데이터 분석이 필요한 분야
○ 정형 / 비정형 / 그래프 빅데이터를 통합하여 처리하고 관 리가 필요한 분야
○ 데이터 분석 및 의사 결정 지원 시스템 (확장성 및 성능 향 상)
4. 기술 및 경제적 성과
기술적 성과
○ 고성능 데이터베이스 솔루션 기술 연구를 통하여 해당 IT 산업과 기술 분야의 최첨단 기술에 대한 공동 연구를 수행하고 유관 기술 분야의 기술을 선도할 수 있음.
○ 차세대 메모리 기반의 빠른 응답 속도를 기대할 수 있는 데이터 저장 기술 및 상대적으로 용량이 큰 데이터를 담을 수 있는 데이터 저장 기술을 공동으로 연구 개발하여 고성능 빅데이터 관련 기술을 선도하고 제품화하여 국산제품을 통하여 해외 수출 등의 기대를 할 수 있음.
○ 정형화된 데이터의 수집, 저장, 처리 및 연계 기술과 비정형 및 그래프 빅데이터 처리 기술의 조합으로 인하여 기존에 처리되지 않 았거나 못하였던 다양한 형태의 데이터 영역에 대한 데이터 수집 및 처리가 가능하여 기업, 기관 및 국가에서 필요로 하는 의사 결정 데이터 처리 기술을 제공할 수 있음.
경제적 성과
○ 다양한 데이터를 처리하는 빅데이터 처리 시스템을 하나의 통합 된 제품 형태로 제공하기 때문에, 제품 라이센스 구입비용과 설치 및 운용을 위한 서비스 비용이 모두 1/3로 혁신적으로 감소되며 메모리 클러스터링 기능까지 더해져 경제적으로 그 가치는 무한대임
○ 본 과제는 인메모리 기반 빅데이터 활용으로 초고속 메모리 DBMS를 사용하고 있는 공공/통신/제조 분야에서 연간 약 600억 원 을 절감할 수 있을 것으로 추정함
○ 또한, 2017년까지 국내 빅데이터 산업의 인력수요는 약 1만여 명 으로 예상되며 향후 5년간 일자리 창출효과 또한 52만 명에 이를 것 으로 예측됨
5. 파급 효과 및 기대 효과
파급 효과
○ 기업 및 공공 기관의 모든 형태의 빅데이터에 대한 효율적 분석 이 가능함에 따라 국내 산업 경쟁력 강화에 기여할 수 있음
○ 대용량 빅데이터의 실시간 혹은 근접 실시간의 분석을 통하여 미 래에 일어날 수 있는 일에 대한 사전 예측 및 대비를 할 수 있는 플 랫폼 혹은 솔루션을 제공하여 갑작스러운 자연 재해 및 기타 사고
및 긴급한 상황을 대비할 수 있음. 특히, 재난 발생 시 상황 인지 처 리를 통한 신속한 피난 및 재해 복구 시스템을 구축하여 국민의 안 전과 국가의 재난 방지 경쟁력을 향상 시키는데 도움을 줄 수 있음.
○ 다양한 빅데이터 활용을 통하여 산업 전반에서의 대국민 서비스 의 질이 향상될 것으로 기대되며 유관 분야와 관련하여 사회 및 문 화 전반적인 영향을 줄 것으로 기대함.
기대 효과
○ 정형화된 데이터의 수집, 저장, 처리 및 연계 기술과 비정형 및 그래프 빅데이터 처리 기술의 조합으로 인하여 기존에 처리되지 않 았거나 못하였던 다양한 형태의 데이터 영역에 대한 데이터 수집 및 처리가 가능하여 기업, 기관 및 국가에서 필요로 하는 의사 결정 데이터 처리 기술을 제공할 수 있음.
○ 빅데이터 시장에서의 제품군들이 데이터 저장 영역, 분석 영역, 연계 영역 등으로 나뉘어 있는데 반하여 빅데이터의 생성에서 수집, 처리, 연계, 분석을 위한 변형 및 통계 등의 모든 영역에 걸친 빅데 이터 어플라이언스 제품은 보다 빠른 Realtime Enterprise를 제공할 수 있음.
○ 기존의 OLAP등의 영역에서 활용되어 왔던 Business Intelligence 를 발전 시켜서 빅데이터 영역의 정형/비정형/그래프 데이터를 통 합한 Big Data Business Intelligence 기술을 연구 개발하여 해당 분야의 기술을 선도할 수 있음.
○ 반도체 산업의 발전 및 국내 유관 기업의 해당 산업 전반적인 기술 및 시장을 이끌어 가고 있는 가운데, 해당 하드웨어 기술뿐만 아니라 유관 반도체 기술을 이용한 응용 소프트웨어 기술인 In Memory 처리 기술, 분산 처리 기술 등을 접목하여 여러 산업 분야 의 동반 성장을 도모할 수 있음.
6. 해당 기술, 제품의 시장 현황
국내 시장
○ 국내 빅데이터 분석 사례
- 다음소프트: 기하급수적으로 증가하고 있는 빅데이터 속에 다음소 프트는 온라인 사용자들의 접속 로그 기록 등을 분석해 데이터 패턴 을 분석함
- NHN: 19대 총선 분석
- SK텔레콤: SNS 통한 기업 평판 분석
○ 국내 중소 소프트웨어(SW) 기업들의 빅데이터 시장 공동 대응 - 투비소프트, 와이즈넛, 야인소프트는 빅데이터 시장 공략을 위해 코 어(Core) 브랜딩 전략 추진하고 있음
- 투비소프트: 분석된 데이터를 기업 내부에서 잘 활용할 수 있도록 가시성 높은 사용자 UI를 제공함.
- 와이즈넛: 소셜네트워크서비스 등 비정형 데이터 분석 - 야인소프트: 정형데이터 분석
- 각 IT기업의 보유 기술로 빅데이터 관련 비즈니스 모델 발굴 및 공 동으로 마케팅 활동수행
○ 공공 데이터 활용
- 공공기관의 정보공개에 관한 법률에 따라 모든 공공기관은 국가안 보와 같은 법으로 정한 비공개 대상정보를 제외하고 모두 공개하도 록 하고 있음
- 한국정보화진흥원이 운영하는 국가지식포털의 경우 정부내지는 산 하 공공기관에서 작성한 보고서와 같은 문서를 직접 또는 링크로 제 공함
- 통계청은 통계처리의 전문성을 발휘한 kosis.go.kr를 운영하고 있음
○ 국내 시장 규모
(단위:백만달러) (2014년)
현재년도
(2015년) 개발 종료후 1년
(2018년) 개발 종료후 3년
한국 시장 규모 163.4 208.1 422.7
해외 시장
○ 빅데이터 표준 플랫폼 Hadoop (하둡)
- IBM, 오라클, 구글, 야후, 페이스북, 아마존, 마이크로소프트 등이 분산 서버 환경과 슈퍼컴퓨팅 기술에 오픈소스 하둡을 도입함
- RHadoop: 하둡에 기반한 R 통계 툴 - Hadoop plugin for MongoDB
○ 클라우드 컴퓨팅 기반의 RDBMS 또는 NoSQL Data Store 플랫폼 - SQLFire: An Ultra-fast, Memory-optimized distributed SQL database
- Amazon DynamoDB: A seamlessly scalable NoSQL service - Apache Cassandra: NoSQL applications in the Enterprise
○ 글로벌 IT기업 빅데이터 기술 활용 현황
- IBM: 지능형 컴퓨터 ‘왓슨’으로 지능형 서비스 솔루션 시장 개척
- 오라클: ‘오라클 빅데이터 어플라이언스’로 종합 솔루션 제공
- 구글: 구글 자동번역기술 확보에 초점. 음성과 텍스트에 이어 영상 과 얼굴, 표정 데이터 분석 기술도 개발 중 ‘빅쿼리’ 유료화 예정 - 페이스북: 8억명의 사용자 정보와 검색어 실시간으로 분석해 맞춤 광고 제공
- 넷플릭스: 매출 80%가 빅데이터 활용한 추천 데이터에 의해 발생
○ 맥킨지에서 제시한 빅데이터 활용분야
- 미국의 의료산업: 제약사 연구개발 데이터, 환자 치료/임상 데이터, 의료산업의 비용 데이터 (연간 $3조, 7% 생산성 향상)
- 유럽의 공공행정: 정부의 행정업무에서 발생하는 데이터 (연간 2.5 조 유로, 5% 생산성 향상)
- 소매업: 고객의 거래 데이터, 구매 경향 ($1조 + 서비스 업자 수익,
$7조 소비자 이익)
- 제조업: 고객 취향 데이터, 수요 예측 데이터, 제조과정 데이터, 센 서활용 데이터 (60% 마진 증가, 5 ~ 10% 생산성 향상)
- 개인 위치 데이터: 개인, 차량의 위치 데이터 (개발 및 조립비용 50% 감소, 운전자본 7% 감소)
○ 세계 시장 규모
(단위:백만달러) (2014년)
현재년도
(2015년) 개발 종료후 1년
(2018년) 개발 종료후 3년
세계 시장 규모 10,200 16,800 53,400
7. 제품 사진
빅데이터 어플라이언스 Datum-X 실물 빅데이터 어플라이언스 소개 브로셔
통합 관리도구 접속 화면 통합 관리도구 모니터링 화면
통합 관리도구 쿼리 분석기 통합 관리도구 회귀분석
통합 관리도구 클러스터링 분석
통합 관리 도구 상호작용 분석
사업명 SW컴퓨팅산업원천기술개발사업
과제명(과제번호) 빅데이터 통합 모니터링 및 분석을 위한 고성능 데이터베이스 솔루션 개발
주관기관명 ㈜알티베이스 설립일 1999. 11.26
주소 서울특별시 구로구 구로동 182-13 대륭포스트타워 2차 10층(152-790)
대표자(기관장) 장재웅 연락처 02-2082-1000
총괄책임자 최정혜 FAX 02-2082-1099
총수행기간 2014. 4. 1. ~ 2016. 2. 28.
총사업비(백만원) 4,270 정부출연금 3,200 민간부담금 1,070 참여기관(책임자) 유누스(정현석), 리스트(이명진), 한국과학기술정보연구원(정도헌),
한국디지털융합진흥원(김두찬)
성과지표 세부지표 성 과 비 고
사업화 성과
매출액
개발제품 개발후 현재까지 1.82 억원
향후 3년간 매출 24 억원 빅데이터 CAGR 33%
관련제품 개발후 현재까지 200 억원
향후 3년간 매출 813 억원 국내 DBMS CAGR 16%
시장 점유율
개발제품
개발후 현재까지 국내 : 0.02%
국외 : 0.0002%
정형 DBMS 분야 -5천억/1.1억 -40조/0.71억
향후 3년간 매출 국내 : 0.027%
국외 : 0.001%
-국내 CAGR 16%
(5천억/1억3천) -빅데이터 CAGR 33%
(40조/2.9억)
관련제품
개발후 현재까지 국내 : 4%
국외 : 0.0075%
정형 DBMS 분야 -5천억/200억
-40조/30억
향후 3년간 매출 국내 : 10.8%
국외 : 0.015%
정형DBMS 분약 - 국내 5천억/540억
- 국외 40조/60억
세계시장 경쟁력
순위
현재 제품 세계시장 경쟁력 순위 1 위 인메모리분야 3년 후 제품 세계 시장경쟁력 순위 1 위 인메모리분야
기술적 성과
특허
국내 출원 13건
등록 3건
국외 출원 9건
등록 3건
논문발표 국내 7건
국외 10건
파급효과
고용효과 개발 전 0명
개발 후 7명
선진국 대비 기술수준 100% 인메모리분야
국산화율 100%
기타 표준 제개정, 기술이전 및 수상실적 등
<
기술개발사업 주요 연구성과>
번 호 종 류 명 칭 출원일 등록일 국 명 등록번호 발생차수
1 특허
데이터베이스 시스템 통합관리방법
2015.02.04 - 대한민국 10-2015-00
17312 1차년도
2 특허
Method for integration managing
database system
2015.12.07 - 국제 PCT/KR2015
/013310 2차년도
3 특허
데이터베이스 시스템 통합 모니터링 및 분석 방법
2016.01.11 - 대한민국 10-2016-00
02983 2차년도
4 특허
하이브리드 메모리 테이블
클러스터
2015.04.21 진행중 대한민국 10-2015-00
56000 1차년도
5 특허
하이브리드데이 터베이스 및 하이브리드데이
터베이스에서 테이블을 관리하는 방법
2015.04.10 진행중 대한민국 10-2015-00
51142 2차년도
6 특허
하이브리드 스토리지를 이용하는
DBMS
2014.10.28 진행중 대한민국 10-2016-01
47620 1차년도
7 특허
부분동기화 지원 데이터베이스 관리 시스템 및
데이터베이스 관리 시스템에서 부분동기화
방법
2014.05.30 진행중 대한민국 10-2014-00
66514 1차년도
8 특허 품질테스트
장치 및 방법 2014.06.25 진행중 대한민국 10-2014-00
78280 1차년도
□ 구체적인 연구 성과 1. 지식재산권
(국내․외 특허, 실용신안, 프로그램 등록, 기타 등으로 종류 구분)
9 특허
데이터베이스에 서 데이터
이동을 처리하는 방법
및 장치
2014.06.26 진행중 대한민국 10-2014-00
79114 1차년도
10 특허
Fault Injection testing Apparatus and
method
2014.09.19 진행중 미국 14/491,404 1차년도
11 특허
Method and Apparatus for
Moving data in Database Management
System
2014.10.22 진행중 미국 14/520,903 1차년도
12 특허
테이블스페이스 속성 변경 방법
및 그 장치
2014.11.12 진행중 대한민국 10-2014-01
57336 1차년도
13 특허 하이브리드
DBMS 2014.12.02 진행중 대한민국 10-2014-01
70740 1차년도
14 특허
Apparatus and Method of Partial Sync
2015.01.29 진행중 미국 14/609,097 1차년도
15 특허
Hybrid Database Management
System
2015.03.04 진행중 미국 14/637,584 2차년도
16 특허
동적 시퀀싱을 수행하는 어레이시퀀서를
이용하는 데이터베이스
2015.04.27 진행중 대한민국 10-2015-00
59109 2차년도
17 특허
파티션테이블 관리를 수행하는 데이터베이스
및 데이터베이스에
서 파티션테이블
관리를 수행하는 방법
2015.04.28 진행중 대한민국 10-2015-00
60094 2차년도
18 특허 데이터베이스에 2015.05.08 진행중 대한민국 10-2015-00 2차년도
서 압축테이블을
실시간 복제하는 장치
및 방법
64371
19 특허
Hybrid Memory Table
Cluster
2015.05.07 진행중 미국 14/706,584 2차년도
20 특허
Hybrid Database Management
System and Method of
Managing Tables Therein
2015.05.07 진행중 미국 14/706,554 2차년도
21 특허
Apparatus and Method of
Managing Databases of
Active Node and Stanby Node of Main
Memory Database Management
System
- 2014.10.1
4 미국 8,862,936 1차년도
22 특허
Parallel Processing Apparatus and
Method in Database Management
System for Synchronous
Replication
- 2015.05.0
5 미국 9,026,491 2차년도
23 특허
Hybrid C 인터페이스를 지원하는 장치
- 2014.05.2
1 대한민국 10-1400214 1차년도
24 특허
공유메모리 내의 인텍스
운용 장치 및 - 2014.12.2
2 대한민국 10-1477017 1차년도
25 특허
Method And Apparatus for
Managing Buffer Cache
to Perform Page Replacement
by Using Reference
Time
- 2014.05.2
0 미국 8,732,404 1차년도
26 특허
하이브리드 규칙 추론 장치
및 그 방법
2014.11.06 10-2015-
0153763 대한민국 - 1차년도
27 특허
Apparatus and Method for Hybrid Rule
Inference
2014.12.16 14/572,19
2 미국 - 1차년도
28 특허
하이브리드 규칙 추론 장치
및 그 방법
2014.12.16 2014-254
497 일본 - 1차년도
29 프로그램 등록
다중 데이터베이스
통합관리 시스템
- 2016.01.2
9 대한민국 C-2016-002
941 2차년도
30 프로그램 등록
알티베이스 에이치디비
6.5.1
- 2016.01.2
2 대한민국 C-2016-002
016 2차년도
31 프로그램등 록
분산/병렬 처리기반 트리플 사전 구축 프로그램
- 2014.12.0
3 대한민국 C-2014-030
811 1차년도
32 프로그램 등록
이기종 데이터베이스
를 위한 통합질의처리
기
- 2016.03.1
8 대한민국 C-2016-00
6865 2차년도
33 프로그램 등록
SQL(구조화 질의어)의 SPARQL(스파
클) 변환기
- 2016.03.2
1 대한민국 C-2016-00
6955 2차년도
34 알티베이스 정형/비정형
데이터베이스 - 2016.03.2
9 대한민국 C-2016-00
7499 2차년도
통합질의기
35 기타 HYBRID 2014.09.2 2
2015.07.0
7 대한민국 40-111622
7 2차년도
36 기타 1+1=1 2014.09.2 2
2015.07.0
7 대한민국 40-111622
7 2차년도
37 기타 1+1+1=1 2014.09.2 2
2015.07.0
7 대한민국 40-111622
7 2차년도
38 기타 HYBRID 2014.09.2
8 - 중국 15430821 1차년도
39 기타 1+1=1 2014.09.2
8 - 중국 15430821 1차년도
40 기타 1+1+1=1 2014.09.2
8 - 중국 15430821 1차년도
41 기타 HYBRID 2014.09.30 - 일본 2014-08208
2 1차년도
42 기타 1+1=1 2014.09.30 2015.02.1
3 일본 2015.02.13 2차년도
43 기타 1+1+1=1 2014.09.30 2015.02.1
3 일본 2015.02.13 2차년도
번 호
구분 게재 or(논문
발표)학회
논문명 저자명 저널명 일시
구분 (국내,
국외)
등재 SCI 여부
발생차수
1 학회발표
연구자 연구 활동 분석을 위한 의미 기반 복합 이벤트 처리 기법
설계
엄정호,김태홍,
정창후,정한민 KCC 2014 2014.06.26. 국내 비SCI 1차년도
2 학회발표 Ontology Schema-specific Rule
Materialization
이승우,정창후, 엄정호,김태홍,
정한민
JIST-SWCI
B2014 2014.11.09. 국외 비SCI
1차년도
3 학회발표 과학기술 문헌 분석을 위한 한글 문장 분리기
홍승균,송사광, 신성호,김영민, 선충녕,정한민
2014년 한국정보과 동계학술발학회
표회
2014.12.18. 국내 비SCI
1차년도
4 학회발표 나이브 베이즈 모델에 기반한 웹 뉴스 기사의
제목 추출
염하늘,방재근, 황명권,황미녕,
정한민
2014년 한국정보과 동계학술발학회
표회
2014.12.18. 국내 비SCI 1차년도
5 논문게재 MapReduce-based Bulk-Loading Algorithm
엄정호,이승우, Lecture
Notes in 2015.01.30 국외 비SCI 2차년도 2. 논문 게재/발표 실적
- SCI(E) 2건 추가달성(목표 2건, 실적 4건) - 국제 비SCI 2건 추가달성(목표 4건, 실적 6건) - 국내 비SCI 1건 달성(목표 6건, 실적 7건)
for Fast Search for Billions of Triples
서광익,박준호, 정한민
Electrical Engineerin
g 6 학회발표 Patent Analysis for
Organization based on Patent Evolution Model
장윤지,김장원, 이진표,정도헌,
정한민
IpaMin
2015 2015.05.27. 국외 비SCI 2차년도
7 학회발표
프로퍼티 그래프 저장 및 검색을 위한 분산 그래프 데이터베이스
개발
엄정호,정창후, 김태홍,이승우,
송사광 KCC 2015 2015.06.25. 국내 비SCI 2차년도
8 논문게재 자연재해 분석을 위한 빅데이터 마이닝 기술
김영민,황미녕, 김태홍,정창후,
정도헌
Journal of the Korean Data &
Informatio n Science
Society
2015.11.05. 국내 비SCI 2차년도
9 학회발표
A Novel Workflow-Based Decision-Making Support Platform for
Preventing Natural Disasters
정창후,김장원,
김영민,정도헌 EECS 2015 2015.12.17. 국외 비SCI 2차년도
10 학회발표
Hybrid Database:
Combining Structured and Unstructured Data to Deliver Enterprise
Big Data Value
김태홍,정창후, 엄정호,정도헌, 서광익,박준호,
이종정
ICCC 2015 2015.12.11. 국외 비SCI 2차년도
11 학회발표
분산 트리플 저장소에서 해시 인코딩 기반 효율적 Bulk-Loading
엄정호, 김태홍, 이승우, 정창후, 송사광
2015년 한국정보과 동계학술발학회
표회
2015.12.16 국내 비SCI 2차년도
12 학회발표
A method for analysing patent relationships
based on natural language processing
techniques
김장원, 이진표, 장윤지, 정도헌
KST 2016 2016. 2. 4 국외 비SCI 2차년도
13 논문게재
Distributed RDF store for efficient searching billions of triples based
on Hadoop
엄정호,김태홍, 이승우,정창후
Journal of Supercomp
uting
2016.02.16.
(online) 국외 SCI 2차년도
14 논문게재 확정
Semantic Complex Event Processing Model for Reasoning Research
Activities
엄정호,김태홍, 이승우,정창후
Neurocom puting
게재확정 (심사완료)
국외 SCIE 2차년도
15 논문게재 확정
A trend analysis method for IoT technologies using patent dataset with goal
and approach concepts.
김장원,이진표, 장윤지,정도헌,
정한민
Wireless Personal Communic
ations
게재확정
(심사완료) 국외 SCIE 2차년도
16 논문게재 확정
Entity resolution approach of data stream management
김태홍,황미녕, 김영민,정도헌
Wireless Personal Communic
게재확정
(심사완료) 국외 SCIE 2차년도
systems ations 17 논문게재
미션-크리티컬 인메모리 DBMS의 결함탐지를 위한 결함주입 테스트
방법 및 도구
서광익,마영철, 이종정, 박준호이재효,
KCSE2016 2016.01.28 국내 비SCI 2차년도
3. 기술이전 실적
번호 기술이전 내역 대상국명 대상기관명 이전일시 수입금액(백만원) 발생차수 차년도 차년도 차년도 차년도
4. 인증/포상 실적 등 (국내 및 국외)
번호 구분 명칭 일시 국명 수여기관명 발생차수
차년도 차년도 차년도 차년도
5. 사업화 계획 및 매출 실적
항 목 세부 항목 성 과
사업화 계획
사업화 소요기간(년) 2
소요예산(백만원) 3600
예상 매출규모 (억원)
현재까지 3년후 5년후
200 312 420
시장 점유율
단위(%) 현재까지 3년후 5년후
국내 4 6.24 8.4
국외 0.05 0.08 0.11
향후 관련기술, 제품을 응용한 타 모델, 제품
개발계획 무역 수지
개선 효과
(단위: 억원) 현재 3년후 5년후
수입대체(내수) 수 출
6. 고용 창출
항목 세부 항목 성 과
고용 효과
개발 전 연구인력 0명
생산인력 0명
개발 후 연구인력 7명
생산인력 0명
7. 기타 성과
- 어플라이언스 제작
- 공공기관(서울시) 및 기업의 시범사업화 - 중국 해외 매출 및 사업화 성공
- 본문 및 부록 참고
8. 변경 이력 (있을 경우 기재)
목 차
제 1 장 서론 ··· 22 제 1 절 과제의 개요 ··· 22
제 2 장 과제 수행의 내용 및 결과(기술개발 내용 및 방법) ··· 32 제 1 절 최종 목표 및 평가 방법 ··· 32 제 2 절 단계 목표 및 평가 방법 ··· 39 제 3 절 연차별 개발 내용 및 개발 범위 ··· 40 제 4 절 수행 결과의 보안등급 ··· 55 제 5 절 유형적 발생품(연구시설, 연구장비 등) 구입 및 관리 현황 ··· 56
제 3 장 결과 및 사업화 계획 ··· 57 제 1 절 연구개발 최종 결과 ··· 57 - 연구개발 추진 일정 ··· 57 - 연구개발 추진 실적 ··· 58 - 기술개발 결과의 유형 및 무형 성과 ··· 59 제 2 절 연구개발 추진 체계 ··· 113
- 연구개발 추진 방법 및 역할 ··· 113 - 기술개발 추진 체계 ··· 116 - 기술개발 팀 편성도 ··· 117 제 3 절 시장 현황 및 사업화 전망 ··· 118 제 4 절 고용 창출 효과 ··· 127 제 5 절 자체보안관리진단표 ··· 128
부 록 : 시험성적서, 도면, 설계도 등
제 1 장 서론
제 1 절 과제의 개요
1-1. 개발 대상 기술․제품의 개요 (1) 최종 목표
다양한 형태의 빅데이터를 고성능으로 분석하기 위해 비정형 데이터베이스, 정형 데이터베이스 및 그래프 데이터베이스를 통합적으로 제공하는 통합 데이터베이 스 플랫폼 개발
¡ 정형 데이터베이스 엔진: 정형 빅데이터를 처리하기 위한 대용량 고성능 데이터베이스 엔진
ü 고확장성 분산 데이터 시스템 ü 분산 스토리지 통합 관리 엔진 ü In-Memory 멀티 노드 데이터베이스
¡ 비정형 데이터베이스 엔진: 비정형 빅데이터 연계 분석을 지원하는 고성능 SQL-On-Hadoop 데이터베이스 엔진 기술. 하둡 Ecosystem 중 비정형 처리의 기본이 되는 Hive와 Pig에 대한 데이터베이스 연동 커넥터와 실시간 반정형 스키마 정의 SQL 구현을 위한 설계 및 개발로 고성능, 고확장, 고가용성을 지원하는 하둡기반 정형/비정형 데이터 통합 질의 엔진을 개발하고자 함
ü 하둡 기반 비정형 데이터베이스 연동 커넥터 개발
- HDFS에 저장 관리되고 있는 비정형 데이터에 대한 통합질의기로 부터의 요구에 처리 및 결과 전달
ü 정형/비정형 데이터 통합 질의기
- 정형/비정형 데이터 스키마에 대한 단일 인터페이스 제공 ü 반정형 실시간 스키마 정의 SQ
- 반정형 데이터에 대한 카탈로그 생성 및 관리 기능 개발
¡ 그래프 데이터베이스 엔진: 그래프 데이터베이스는 노드(정점)와 에지(간선)로 구성된 그래프 형태의 데이터를 효과적으로 저장하고 검색하기 위한 데이터베이스를 의미. 응용 분야에서 중요하게 인식되는 개체를 노드로 정의하고, 노드들 간의 상호작용 관계를 에지로 정의하여, 수많은 노드와 에지로 연결된 복잡한 계층 관계형 데이터를 쉽고 빠르게 저장하고 검색할 수 있도록 해줌. SNS와 같이 급속하게 생성되는 그래프 형태의 데이터 관리를 위해서 그래프 데이터베이스는 확장성과 안정성을 갖출 필요가 있으며, 처리 속도 향상을 위한 인메모리 컴퓨팅 및 분산/병렬 처리 기술을 적용할 필요가 있음. 본 과제에서의 그래프 데이터베이스 시스템은 아래 그림과 같이 계층 관계형 데이터 스토리지, graph-like 쿼리 실행기, graph-like 쿼리 작성 도구로 구성되어 있음.
[ 그래프 데이터베이스 엔진 개념도 ]
ü graph-like 쿼리 실행기: 그래프 데이터베이스에 저장되어 있는 데이터를 검색 및 관리하기 위해서 그래프 패턴 매칭, 그래프 병합, 그래프 필터링, 그래프 군집화와 같은 기본 쿼리를 제공할 뿐만 아니라, 소셜 네트워크 분석을 위해서 사용할 수 있는 서브 그래프 유사도 분석, 그래프 상호 작용 분석, 그래프 클러스터링과 같은 분석 관련 기능도 제공함.(쿼리는 시맨틱 웹 분야에서 그래프 형태의 트리플 데이터를 검색 및 조작하는 데 사용되는 국제표준언어 SPARQL에 대해서 90%의 표준 준수율을 달성하도록 함)
ü graph-like 쿼리 작성 도구: 쿼리 실행기에서 제공하는 쿼리들을 작성하기 위한 사용자 인터페이스를 제공함에 있어서, 전문가에게 익숙한 CLI 기반 질의 작성기를 제공할 뿐만 아니라, 초보자도 쉽게 사용할 수 있는 GUI 기반 질의 작성기를 함께 제공함.
ü 계층 관계형 데이터 스토리지 개발: 노드와 에지로 구성된 그래프 형태의 데이터를 저장하기 위해서 클러스터 기반의 분산 저장 시스템을 활용함.
동적 그래프 데이터 관리 모듈을 이용하여 그래프 데이터가 입력되면 그래프 데이터 구조 관리 모듈을 이용하여 그래프 형태의 데이터를 빠르게 검색하기 색인 구조를 자동으로 생성하고 이것들을 분산 저장 시스템에 저장함.
특별히 대용량 그래프 데이터를 배치 방식으로 처리하기 위해서는 대용량 그래프 데이터 저장 모듈을 활용하여 작업을 스케줄링하고 분산/병렬로 데이터를 저장함.
¡ 통합 질의기: 정형/비정형/그래프 데이터베이스 통합 질의기 엔진 ü 정형/비정형/그래프 데이터 확장 SQL
정형/비정형/그래프 데이터베이스에 대해 표준 SQL에 준하는 단일화된 질의언어를 이용하여 사용자가 데이터에 접근할 수 있도록 통합 질의언어 개발
SQL92 표준의 Core level을 최소 90% 이상 만족할 수 있도록 질의언어 설계
ü 정형/비정형/그래프 데이터 확장 SQL 질의 처리기
통합 질의언어를 해석하고 적합한 데이터베이스에 질의를 수행한 후 결과를 통일된 형식으로 사용자에게 반환할 수 있는 질의 처리 기능 개발
¡ 고성능 아키텍처 인프라: 대용량 데이터 저장 및 처리를 위한 고성능 고확장성 아키텍처 인프라 개발
ü Zero-copy RDMA 기반의 고성능 네트워크 프로토콜 개발 ü Main-memory 기반의 멀티 노드 데이터베이스 기능 개발
¡ 통합 데이터베이스 관리 도구: 통합 데이터베이스 플랫폼 관리 및 모니터링을 위한 GUI
ü Configuration/Setup Tool ü Integrated Monitoring Tool ü Integrated Analytics Tool
1-2. 개발 대상 기술․제품의 필요성과 파급효과
(1) 개발 대상 기술․제품의 필요성
¡ 최근 폭증하는 빅데이터를 효율적으로 분석하기 위해서는 정형/비정형/그래프(계층관계형) 빅데이터를 통합적 분석이 가능한 고성능 데이터베이스 솔루션이 필요함.
¡ 빅데이터에 대한 산업 영역별 활용 분야가 다양하며 그 응용 형태 또한 복잡하기 때문에 빅데이터에 대한 전반적인 솔루션을 담는 연구 활동이 필요로 하며 빅데이터 처리에 대한 빅데이터 방법론 등에 대한 요구가 증대되고 있음.
¡ 기업의 고객 분석, 상품 분석 및 소셜 분석 등 관계형 데이터 분석을 위한 그래프 데이터베이스 엔진 개발이 필요함.
¡ 최근 정형/비정형/그래픽 데이터는 천문학적인 규모로 형성되고 있으며 기존의 분석 및 관리 체계로서는 감당하기 어려운 정도의 데이터가 생산되고 있음. 이러한 빅데이터에 대한 분석 및 관리를 위한 새로운 기술 및 체계적인 기법이 필요함.
¡ 빅데이터의 수집, 처리, 전달 및 저장 과정에서의 실시간 정형/비정형/그래프 데이터베이스 활용에 대한 연구가 필요로 하며 기존의 File 및 DBMS 기반의 디스크 저장 기술을 대체 하거나 보완하는 부분으로 활용도가 큼.
¡ 차별화된 정보를 추출하고 이를 경영활동에 접목하기 위해서는 정형 및 비정형 뿐 아니라 그래픽 계층관계형 고성능 빅데이터 활용 어플리케이션 인프라가 필요함.
¡ 인터넷과 모바일 컴퓨팅 기술의 발전은 IoT와 M2M 실현을 가속하고 있는데, IoT와 M2M의 실현을 위해서는 다양하고 동적인 데이터를 지능적으로 활용할 수 있어야 하며, 이에 대응하여 다양성, 지능성, 확장성, 역동성을 담보하는 대용량 그래프 데이터 처리 방법에 대한 연구 및 솔루션이 필요함.
¡ 데이터 분석을 위한 기존의 Business Intelligence 는 일정한 양식의 정제된 정형화된 데이터를 주로 취급하기 때문에 비
정형(Semi-Structured) 또는 그래프 데이터를 처리하기에 한계가 존재하므로 정형/비정형/그래프 빅데이터를 위한 최적화된 데이터베이스 통합 관리기능이 필요함.
¡ 고성능 아키텍처 인프라를 실현하기 위해서는 디스크 의존도를 낮추고 메모리 의존도를 높여야 하며, 분산된 메모리를 단일 메모리화 하여 운영 및 관리할 수 있는 메인 메모리 기반 멀티 노드 데이터베이스의 구현이 필요함.
¡ 다양한 데이터 타입의 처리 요구가 증대되면서 질의의 복잡성을 낮추고 동시에 사용 용이성을 높일 수 있는 정형/비정형/그래프 데이터베이스 통합 질의기가 필요함.
(2) 개발 대상 기술․제품의 파급효과
[기술적 측면]
¡ 고성능 데이터베이스 솔루션 기술 연구를 통하여 해당 IT 산업과 기술 분야의 최첨단 기술에 대한 공동 연구를 수행하고 유관 기술 분야의 기술을 선도할 수 있음.
¡ 차세대 메모리 기반의 빠른 응답 속도를 기대할 수 있는 데이터 저장 기술 및 상대적으로 용량이 큰 데이터를 담을 수 있는 데이터 저장 기술을 공동으로 연구 개발하여 고성능 빅데이터 관련 기술을 선도하고 제품화하여 국산제품을 통하여 해외 수출 등의 기대를 할 수 있음.
¡ 정형화된 데이터의 수집, 저장, 처리 및 연계 기술과 비정형 및 그래프 빅데이터 처리 기술의 조합으로 인하여 기존에 처리되지 않았거나 못하였던 다양한 형태의 데이터 영역에 대한 데이터 수집 및 처리가 가능하여 기업, 기관 및 국가에서 필요로 하는 의사 결정 데이터 처리 기술을 제공할 수 있음.
¡ 빅데이터 시장에서의 제품군들이 데이터 저장 영역, 분석 영역, 연계 영역 등으로 나뉘어 있는데 반하여 빅데이터의 생성에서 수집, 처리, 연계, 분석을 위한 변형 및 통계 등의 모든 영역에 걸친 빅데이터 어플라이언스 제품은 보다 빠른 Realtime Enterprise를 제공할 수 있음.
¡ 빅데이터의 생명주기(Lifecycle)을 관리할 수 있는 제품을 통하여,
빅데이터를 생산하는 업체, 빅데이터를 소비하는 업체, 빅데이터를 운용하는 업체 및 빅데이터를 사용하는 업체가 쉽고 빠르게 비즈니스 및 서비스를 추진하는 것을 지원할 수 있는 솔루션을 제공할 수 있음.
¡ 기존의 OLAP등의 영역에서 활용되어 왔던 Business Intelligence을 발전 시켜서 빅데이터 영역의 정형/비정형/그래프 데이터를 통합한 Big Data Business Intelligence 기술을 연구 개발하여 해당 분야의 기술을 선도할 수 있음.
[경제적․산업적 측면]
¡ 기업의 고객 분석, 상품 분석 및 소셜 분석 등에서 다양한 형태의 고성능 빅데이터 분석이 가능해 공공분야 및 국가적 경제와 산업 예측이 가능함.
¡ 메모리 클러스터링 기술 개발로 메모리 저장 공간 확장을 위해 추가로 메모리를 구입하는 것이 아니라 기존에 사용하고 있는 원격의 메모리를 마치 하나의 메모리로 인식할 수 있게 함으로 확장을 위해 한 추가 비용을 방지함.
¡ 다양한 데이터를 처리하는 빅데이터 처리 시스템을 하나의 통합된 제품 형태로 제공하기 때문에, 제품 라이센스 구입비용과 설치 및 운용을 위한 서비스 비용이 모두 1/3로 혁신적으로 감소되며 메모리 클러스터링 기능까지 더해져 경제적으로 그 가치는 무한대임
¡ 본 과제는 인메모리 기반 빅데이터 활용으로 초고속 메모리 DBMS를 사용하고 있는 공공/통신/제조 분야에서 연간 약 600억원을 절감할 수 있을 것으로 추정함
¡ 또한, 2017년까지 국내 빅데이터 산업의 인력수요는 약 1만여 명으로 예상되며 향후 5년간 일자리 창출효과 또한 52만 명에 이를 것으로 예측됨
¡ 맥킨지 글로벌 인스트튜트(McKinsey Global Institute)는 빅 데이터에
[ Gartner 10대 전략 기술(좌)과 사업 세부 목표 ]
관한 보고서에서 빅 데이터의 경제적 파급 효과를 5개부분에 투사하여 글로벌 GDP $57.5조의 40%에 해당하는 $22.3조에 달할 것으로 예상하고 있으며, 의료 건강에 $3,300억은 스페인 연간 의료비의 2배이며, 2,500유로는 그리스의 GDP 보다 많은 액수임.
[맥킨지글로벌인스티튜트의 빅데이터의 경제적 파급 효과]
¡ Gartner에서 2012년 10대 전략 기술로 모바일 중심 어플리케이션, 차세대 분석 기술, 빅데이터, 인메모리 컴퓨팅, 클라우드 컴퓨팅 기술 등 여러 분야의 기술이 본 사업의 세부 과제의 추구하는 기술과 동일한 목표를 가지고 있음. 본 산업은 소프트웨어 산업 뿐 아니라 하드웨어, 반도체, 유무선 통신 시장에 이러기 까지 다양한 영역에서 타 산업 분야의 발전과 더불어 동반 성장할 수 있는 시장을 창출할 수 있는 사업임.
¡ 빅데이터에 대한 실시간 또는 근접 실시간(near-realtime)분석이 가능한 빅데이터 플랫폼을 통하여 새로운 서비스 시장을 창출할 수 있음. 또한, 클라우드 기반의 빅데이터 서비스 지원을 통해 클라우드 어플리케이션 기반 서비스의 활성화를 자극하고 저렴한 IT 서비스를 폭넓게 제공할 수 있음. 기존의 ASP(Application Service Provider), SAAS(Softwafre as a Service), PAAS(Platform as a Service)와 융합하여 기존에 관리 되지 않았던 빅데이터 및 이에 대한 분석정보를 이용한 다양한 응용 서비스를 기대할 수 있으며 이를 통한 다양한 산업영역에서 기업의 경영활동에 기여할 수 있음.
¡ 반도체 산업의 발전 및 국내 유관 기업의 해당 산업 전반적인 기술 및 시장을 이끌어 가고 있는 가운데, 해당 하드웨어 기술뿐만 아니라 유관 반도체 기술을 이용한 응용 소프트웨어 기술인 In Memory 처리 기술, 분산 처리 기술 등을 접목하여 여러 산업 분야의 동반 성장을 도모할 수 있음.
¡ 빅데이터는 다양성(Variety), 볼륨(Volume), 속도(Velocity) 등의 3차원의 특징을 가지고 있으며 정형 데이터를 넘어 문자, 오디오, 비디오, 클릭 스트리밍, 로그 파일 등과 같은 모든 다양한 비정형 데이터를 포함하고 있으며 이러한 빠르게 생성되며 지속적으로 정보의 갱신이 이루어지는 방대한 데이터는 제조, 금융, 우주 항공, 의료, 국방, 포털 등 다양한 산업 영역에 적용하여 기존의 정보 시스템을 통하여 제공 받았던 분석 정보 및 통계 정보의 한계를 뛰어넘어서 더 넓고 많은 영역에서 빅데이터의 분석 기능을 통한 산업의 발전을 기대할 수 있음.
¡ IDC에서는 빅데이터의 속도(Velocity) 및 다양성(Variety)분야에 있어서 속도가 빠른 경우의 실시간 처리 부문, 속도가 느린 경우의 배치 처리 부문에 대해서 적용할 수 있는 다양한 산업 영역 및 서비스 및 솔루션 영역을 정의하였음.
[사회적 측면]
¡ 기업 및 공공 기관의 모든 형태의 빅데이터에 대한 효율적 분석이 가능함에 따라 국내 산업 경쟁력 강화에 기여할 수 있음
¡ 기존에 저장되거나 관리되어지는 데이터가 아닌 개개인의 생활 중에
[ 빅데이터의 특성 - 3V와 ‘IDC 빅데이터 분석의 잠재적 사용 사례 ]
무심코 흘러가 버린 데이터에 대한 저장, 관리, 분석 및 응용 기술을 개발함으로써 개개인에게 보다 더 낳은 서비스 및 생활의 편의를 제공할 수 있음.
¡ 대용량 빅데이터의 실시간 혹은 근접 실시간의 분석을 통하여 미래에 일어날 수 있는 일에 대한 사전 예측 및 대비를 할 수 있는 플랫폼 혹은 솔루션을 제공하여 갑작스러운 자연 재해 및 기타 사고 및 긴급한 상황을 대비할 수 있음. 특히, 재난 발생 시 상황 인지 처리를 통한 신속한 피난 및 재해 복구 시스템을 구축하여 국민의 안전과 국가의 재난 방지 경쟁력을 향상 시키는데 도움을 줄 수 있음.
¡ 다양한 빅데이터 활용을 통하여 산업 전반에서의 대국민 서비스의 질이 향상될 것으로 기대되며 유관 분야와 관련하여 사회 및 문화 전반적인 영향을 줄 것으로 기대함.
구분 내용
최종목표
[통합 고성능 빅데이터 분석 플랫폼 개념도]
¡ 다양한 형태의 빅데이터를 고성능으로 분석하기 위해 비정형 데이터베이스, 정형 데이터베이스 및 그래프 데이터베이스를 통합적으로 제공하는 통합 데이터베이스 플랫폼(빅데이터 어플라이언스) 개발
¡ 최종 제품
ü 통합데이터베이스플랫폼(빅데이터어플라이언스) (H/W,S/W) ü 정형/비정형/그래프 데이터베이스 엔진(S/W)
ü 정형/비정형/그래프 데이터베이스 통합 질의기(S/W) ü 정형/비정형/그래프 데이터베이스 통합 관리 툴(S/W) ü Memory Cluster(고성능 아키텍처)(S/W)
제 2 장 과제 수행의 내용 및 결과(기술개발 내용 및 방법) 제 1 절 최종 목표 및 평가 방법
(1) 최종 목표
