단순히 많은 양의 데이터
너무 방대해 일반적으로 사용하는 방법이나 도구로 수집, 저장, 검색, 분석, 시각화 등을 하기 어려운 데이터 집합
그러한 데이터 집합을 활용하는 영역이나 기술까지 데이터 베이스의 규모에 초점을 맞춘 정의 (McKinsey, 2011)
- 일반적인 데이터베이스 SW가 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터
데이터 베이스가 아닌 업무수행에 초점을 맞춘 정의 (IDC, 2011)
-다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고
데이터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍처
11-3 빅데이터
11-3 빅데이터
맥킨지(Mckinsey)에 따르면 매달 300억 개 이상의 콘텐츠가 페이스 북을 통해서 공유
전세계적으로 매년 40%씩 데이터가 증가하고 있는 추세 새로운 데이터의 등장 및 특성
11-3 빅데이터
가트너 그룹(Gartner Group)은 ‘빅데이터’라고 불리는 데이터들은 다 음과 같은 세 가지 특징을 가진다고 정의함
빅데이터의 3가지특성
데이터 종류의 증가 비정형,
구조화 되지 않은 데이터 데이터의 기하급수적인 증가 방대한 데이터의 집합
대 용 량
다 양 성
실시간 데이터 생성, 활용 빠른 데이터 분석, 처리
속 도
비정형 데이터의 증가 SNS의 대중화
데이터 분석 기술의 발전 Big Data
빅데이터의 등장배경
빅데이터(Big Data)
기존 데이터에 비해 너무 방대해 이전 방법이나 도구로 수집, 저장, 검 색, 분석, 시각화 등이 어려운 정형 또는 비정형 데이터 세트를 의미
11-3 빅데이터
구조적 데이터(Structured Data)
– 현재 기업에서 일반적으로 사용하고 있는 구조화된 형태의 틀에 맞춰진 데이터
비구조적 데이터(Unstructured Data)와 반구조적 데이터(Semi-Structured Data)
– 이미지, 웹로그, 게시판에 사용자의 의견 및 질의 등과 같이 일정 한 형태와 패턴을 지니지 않은 데이터
기업은 빅데이터를 통해 보다 풍부하고 진보된 분석을 신속하고 정확 하게 수행할 수 있게 되었음
어떤 시각을 가지고 데이터를 바라보는 자와 수많은 데이터 속에서 필요한 정보를 찾아내고자 하는 반복적인 과정 속에서 발견
예로서, 로그 분석을 통한 수요예측 및 오류 방지, 시계열성 웹로그 분석을 통한 전자결제 사기 탐지 및 예방 등
빅데이터의 유형에 따른 분류
데이터의 증가 더욱 고사양 고가의 장비로 교체?
전 서비스 영역에서 개인화 서비스와 소셜 서비스를 제 공해야 하는 환경으로 변화
기존의 시스템, 소프트웨어 아키텍처의 Scale-Up만으 로는 한계
빅데이터와 기업의 대응
분산 처리 시스템
-효과적인 분산처리 시스템을 통한 유연한 서버 운용이 핵심 경쟁력
-서버 사양과 단일 스토리지 용량보다는 이를 효율적으로 운용하는 소프트웨어가 중요해 짐 -기술이 발전하고 있는 과정, 대부분 오픈소스 형태
빅 데이터는 클라우드 기반의 대용량 데이터 처리 기술인 하둡(Hadoop)을 비롯해, 전통적인 RDBMS를 보완하기 위한 NoSQL(Notonly SQL), 그리고 각종 데이터 시각화 (Data Visualization) 기법에 이르기까지 방대한 기술 세트를 사용한다.
따라서 데이터를 저장하고 분석하는 부분에서 경쟁사보다 우수한 기술을 보유한 신생 기업 이 나타나면 이를 경쟁적으로 인수하고 있는 상황이다.
위키본(Wikibon)에 따르면, 2011년 빅 데이터 시장 규모는 52억 달러였으며 하드웨어, 소 프트웨어, 서비스 분야 중 서비스 매출이 44%로서 가장 큰 비중을 차지했다.
빅 데이터 시장에서 앞서가기 위해서는 서비스 역량이 가장 중요할 것으로 판단.
빅 데이터의 궁극적인 목적은 기술의 도입이 아니라 이를 통해 비즈니스 통찰력을 도출하고
T-mobile 고객 이탈 방지
• 매일 170억 건 이상의 통화 및 송수신 내역을 담은 데이터 발생, 이를 분석해 다른 통신사로 옮긴 고객이 사전에 보였던 특유의 패턴 발견
• 고객간 소셜 네트워크를 분석, 영향력이 큰 고객을 따라 지인들이 동 반 이탈하는 현상 발견. 이탈 징후 보이는 고객에게 맞춤형 추가혜택 제 공하여 Lock-in 유도
• 시스템 구축 직후인 2011년 2/4분기 이탈 고객 수 5만 명으로 1/4분 기 9만 9,000명 절반 수준으로 감소
포드 스마트 자동차
• 시시각각으로 운전데이터를 수집, 유저가 어디로 향하려 하는가 등을 실시간으로 예측하는 등의 미래 스마트자동차 개발 목표
• 구글과 '하이브리드 자동차스마트 서비스' 공동 개발 중. 실시간으로 수집되는 교통정보 데이터를 분석하여 교통혼잡지역을 피함과 동시에 운전자의 운전습관에 기초하여 가장 에너지를 절약하는 방식으로 운전 자의 목적지 경로를 추천
국가위험 국토보안 관리
정부 비용 절감