빅데이터? 스플렁크 시작하세요!

(1)

빅데이터? 스플렁크 시작하세요!

Volume | Velocity | Variety | Variability

GPS,

RFID,

Hypervisor,

Web Servers,

Email, Messaging,

Clickstreams, Mobile,

Telephony, IVR, Databases,

Sensors, Telematics, Storage,

Servers, Security Devices, Desktops

₁

(2)

(3)

Structured RDBMS

SQL Search

Schema at Write Schema at Read

기존 방식 스플렁크

스플렁크의 접근 방식

ETL Universal

Indexing

Volume Velocity Variety

Unstructured

(4)

하나의 플랫폼에서 모든 작업을

HA / DR Admin Data Security Apps SDKs/API

Scale Collect

Data

Index Data

Enrich

Data Search &

Explore

Analyze

& Predict Report &

Visualize Alert &

Action

(5)

Developer Platform

Report

and analyze

Custom dashboards Monitor

and alert Ad hoc

search

Splunk storage Other Big Data stores

실시간 데이터 수집

Online

Services Web

Services

Servers Security GPS

Location

Storage Desktops

Networks

Packaged Applications

Custom Applications Messaging

Telecoms Online

Shopping Cart

Web Clickstreams

Databases

Energy Meters

Call Detail Records Smartphones

and Devices

RFID

Any amount, any location, any source.

Binary

Encryption Just DB & Text

Former Processing

세상 모든 데이터 수집

(6)

Sources

Twitter Care IVR Middleware

Error Order Processing

다양한 형태의 데이터

(7)

스플렁크의 데이터 수집 방법

Category TYPE Splunk

Agent SSH /

TELNET FTP NFS/SCP/

RSYNC TCP/

UDP DBI /

SQL Script SNMP

Network Routers O O O O

Switch O O O O

Firewall O O O O

Servers Linux O O O O O O

AIX O O O O O O

Solaris O O O O O O

Windows O O O O O O

MAC O O O O O O

TANDEM O O O O O

TRU64 O O O O O

AS400 O O O O

Mainfreme O O O

Database Oracle O O O O O O

Informix O O O O O O

Sybase O O O O O O

Mysql O O O O O O

MS SQL O O O O O O

Applications apache O O O O O

Weblogic O O O O O

Websphere O O O O O

SAP O O O O O

Custom App O O O O O

(8)

Developer Platform

Report

and analyze

Custom dashboards Monitor

and alert Ad hoc

search

Splunk storage Other Big Data stores Data collection

and indexing

Any amount, any location, any source.

No upfront schema No custom connectors No RDBMS

No need to filter/forward

분산 파일 /저장

스플렁크의 데이터 저장

(9)

구조 데이터

 Schema 가 요구되지 않음

 데이터의 속성이 검색과 함께 정의 됨

 Queries 나 검색은 그때그때

다이나믹하게 구성

 여러 이종의 데이터 수용 – 모든 종류의

Raw데이터 수용

 지속적인 변경을 수용

 Conversion 이나 데이터 규격에 따른 제약 조건이 없음.

eventtype=firewall accept OR allow | top src_port

실시간 인덱싱

스플렁크의 인덱싱

(10)

•

과거 데이터와 실시간 데이터를 하나의 분석 Query로.

– Splunk는 강력한 실시간 Query기능으로 사용자가 손쉽게 실시간으로 수집되는 데이터를 차트에 표현하고 자신의 작성한 분석 질의에 적용시킬 수 있습니다.

과거 데이터 실시간 데이터

실시간 검색/분산 검색

스플렁크의 실시간 데시보드

(11)

• 100여가지 이상의 검색 명령어 및 다양한 통계 분석 함수 제공

– Splunk는 기본 데이터 검색 뿐만 아니라, 이벤트의 필드 값들을 다양한 통계 및 분석 함수를 적용하여 원하는 통계 연산을 수행할 수 있습니다. Splunk가 제공하는 다양한 명령어 및 분석 함수는 아래 URL에서 확인하실 수 있습니다.

 All Search command

 http://docs.splunk.com/Documentation/Splunk/latest/SearchReference/ListOfSearchCommands

 Functions for eval and where

 http://docs.splunk.com/Documentation/Splunk/latest/SearchReference/CommonEvalFunctions

 Functions for stats, chart and timechart

 http://docs.splunk.com/Documentation/Splunk/latest/SearchReference/CommonStatsFunctions

• “기본 통계를 포함한 다양한 종류의 분석 함수를 제공 ”

스플렁크의 검색문/함수

(12)

LOB Owners/

Executives

System Administrator Operations

Teams

Security Analysts

IT Executives Application

Developers Auditors

Website/Business Analysts Customer

Support

IT Operations Management Web Intelligence Business Analytics

Application Management

Security and Compliance

스플렁크의 분석/Ad-Hoc리포팅

(13)

•

다양한 차트 타입 제공

– Splunk에서 기본으로 제공하는 차트의 종류는 아래 그림과 같이 다양합니다. 또 Splunk APP을 통해서 무료로 손쉽게 Google Map등의 다양한 Visualization 방법들을 추가할 수 있습니다. 또한, REST API를 이용하면 3^rd Party 차트

라이브러리도 연동할 수 있습니다.

대시보드 생성 및 공유

(14)

•

“1일 데이터 수집량을 선형적으로 계속 증가 시켜 갈 수 있는 아키텍쳐를 제공 한다.”

“즉시 adhoc-query가 가능한 데이터(예를들어, 최근 1개월치 data)의 총량은 필요에 따라 선형적으로 증가시킬 수 있는 아키텍쳐를 제공 한다.”

수집할 서버에 Splunk Forwarder를 설치하여 데이터 수집 Point를 손쉽게 늘려갈 수 있음 데이터가 저장되는 Indexer 노드도

선형적으로 늘려갈 수 있음.

Search Head는 사용자의 검색을 여러 Indexer 노드에 분산 검색하므로 Indexer노드가 많을 수록

더 빠른 데이터 검색이 가능함.

대용량 데이터 지원

(15)

Enables non-technical users to build complex reports without the search language

Provides more meaningful representation of underlying raw machine data

Acceleration technology delivers up to 1000x faster analytics over Splunk 5

15

Pivot

Data Model

Analytics Store

[10/11/

18:57:0121 4 UTC]

000000 b0 bo Chrome Chrome ///0123

["http:/

/sho p.gour met- shop.

Com/w ww.

Chrom e/258

[oogleb ot.com bot.ht ml)"42 4 0b0 Chrom e//00 Chrom e5.0.37 5

접근하기 쉬운 사용방법

(16)

1 6

단일 값 디스플레이

(Single Value Display)

이상치 검출

(Anomaly Detection)

지리공간형 시각화

(Geospatial Visualization)

• 표준 점수(Z-Score), IQR, 히스토그램 등의 방법론을 검색 명령어에 통합

• 사용자 설정이 가능한 지 리적 시각화 기능 추가

• 다양한 컨텍스트 정보를 보여 주는 개선된 단일 값 패널 디스 플레이

다양한 분석 및 시각화 요소 추가

개선된 분석 및 시각화

(17)

•

완전히 새로운 히스토그램 방식 적용으 로 더 정확한 검출 지원

•

하나의 검색 명령어로 세가지 옵 션 선택 (표준 점수(Z-Score), IQR, 히스토그램)

•

기존 ‘outlier’, ‘anomalousvalue’

명령어 대체

1 7

히스토그램 기반의 이상치 검출을 위한 새로운 SPL 검색 명령어

이상치 검출

(18)

•

등치 지역도(Choropleth map)를 이용 하여 공간 패턴 시각화

•

색상 눈금은 유스케이스 마다 다르게 설정 가능

•

사용자가 정의한 지도 영역 정보 업로드 가능

1 8

사용자 설정이 가능한 지리적 시각화 기능의 추가

지리공간형 시각화

(19)

•

크고 눈에 띄는 색깔로 멀리서도 한번에 볼 수 있도록 개선

•

최근 추이를 보여주는 스파크 라인(Sparkline) 추가

•

차이 표시자(Delta indicator)로 직 전 상태와의 차이 표시

1 9

다양한 컨텍스트 정보를 보여주는 개선된 단일 값 패널 디스플레이

시각화 향상

(20)

Splunk provide stable “Platform layer” data model, where Splunk R focuses on “Statistical / Analytics Layer” of data model.

Hadoop HDFS

Search Analyze Visualize

Splunk DFS

DW &

RDBMS

Platform Level Data Modeling and Summarization Engine

Other

Splunk Predictive Model Analytical Level

Data Model

스플렁크는 통합 데이터 플랫폼!!

(21)

헝크(HUNK) 6.3

(22)

Hadoop Clusters

WARM

COLD

FROZEN

Drive Down TCO by Archiving Historical Data to Commodity Hardware

스플렁크 데이터를 하둡으로 이전

(23)

Intelligently Search Across Real-Time and Historical Data Using the Same Splunk Interface

Real-Time Data Historical Data in Hadoop

스플렁크+헝크를 통합하여 검색

(24)

Hadoop Clusters

Historical Data in HDFS

3rd-Party Hadoop Tools Data Scientist

Splunk Archive Reader for Hadoop

•

Use 3rd-party Hadoop tools (e.g., Hive, Pig) to perform additional analysis

•

Broaden data access to wider set of audiences, e.g. data scientists and analysts

•

Run queries without moving or replicating data

써드파트 하둡 도구도 쉽게 연동

(25)

Just point at Hadoop

• Certified integration with all major Hadoop distributions

• Choose 1

^st

-gen MapReduce or YARN

• Create Virtual Indexes

across one or more clusters

• From download to

searching data in < 60 minutes

Connect to one or multiple Hadoop clusters

YARN certified

쉬운 설정 및 사용법

(26)

Rapidly interact with data

• Powerful Search Processing Language (SPL™)

• Ad-hoc exploratory analytics across massive datasets

• Preview results

• No fixed schema

• No requirement to

“understand” data upfront Drill down to raw data Search interface

Pause or stop MapReduce jobs

Preview results

인터액티브한 검색

(27)

Pass-through Authentication

• Provide role-based security for Hadoop clusters

• Access Hadoop resources under security and

compliance

• Integrates with Kerberos for Hadoop security

Business Analyst

Marketing Analyst

Sys Admin

Business Analyst Queue:

Biz Analytics

Marketing Analyst Queue:

Marketing

Sys Admin2 Queue:

Prod

고객 역할별 클러스터 지정

(28)

144 Hadoop Nodes, 69TB SSD Storage Analytics Application

10 million subscribers generate:

• 80GB of raw session log data / day

• 26 Million video data session records

Hunk query

• 20 sec – search through 27M events

• Returning 4.7M events

Hunk as indexer - Automatically indexed and counted field value occurrences Hunk as self service - Proved invaluable for identifying and exploring use cases Hunk business value - Help identify when subscribers abandon video

스플렁크 +헝크를 활용한 통합 분석 사례

(29)

Security Analysts Business Analysts IT Admins

ODBC SDK

API

DB Connect

Ad hoc Search

Monitor and Alert

Reports / Analyze

Custom Dashboards

Clickstream

Geo-location

Devices Networks Hadoop

Servers Applications Online Shopping Carts

Security Analysts Business Analysts

Structured Data Sources

CRM ERP HR Billing Product Finance

Data Warehouses and Relational Databases

Product Managers

모든 데이터를 통합분석하는 플랫폼

(30)

Statistical Modeling

Regression Clustering Classification

1. Splunk search to call data

2. Sends searched data to Svr

3. Get results from stats model

4. Visualize with Splunk dashboard and reports

Search Head

분석 툴 ‘R’ 연동

(31)

Web Framework

• Quickly and efficiently build Splunk apps using familiar web technologies

• Client-side development with Splunk JavaScript

components and JavaScript libraries

• Server-side development support with Python and the Django framework

RICH

DEVELOPER ENVIRONMENT

REST API

Build Splunk Apps Extend and Integrate Splunk

Simple XML JavaScript

Django Web

Framework ^JavaJavaScript Python

Ruby C#

PHP

Data Models

Search Extensibility Modular Inputs

SDKs

개발 툴 연동

(32)

시각화 툴 ‘태블로’ 연동

Summary 데이터 상세 분석

실시간성 데이터 모니터링

최근, 데이터의 변동성에 대응하기 위해 DB 방식 대신 Splunk와 Tableau를 연동하는 아키텍처를 선호

(33)

실무자가 데이터를 쉽게 다룰 수 있는 툴

(34)

(35)

• Faster Troubleshooting – 43%

Reduction in Severity 1 & 2

• Health Status of Entire Application Infrastructure

• Real-Time Visibility Across 1,200+ Applications

• CIO Dashboards on KPIs and Trends by Store

홈디포 사례- E2E 서비스 모니터 및 분석

(36)

LG전자 사례-

E2E 서비스 모니터 및 고객 분석과 마케팅

Customer Behavior Analysis

& E2E Monitoring

Operational analytics for connected Devices

Realtime Trigger for

Marketting

(37)

Prevent security breaches and protect patient privacy Operational analytics for

connected medical devices Comply with HIPAA

regulatory requirements

HCA 사례 – 보안분석 및 의료데이터 분석

(38)

하나금융 사례 – FDS & 내부통제

Improving Safety

Reducing Costs

Improving On-Time

Operations

(39)

도미노피자 사례 – 비즈니스 분석

Understand device and app

usage trends for orders

Real-time revenue insights from

store data

Visibility into online and

mobile coupon redemption

Refine campaigns

for higher

conversion

(40)

CJ O Shopping 사례 : 개인화된 고객

분석 및 마케팅, 매출 상승

(41)

뉴욕철도 사례 –

센서데이터 분석 & 연료절감

Improving Safety

Reducing Fuel Costs

Improving On-Time

Operations

(42)

Customer Behavior Analysis

& E2E Monitoring

Operational analytics for connected Devices

Quality of

Semicinductor,Prevent fault machine

삼성전자 사례 –

고객분석 및 품질관리 분석

42

(43)

Demo

(44)

Enterprise Data Platform

거래 데이터

금융, 전자상거래

산업 데이터

제조 설비 및 IOT

서비스 데이터

인프라 및 애플리케이션

보안 데이터

네트워크 및 시스템 보안

• 운용 최적화 및 효율성 증가 100%

• 사업 기회 확장

• 매출 증가 +

• 위험 감소 및 대응

• 고객 만족도 향상 +

• 사업 신뢰도 증가 +

• 컴플라이언스 강화 + 리스크 / 사기

관리 비즈니스 인텔리전스 Operational

인텔리전스

보안 / 컴플라이언스

> 엔터프라이즈 데이터 > 밸류 정의

실시간

수집 / 저장 / 검색

분석/ 현황판

서비스 연계

• Fortune 100대 기업 중 80% Splunk 사용.

업계 표준 Operational Intelligence 플렛폼

(45)

Enterprise Data Platform

거래 데이터

금융, 전자상거래

산업 데이터

제조 설비 및 IOT

서비스 데이터

인프라 및 애플리케이션

보안 데이터

네트워크 및 시스템 보안

• 운용 최적화 및 효율성 증가 100%

• 사업 기회 확장

• 매출 증가 +

• 위험 감소 및 대응

• 고객 만족도 향상 +

• 사업 신뢰도 증가 +

• 컴프라이언스 강화 + Risk / Fraud

관리 Business 인텔리전스 Operational

인텔리전스

보안 / 컴플라이언스

> 엔터프라이즈 데이터 > 밸류 정의

실시간

수집 / 저장 / 검색

분석/ 현황판

서비스 연계

“Data-driven 비즈니스 결정기반”을 통한 핵심 사업 혁신

Risk 0%

• 빠른 도입 ROI

• 8000+ 개의 빠른 성공적 고객 구축 사례 및 글로벌 주요 기업의 구축

글로벌 리더

• 데이터 플렛폼 으로 기준 및 트랜드의 선두, 가장 혁신적인 Big Data 플렛폼

시간+완성도

= $$$

• 구축 기간 단축 및 플렛폼 완성도 검증

• Fortune 100대 기업 중 80% Splunk 사용.

업계 표준 Operational Intelligence 플렛폼

(46)

• 모든 데이터의 수집, 저장, 분석, 알람, 시각화, 연계의 전반적 밸류 싸이클 지원

MTTR 감소

• 엔터프라이즌 Operational 데이터 통합으로 인프라/데이터 상관관계 분석 및 운용 가시성을 통한 사전 대응 구현

고객의 경험 개선

• 단일 데이터 접근 플렛폼을 통한 다양한 목적 활용 : 용량 분석, 헬프 데스크 지원, 보안, 장애 해결, 감사, 관제, 변경 티켓, 사용자 성향 및 비즈니스

비용 절감

• 세계 적인 규모의 복잡한의 인프라 수용 경험 보유 : 세계 여러 Tier 1 통신,

금융, 제조 산업의 고객 보유 생산성

향상

Splunk의 시술 및 사업 차별성

(47)

Thank You

Written By 이승훈 실장, kosena21@naver.com, 010-9338-6400