과거 데이터가 부족하거나 데이터 취합에 많은 비용이 요구되었을 때는 일단 가능한 한 데이터부터 취합하는 것이 데이터분석의 첫번째 작업 진행 방식이었다.즉 과거 트랜드 분석에서는 데이터가 생성되던 시점과 데이터를 취합할 수 있는 시점의 시차가 존재했기 때문에 실시간 파악은 불가능했고 과거 어떤 상황이 일어난 후에나 데이터를 취합할 수 있었기에 이러한 시차 를 극복하기는 불가능하다. 따라서 대부분의 데이터 분석은 과거에 어떤 일 이 있었는지를 판별하는 것이었으며, 데이터 분석의 결과물은 리포트라는 형식을 취하게 된다. 그리고 이 리포트를 바탕으로 어떤 실행을 하느냐는 데이터 분석과는 분리된 프로세스라고 할 수 있다.
하지만 빅데이터 시대에는 데이터 분석 자체의 프로세스와 결과 및 진행 사항이 변모하고 있다. 우선 원하는 데이터는 모두 취합할 수 있는 상황에서 데이터 그 자체의 가치는 하락하고 있으며, 대신 어떤 실행이 필요하고 이를 위해 어떤 의사결정이 이뤄져야하는지 파악된 이후 이를 위해 데이터 수집 이 이루어지고 있다. 즉 데이터의 가치는 어떤 결과를 도출하고 어떤 의사결 정을 내릴 것인가에 따라 결정된다. 애널리틱스은 어떤 목적을 추구하냐에 따라 데이터의 가치가 결정되는 것이다.
<그림 2-3> 빅데이터의 의사결정개념도
(자료: 장영재, 빅데이터의 시대 – 경영을 과학으로, DIGIECO FOCUS,2012)
또한 기존 데이터 처리와 Big Data 처리의 차이점을 살펴보면 다음과 같다.
- 빠른 의사결정의 요구가 상대적으로 적음 - 처리(Processing) 복잡도가 높음
- 비정형 데이터의 비중이 높음 - 처리/분석의 유연성이 높음 - 동시 처리량이 적음
이러한 차이점을 데이터 세트, 속도 및 분석관점에서 정리하면 다음과 같다.
<그림 2-4> 과거와 빅데이터 시대의 비교
하지만 이러한 빅데이터의 중요성은 대부분 공감하지만, 실제로 빅데이터 를 이용하여 효과를 얻는 기업은 아직까지는 많지 않으며, 심지어 가트너는 빅데이터를 활용하기 위하여 시도하는 프로젝트의 85%가 실패할 것으로 전 망하기도 하고 있다. 이것은 전술한 바와 같이 빅데이터 분석은 특정시점에 서의 수직적 분석에 치중하고 있어 어떤 트렌드를 분석하기에는 무리가 따 른다. 다만 반복적 계산과 거래가 발생하는 은행 및 제조업공장 등의 분석에 서는 의미가 있다고 할 수 있다. 따라서 물리적 정보구조가 형성되어 있는 분야의 경우 그 자체의 구조를 파악하는데는 의미가 있다고 할 수 있다. 따 라서 이러한 분석방법론의 차이로 빅데이터에 의한 예측은 장기적 예측 (Forecasting)이라기 보다는 초단기적 예측(2-3시간 혹은 그 이하)인 Nowcasting라고 할 수 있다.
<그림 2-5> 빅데이터와 적응적 복잡계 모델의 상호 적합성
따라서 전술한 정보유통모델의 개념으로 보면 빅데이터의 결과물은 다시 지식정보부문으로 투입되는 변수가 된다. 다시 이것이 완벽하게 작동되기 위해서는 적절한 변환계수가 필요한데 이것이 복잡계 모형 창발계수이다.
이것은 사회적 환경에 적절하게 대응한 적응적 복잡계 모형으로 사회모델이 라고 할 수 있다.
O = K · I + C O : 지식정보의 산출 K : 빅데이터 결과 투입계수 I : 적응적 복잡계 창발계수 C : 상수
이러한 위험대응 새로운 정보체제를 개념화하면 다음과 같다.
<그림 2-6> 새로운 위험대응 정보체제의 개념도
이러한 구조화 틀은 정보간 상호 작용하는 서로 다른 개체들로 구성되어 외부(수요자)의 기대와 요구에 부응하기 위해 자신들을 끊임없이 적응시켜 가는 또 하나의 복잡적응계이다.
일반적으로 전통적 의사결정이론에서는 의사결정이 환경에 대한 객관적 이해를 바탕으로 한 합리적 선택에 의해 결정된다고 보아왔지만, 복잡적응 계에서의 관점에서는 환경에 대한 객관적 이해나 합리적 선택을 부정하는 입장에 있다고 할 수 있다. 즉 불확실성 하에서의 의사결정은 즉, 하위의 복잡 적응계가 어떻게 상위의 복잡적응계와 동태적으로 공명(共鳴;
coherence)6)하게 할 것인가에 답함으로써 가능하다고 할 수 있다.
6) 프리고진에 의하면 평형상태에서 분자는 이웃 분자만을 보고 있지만 비평형 상태에서는 분자는 계 전체 의 분자를 보고 있다. 그리고 비평형 상태에서 이들 분자가 공명(상호간섭)을 일을 킬 때 자기조 직화가 일어난다{5].