• 검색 결과가 없습니다.

빅데이터 처리 기술을 활용한 비정형데이터 분석 모델링 구축

N/A
N/A
Protected

Academic year: 2021

Share "빅데이터 처리 기술을 활용한 비정형데이터 분석 모델링 구축"

Copied!
3
0
0

로드 중.... (전체 텍스트 보기)

전체 글

(1)

한국컴퓨터정보학회 하계학술대회 논문집 제28권 제2호 (2020. 7)

253

● 요 약 ●

기업 및 기관 데이터는 워드프로세서, 프레젠테이션, 이메일, open api, 엑셀, XML, JSON 등과 같은 텍 스트 기반의 비정형 데이터로 구성되어 있습니다. 텍스트 마이닝(Textmining)을 통해서 자연어 처리 및 기 계학습 등의 기술을 이용하여 정보의 추출부터 요약 · 분류 · 군집 · 연관도 분석 등의 과정을 수행울 진행 한다. 다양한 시각화 데이터를 보여줄 수 있는 다양한 모델 구축을 진행한 후 민원 신청 내용을 분석 및 변 환 작업을 진행한다. 본 논문은 AI 기술과 빅데이터를 활용하여 민원을 분석을 하여 알맞은 부서에 민원을 자동으로 할당해 주는 기술을 다룬다.

키워드: 빅데이터(Big Data), 데이터(Data), 분석(Analysis), 처리(Processing), 시각화(Visualization), 텍스트 마이닝(Textmining), 모델링(Modeling)

빅데이터 처리 기술을 활용한 비정형데이터 분석 모델링 구축

김정훈O, 김성진*, 권기열*, 주다혜*, 오재용*, 이준동*

*강릉원주대학교 멀티미디어공학과,

O강릉원주대학교 멀티미디어공학과

e-mail: wjdgns778@naver.comO, tonyksj@naver.com*, qqqq4632@naver.com*, jdh12188@naver.com*, ojy5251@naver.com*, jlee@gwnu.ac.kr*

Building Modeling for Unstructured Data Analysis Using Big Data Processing Technology

Jung-Hoon KimO, Sung-Jin-Kim*, Gi-Yeol-Kwon*, Da-Hye-Ju*, Jae-Yong-Oh*, Jun-Dong Lee*

*Dept. of Multimedia Engineering, GangNeungWonju University,

ODept. of Multimedia Engineering, GangNeungWonju University

I. Introduction

매년 민원신청 데이터는 개별적 이유 등으로 무분별하게 늘어나는 추세이다. 하지만 실제로 민원신청 데이터를 확인해 보면 민원 내용이 없고, 주제만 있는 경우가 있고, 민원 내용에 맞춤법, 오타, 띄어쓰기, 다양한 은어 사용 등 여러 가지 잘못된 단어를 사용하고 있었고 민원 내용을 일일이 확인하여 분류하는 형태로 진행이 되고 있었다.

본 논문은 총 52개의 부서 민원 내용을 수집을 하여, 내용 분석 및 분류 처리 기술을 활용해 민원 내용에 해당되는 부서에 맞게 분류를 진행해 주는 내용을 다룬다.

II. Preliminaries

본 논문에서 처리하는 빅데이터는 기존의 데이터와 속성이 달라 데이터 수집·저장·처리·분석·표현하는 데 새로운 방법들이 필요하다.

Fig. 1. 은 빅데이터를 처리하는 과정을 크게 데이터의 생성·수집·저장·

처리·분석·표현의 과정으로 분류한 것이다[1].

Fig. 1. Big Data Processing Process

(2)

한국컴퓨터정보학회 하계학술대회 논문집 제28권 제2호 (2020. 7)

254

III. The Proposed Scheme

1. 민원 데이터 수집 및 분석 활용 Dataset

광주 시청 홈페이지에서 1,676건의 VOC 데이터를 crawling으로 작업한 후 Fig. 2. 와 같이 수집하여 분석에 착수(총 52개의 부서에 대한 데이터 수집) 했다.

Fig. 2. Utilization Dataset

2. 분석 방법론

본 논문의 데이터를 분석하는 방법으로는 TEXT MINING 기법을 활용하였고, 과제 수행 및 알고리즘 개발을 위하여 데이터 분석 방법에 특성 이해를 위해 Fig.3와 같은 그림으로 표현해 보았다.

Fig. 3. Textmining Processing

3. Data 사전 구성 및 교정 방식

- Modeling 및 Data 사전 구축

과제 및 알고리즘 구현을 위하여 Fig. 4. 와 같이 데이터 저장을 위한 Moedling을 수행하였고, KoNLP에서 사전을 받아서 DB에 생성시키는 작업을 수행하였고, R을 활용해 Data 분할 작업 수행한 뒤 단어가 1자 이상인 것만 발취하였다.

Fig. 4. Modeling Processing

- 단어 사전 교정 방식

단어 교정 변환 기준으로는 Fig. 5.와 같이 사용, 변환, 금지어 기준으로 진행하였고, 사용 기준으로는 실체가 명확한 것( 물리적으로 존재 ), 업무에 명확한 단어로 진행하였다. 변환 기준으로는 형용사 + 명사 형태의 어절, 명사 + 어미 형태의 어절을 진행하였고, 금지어 기준으로는 불특정한 부서에서도 사용 가능한 단어 제거, 추상적인 단어 제거, 형용사/ 부사 형태의 단어를 제거하는 방법으로 진행하였다.

Fig. 5. The way words are pre-calibrated.

4. Data 탐색 및 검증 방법

- Data 탐색

Multi Category 선택을 통한 주요 단어 빈도 기준으로 활용히였고, 데이터에 대한 특성을 이해 및 탐색하기 위해 Fig. 6. 과같이 R을 통해 시각화를 진행하였다.

Fig. 6. Basic Navigation - Visualization

(3)

한국컴퓨터정보학회 하계학술대회 논문집 제28권 제2호 (2020. 7)

255 - 검증 방법

모델링에 데이터를 활용하여 정확도 검증을 위해 R을 활용하여 시각화 작업을 진행하였고, 다양한 시각화 분석 방법 중에 가장 정확도 가 높게 나왔던 Fig.7 와 같이 tf_idf, Rule 기반으로 활용해서 진행하였 다.

Fig. 7. Classification result of tf_idf and rule-based utilization classification.

IV. Conclusions

분석 모델의 특징으로 다양한 분석 모델 적용해본 결과 단어 사전, 시각화 작업으로 진행하였는데 단어 사전으로는 분류 모델에 대한 분석 방법은 일반적 사전 + 업무 사전을 기준으로 형태소 분석 수행이 가장 적절했고, 형태소 분석에 대한 문제 해결은 단어 변환으로 해결하 였다. 시각화 작업으로는 여러 가지의 분류 모델 중에 가장 정확도가 높은 것을 선택적으로 활용하였다(tf_dif, Rule 방식 활용하였고 Rule 방식에서는 확률 값을 기준으로 한 오 분류에 내용 파악이 가능했다.

ACKNOWLEDGMENT

이 논문은 2020년도 정부(과학기술정보통신부)의 재원으로 한국 연구재단 – 현장맞춤형 이공계 인재양성 지원사업의 지원을 받아 수행된 연구임 (NRF-2017H1D8A1029391).

REFERENCES

[1] Hanbit Academy, "IT CookBook, Big Data Computing Technology," pp. 17, June 2014.

[2] Multicampus, "Big Data Distributed Parallel Processing System and Introduction to Analysis" pp. 35 ~ 51, February 2020.

[3] 잔재미코딩, https://www.fun-coding.org/crawl_basic2.html [4] Multicampus, "Big Data Distributed Parallel Processing

System and Introduction to Analysis" pp. 319 ~ 413, February 2020.

[5] 인투더데이터, https://intothedata.com/02.scholar_category/

text_mining/

[6] 인투더데이터, https://intothedata.com/40.r_language/

[7] 인투더데이터, https://intothedata.com/02.scholar_category/

text_mining/tfidf/

[8] DEEPPLAY, https://3months.tistory.com/343

수치

Fig.  1.  Big  Data  Processing  Process
Fig.  5.  The  way  words  are  pre-calibrated.
Fig.  7.  Classification  result  of  tf_idf  and  rule-based  utilization  classification

참조

관련 문서

컨설팅 착수, 산업환경분석, 시장환경 분석 → 산업 및 시장에 대해 초점 현재단원은 낮은 수준인 제품 및 서비스 분석 초점.. 예) 은행산업의 신용대출 시장에

– 데이터 마이닝 기법은 통계학에서 발전한 탐색적자료분석, 가설 검정, 다변량 분석, 시계열 분석, 일반선형모형 등의 방법론과 데이터베이스 측면에서 발전한

빅데이터 관련 시장이 성장기에 있고, 이를 활용한 다양한 분석 기술, 장비 및 신규 비즈니스 모델이 개발되는 과정에 있으므로 사업유형을 명확히 구분하기 어렵고, 기존

업무 시스템의 이벤트 로그 데이터를 분석하여 실제 프로세스를 도출하고, 프로세스 개선을 지원하는 프로세스 마이닝 기반

임플란트와 골 계면에서 발생되는 생역학적인 힘은 임플란트 성공에 중요한 역할을 담당하고 있는데 18) , 임플란트 주위에 발생되는 응력의 크기를 측정하기

하지만 위의 결과를 기준으로 인수성능 대비 고압터빈 및 저압터빈 성능저하 가 전혀 발생하지 않았다고 판단할 수는 없다 발전단 전기출력 측정치

전국 도서관이 보유하고 있는 정보를 활용한 도서관 분야 빅데이터 분석 및 활용에 대한 요구사항 증대..

학교 본관내 G은행의 주간시간대 시뮬레이션 결과 분석 및 개선 방향 ... 학교 본관내 G은행의 야간시간대 시뮬레이션 결과 분석