도서관 빅데이터 분석활용 시스템 운영

(1)

2020 년 국립중앙도서관

도서관 빅데이터 분석활용 시스템 운영

(2)

전산장비 통합유지보수 용역 2017 ~ 현재 한국한의학 연구원 정보통신산업진흥원 통합유지보수 2009 ~ 현재 정보통신산 세명대학교 통합유지보수 2012 ~ 현재 세명대학교 업진흥원 LGCNS 통합 유지보수 2004 ~ 2018 LGCNS 충남도립대 전산시스템

통합유지보수 2010 ~ 2017 충남도립대

학교 한국원자력통제기술원

NEPS 유지보수 2010 ~ 2017 한국원자력

통제기술원

한국원자력통제기술원 2016 ~ 2017 한국원자력

(8)

II. 사업수행 경과

(9)

목표시스템 구성도

도서관 빅데이터 분석플랫폼 및 서비스 구성도

(10)

사업의 범위

10

사업 영역별 핵심 수행내용

사업영역 서비스 구분 주요 사업내용 비고

도서관 빅데이터 분석활용 시스템 유지 관리

(A)

정보시스템 성능개선

^ 서비스 응답속도 측정

 어플리케이션 구조 개선 및 검색엔진 성능 개선 ㈜아르고넷

서비스 운영 SLA

^ 서비스 수준 세부평가 항목 선정

 매월 세부 평가 및 성과평가 결과 보고 공동수행

하드웨어 유지보수

^ 정기적인 하드웨어 점검 및 결과보고

 장애에 대한 신속한 복구 ㈜UIS

도서관 빅데이터 분석활용 시스템 기능 개선

(B)

데이터 수집대상기관 확대

^ 수집대상기관 확대지원

 수집대상 확정 도서관 데이터 수집 및 수집결과에 대한 정리보고

㈜아르고넷

데이터 분석 시스템 개선

^ 데이터 정제 및 이상데이터 탐색기능 개선

 추천데이터 생성기능 및 감성데이터 구축 고도화

사서의사결정지원시스템 기능 개선

^ ^{관리자 기능 개선}

 Single Library/Network Library 데이터 현행화 및 기능 개선

도서관정보나루 기능개선

^ ^{사용자 UI 개선}

 테마데이터 및 이용자 테마데이터 생성 지원

OpenAPI 기능 개선

^ 신규 OpenAPI 개발 및 관리기능 개선

통계분석시스템 기능 개선

^ 텍스트마이닝 분석 및 PathFinder 네트워크 분석기능 개선

 분석의 샘플 데이터 변경 및 시스템 활용 방안 지원

추가제안

(C) -

 교육용 사서의사결정지원시스템 구축

 시스템 모니터링 기능 개발

 AI 디바이스 Bixby 서비스 개발

(11)

정보시스템 성능 개선

 Apache Jmeter를 활용하여 Solr 성능 최적화 테스트 수행

 JVM의 Garbage Collection(GC)로그를 분석하여 적절한 설정으로 Solr 노드의 최적화 수행

테스트 시나리오 수행 결과

A. 시스템 유지관리

Solr 검색 로그 분석

• 검색 빈도로 쿼리 추출

• 검색 시간 1초 이상 쿼리 추출

시스템 품질 한계 설정

• 동시접속자 수

• 허용 최대 응답 시간 등

테스트 시나리오 작성

성능 테스트 수행 결과

확인 설정 변경 또는 소스 변경

문제발생

구분

Solr 검색 로그 추출 • 3초 이상 응답 쿼리 102,013개 쿼리 추출

검색 쿼리 메뉴 도출

• 응답시간별(3초 이상, 10초 미만, 20초 미만, 20초 이상) 서비스 메뉴 추출

• API – 9개, 정보나루 - 4개, 솔로몬 – 47 개

서비스 메뉴별

개선 방안 검토 및 기능 개선 • API – 9개, 정보나루 – 2개, 솔로몬 - 1개

응답속도 테스트 • 20초 이상 응답 화면이 평균 1~3초 이내 응답

# 검색엔진 구조적인 문제로 인한 성능 저하가 대다수를 차지하고 있어

중장기발전방향에서 가능한 대안 제시

(12)

SLA 도입 프로세스

A. 시스템 유지관리

12

서비스운영 SLA (1/2)

출처 : SLA를 강화한 정보시스템 운영계약 참조모델 (과학기술정보통신부)

 정보시스템 운영관리 요소들을 정량화하여 관리하는 서비스 수준관리(SLM : Service Level Management) 개 념을 도입하여 서비스 유지관리 수행

 서비스 수준협약(SLA : Service Level Agreement) 체결을 통한 지속적인 서비스 품질 개선 보고

측정항목 설정 측정기준 설정

• 목적

• 측정기준의 정의

• 서비스에서 달성하고자 하는 목표

• 측정항목을 측정하기 위한 도구 및 방법

• 해당 측정항목의 책임자 정의

• 측정기간 및 보고빈도 정의, 측정대상

SLA 양식작성

• 서비스 시간, 서비스 가동률

• 시스템 장애 발생 건수

• 동일 장애 발생률

• 시스템 장애 조치 시간

• 서비스 요청 적기 처리율

• 1차 Call 처리율, 2차 Call 처리율

• 변경요청 적기 처리율

• 변경 적용시 오류 건수

(13)

A. 시스템 유지관리

서비스운영 SLA (2/2)

 SLA 진행 및 월간보고서 제출

월 종합 평가 득점 비고

4월 A(탁월) 100

5월 A(탁월) 100

6월 A(탁월) 96 응용프로그램 장애 발생

(1건)

7월 A(탁월) 100

8월 B(우수) 88 하드웨어 장애 발생

(5시간-2시간=3시간)

(14)

A. 시스템 유지관리

14

하드웨어 유지보수 (1/2)

 하드웨어 유지보수 전문가의 참여를 통한 유지보수 수행

 유지관리, 장애처리, 장비교체 등 유지보수 업무범위 확대

유지보수 대상 품목 업무 범위

구분 모델명 수량

스위치 Dell N4032F 1

서버랙 (42U)

E2-4210 1

RMS2042HQ 1

KVM 콘솔 17인치 LCD 일체형 2

서버

Supermicro IR6028R-TR4F 5 Supermicro IR1028R-MCTR 3 Dell PowerEdge R430 7

구분 요구사항명 수용여부

유지보수 요구사항

유지보수 일반사항 ○

장애 처리 사항 ○

장애 유형 정비보수 조건 ○

정비 및 예비 부품 교체 ○

소프트웨어 패치 및 업그레이드 ○ 정상적인 기능 및 성능 유지 ○ 유지보수 인력 요구사항 유지보수 조직 및 인력 운영 ○

보안 요구사항 보안 활동 및 방안 ○

보안 지침 준수 ○

제약사항 하도급 관리 강화 ○

프로젝트 관리 요구사항 보고회 개최 ○

산출물 및 보고서 작성 ○

프로젝트 지원 요구사항 기술지원 범위 ○

(15)

A. 시스템 유지관리

하드웨어 유지보수 (2/2)

구분 유지보수 지원 내역

DB서버 운영중단

• Standby DB서버(big22) 디스크 오류발생으로 운영중단, 부품수배 (8월 18일 확인/조치 시작)

• Active DB서버(big21) 중단되어 긴급 복구작업 완료 (8월 23일 일요일 16시 ~ 21시)

• Standby DB서버 부품교체 및 테스트를 위한 장비 반출 (8월 31일 월요일)

부품교체 및 장애처리

• Standby DB서버 장애 처리 내역 1. 디스크(SSD 1.92TB) 2EA 교체

2. 교체 디스크 2EA + 기존 디스크 3EA 모두 디스크 펌웨어 업그레이드

* Dell 기술문서에 현 사용하고 있는 디스크(Intel OEM SSD 1.92TB)의 펌웨어 버전의 펌웨어로 업그레이드 권고함

3. 디스크 백플레인 교체

• 추가 작업

1. Active DB서버(big21)도 SSD 1.92TB 5EA 사용하고 있어 펌웨어 업그레이드 작업 수행 2. Total 5EA 중 2EA만 해당함. 나머지는 문제 없는 펌웨어 버전 사용 중.

3. 최종 2개의 DB서버에 대해서 모두 정상적으로 동작하고 있음을 확인 함 (9월 8일)

(16)

B. 시스템 기능개선

16

도서관 데이터 수집대상 확대

도서관명 방문일 뷰테이블

설치 방화벽 개방 데이터 수집 산하 도서관수 비고 1. 방문작업 (10개관)

경기성남교육도서관 6/4 O O O 1개관 이용안내완료

구로구립도서관 6/10 O O 수집중 10개관

서대문구립도서관 6/10 O O O 17개관

경기화성교육도서관 6/17 O

태백시립도서관 6/18 O O O 2개관 이용안내완료

경남대표도서관 6/22 O O O 1개관

가평군립도서관 6/23 O O O 4개관 이용안내완료

구리시립도서관 6/23 O

강진군도서관 6/26 O O O 1개관 이용안내완료

해남군립도서관 6/26 O O O 1개관 이용안내완료

2. 원격작업 (7개관)

경주시립도서관 원격 O O O 6개관

춘천시립도서관 원격

의성군립도서관 원격 O O O 1개관

인천광역시미추홀도서관 원격 O ALPAS(web)

경북도서관 원격 O O 수집중 1개관 SOLAS 8.0

경상북도교육청도서관 원격 ILUS 5.0

충청남도교육청도서관 원격 K.LAS 3.0

3. 기타 (1개관)

옥과공공도서관 - - - - 9월중 작업

도서관명 방문일 뷰테이블

설치 방화벽 개방 데이터 수집 산하 도서관수 비고 4. 기존 참여도서관 (21개관)

관악구립도서관 - - - O 6개관

광진구립도서관 - - - O 1개관

동대문구립도서관** - - - O 15개관 추가 선정

동작구립도서관 - - O 수집중 8개관

용산구립도서관 - - - O 2개관

은평구립도서관 - - - O 1개관

달서구립도서관 - - - O 2개관

수성구립도서관 - - - O 1개관

인천광역시교육청 도서관 - - - O 4개관

대전광역시 공공도서관 - - - O 1개관

성남시립도서관 - - - O 2개관

수원시립도서관 - - - O 1개관

양주시립도서관 - - - O 1개관

이천시립도서관 - - - O 11개관

파주시립도서관 - - - O 1개관

평택시립도서관 - - - O 1개관

포천시립도서관 - - - O 3개관

화성시립도서관 - - - O 3개관

속초시립도서관 - - - 수집중 2개관

전주시립도서관 - - - 수집중 1개관

여수시립도서관 - - - 수집중 1개관

 2020년 참여도서관 공모 진행 (4/28~5/22)

 추가신청한 도서관을 포함해서 총 39개 서버에서 참여신청

 중간보고 기준 현재 26개관 데이터 수집완료

(17)

• 기존 세트ISBN DB 갱신작업 수행

• 작업내용

- 기존 : 2019년 9월 기준 214,446건 - 신규 : 2020년 6월 기준 219,829건

• 5,383건 신규 구축완료

수집 도서정보 품질개선

 분석의 정확도 향상을 위해 13자리 ISBN으로 ‘세트-종-책’ 구조의 표준 서지데이터 저장

 2020년 신규 세트ISBN DB 구축 완료

낱권 IBSN 변환 세트 IBSN 갱신

B. 시스템 기능개선

원본 ISBN (전체 서지)

도서관 서지DB ISBN 변경

세트정 보

VOL 존재 Yes

No

세트정

보

ISBN, TITLE로 조회

1건 검색

0건 또는 2건 이상 검색 원본 ISBN

유지

ISBN, VOL로 조회

(18)

국립중앙도서관 도서관 빅데이터 분석활용 시스템 운영 18

도서추천 알고리즘 개선

 도서의 동시대출 데이터를 활용한 연관성 분석의 단점을 보완하기 위한 개선방향 수립

 스테디셀러, 다대출도서에 대한 추천편중 해결을 위해 조건부확률 도입을 통한 성능 개선

개선 방향 추천 데이터 생성

B. 시스템 기능개선

u1, b10 u3, b10 u2, b4

동시대출 빈도분석

수집 DB

수집

최근36개월 빈도

저장

최근12개월 빈도

최근6개월 빈도 최근3개월 빈도

Ranking

빈도 합 계산

내림차순 정렬

상위N개 선정

조건부확률 분석

조건부 확률 조건

적용

• 조건부 확률 포함하는 추천데이터 신규 생성

• 9/9일 기준

• 생성 건수 : 161,664,871

• 데이터 갱신 주기 : 매 주 금요일

• 추천결과 정성적 검증 을 위한 UI 개발

• 검증 후 서비스 적용

예정

(19)

도서관련 감성분석기능 개발

 특정 데이터에 대한 긍정/부정에 대한 분석추가

 텍스트 처리기, 용어사전 등 기반 활용

 추천정보에 감성분석 결과를 추가로 활용

감성분석 절차

감성분석 개념

B. 시스템 기능개선

도서후기 수집

형태소 분석

감성 용어 선정

긍정.부정 점수 계산

감성사전 구축

테스트 세트 준비

예측 (Naïve Bayes)

예측결과 평가 (Precision, Recall

등)

감성사전 평가

기준 이상 평가결 과 도달 까지 반 복

구축 대상 도서 선정

후기/서평

데이터 수집 감성분석

감성데이터 구축

감성데이 터

(20)

 감성 사전 구축 결과

- 49,798건 감성어 사전 구축 완료

온라인 서점

대상 종수

수집 종수

수집 리뷰수 알라딘 100,000 51,453 330,783

교보 100,000 24,509 174,508

- 온라인 서점 리뷰 수집

- 2019년 알라딘

대상 종수 : 20,000 수집 종수 : 17,747

수집리뷰 건수 : 160,207 감성어 사전 건수 : 10,965

도서관련 감성분석기능 개발

B. 시스템 기능개선

(21)

B. 시스템 기능개선

사서 의사결정 지원시스템(Solomon) 개선 (1/3)

 관내도서관 통합분석기능에서 도서관 구분을 추가 (전체, 공공, 작은)

 대출회원분석 등 유사한 분석항목 4개 메뉴에 도서관 구분 항목 추가

(22)

B. 시스템 기능개선

22

사서 의사결정 지원시스템(Solomon) 개선 (2/3)

 반출시 차트 뿐만 아니라 상세 수치가 export 될 수 있도록 개선

 탈퇴 회원 조회검색조건 추가 (KOLAS 사용 도서관에서 제공하는 탈퇴 정보기반)

검색조건 개선 반출기능 개선

검색엔진 색인에 회원 탈퇴구분

필드 추가 필요

(23)

B. 시스템 기능개선

사서 의사결정 지원시스템(Solomon) 개선 (3/3)

공공데이터 현행화

대상 연도 분석 우편번호와

행정구역 매핑

데이터 반입

1. 우편번호 행정구역 매핑 2. 인구데이터 통계

3. 행정구역 경계

검색엔진 색인

* 행정안전부 인구데이터 및 행정구역 정보를 2019년 연말 버전의 데이터로 현행화

(24)

오픈API 개선 (1/3)

 사용자의 요구사항을 수렴하여 추가적으로 다양한 OpenAPI 개발

 매뉴얼 개선 및 개발자 지원을 통한 API 활용 활성화 도모

추가 API 개발 개발자 지원 강화

B. 시스템 기능개선

응답 메시지 응답코드(코드설

명) API 활성화 상태가 아닙니다. 403(서버가 허용

하지 않는 호출) API URL을 확인하시기 바랍니다. 404(API 없음) 인증정보가 일치하지 않습니다.

401(인증 실패) 1일 500건 이상 요청 시 IP를 등록 해주시기 바

랍니다.

1일 500건 이상 요청 시 IP 등록이 필요합니다.

등록 된 IP를 확인하시기 바랍니다.

도서관 코드는 필수입니다.

400(요청 변수 확 인)

도서관 코드를 확인 하시기 바랍니다.

검색조건(기간) 오류입니다.

검색조건(type) 오류입니다.

ISBN 부가기호를 확인해 주시기 바랍니다.

ISBN 자리수를 확인해 주시기 바랍니다.

지역코드를 확인해 주시기 바랍니다.

(25)

B. 시스템 기능개선

 수집 현황

1) 청구기호 = 별치기호 + 분류기호(KDC) + 도서기호(저자기호) 2) 분류기호(KDC), 도서기호(저자기호)는 수집 되고 있음

3) 2018년 부터 KOLAS 사용 도서관은 별치기호 수집 진행

4) 2017년 이전 KOLAS 사용도서관+비KOLAS(서버기준 12개) 도서관은 별치기호 미수집

 도서 데이터 업데이트 여부

• 도서가 제적 된 경우에만 데이터 업데이트

• 별치기호가 변경되어도 재수집 없음

 청구기호 추가 제공 방법

• 도서정보 조회 속도로 인해 도서(129,962,367권)의 청구기호 정보를 검색엔진에 재색인 필요

• 개별도서관 소장도서 CSV 파일에 청구기호 추가

오픈API 개선 (2/3)

소장도서 청구기호 제공기능 개발

(26)

B. 시스템 기능개선

 대출 데이터 수집 현황

 전날 기준의 대출 정보를 수집

 기존 서비스 API 개선으로 가능

 도서관별 도서 소장여부 API 에 결과값 추가 제공

 도서관 소장도서 중 대출되지 않은 권수가 1권 이상인 경우 대출가 능으로 판단

 <소장여부>Y</소장여부>

 <대출가능여부>Y</대출가능여부>

 신규 API로 개발 예정

 ISBN 기준의 소장 도서관 제공 API 개발

 도서 상세화면의 소장 도서관 정보 제공

 지역 제한이 없을 경우 속도 저하 등 불필요한 결과가 나올 수 있 으므로, 광역시도는 필수 로 조회되도록 함

오픈API 개선 (3/3)

소장 도서 대출가능 여부 조회 소장 도서관 조회

(27)

(28)

B. 시스템 기능개선

28

도서관 정보나루 고도화 (1/2)

 모바일 지원이 가능하도록 정보나루 메뉴 체계 및 인터페이스 고도화

 이용자가 필요한 데이터를 자유롭게 요청하여 데이터 활용사례를 서로 공유할 수 있는 커뮤니티 기능 개발

인터페이스 개선 활용사례 공개 지원

(29)

B. 시스템 기능개선

도서관 정보나루 고도화 (2/2)

 정기적으로 제공하는 테마데이터의 기초데이터 생성 및 분석결과에 대한 시각화를 지원

 파일형태로 공개되는 데이터의 오류여부를 확인하는 품질검사 프로세스 추가

테마데이터 생성/시각화 지원 공개데이터 품질검사

DB

공개데이터 생성 시스템

• 대상도서관 조회

• 공개범위 확인

장서데이터 조회

대출데이터 조회 대출

공개

공개데이터 생성

최종 품질검사

• 파일생성여부 확인

• 오류데이터 포함여부 확인

(30)

B. 시스템 기능개선

30

R 기반 빅데이터 분석서비스(Radar) 개선

 텍스트에 대한 분석기능을 개선하여 Radar의 활용성 강화 지원

 패스파인더 네트워크 기반의 시각화 그래프 개발

텍스트 분석 지원 PFNet 개선

구분 패스파인더 방식(Pathfinder : PFNet)

기준 ^ 상대적 가중치기준(전체)․ 삼각부등식(Tringleinequlity)을 위반하는 링크를 제거하는 방식

장점 ^ MST보다 디테일한 네트워크 작성 가능․ 단독 노드가 발생하지 않음

 전체 노드가 연결되어 있음 단점  알고리즘이 복잡함

(31)

서비스 안정화 및 확대 지원 C. 추가제안

 하드웨어 장비 모니터링 서비스 개발을 통한 실시간 장애 대응

 외부 플랫폼에 도서관 빅데이터 서비스 시범적용 및 확대방안 도출

모니터링 서비스 Bixby 캡슐 개발

Zabbix 개요

• Zabbix LLC에서 개발

• 다양한 OS에서 동작 가능 한 오픈소스 분산 모니터링 솔루션

• CPU, 메모리, 파일시스템, 네트워크, 어플리케이션 실시간 모니터링

Client ASR NLU

정보나루에서 정글만 리

어디에 있는지 찾아줘

정보나루에서 정글만 리

어디에 있는지 찾아줘 캡슐명 : 정보나루 도서 : 정글만리 액션 : 어디에

Capsule Action (book) {

type(Constructor) collect{

input(lib){

} } } 도서관 정보나루 API

정글만리는

A 도서관에 5권이 있고

Client

(32)

1. 솔로몬에 교육용 도서관 추가

소스 수정 : 교육용 데이터가 통계에 반영이 되지 않도록 소스 수정 필요. 시간이 많이 들고 버그가 생길 가능성이 높음 교육 : 동시에 많은 트래픽 발생 시 검색엔진 서버의 성능 저하 가능성이 있음

2. 국중솔로몬에 교육용 도서관 추가

3. 개별 시스템으로 교육용 솔로몬 개발

데이터 생성 : 검색엔진 분리 및 비교용 기준 데이터(Network Library) 생성 불필요

장점

단점

장점 단점

교육 : 다수의 유저가 동시에 접속하여도 검색엔진 서버에 성능 저하 없음

데이터 생성 : 검색엔진 분리로 비교용 기준 데이터(Network Library) 추가 생성 필요

소스 수정 : Network Library 기능이 없음. 교육용으로 접속했을 때만 보여주는 등 소스 수정 작업 필요

장점

단점

교육 : 다수의 유저가 동시에 접속하여도 검색엔진 서버에 성능 저하 없음 소스 수정 : 소스 코드를 변경할 필요 없음

데이터 생성 : 검색엔진 분리로 비교용 기준 데이터(Network Library) 추가 생성 필요

교육용 솔로몬 개발방안 검토

C. 추가제안

(33)

사업수행 조직

경험이 풍부한 핵심 인력 투입

투입인력 계획 사업수행 조직도

소속 번

호 성명 직

책

기술

등급 담당업무 근무

경력

투입 비율

(주)아르고넷

1 이병섭 이사 특급 PM 19 50%

2 정형상 선임 중급 S/W유지보수 10 60%

3 채혜인 선임 중급 S/W유지보수 11 100%

4 유동석 사원 초급 S/W유지보수 2 60%

5 박혜린 사원 초급 사무국운영 4 80%

6 신창훈 선임 중급 품질관리 10 -

㈜유아이에스

7 조경호 이사 특급 H/W유지보수 20 20%

8 현승환 대리 중급 H/W유지보수 6 40%

프로젝트 관리자

이 병 섭

사무국

박 혜 린

S/W 유지보수팀

정 형 상 채 혜 인 유 동 석

품질관리

신 창 훈

H/W 유지보수팀

조 경 호

현 승 환

(34)

사업추진 일정 계획

34

성공적인 시스템 운영을 위한 사업일정 수립

부문 공정 M+1 M+2 M+3 M+4 M+5 M+6 M+7 M+8 M+9 M+10

주요 보고 계획

SLA • 1차 SLA 항목선정/측정/보고

• 2차 SLA 항목선정/측정/보고 성능개선 • 검색엔진 성능 개선

하드웨어 장비 유지보수

• 하드웨어 점검

• 하드웨어 유지보수

분석/ 서비스 시스템 개선

• 도서관 데이터 수집 확대

• 데이터 전처리/분석기능 개선

• 정보나루 기능개선

• 솔로몬 기능 개선

• Open API 개발 및 개선

• 데이터 정제기능 개선

• 추천 데이터 생성 기능 개선

• 이상데이터 탐색기능 개선

• 감성데이터 구축

• 텍스트마이닝 분석기능 개선

• 네트워크 분석 고도화

• 단위/통합시험

• 운영서버 반영

• 안정화 테스트 중장기적

추진전략 수립

• 이용자 만족도 조사

• 서비스 발전방안 제시

완료보고 중간보고

착수보고

(35)

도서관 빅데이터 분석활용 시스템 운영

2020 년 국립중앙도서관