2014 NDSL 운영 및 관리이슈

1 NDSL 운영 및 관리 ··· 5 1.1 배경 및 필요성 ··· 5 1.2 NDSL 서비스 및 콘텐츠 소개 ··· 7 1.3 NDSL 콘텐츠 서비스 정책 ··· 10 1.4 서비스 수준관리(SLA) ··· 12 2 NDSL 고품질 DB 관리 프로세스 ··· 14 2.1 콘텐츠 정보원 및 입수 프로세스 ··· 14 2.1.1 NDSL 콘텐츠별 입수 기관 및 부서 ··· 15 2.1.2 NDSL 콘텐츠별 입수 주기 및 형태 ··· 16 2.2 데이터 품질관리(DQCM) 체제 운영 ··· 18 2.2.1 데이터 품질 관리 담당자 콘텐츠 마스터 ··· 18 2.2.2 데이터 품질 관리요소 ··· 18 2.2.3 DQCM 관리문서 ··· 19 2.2.4 DQCM 관리프로세스 ··· 22 3 NDSL 서비스 모니터링 및 개선활동 ··· 31 3.1 일일 모니터링 ··· 31 3.2 콘텐츠 및 서비스 모니터링 ··· 34 3.3 시스템 모니터링 : 제니퍼(JENNIFER) ··· 36 3.4 협업시스템을 통한 NDSL 개선 ··· 35 3.4.1 콘텐츠 부문 ··· 39 3.4.2 서비스 부문 ··· 44 3.4.3 시스템 부문 ··· 45 3.5 고객의 소리 모니터링 : VCMS ··· 49 4 검색엔진 개선 ··· 51 5 개인정보 보호 및 보안··· 53 부 록 ··· 55

1

NDSL 운영 및 관리

배경 및 필요성

1.1

○ 한국과학기술정보연구원(KISTI)은 <그림 1>에서 보는 바와 같이 1962년 한국과 학기술정보센터(KORSTIC)로 설립되었다. 국가과학기술정보센터((National Digital Science Library 이하 NDSL)는 KISTI가 웹을 통하여 제공하는 과학기술정보서비 스이다. NDSL의 목적은 연구자가 연구개발 성과를 향상시킬 수 있도록 신뢰할 수 있는 콘텐츠를 편리하고 시의적절하게 제공하여 국가 대표기관으로서 중심적 역할 을 수행하는 것이다. <그림 1> NDSL(http://www.ndsl.kr) 역사적 배경 ○ NDSL은 산학연 연구자들에게 고품질 정보를 제공하여 국가 과학기술 혁신에 기 여하고자 개발된 과학기술정보 서비스 플랫폼이며 6대 콘텐츠인 논문, 특허, 보고 서, 동향, 표준, 사실정보를 제공하고 있다.

○ NDSL 운영 및 관리 지침의 목적 및 필요성 NDSL은 연구자를 비롯한 과학기술정보를 필요로 하는 이용자들을 돕고자 가치 있는 정보를 제공하고 자 한다. 이를 위하여 NDSL의 콘텐츠와 서비스를 지속적이고 안정적으로 운영하고 관리하는 것이 필요 하다. 대내외 환경의 변화나 담당자가 바뀌었을 때도 이용자에게 고품질 NDSL 서비스가 제공되어야 한 다. 동일한 담당자가 업무를 제공할 경우에도 업무 내용에 일관성을 가지기 위하여 NDSL 운영 및 관리 방안이 필요하다. 콘텐츠의 특성, 콘텐츠 품질관리, 서비스 제공 및 평가 등에 관한 명문화를 통하여 최 상의 서비스를 제공하고자 한다.

NDSL 서비스 및 콘텐츠 소개

1.２

NDSL은 웹페이지(http://www.ndsl.kr)와 모바일(m.ndsl.kr)에서 서비스 되고 있다. 웹과 모 바일 서비스는 정보서비스 플랫폼에서 서비스 되고 있으며, 정부 3.0 시대에 부응하고자 외부 기관이나 개인에게 NDSL 콘텐츠를 정보공유 플랫폼에서 제공하고 있다. <그림 2> NDSL 서비스 모형 ○ NDSL 서비스 NDSL 시스템에 구현되어있는 서비스로는 정보검색, 원문복사서비스, 개인화서비스, 분석서비스 및 기 타서비스 등이 있으며 외부 서비스를 호출하는 다양한 기능연계서비스가 있다. 원문복사서비스는 고객 서비스 시스템인 NIDS와 연계되어있다. 또한 각 서비스에 대한 이용자들 불만, 건의사항, 칭찬 등의 피 드백인 VOC을 관리하는 VCMS가 있다. SRS이용통계시스템을 통해 이용 현황을 모니터링하고 있으며 웹로그 분석을 통하여 심도있게 이용현황을 분석하여 보다 발전적인 서비스를 제공하기 위한 기초자료 로 활용하고 있다.

<그림 3> NDSL 플랫폼 및 서비스 ○ NDSL 콘텐츠 NDSL은 현재 6대 콘텐츠로 구성되어있다. 논문에서는 학술지와 학술회의자료는 물론 수록 논문, 권 호, 저널정보, 학위논문 등을 제공하고 있으며 연구보고서에서는 국가 RnD연구보고서, KOSEN과 ReSEAT 보고서는 물론 시장보고서도 제공하고 있다. 동향정보로는 iCON, GTB, GPS를 제공하고 있으 며 NDSL 데이터 구축기능을 활용해 생성되는 특허, 표준, 사실정보 등을 제공하고 있다. ○ 콘텐츠 구축 현황 <표 1> NDSL 콘텐츠 구축 현황 2014. 12. 3 기준 유형 구분 세부구분 수록내용 수록기간 구축건수 논문 학술 지 국내학술지 국내 논문지, 협회지, 동향지 수록논문 1940~현재 1,564,124 해외학술지 (영미권) 해외 과학기술분야 핵심 학술지 수록논문 1600~현재 53,781,220 해외학술지 (중ㆍ일) KISTI 보유 중국, 일본 학술지 수록논문 2003~현재 4,180,515 학술 회의 국내학술회의 국내 학술대회 발표논문 1972~현재 329,753 해외학술회의 해외 학술대회 발표논문 1993~현재 10,556,247 학위논문 국내 석박사 학위논문 1945~현재 927,972

유형 구분 세부구분 수록내용 수록기간 구축건수 서지 저널 저널 서지정보 105,553 프로시딩 프로시딩 서지정보 255,226 소 계 71,700,610 특허 한국특허 한국공개특허 1945~현재 4,331,167 미국특허 미국 공개/등록 특허 1976~현재 9,362,022 유럽특허 유럽 공개특허 1976~현재 3,585,034 국제특허 WIPO PCT 특허 1976~현재 3,466,829 일본특허 일본 공개특허 1976~현재 9,820,854 소 계 30,565,906 보고 서 국가연구개발보고서 정부산하 기관의 재정지원을 받아 수행된 연구개발보고서 1983~현재 191,207 분석리포트 KISTI 산업, 기술정보의 고급 분석보고서 최신 63,078 소 계 254,285 동향 해외과학기술동향 GTB 해외 과학기술동향 정보서비스 최신 175,021 과학기술정책동향 S&T GPS 과학기술정책정보서비스-정책동향 ~ 2014 19,455 정보서비스 글로벌 동향 iCON 정보서비스 동향지식 포털 최신 3,637 소 계 198,113 표준 한국산업, 국제표준화기구, 국제전기기술위원회 규격정보 최신 60,245 합 계 101,779,159

NDSL 콘텐츠 서비스 정책

1.3

○ 필요성 NDSL서비스가 콘텐츠와 서비스의 일관성, 신뢰성, 정체성, 효율성을 달성하여 지속가능한 정보서비스 가 되기 위해서는 정책이 필요하다. 정책을 통하여 NDSL 콘텐츠와 서비스의 범위, 깊이, 다양성, 이용 자들을 명문화하여 업무의 내외부의 지침으로 활용할 필요가 있다. ○ 콘텐츠 서비스 정책은 선정, 입수, 가공, 관리, 서비스, 확산, 평가의 콘텐츠 라이 프 사이클에서 필요한 제반 정책을 제공하고 있다. 이중 기관 내부의 지침은 콘텐 츠의 입수, 가공, 관리 부분이고 기관 외부와 관련된 지침은 콘텐츠 서비스, 확산 부분이다. <그림 4> 디지털 콘텐츠 서비스 정책 개념도 ○ 콘텐츠 서비스 정책 내용 　　- 콘텐츠 선정 정책 : 콘텐츠 선정의 대전제, 콘텐츠 범위, 콘텐츠 접근, 신규 콘텐츠 추가, 콘텐 츠 서비스 중단 　　- 콘텐츠 입수 및 관리 정책 : 입수 정책, 입수 방식, 　　- 콘텐츠 품질 정책 : 주요 콘텐츠 유형별 필수 항목 설정, 콘텐츠 품질의 기준 　　- 콘텐츠 확산 정책 : 콘텐츠 확산 취지, 콘텐츠 활용가능 범위, 활용기관, 대상 콘텐츠, 확산의 방식, 활용에 대한 동의/협약, 확산데이터/기관관리

○ 제정 요지 <표 2> NDSL 콘텐츠 서비스 정책 및 운영지침 제정 요지 구 분 내 용 제1장 총칙 • (목적) NDSL 정보서비스를 활성화하기 위해 신규 콘텐츠의 선정, 도입, 평가를 위한 기준과 절차에 관한 원칙을 정함 제2장 콘텐츠 선정 • (범위) 선정 범위와 요소를 구체적으로 설정(주제별, 유형별, 국가별) • (절차) 서비스 선정 절차 체계화 : 등록 → 제안 → 평가 → 통보 • (선정요소) 콘텐츠 품질, 콘텐츠 제공, 서비스 품질, 부가서비스 측면 제3장 콘텐츠 도입 • (원칙) 콘텐츠 제공처는 콘텐츠를 온라인 전송방법으로 NDSL에 제공하며, NDSL서버에 DB와 상세 URL을 탑재하여 서비스 • (절차) 콘텐츠 제공처에서 제휴 내역서 제출 → 실무 협의(콘텐츠 내용, 제공방법, 일정 및 수익 배분 등) → 서비스 개시 • (기타) 과금여부, 도입방식, 도입주기, 콘텐츠 사용범위, 지식재산권, 서비스 제휴 해지‧중단‧폐기 등 제4장 콘텐츠 서비스 평가 • (대상) 콘텐츠 자체와 콘텐츠 서비스 평가로 구분하여 평가 • (절차) 콘텐츠 마스터가 개별 콘텐츠에 대한 평가 및 평가등급 결정 → 2회 이상 콘텐츠 평가 점수가 일정 기준에 미달하는 경우 콘텐츠 내부 평가위원회를 소집하여 서비스 지속 여부 결정 ○ KISTI에서는 정책을 효율적으로 수행하기 위하여 ‘NDSL 콘텐츠 서비스 정책 및 운영지침’을 제정하여 2013년 12월 30일자로 시행하고 있다. NDSL 콘텐츠 서비 스 운영지침은 NDSL 정보서비스를 활성화하기 위해 신규 콘텐츠의 선정, 도입, 평가를 위한 기준과 절차에 관한 원칙을 정함을 목적으로 한다. ※ 세부내역 : 부록 참조

서비스 수준관리(SLA)

1.４

NDSL서비스는 NDSL 운영을 위한 서비스 수준을 정의하고 이를 아웃소싱 사업자와 협약하 여 관리함으로써 서비스의 품질을 일정하게 유지할 수 있도록 하고 있다. 서비스수준 협약 (Service Level Agreement, 이하 SLA)의 목적은 NDSL 서비스의 수준과 이를 평가하기 위 한 기준을 규정한다<표 3>. NDSL 서비스 운영 SLA 측정 지표는 운영관리와 고객관리 영역 으로 나누어진다<표 4>. <표 3> 서비스 수준 측정방법 구분 내용 측정방법 측정지표별로 측정하며 측정방법은 측정지표 정의서에 정의한다. 측정주기 월 단위(일부 년 단위) 서비스기준시간 (운영시간) 구분 월요일 ~ 금요일 NDSL 시스템 등 운영 및 유지관리 09:00 ~ 18:00 정상근무 ※ ‘2013년 NDSL 운영 및 관리이슈’ 내용 인용

<표 4> SLA 측정지표 관리영역 측정항목 목적 운영관리 기능개선 적기 처리율 기능개선 요청을 지정된 기간 내에 신속하게 처리 완료하였는가를 측정하기 위함. 사전예방 조치건수 반복되는 장애의 원인분석, 웹 페이지 로딩 속도 개선, 설정된 시스 템 자원의 용량관리 등 잠재적인 위험요인을 도출하여 해소함. 비상관리조치 정상근무시간 외에 새벽시간, 주말시간 등 장애발생시 이를 감 지하여 조치함. 서비스 가동율 장애와 관련된 모든 영향요소들을 종합적으로 관리하여, 장애시간 을 최대한 단축시킴. 서비스 수행 만족도 NDSL 서비스의 운영에 대해서 기능개선 등과 관련하여 서비스를 요청하는 현업의 요구사항을 서비스 제공자의 업무 처리 등과 관련 하여 전반적인 만족도를 매월 점검을 통해 서비스 품질에 대한 직 접적인 수준을 측정함. 고객관리 고객센터 1차 처리율 고객의 요청/문의 사안에 대한 조치결과 또는 조치과정을, 1차적으 로 바로 고객에게 알려 해소함. 고객센터 2차 적기 처리율 고객의 요청/문의 사안에 대한 조치결과 또는 조치과정을, 정의된 기간 내에 신속히 고객에게 알림. 고객센터 응대 만족도 NDSL 서비스의 고객센터 응대에 대한 전반적인 만족도를 온라인상에서 상시 점검을 통해 NDSL 서비스 품질에 대한 직접적인 수준을 측정함. 운영관리 기능개선 변경 건수 월간 발생한 총 작업 건수를 관리함. 기능개선 변경 소요일 변경 요청 1개를 처리하는데 소요되는 평균 일수를 관리함. 성능 향상률 NDSL 시스템의 성능수준 향상여부를 관리하여 일정 수준의 응답속 도를 유지함. 오류 및 장애발생 건수 오류 및 장애발생 건수를 파악하여 관리함으로써 장애발생 최소화 를 유도함. 장애 해결시간 실제 장애발생부터 해결까지의 소요시간 관리를 통한 장애 관리능 력 향상을 유도함. 고객관리 평균 통화시간 전화상담에 소요되는 평균 통화시간을 관리함. 목표시간 내 Q&A 답변률 Q&A 발생건수 중 답변건수 기준시간 내 답변한 비율을 파악하여 적정처리 여부를 관리함. 해피콜 수행건수 해피콜을 수행한 건수를 파악하여 관리함.

2

NDSL 고품질 DB 관리 프로세스

콘텐츠 정보원 및 입수 프로세스

2.1

NDSL에서는 논문, 보고서, 특허, 동향 등의 콘텐츠가 여러 기관이나 KISTI 내의 부서와 협력을 통하 여 입수된 후 이용자에게 서비스 되고 있다. 각 콘텐츠 부서가 구축한 DB와의 연계 또는 각 부서가 구 축한 웹사이트의 연계를 통하여 콘텐츠를 이용자가 언제 어디서나 활용할 수 있도록 콘텐츠 인프라를 구축하였다. 정보원의 입수 프로세스를 살펴보면 <그림 5>와 같다. <그림 5> NDSL 콘텐츠 정보원 및 입수 프로세스

2.1.1 NDSL 콘텐츠별 입수 기관 및 부서 ○ NDSL에서 이용자에게 콘텐츠를 제공하기 위하여 입수하고 있는 콘텐츠의 입수처와 해당 DB를 살 펴보면 <표 5>와 같다. NDSL에서 서비스 되려면 다양한 입수처의 DB의 콘텐츠들이 U-gate DB로 구축되어야 한다. 각 콘텐츠 구축 방식은 입수 DB에서 데몬 프로그램을 통해 연계되어 U-gate DB에 구축되는 방식과 NDSL에서 자체적으로 메타데이터와 원문 등을 구축하는 방식이 있다. <표 5> NDSL 콘텐츠별 입수방식 콘텐츠 담당부서/기관 DB 정보서비스실 연계 자체구축 논 문 국내논문/저널 정보기반실 Ocean DB O 해외논문/저널 정보융합연구실 E-gate DB O 학위논문 KERIS DiCMS(학위논문) O 특허 특허청 KIPRIS O(메타) 정보서비스실 한국, 미국, 일본, 국제 특허 DB 원천데이터 수집 O(메타) 보 고 서 국가RnD연구보고서 RnD시스템개발실 DiCMS(국가RnD 연구보고서) O KOSEN 분석리포트 정보융합연구실 KOSEN DB O RESEAT 분석리포트 미래기술분석실 ReSEAT DB O

KISTI MARKET REPORT 산업정보분석실 원문 및 메타데이터

제공 O S&T GPS 국내정책리포트 정보서비스실 중단 - -iCON 지식리포트 정보서비스실 iCON DB O 동 향 해외과학기술동향 (GTB) 미래기술분석실 GTB DB O 과학기술정책동향 (S&T GPS) 정보서비스실 중단 -

-Issues & NDSL 정보서비스실 Issues & NDSL DB O 정보서비스 글로벌동향(iCON) 정보서비스실 iCON DB O 표준 기술표준원 표준 DB O 사실정보　 웹사이트　(BIODIV, Digital Korean 등 연계) 　과학데이터전략 연구실 - O

2.1.2 NDSL 콘텐츠별 입수 주기 및 형태 ○ 각 콘텐츠의 형태, 입수방식, 처리방식, 반영주기 등을 살펴보면 <표 6>과 같다. <표 6> NDSL 콘텐츠별 입수 주기 및 형태 콘텐츠 입수방식 처리방식(정보서비스실) 형태 반영 주기 논 문 국내논문 /저널 학회 협약, 국내기관협력을 통하여 구축한 Ocean DB 연계 E-gate DB, Ocean DB의 논문/저널의 서지간략, 권호정보, 서지MARC, 논문간략, 논문DC, 논문저자, 논문초록, KOI, DOI 등 => 데몬프로그램을 통해 반입하여 U-GATE DB 구축 DB 매일 해외논문 /저널 KESLI컨소시엄, BL, Elsevier 메타데이터 등으로 구축한 egate DB 연계 DB 매일

학위논문 RISS 데이터 DiCMS에 입수 RISS와 연계되어 DiCMS로 구축된

XML을 반입 XML 월1회 특허 특허청 협약에 의한 메타데이터 연계 한국 특허, 실용신안, 디자인 특허 DB 구축 XML 주1회 원천데이터 수집 및 DB 구축 미국 공개, 등록 특허 DB 구축 XML 주1회 일본 공개, 유럽공개, 국제공개 특허 DB 구축 XML 월1회 보 고 서 국가RnD 연구보고서 연구보고서 전담관리부서가 수집 및 DB 구축 데몬프로그램을 통해 원천데이터(DiCMS)를 Ugate DB로 복사 DB 주1회 KOSEN 분석리포트 KOSEN 사이트 연계 데몬프로그램을 통해 원천데이터(정보융합연구실 운영)를 Ugate DB로 복사 DB 주1회 RESEAT 분석리포트 ReSEAT 사이트 연계 데몬프로그램을 통해 원천데이터(미래기술분석실 운영)를 Ugate DB로 복사 DB 주1회 KISTI MARKET REPORT 원내 부서 원문 및 메타데이터를 도입하여 DB 구축 데몬프로그램을 통해 원천데이터(산업정보분석실 운영)를 Ugate DB로 복사 DB 주1회 S&T GPS 국내정책리포트 보고서 수집 중단 과거 자료 iCON 지식리포트 iCON 사이트 연계 데몬프로그램을 통해 원천데이터(정보서비스실 운영)를 Ugate DB로 복사 DB 주1회

콘텐츠 입수방식 처리방식(정보서비스실) 형태 반영 주기 동 향 해외과학기술 동향(GTB) GTB 사이트 연계 데몬프로그램을 통해 원천데이터(미래기술분석실 운영)를 Ugate DB로 복사 DB 주1회 과학기술정책동 향 (S&T GPS) S&T GPS 사이트 운영(now.go.kr) 이관 과거 자료

Issues & NDSL Issues & NDSL 관리자 페이지 연계 데몬프로그램을 통해 원천데이터(정보서비스실 운영)를 Ugate DB로 복사 DB 주1회 정보서비스 글로벌동향 (iCON) iCON 사이트 연계 데몬프로그램을 통해 원천데이터(정보서비스실 운영)를 Ugate DB로 복사 DB 주1회 표준 국가표준인증종합정보센터 연계 기술표준원에서 이메일로 전달받은 메타데이터 파일 반입 EXCEL 비정기 사실정보 사실정보 사이트 연계

BIODIV, GBIF, ICSD, PLASMA, ChemDB, Digital Korean, Visible

Korean

데이터 품질관리(DQCM) 체제 운영

2.２

2.2.1 데이터 품질 관리 담당자 콘텐츠 마스터 ○ NDSL 각 콘텐츠별 품질 관리 담당자 제도를 운영함으로써 체계적인 서비스 개선 과 일관되고 안정적 운영이 가능하도록 한다. <표 7> 콘텐츠별 품질관리 마스터 콘텐츠 마스터 학술논문 이** 학위논문 이** 특허 신** 연구보고서 이** 분석보고서 이** 동향 신** 표준 이** 2.2.2 데이터 품질 관리요소 ○ NDSL에서 서비스하고 있는 총 7개 콘텐츠 영역을 주제 대상으로 취급하여 4개 관리요소에 대한 품질관리 * 7개 주제영역은 NDSL 6대 콘텐츠 중 지속적인 Update가 중단된 사실정보를 제외한 5대 콘텐 츠를 데이터 입수처, 데이터 종류 등에 따라 세분화 - 7대 콘텐츠를 대상으로 한 주제영역

- 4대 관리요소 　　▸ 데이터 표준 : 테이블에서 사용하고 있는 컬럼에 대한 도메인, 용어, 코드에 대한 표준 관리 　　▸ 데이터 구조 : 주제영역별로 사용하고 있는 테이블들에 대한 구조 관리(테이블 스키마 정의서) 　　▸ 데이터 흐름 : Ugate DB에 적재하기 전과 후 상호간의 컬럼값 흐름에 대한 관리 　　▸ 데이터 품질 : Ugate DB에 저장된 데이터 값들에 대한 주기적인 검증 관리 2.2.3 DQCM 관리문서 ○ 관리요소별 문서 <표 8> DQCM 관리요소별 문서 관리요소 관리문서 점검주기 데이터 표준 (7개 주제 통합) 데이터 표준관리 체계정의서 도메인정의서 용어정의서 코드정의서 년 2회 데이터 구조 (7개 주제별) 데이터 구조관리 체계정의서 데이터구조정의서 년 2회 데이터 흐름 (7개 주제별) 데이터 흐름관리 체계정의서 데이터흐름정의서 년 1회 데이터 품질 (7개 주제별) 데이터 품질진단개선 체계정의서 업무규칙정의서 월 1회 ○ 관리문서 예 　　- 표준용어 정의서

<표 9> DQCM 표준용어 정의서 한글컬럼명 영문컬럼명 데이터타입 데이터길이 도메인 논문명-한글 TIK VARCHAR2 3000 내용 논문명-영문 TIE VARCHAR2 3000 내용 저자명-한글 AUK VARCHAR2 100 성명 저자명-영문 AUE VARCHAR2 4000 성명 　 　- 데이터구조 정의서 <표 10> DQCM 데이터구조 정의서 한글컬럼명 영문컬럼명 데이터타입 데이터 길이 필수 여부 데이터예시 관리번호 CN VARCHAR2 48 Y JAKO200832948013367 논문명-한글 TIK VARCHAR2 3000 　 임종 전 말기 암 환자의 임상 증상 및 징후의 변화 논문명-영문 TIE VARCHAR2 3000 　 Clinical Change of Terminally Ill Cancer

Patients at... 저자명-한글 AUK VARCHAR2 3000 　 고수진 저자명-영문 AUE VARCHAR2 4000 　 Go, Su Jin 발행기관-한글 PBK VARCHAR2 1500 Y _{한국호스피스·완화의료학회} 발행기관-영문 PBE VARCHAR2 1500 　 _자료없음 발행기관코드 PBC VARCHAR2 30 　 _자료없음 발행년도 PY VARCHAR2 12 Y _{YYYY 형식 (예시) 2002} 발행일자 PD VARCHAR2 24 Y YYYYMM 형식 (예시) 200205

　　- 데이터흐름 정의서 <표 11> DQCM 데이터흐름 정의서 속성값(XML 엘리먼트) XML 속성명 DB 속성 명 (영문) DB 속성명 (한글) DB 속성값(예) <identifier>oai:riss.kr:ut_thesis_oai_data.1 3272237</identifier> 　 관리번호 　 CN 관리번호 JAKO0013272237 PCN 입수처 제어번호 　 <T:title><![CDATA[..임종 전 말기 암 환자의 임상 증상 및 징후의 변화: .. = Examination of

Prophetess in the Corinthians:Corinthians 11: 2-16]]></T:title> 논문명-한글 TIK 논문명-한글 ..임종 전 말기 암 환자의 임상 증상 및 징후의 변화 : .. <T:title><![CDATA[..임종 전 말기 암 환자의 임상 증상 및 징후의 변화 :

= Clinical Change of Terminally Ill Cancer Patients at.]]></T:title>

논문명-영문 TIE 논문명-영문 Clinical Change of Terminally Ill Cancer Patients at... <T:author><![CDATA[임정연]]></T:author> 　 저자명-한글 　 AUK 저자명-한글 임정연 AUE 저자명-영문 　 <T:publisher><![CDATA[서울대학교]]> </T:publisher> 발행기관-한글 PBK 발행기관 -한글 서울대학교 PBE 발행기관 -영문 　 PBC 발행기관코드 　 <T:pub_year><![CDATA[1992]]> </T:pub_year> 발행년도 PY 발행년도 1992

　　- 업무규칙정의서 <표 12> DQCM 업무규칙 정의서 BR번호 테이블명 영문 컬럼명 한글 컬럼명 규칙명 규칙설명 성격 A-BR-002 KS20_DI** PBK 발행 기관-한글 PBK(발행기관-한글)컬 럼의 필수성 업무규칙 PBK(발행기관-한글)은 반드시 존재해야 함 필수성 A-BR-003 KS20_DI** PD 발행 일자 PD(발행일자) 컬럼의 적합성 업무규칙 PD(발행일자)는 YYYYMM 형식이어야 함 적합성 A-BR-004 KS20_DI** LA 사용 언어 LA(사용언어) 컬럼의 필수성 업무규칙 LA(사용언어)는 반드시 존재해야 함 필수성 A-BR-005 KS20_DI** DG 학위 구분 DG(학위구분) 컬럼의 적합성 업무규칙 DG(학위구분)는 ('국내석사', '국내박사', '국외석사', '국외박사')만 적합함 적합성 2.2.4 DQCM 관리프로세스 ○ 데이터 표준관리 프로세스 　　- 전체 프로세스 <그림 6> 데이터 표준관리 프로세스

　　- 용어 표준화 (용어/도메인) 변경 프로세스 ▸표준변경 프로세스는 데이터 표준 변화관리를 위한 프로세스로서 크게 용어, 도메인 표준변 경 프로세스로 정의된다. <그림 7> 용어 표준화 변경 프로세스 　　- 용어 표준 정기점검 프로세스 ▸표준점검은 용어/도메인 사전 및 코드 정의서와 DB Catalog간의 컬럼 명칭, 데이터 타입, 길 이 등에 대한 비교 검사를 수행하는 것을 말하며, 수행주기는 년2회(반기) 수행을 원칙으로 정 의된다.

<그림 8> 용어 표준 정기점검 프로세스 ○ 데이터 구조관리 프로세스 　　- 전체 프로세스 <그림 9> 데이터 구조관리 프로세스 　　- 주제영역관리 프로세스 ▸주제영역을 추가하거나 기존 주제영역을 삭제 또는 수정하는 업무를 의미한다.

<그림 10> 주제영역관리 프로세스

　　- 데이터 모델관리 프로세스

▸요구사항을 분석하여 논리/물리 데이터 모델의 생성․변경․삭제 변화관리를 수행하는 프로세스 이다.

○ 데이터 흐름관리 프로세스 　　- 전체 프로세스 <그림 12> 데이터 흐름관리 프로세스 　　- 흐름관리 프로세스 ▸신규요건 발생으로 연계를 추가하거나 기존에 개발된 연계를 폐기 또는 변경하는 업무를 의 미한다. <그림 13> 흐름관리 프로세스

　　- 수신 사후 검증 프로세스 ▸ 송수신이 완료된 작업결과를 대상으로 오류여부를 검토하고 발생된 오류처리를 수행하는 프 로세스이다. <그림 14> 수신 사후점검 프로세스 　　- 흐름점검 프로세스 ▸원천 데이터와 NDSL 데이터간의 값에 대한 일치성을 점검하여 검출된 오류데이터를 개선하 는 일련의 절차이다. <그림 15> 흐름점검 프로세스

○ 데이터 품질관리 프로세스 　　- 전체 프로세스 <그림 16> 데이터 품질관리 전체 프로세스 　　- 업무규칙 도출/변경 프로세스 ▸사후관리 관점의 업무규칙 도출 프로세스는, 한국과학기술정보연구원의 핵심 자산으 로 관리되어야 할 물리, 논리적인 데이터의 업무 요건인 업무규칙을 요청하고 생성 하는 일련의 절차이다. <그림 17> 업무규칙 도출/변경 프로세스

　　- 업무규칙 오류 개선 프로세스 ▸정의된 업무규칙을 대상으로 프로파일링을 수행하여 검출된 오류데이터를 개선하는 일련의 절차이다. <그림 18> 업무규칙 오류개선 프로세스 ▸데이터 품질 점검 Business Rule(BR) 정의 및 오류요소 개선을 통한 데이터 품질 고도화 [학술논문 업무규칙(예)] · 470개 Business Rule 정의 · 제목, 저자명 등 필수항목 및 발행일자 등 형식 일관성 요소 정의 [오류 수정사항(예)] ·학술논문 필수항목 누락 82,819건 수정완료 ·특허구분 오류 33,794건 수정완료 ▸콘텐츠 생산 부서와 협력을 통한 데이터 품질 고도화 체제 운영

[생산부서 전달 BR 테스트 결과] [생산부서 전달 콘텐츠 오류)]

３

NDSL 서비스 모니터링 및 개선활동

일일 모니터링

3.1

○ 모니터링 내용 　- NDSL 콘텐츠인 논문, 특허, 보고서, 동향, 표준, 사실정보의 원문보기 및　검색서비스 통계 　- 원문복사(Net-NIDS, In-NIDS) 신청 및 제공건수 통계 　- 제니퍼 모니터링을 통한 일일 접속건수, 서비스 요청률(TPS), 동시단말최대접속자수 통계 　- 서버별 대상으로 프로세스 동작상태, 디스크 사용률, 장애상황 등을 점검 　- NDSL 사이트에 대하여 메뉴별 동작상태 점검 　- 서버별 배치 수행 상태 점검 　- 고객센터 원문제공서비스 및 비원문제공서비스 응대현황 　- 상담게시판 문의사항 처리 현황 집계 　- 전일 온라인 품질평가 모니터링을 통한 사용자 의견에 대한 장애사항 처리 및 현황 집계 ○ 모니터링 보고서 구성 　- 전일 NDSL 서비스 이용 및 처리 현황 <표 13> 전일 NDSL 서비스 및 콘텐츠 이용 통계

　- 서비스 모니터링 ▸전일 접속 건 수 <표 14> 전일 NDSL 전일 접속 통계 　- 전일 서비스 성능모니터링 <표 15> 전일 NDSL 서비스 성능 모니터링 결과 　- 시스템 장애사항 : 없음 　- 전일 고객센터 응대현황

콘텐츠 및 서비스 모니터링

3.２

NDSL 콘텐츠와 서비스 모니터링 담당자가 연중 계획에 의거하여 NDSL를 활용하면서 콘텐츠와 서비 스의 문제점을 발견한다. 각 콘텐츠는 시나리오에 근거하여 검색되고 오류사항 여부를 검토한다. 문제 점이 발견되면 협업시스템을 통하여 오류 개선사항을 요청하여 품질을 높이고자 한다. <표 17> 2014년 NDSL 콘텐츠 및 서비스 모니터링 계획(안) No. 점검내역 1월 2월 3월 4월 5월 6월 7월 8월 9월 10월 11월 12월 1 2014년 모니터링 계획(안) 수립 2 즐겨찾기 3 NDSL 회원정보관리 4 About NDSL · NDSL 소개 · NDSL 콘텐츠 · NDSL Ed · NDSL WI/PR 5 논문 주요 검색 및 서비스 점검 · 상세검색 · 고급검색 · 최신논문찾기 · 논문 형태별 검색 - 아티클 - 저널/학술회의자료 - 학위논문, 호스팅서비스 · 각 페이지 오류 : 내용 및 형식의 불일치, 오타 등 · 분류점검 6 특허 주요 검색 및 서비스 점검 · 상세검색 · 고급검색 · 최신특허찾기 · 특허정보분석 · 각 페이지 오류 : 내용 및 형식의 불일치, 오타 등 · 분류점검

No. 점검내역 1월 2월 3월 4월 5월 6월 7월 8월 9월 10월 11월 12월 8 동향 검색 및 서비스 점검 · 상세검색 · 고급검색 · 주제별보기 · 국가별보기 표준 검색 및 서비스 점검 · 상세검색 · 최신표준찾기 사실 서비스 점검 · 각 페이지 오류 : 내용 및 형식의 불일치, 오타 등 9 검색엔진 교체에 따른 변경 및 오류사항 점검 · NDSL 콘텐츠 · 각종 서비스 · 기타 10 NDSL메인페이지 점검

· family site, related site 점검 · 공지사항

· 각 페이지 오류 : 내용 및 형식의 불일치, 오타 등

시스템 모니터링 : 제니퍼(JENNIFER)

3.３

○ 개요 웹브라우저 환경에서 제니퍼를 통하여 NDSL 시스템 운영과 관련된 서버들에 대 한 모니터링을 매일 실시함으로써 시스템 성능을 높이는데 기여하고자 한다. 제 니퍼 모니터링 대상 서버는 아래와 같으며 2013년과 동일하다.

- 11A, 11B (NIDS WAS 2중화) - K81, K82 (NDSL WAS 2중화) - K5B (click 단일) - K5D (NOS 단일) <그림 20> 제니퍼 모니터링 화면 제니퍼의 데시보드를 통해 실시간 서버의 부하상태 및 처리 상태를 한눈에 모니터링할 수 있다. 실시 간 모니터링은 서버의 자원상태, 요청률, 처리율, 응답속도와 처리시각, 사용량 등을 확인할 수 있고, 애 플리케이션들의 수행상태를 시간을 기준으로 모니터링하기에 적합하다. 액티브서비스, 애플리케이션, SQL, 외부 트랜잭션, DB 등을 확인할 수 있다. 통계분석을 통하여 과거 서버에서 수행한 내역을 확인 할 수 있어 오류를 확인할 수 있다. 예를 들면 SQL 튜닝요소를 감지할 수 있으며, 불완전한 애플리케이 션의 로직을 탐지할 수도 있다(상세내역은 2013년 NDSL 운영 및 관리 매뉴얼 참조).

○ 서비스 안정성 평가 - NDSL 서비스 안정성에 대한 평가는 응답시간이 기준. 서버의 응답시간을 월 단위로 점 검하여 연간 서비스의 안정성 진단. 제니퍼에서 제공하는 월간 통계 데이터를 사용하여 조회시간대에 최대 응답 시간으로 가장 좋지 않은 성능을 기준으로 안정성 평가 - 일별 최대 응답시간은 WAS별, 시간대별 수집된 응답 시간 중 가장 큰 값을 사용. 연간 서비스 안정성을 평가하는 기준으로 일별 최대 응답시간이 1초 보다 많은 날짜 계산 - 2014년에 안정성이 좋지 않은 기간으로 볼 수 있는 일별 최대 응답시간이 1초 보다 많 았던 날은 103일이었음. <그림 21>의 연간 최대 응답시간에서 보는 바와 같이 안정적 이지 않은 기간은 8월에서 12월까지 집중되어 있어, 이 기간 동안 장애가 많이 발생하 였음을 알 수 있음. 연중 NDSL 서비스 안정성을 지속적으로 유지하기 위하여 지속적으 로 모니터링과 분석 작업 수행할 예정 <그림 21> 연간 최대 응답시간 평가 사례 (2014년) <그림 22> 일별 서비스 안정성 평가 그래프 사례 (2014년)

협업시스템을 통한 NDSL 개선

3.４

콘텐츠 서비스 담당자들은 주기적인 모니터링을 통하여 발견된 오류나 개선사항이 발생하 면 NDSL 협업시스템을 활용한다. <그림 23>과 같이 협업시스템에서 콘텐츠나 서비스 등의 오류나 개선사항을 요청하여 콘텐츠, 서비스, 시스템 등이 개선된 내용을 살펴보고자 한다. <그림 23> 협업시스템에서 이슈보고 화면

3.4.1 콘텐츠 부문 이슈제목 논문의 원문접근경로 과학기술학회마을 확인 요청 이슈분류 논문 이슈유형 □오류수정 ■변경개선 □추가 □점검 □기타 보고자 이** 발생일 (보고일) 2014-08-04 이슈내용 [ 현 황 ] 논문 상세정보 하단의 원문접근경로 중 과학기술학회마을 관련 링크를 클릭하면 ‘지원되지 않는 파일 형식이거나 파일이 손상되었습니다.’라는 메시지가 나옵니다. [ 요구사항 ] 첨부된 파일 확인 후 조치해 주시기 바랍니다. 조치결과 [ 조치사항 ] 기존에는 파일 다운로드 방식이었으나, 현재는 동작하지 않아 뷰어방식으로 변경했습니다. 기타 첨부파일(1건) 과학기술학회마을의 원문접근경로 오류

이슈제목 특허 정보알리미 메일 링크 및 검색결과 오류 이슈분류 특허 이슈유형 ■오류수정 □변경개선 □추가 □점검 □기타 보고자 이** 발생일 (보고일) 2014-02-13 이슈내용 [ 현 황 ] 특허 정보알리미 메일에서 링크 오류가 발생하고 있고, 해당 문서들이 NDSL 사이트에서 검색되지 않습니다. [ 요구사항 ] 첨부된 파일 확인 후 조치해 주시기 바랍니다. 조치결과 [ 조치사항 ] 첨부된 문서 PPT 1번은 특허 색인처리 작업으로 해결했으며, PPT 2번은 CLICK 서버 다운으로 인해 나타난 현상으로 현재는 정상 서비스 중입니다. 기타 첨부파일(1건) 특허 정보알리미 링크 및 검색 오류 관련

이슈제목 GPS 보고서 수정 요청 이슈분류 동향 이슈유형 □오류수정 ■변경개선 □추가 □점검 □기타 보고자 이** 발생일 (보고일) 2014-04-04 이슈내용 [ 현 황 ] 정보서비스실에서 수행하던 과학기술정책동향(GPS) 사업이 KISTEP으로 이관된 후 URL ID로 연계되었던 S&T GPS 분석리포트가 현재는 URL 형식 체계가 변경되어 원문보기가 실행되지 않습니다. [ 요구사항 ] 정보서비스실에서 구축했던 S&T GPS 분석리포트 원문이 원내 구 서버에 저장되어 있으므로 URL ID로 연계하지 않고 NDSL 웹서버에 보고서를 직접 구축하여 원문보기가 가능하도록 조치해 주시기 바랍니다. 조치결과 [ 조치사항 ] S&T GPS 분석리포트를 NDSL WAS 서버로 이관했으며, NDSL에서 직접 원문보기가 가능하도록 처리했습니다. 기타 첨부파일(1건) - S&T GPS 분석리포트 원문 오류 관련

이슈제목 콘텐츠별 메인의 Issues&NDSL 날짜 수정 이슈분류 Issues&NDSL 이슈유형 ■오류수정 □변경개선 □추가 □점검 □기타 보고자 이** 발생일 (보고일) 2014-07-21 이슈내용 [ 현 황 ] 콘텐츠별 메인 페이지의 Issues&NDSL의 날짜가 서비스일자가 아닌 원문출처의 날짜가 나타나고 있습니다. [ 요구사항 ] Issues&NDSL의 서비스페이지와 동일한 날짜가 나타나도록 수정해 주시기 바랍니다. 조치결과 [ 조치사항 ] Issues&NDSL의 서비스일자로 변경했습니다. 기타 첨부파일(1건) - Issues&NDSL 날짜 수정 관련

이슈제목 iCON 게시글의 날짜 표시 통일 요청 이슈분류 iCON 이슈유형 ■오류수정 □변경개선 □추가 □점검 □기타 보고자 오** 발생일 (보고일) 2014-07-14 이슈내용 [ 현 황 ] 동일한 iCON 게시글이 상세정보, 간략보기, 검색어 연관자료 등에서 각기 다른 날짜로 나타나는 오류가 발생하고 있습니다. 일전에 iCON 및 NDSL에 서비스되는 iCON 게시글의 정렬기준을 승인날짜 기준으로 바꾸는 과정에서 일부 게시판은 승인 날짜를 기준으로 정렬되었으나, 그 외 게시판에서 기존의 등록날짜 혹은 수정날짜 기준으로 정렬되어 있는 것이 아닌지 생각됩니다. 사례 1: 미국 최고의 작은 도서관 : 캔자스주 인디펜던스 공공도서관 NDSL 간략보기 - 2013-09-12 NDSL 상세정보의 검색어 연관자료 - 2013-09-12 NDSL 상세정보 - 2012-02-13 iCON 상세정보 - 2012-02-13 사례 2: IOP Publishing 5개 저널 전자형식의 저널로만 발행 결정 NDSL 상세정보 - 2014-07-03 NDSL 메인 팝업창 - 2014-07-03 NDSL 간략보기 - 2014-07-11 iCON 상세정보 – 2014-07-11 [ 요구사항 ] 확인 후 모두 동일하게 승인날짜 기준으로 표시될 수 있도록 수정해 주시기 바랍니다. 조치결과 [ 조치사항 ] ITREND 반입 프로그램에 KS20_ITREND 데이터를 전체 삭제 후 재 반입되도록 수정했으며, 검색색인의 ITREND cleancollection(매일 새벽 5시)을 실행 후 재 색인이 되도록 수정했습니다. 기타 첨부파일(1건) - iCON 게시글 날짜 오류 관련

3.4.2 서비스 부문 이슈제목 My NDSL의 회원정보관리 관련 요청 이슈분류 개인화 이슈유형 □오류수정 ■변경개선 □추가 □점검 □기타 보고자 이** 발생일 (보고일) 2014-08-29 이슈내용 [ 요구사항 ] My NDSL의 회원정보 관리와 관련된 요청사항을 파일로 첨부했습니다. 파일 내용을 참조하여 개선해 주시기 바랍니다. 조치결과 [ 조치사항 ] 첨부파일 내용과 같이 수정했습니다. 기타 첨부파일(2건) 회원정보수정 및 정보찾기 관련

3.4.3 시스템 부문 이슈제목 학위논문 원문보기 클릭시 로깅 점검 이슈분류 시스템 이슈유형 □오류수정 □변경개선 □추가 ■점검 □기타 보고자 이** 발생일 (보고일) 2014-01-15 이슈내용 [ 요구사항 ] ‘tt_weblog_script’에 학위논문 이용 로그가 쌓이는 지 점검바랍니다. 원문보기의 경우 아래와 같이 두가지 경로가 있는데, 1번은 매우 드물 것이고, 대부분은 2번과 같이 KERIS로 링크가 이어집니다. 그래서 1번은 당연히 로그가 남아야 하지만, 2번의 경우는 어떻게 처리되고 있는지 확인해 주시기 바랍니다. 1. 원문이 있는 경우 2. 원문보기 클릭시 KERIS로 링크되는 경우 조치결과 [ 조치사항 ] 1. 원문이 있는 경우 - 학위논문은 2013년 10월말 새로 구축되면서 원문을 가지고 있지 않습니다. 따라서, 해당 로그는 쌓이지 않습니다. 2. 원문보기 클릭시 KERIS로 링크되는 경우 - 원문이 NDSL 소장이 아닌 KERIS로 링크되면서 현재 해당 링크에 대해서는 로그를 남기고 있지 않습니다. 기타

이슈제목 Remote Access 개인정보 2차 인증에 이메일 인증방식 추가 요청 이슈분류 시스템 이슈유형 □오류수정 □변경개선 ■추가 □점검 □기타 보고자 이** 발생일 (보고일) 2014-05-08 이슈내용 [ 현 황 ] 이용자가 해당 기관이 구독하는 전자저널 전문을 NDSL을 통해 열람하려면, Remote Access를 이용해야 하고 Remote Access를 이용하려면 1·2차 개인정보 인증이 필요합니다. 그런데 현재 개인정보 2차 인증 시 휴대폰을 통한 인증만 가능하여 이용자들이 불편을 느끼고 있고, 보다 편리한 방식을 제공해줄 것을 요청하고 있습니다. [ 요구사항 ] 개인정보 2차 인증방식에 이메일 인증을 추가해 주시기 바랍니다. 조치결과 [ 조치사항 ] 이메일 인증을 추가했습니다. 기타

이슈제목 BR확인 요청 이슈분류 시스템 이슈유형 □오류수정 □변경개선 □추가 ■점검 □기타 보고자 신** 발생일 (보고일) 2014-08-07 이슈내용 [ 요구사항 ] 1. A-BR-102에서 4자리가 아닌 숫자가 유효한 값인지 확인해 주시기 바랍니다. 2. A-BR-116에서 MGPS가 유효한 값인지 확인해 주시기 바랍니다. 조치결과 [ 조치사항 ] 1. A-BR-102: 원천DB 접근결과 SNO 컬럼은 pk를 가져온 것이며, 5자리 숫자도 존재하므로 자릿수가 중요한 것이 아닙니다. 2. A-BR-116: DBT = "AGT", DBT2 = "MGPS"로 데이터를 반입하고 있습니다. BR규칙이 변경되어야 합니다. 기타

이슈제목 NDSL 서비스 속도 모니터링 요청 이슈분류 시스템 이슈유형 □오류수정 □변경개선 □추가 ■점검 □기타 보고자 신** 발생일 (보고일) 2014-08-25 이슈내용 [ 현 황 ] 금일 NDSL 서비스 이용 중 랜덤하게 서비스가 느려지는 현상이 있었습니다. [ 요구사항 ] NDSL 서비스 속도 모니터링을 해주시기 바랍니다. 조치결과 [ 조치사항 ] 아래와 같이 조치했으며, 특히 was 서버 재가동 이후 응답속도가 빨라졌습니다. 1. insight_script.js 수정 (로거 계약 만료) 2. web 서버 restart 3. was 서버 restart 기타

고객의 소리 모니터링 : VCMS

3.5

NDSL은 VOC 통합관리시스템(Voice of Customer Management System: VCMS)을 <그림 24>와 같이 구축하여 온라인과 오프라인 채널로 접수된 고객의 소리를 종합적으로 관리하고 있다. 전화, E-MAIL, 온라인 VOC, NDSL 게시판, 팩스 등을 통해 수집된 고객의 의견은 VCMS 시스템에 저장되며, NDSL 협업운영개선시스템에 등록하여 시스템적인 오류를 실시간 으로 개선하고 있다. <그림 24> VOC 통합관리시스템 ○ VCMS 프로세스 VOC 운영 프로세스를 도식화하면 <그림 25>와 같다. VOC 유형별로 NDSL 이용자들의 질문을 분석 하면 <표 18>과 같다. - NDSL 서비스를 이용하는 고객들의 의견(VOC)을 접수하고 고객센터 담당직원이 질문을 요구, 문의, 제안, 칭찬, 불만, 오류 등 유형별로 분류하여 범주화. 또한 고객들의 의견을 원문제공서비스, NOS, 알리미 등 서비스별로 범주화

- 분류된 서비스 범주는 VCMS에 등록되고 VOC의 내용이 시스템 오류일 경우, 전산 인 력에 의해 개선되지만, 정성적인 질의인 경우에는 담당 정보전문가들이 답변. 이들 전 문가그룹에 전달된 질의에 대한 답변이 제공되도록 업무프로세스가 진행되며 기관 내 부에서 해결 할 수 없는 질의인 경우에는 외부 유관기관에까지 질문을 보내 문제 해결 - 답변은 고객에게 게시판, E-mail 등으로 전달 - 답변 후, 해피콜을 통해 답변에 대한 고객 피드백 및 만족도 점검 <그림 25> 고객의 소리(VOC) 운영프로세스 VOC 유형 건수 비율(%) 원문서비스 6,168 77.4 정보검색 645 8.1 회원정보 641 8.0 NOS 운영 72 0.9 정보교육 40 0.5 KISTI 과학향기 32 0.4 알리미/My NDSL 17 0.2 기타 354 4.5 합계 7,970 100 <표 18> NDSL 고객의 VOC 처리현황 (2014.1.1.∼12.31)

4

검색엔진 개선

○ 대용량 검색엔진 도입 및 고성능 서버 체제 전환으로 NDSL 검색 고도화 　　- NDSL 검색성능 최적화를 위한 검색엔진 기능 및 성능 기준 정의 　　- 검색엔진 도입에 따른 NDSL 서비스 개선요소 및 마이그레이션 대상 정의 정의 요구사항 최대 검색 성능, 색인 성능, 랭킹 모델 등 [검색엔진 기능 및 성능 요구사항] 세부대상 NDSL웹, NOS 등 화면 88개, 프로그램 530본 [마이그레이션 대상] <그림 26> 검색엔진 마이그레이션 대상 　　- NDSL 검색성능 향상, 편의성과 효율성을 기준으로 기능개선 및 메인페이지 인터페이스 개편 추진(2015년 오픈 예정) 　　- 검색성능 개선을 위한 심층 인터뷰로 사용자 중심의 개선사항 도출 　　- 성능, 편의성 및 검색 효율성이 증대된 검색서비스 설계 <그림 27> 검색엔진 기능 상세 요구사항 정의

순번 인터뷰 결과 요약 중요도 1 ㆍ전반적으로 검색결과에 불만이 높음 ㆍ원하는 문서가 검색결과 상단에 나오지 않음 60% 2 ㆍ검색에 대한 불만사항은 검색 후 이루어지는 정렬방식의 문제점으로 검색된 문서가 첫 페이지 나타나지 않아서 찾지 못하는 현상이 발생 3 ㆍ검색페이지 내 세부적인 기능개선이 필요 30% 4 ㆍ키워드 검색만으로 대상을 찾기보다는 다른 접근방식(예. 문서분류를 대상으로 찾기)으로 해당하는 문서들을 찾을 수 있는 경로가 필요 10% <표 19> 검색엔진 기능 상세 요구사항 정의 인터뷰

５

개인정보 보호 및 보안

NDSL 서비스는 개인정보에 대한 보안 유지를 위해 불필요한 개인정보를 수집하지 않도록 수집 항목을 최소화하고, 수집된 개인정보의 보안 유지를 위한 암호화 적용 등 기술적, 관리적 조치를 취해야 한다. ○ 개인정보보호 강화로 서비스 신뢰성 향상 　- 회원가입, 아이디/비밀번호 찾기 등 모든 개인 식별은 주민등록번호를 입력하지 않고 대체수단인 이메일, 아이핀, 휴대폰 본인확인 서비스를 이용함. 　▶주민등록번호 사용 중지에 따라 기존 등록된 회원정보 중 주민등록번호가 있는 35만 건을 일 괄 삭제하고 관련 기능은 대체 수단으로 수정함. <그림 28> 휴대폰 본인확인서비스 도입 　▶개인 비밀번호를 복호화가 불가능한 단방향 암호화를 적용하여 비밀번호에 대한 보안등급을 최고 수준으로 높임. 　▶국정원 보안등급 권고 수준의 SHA-256 단방향 암호화 알고리즘을 사용하여 패스워드를 암호 화함. 　▶또한, 이름, 전화번호, 주소, 이메일주소, 휴대폰번호, 생년월일, 성별에 대해서 D'Amo 암호화 솔루션을 적용함.

<그림 29> D'Amo 암호화 솔루션 적용 ○ 개인정보보호 관리 수준 인증 및 준수 　- NDSL은 개인정보보호 우수사이트로서 매년 3월 관련 심사기준에 따라 재인증 심의를 하여 인증을 갱신함으로써 신뢰성 확보(주관: 개인정보보호협회) <그림 30> 개인정보보호 우수사이트 인증 　- 개인정보 보호법에 따라 개인정보영향평가를 실시하고 기술적, 관리적 보호 조치 수준을 개선함. ▶총 103개 항목에 대한 개인정보 영향평가 점검을 실시한 결과 81.3%의 이행률을 달성함. ○ 보안 점검으로 서비스 안전성 향상 　- 웹 취약점 및 모의 해킹 실시 ▶총 14개 항목에 대한 웹 취약점 점검과 모의 해킹을 실시하고 취약한 부분에 대해서 응용프로그램을 수정함.

<부록> NDSL 콘텐츠 서비스 운영지침

제정 2013. 12. 30

제1장 총칙

제1조(목적) NDSL 콘텐츠 서비스 운영지침은 NDSL 정보서비스를 활성화하기 위해 신규 콘텐츠 의 선정, 도입, 평가를 위한 기준과 절차에 관한 원칙을 정함을 목적으로 한다. 제2조(용어 정의) ①‘콘텐츠’는 제공처가 제공하는 정보로서, 제공처가 제작 또는 확보한 디지 털 콘텐츠의 데이터베이스와 개별 콘텐츠의 데이터베이스의 상세 페이지와 원문 링크 정보로 구성된다. ②‘데이터베이스’는 이용자가 콘텐츠를 직접 보지 않고도 대략적인 내용을 파악할 수 있도록 간략하게 정리한 ‘제목, 제작자, 주제, 포맷, 언어, 키워드, 작성일자, 목차 등’ 및 제반 정보 들을 담은 데이터를 의미한다. ③‘NDSL 서비스부서’는 NDSL에 관한 정책, 운영상황의 분석·평가, 운영의 활성화에 관한 업무를 수행하며, 콘텐츠 관리, 모니터링, 개선방안 제언, 서비스 운영, 시스템 관리 등 NDSL 의 서비스를 위한 전반적인 업무를 담당한다. ④‘시스템 관리부서’는 NDSL 서비스를 위한 하드웨어, 소프트웨어, 자원관리 및 운영, 시스 템 모니터링, 시스템 개선 방안 강구, 시스템 운영에 관한 업무를 수행하며, 관련 자원을 관 리·운영하는 부서를 말한다.

제2장 NDSL 콘텐츠 선정

제3조(선정 범위) NDSL 정보서비스를 위한 콘텐츠는 다음 각 호의 범위를 대상으로 한다. 1. (주제별 범위) 과학기술분야 연구개발 활동에 필요한 모든 주제를 포괄하여 과학·기술·의 학·경영 분야(STMB)를 중심으로 선정하되, 필요시 인문사회 분야를 추가할 수 있다. 2. (유형별 범위) 과학기술정보를 수록한 모든 유형의 정보자원을 대상으로 한다. 학술지, 회의 록자료, 연구보고서, 특허, 동향, 표준, 학위논문 등을 중심으로 한다. 특히 연속적으로 생산 되는 자원의 경우, 누락되는 자원이 없어야 한다. 3. (국가별 범위) 과학기술분야의 정보생산 비중 및 영향력이 높은 국가를 중심으로 선정한다.

제4조(선정 요소) 콘텐츠는 콘텐츠 품질, 콘텐츠 제공, 서비스 품질, 부가서비스 측면에서 별표 제1호의 선정 요소에 따라 선정함을 원칙으로 한다. 단, 구체적인 선정 요소는 개별 콘텐츠의 특성에 따라 달리 구성할 수 있다. 제5조(선정 프로세스) 신규 콘텐츠를 선정하기 위한 프로세스는 다음 각 호와 같다. 1. (콘텐츠 서비스 제안 등록) 콘텐츠 제공처는 신청서를 작성하여 등록한다. 제공 신청서는 별표 제2호 서식에 따라 작성하며, 템플릿에 직접 작성하거나 전자파일에 작성하여 콘텐츠 제휴 담당자에게 제출한다. 2. (콘텐츠 서비스 제안 접수) NDSL 콘텐츠 제휴 담당자는 제공 신청서를 접수하고, 이와 관 련한 선정평가를 실시한다. 3. (콘텐츠 서비스 제안 평가) NDSL 콘텐츠 제휴 담당자는 내부 선정평가위원회를 구성하여 선정원칙에 따라 평가 후 그 결과를 별표 제3호 서식에 따라 제공처에 통보한다. 제6조(선정 평가위원회) ①NDSL 신규 콘텐츠 도입을 위한 실무 담당자는 콘텐츠 제휴 담당자로 한다. ②선정 평가위원회는 NDSL 운영 부서 책임자 및 상위 책임자, 시스템 관리 부서, 콘텐츠 제휴 담당자로 구성한다. ③선정 평가위원회의 소집 및 평가회의는 NDSL에 신규 콘텐츠 도입에 관한 요구가 있을 시 NDSL 운영 부서 책임자가 소집하여 수시로 개최한다.

제3장 NDSL 콘텐츠 도입

제7조(과금여부) NDSL 콘텐츠 검색 및 원문데이터(fulltext) 열람은 무료를 원칙으로 하되, 필요시 로그인이나 요금을 부과할 수 있다. 요금체계는 KISTI와 콘텐츠 공급처간 협의를 거쳐 결정한 다. 제8조(도입방식) 콘텐츠 제공처는 콘텐츠를 온라인 파일 전송방법으로 NDSL에 제공하며, NDSL 의 서버에 데이터베이스와 상세 URL을 탑재하여 서비스하는 것을 원칙으로 한다. 제9조(도입주기) 콘텐츠의 도입주기는 최신성과 신뢰성 유지를 위해 콘텐츠 생산주기에 맞추도록 한다. 제10조(로그인 유무) 개방형 서비스 원칙에 따라 NDSL에 도입되거나 KISTI에서 생산된 콘텐츠 및 원문은 로그인 없이 서비스 하는 것을 원칙으로 한다. 다만, 제공처의 원문서비스 정책에 따라 제한적으로 로그인을 허용할 수 있다. 제11조(콘텐츠의 사용범위) ①신규로 도입되는 콘텐츠는 NDSL 서비스의 개편에 따라 필요한 경

우 콘텐츠의 형태를 변경하거나 활용할 수 있다. ②신규로 도입되는 콘텐츠는 NDSL 웹사이트 및 모바일에서 서비스되는 것을 기본으로 하며, Open API를 통한 서비스에 동의한 것으로 간주한다. ③전항 이외의 방식으로 데이터를 제3의 기관에 배포·확산하는 경우에는 콘텐츠 제공처와 협 의한다. 제12조(지식재산권) ①제공한 콘텐츠에 대한 소유권은 콘텐츠 제공처에 있으며, 다만, NDSL이 그 업무수행을 위하여 투입하거나 제공한 정보, 검색방법, 노하우 등은 제외한다. ②콘텐츠 제공처가 콘텐츠에 대하여 국내 및 국외의 제3자로부터 저작권을 포함한 제3자의 권 리를 침해하거나 관련 법률을 위반하였다는 주장이 제기된 경우에는 NDSL은 제공처와의 협의 를 거쳐 필요하다고 판단되는 경우, 일부 콘텐츠를 삭제하거나 서비스를 중단할 수 있다. 제13조(책임과 역할) ①콘텐츠 제공처는 콘텐츠의 수집, 가공, 입력 및 갱신의 임무를 수행하고, 제공처가 제공하는 콘텐츠와 관련된 설비 및 그 운영에 관한 책임을 진다. ②콘텐츠 제공처는 타인의 명예나 권리, 미풍양속을 포함한 사회 윤리 및 공공의 안녕 질서를 침해하는 내용의 콘텐츠를 제공해서는 안되며, 제공처가 제공하는 콘텐츠에 오류가 발생하였을 경우에는 신속하게 정정한다. ③콘텐츠의 오류로 인하여 NDSL의 이용자 또는 NDSL에 손해가 발생될 경우 콘텐츠 제공처가 책임을 지며, NDSL에 손해가 발생하지 않도록 한다. ④콘텐츠 제공처가 제공한 콘텐츠를 고의로 훼손 또는 무단으로 복제하거나 제3자에 게 양도하는 등 제공처에 손해를 끼친 경우 NDSL이 책임지며, 콘텐츠 제공처에 손해 가 없도록 한다. 제14조(콘텐츠 서비스 제휴 해지) ①신규 콘텐츠 제공처와 NDSL 서비스부서는 제휴시 상호 합의 된 내용을 위반하거나 이행하지 않았을 경우, 상대방에서 서면으로 시정을 요구할 수 있으며, 시정되지 않을 경우 제휴 해지가 가능하다. ②다음의 경우 NDSL 서비스부서는 콘텐츠 서비스 제휴를 해지할 수 있다. 1. NDSL 콘텐츠 서비스 평가 정책에 의해 수행된 평가에서, 기준 이하의 평가등급을 받은 콘 텐츠 2. 콘텐츠 제공처의 콘텐츠 제공이 신속, 정확하게 갱신되지 않는 경우 3. NDSL에서의 콘텐츠 서비스가 정상적으로 운영되지 않는 경우 4. 콘텐츠 제공처가 제휴제반사항을 위반하거나 관계법령을 위반한 경우 제15조(콘텐츠의 중단 및 폐기) ①NDSL은 협약기간이 만료되거나 해지된 경우, 최대 1개월간 서 비스 진행 이후에 서비스를 중지하고 3개월 내에 NDSL 서비스(모바일 서비스, NOS 서비스 포 함)에서 협약 이행을 위해 콘텐츠 제공처가 제공한 콘텐츠를 삭제해야 한다. 단, 제공처와의 협의에 의해 지속적으로 NDSL에서 해당 콘텐츠를 서비스할 수 있다.

②다음 각호의 경우에는 제공처와의 협의 없이 NDSL에서 해당 콘텐츠를 삭제할 수 있다. 1. 콘텐츠의 내용에 저작권 침해 및 표절, 개인정보 침해 등이 공식적으로 제기되었을 경우 2. 콘텐츠의 작성에 기여한 개인 혹은 단체로부터 NDSL의 서비스 중지에 대한 요청이 있는 경우 3. 콘텐츠의 접근이 불가능한 경우(예: broken link) 제16조(콘텐츠 도입 프로세스) ①콘텐츠 제공처는 콘텐츠 선정 정책에 의해 도입이 결정된 콘텐 츠에 대해 ‘NDSL 콘텐츠 제휴 내역서’(별표 제4호)를 작성하여 NDSL 서비스부서장에게 제 출한다. 단, 원내 제작/연계 콘텐츠인 경우 원내 전자결재 시스템을 통해 ‘NDSL 콘텐츠 제휴 내역서’를 제출할 수 있다. ②NDSL 서비스부서는 제출된 ‘NDSL 콘텐츠 제휴 내역서’에 기반하여 다음 각호에 대해 실 무 협의를 거친다. 1. 콘텐츠 내용 및 제공방법, 기술 협의 2. 서비스 일정 및 수익 배분 방식 협의 3. 업데이트 형태, 서비스 이용 통계 협의 ③실무 협의가 완료되면 서비스를 개시하되 필요시 시범 서비스를 실시할 수 있다. ④NDSL 서비스부서는 서비스 개시 이후에도 서비스 진행방법에 대한 제반사항을 재검토하거 나, 필요시 ‘NDSL 콘텐츠 제휴 내역서’ 원내 적재 등 추가작업을 진행한다.

제4장 NDSL 콘텐츠 평가

제17조(대상) NDSL 서비스부서는 신규로 도입되어 NDSL에서 서비스되고 있는 콘텐츠에 대하여, 콘텐츠 자체 및 서비스를 평가한다. 제18조(평가 주체) ①콘텐츠 마스터는 주어진 세부항목에 의해 개별 콘텐츠 자체 및 콘 텐츠 서비스를 평가하여 평가등급을 결정한다. ②콘텐츠 마스터는 평가에 있어서 각 세부항목에 대한 선정과 세부항목에 대한 비율을 결정한다. ③콘텐츠 내부 평가위원회는 콘텐츠 내부 선정위원회와 동일하게 구성하며, 콘텐츠 마 스터의 평가결과 일정 기준에 미달하는 경우 해당 콘텐츠 서비스의 지속 여부를 결정 한다. 제19조(평가 요소) ①평가요소는 콘텐츠 자체에 대한 평가와 콘텐츠 서비스에 대한 평가 요소로 구분하여 아래 표와 같은 (세부)항목에 따라 평가한다.

<콘텐츠 및 콘텐츠 서비스 평가 요소> 항목 세부항목 평가 요소 콘텐츠 자체 평가 콘텐츠 품질 정확성, 완전성, 최신성, 일관성, 신뢰성, 가치도 콘텐츠 이용통계 콘텐츠 이용통계(상세보기 횟수) VOC 콘텐츠에 대한 이용자 의견(VOC) 콘텐츠 서비스 평가 콘텐츠 제공 제공처의 권위, 안정성, 비휘발성, 제공처 협조사항 서비스 품질 접근성, 준수성 부가서비스 활용성, 확장성, 보존성 제20조(평가 프로세스) ①콘텐츠 마스터는 평가 요소에 기반하여 매년 10월 개개별 콘텐 츠별 콘텐츠 자체 평가와 서비스 평가를 실시한다. ②평가한 결과, 2회 이상 콘텐츠 평가 점수가 일정 기준에 미달하는 경우 콘텐츠 내부 평가위원회를 소집하여 서비스의 지속 여부를 결정한다. ③서비스 중지를 위한 세부적인 콘텐츠 평가 점수 기준은 콘텐츠 내부 평가위원회에서 결정한다. <개별 콘텐츠 평가표> 항목 세부항목 평가등급 비율 환산점수 콘텐츠 자체 평가 콘텐츠 품질 A, B, C, D, E 35 콘텐츠 이용통계 A, B, C, D, E 35 VOC A, B, C, D, E 30 콘텐츠 자체 평가 점수 콘텐츠 서비스 평가 콘텐츠 제공 A, B, C, D, E 40 서비스 품질 A, B, C, D, E 40 부가서비스 A, B, C, D, E 20 콘텐츠 서비스 평가 점수 콘텐츠 점수 제21조(콘텐츠 자체 평가) 콘텐츠 자체 평가는 다음 각호의 방법으로 평가한다. 1. 콘텐츠 품질 : 콘텐츠의 정확성, 완전성, 최신성, 일관성, 신뢰성, 가치도를 평가(세 부 내용은 콘텐츠 선정 지침을 참조함) 2. 콘텐츠 이용 통계 : 해당 콘텐츠(메타데이터)의 총량 대비 상세보기 이용횟수 및 원 문보기 이용횟수로 집계

3. VOC : 정부의 고객만족도 조사 결과를 바탕으로 평가 제22조(콘텐츠 서비스 평가) 콘텐츠 서비스 평가는 다음 각호의 방법으로 평가한다. 1. 콘텐츠 제공 : 콘텐츠 제공처의 권위, 안정성, 비휘발성, 제공처 협조사항을 평가(세 부 내용은 콘텐츠 선정 정책을 참조함) 2. 서비스 품질 : 접근성과 준수성을 평가(세부 내용은 콘텐츠 선정 정책을 참조함) 3. 부가서비스 : 활용성, 확장성, 보존성을 평가(세부 내용은 콘텐츠 선정 정책을 참조 함) 제23조(콘텐츠 서비스 중지) 콘텐츠 내부 평가위원회의 결정에 따라 서비스 중지로 결정 된 콘텐츠는 부가서비스로 이관하고, 추후 패밀리사이트로 이관하여 NDSL 서비스에서 제외한다.

부 칙(2013. 12. 30)

①(시행일) 이 지침은 2013년 12월 30일부터 시행한다. ②(경과조치) 이 지침 시행이전에 처리된 사항은 이 지침에 의하여 시행된 것으로 본다.

2014 NDSL 운영 및 관리이슈 인 쇄 2015년 2월 27일 발 행 2015년 2월 28일 발행처 저 자 이선희, 신수미, 이태석, 김혜선, 이은정, 오달리, 윤화묵 발행인 한선화 ISBN 0 인쇄처 승림디엔씨 ※ 보고서 내용의 무단 복제를 금함