제1장 정보검색 개요

2012. 09. 03

가천 대학교 IT대학 컴퓨터미디어융합학과

Information Retrieval

제1장 정보검색 개요

1.1 개요

1.2 정보검색 역사 1.3 정보검색 분야 1.4 정보검색 시스템

1.5 익힘 문제

Why Information Retrieval?

Knowledge is power.

미셸 푸코

아는 것이 힘이다.

앎 knowledge?:

나의 지식과 다른 많은 사람들의 지식과 관계를 맺는 일.

학문과 지식의 시작은 정보를 검색하는 것.

연구:

오랜 역사 속에서 발전되어 온 태산 같은 지식 위에 지푸라기를 보태는

것.

“기본적인 단어를 잘 설명하자” define

무엇을 안다면 설명할 수 있어야.

실례: computer, system. model, module, software, program, data, information, set, function, OS, database, 통신, 알고리즘, 언 어, 관계, 키, ,,,

Why Information Retrieval?

아는 것 knowledge?

어떤 사실과 관계를 가지는 것.

안다면 설명할 수 있어야 한다.

사람마다 아는 내용이 다를 수 있다.

진리 眞理 truth?

변하지 않는 것?

아는 내용을 확인해야,,

1.1 개요

정보검색의 목적

알고 행하려는 인간의 지적 욕구 충족.

검색 데이터베이스에서 원하는 정보를 찾아오는 것.

Data Information

Knowledge Wisdom

Sign

가치 의미

창출

인식

통찰

생성

필요

배열 통합

1.1 개요

정보의 구성과 정의

정보 구분 정보 내역

지혜 통찰력: 상황을 빨리 인식하고 대책을 판단할 수 있는 능력

지식 창의력: 기존 정보로부터 새로운 정보를 창출할 수 있는 능력

정보 사용 가치가 있는 자료

자료 인간이 인식할 수 있는 모든 사물

기호 사물의 내용이나 성질을 직접 나타내는 표시

1.1 개요

정보의 구체적인 실례

정보 구분 정보 내역

지혜 wisdom 체온이 갑자기 높아지면 병원 응급실에 가야 한다.

지식 knowledge 체온이 너무 높으면 치료해야 한다. 괜찮아!

정보 information 인간의 적정 체온은 36.5도이다.

체온이 적정 온도보다 5도 이상 높으면 생명이 위험

자료 data 18도, 36도, 체온

기호 sign ㄱ, ㄴ, ㄷ, a, b, c, 1, 2, 3, +, -, *, /, %, ?

1.1 개요

정보 매체

매체 구분 내 역

문자 text 책, 논문, 보고서,

XML과 구조화된 문서 웹 사이트와 database

소리 sound 음성, 음향, 음악 영상 image 그림, 사진, 설계도 동영상 video 영화, 애니메이션

source code C, Java, C# 언어로 작성된 프로그램 application/웹 서비스 실행 파일

1.1.2 정보검색

정보검색의 4요소

종 류 내 역

자료 집합 검색의 대상이 되는 자료들의 집합.

색인 원하는 정보를 신속하게 찾기 위한 보조적인 자료 순위 검색 결과를 정확성에 따라 보여주기 위한 순서 환류

feedback 검색 성능 향상을 위하여 다시 검색하는 기술

1.1.2 정보검색

정보검색의 문제점

지식검색: ? 정보검색과 차이?

문제점 내 역

방대한

데이터베이스 자료가 너무 많아서 검색 시간이 많이 소요 대량의 검색 결과 검색 결과가 너무 많아서

지식검색 요구 단순한 검색은 잘 되지만

1.1.2 정보검색

정보의 유통 : 생명주기

생 성

검색 갱신

가공

활성화

비활성화

폐기

1.1.2 정보검색

정보검색 시스템의 목표

목 적 목 표 내 역

편의성 질의 작성 사용자 요구를 처리에 효율적인 내부 형식으로 변환

사용성 색인 구축 검색 효율이 높은 색인을 효율적으로 구축

유용성 정확성 필요한 정보만 검색하고 아닌 정보는 검색하지 않기

유용성

1.1 개요

정보 검색 IR

수집된 정보를 분석하여 사용자가 원하는 정보를 제공하는 일.

데이터베이스에서 이용자가 원하는 정보를 찾아주는 일.

정보 저장소와 사용자 사이의 조절 장치.

대상 정보: 문자열 text = 정보 축적 + 정보 추출

IR의 기능

DB에서 원하는 항목을 획득하고

원하지 않는 항목을 제외하는 것. ^{비 관련 문서}

관련 문서 범례

:

문서 집합

1.1 개요

정보의 수량/중요성

Megabytes 10³ kilo bytes = 10⁶ bytes

Gigabytes: 10³ Mb, Terabytes, Petabytes, Exabytes 미 의회도서관: 20Tbytes

5,000만 사용자 확보

라디오: 30년, TV: 13년, Internet: 4년 정보의 홍수  정보의 혼란

- 필요한 정보 < 무관한 정보 < 폐기 해야 할 정보

- 자료의 홍수 속에서 귀중한 정보를 찾고 생성해야,,,

1.2 정보검색의 역사

1.2 정보검색의 역사

시대별 발전 내역

연대 검색 시스템 비 고

1950 컴퓨터 검색 Uniterm system

1960 오프라인 배치 MEDLARS,대규모 검색 실시 1970 온라인 실시간 MEDLINE, 온라인 서비스 1980 온라인 데이터베이스 통신, PC, 데이터베이스 보급 1990 인터넷 검색 웹 검색 엔진

2000 유비쿼터스 검색 단말기들의 지능화, 소형화 2010 Big Data 천문학적 크기의 자료 분석

1.2 정보검색의 역사

2000년대 : 유비쿼터스

- 웹 탐색의 연결 분석: Google - Automated Information Extraction - Question Answering

- 멀티미디어 IR - Cross-Language IR

- Document Summarization

1.3 정보 검색 분류

광의의 정보검색

정보를 찾는 일: 구조적 자료 + 비구조적 자료 자료 검색: 구조적 자료 중심

협의의 정보검색

비구조적 자료 중심 1. 문서 검색:

책, 논문, 서류 등 문자 문서 저장고에서 원하는 문서를 찾는 일 3. 웹 검색

인터넷 사이트에서 원하는 정보를 찾는 일 3. 다매체 검색:

검색 대상: 문서, 소리, 영상, 동영상 등 다양한 자료

1.3 정보 검색 분야

정보검색

자료검색

멀티미디어검색 문서검색

웹검색 정보검색

DBMS 자료처리

도서관, 자료실 얼굴인식, 지문인식,

Naver, Google

광의 협의

지식검색 정보창출

Big Data

Key에 의한 검색

내용기반 검색

존재하지 않는 정보 검색

1.3 정보 검색 분야

자료의 종류

구조적 자료 문자와 숫자 등으로 정형화된 자료 DBMS

비구조적 자료

문서 자료 자유 문자열

웹 자료 자유 문자열, 이미지

다매체 자료 자유 문자열, 소리, 이미지, 동영상

1.3 정보 검색 분야 자료검색 vs 정보검색

검색방법

구분 자료검색 정보검색

대상 자료 구조화 자료 대부분 비 구조화 자료

자료 구성 형식 모델 기반의 명확한 의미 메타 자료와 자유 문자열

질 의 형식적으로 정의된 완성된 질의 애매하고 비정교한 불완전한 질의

결 과 정확한 일치 때대로 관련, 부분적 관련

상호작용 한 번의 질의 상호작용이 중요(환류)

추론 연역적 귀납적

모델 결정적 확율적

1.3 정보 검색 분야

자료 검색, 문서 검색, 다매체 검색, 웹 검색,,,,

특징 자료 검색 정보 검색

문서검색 다매체검색 웹검색

1 결과 완전 일치 부분 일치

2 추론 연역 귀납

3 모델 결정적 확률적

4 분류 단일 복수

5 질의 인공어

완성된 질의

자연어 애매한 질의

인공어 애매한 질의

자연어 애매한 질의 6 대상 자료 구조적 비 구조적 구조+비구조적 비 구조적

7 목표 시스템 DB IRS MMDB WSE

8 오류 민감 둔감 둔감 중간

9 상호작용 한번 질의 환류

1.4 정보검색 시스템 IRS

정보검색 시스템의 목표

정보의 표현, 저장, 구성, 접근, 유용

- 효율적으로 저장해야 : 정보의 재편성 - 접근하기 쉬워야

상호작용, 통신망 - 질의하기 쉬워야

사용자 요구  질의형식 변환 - 보기 쉬워야: 인터페이스

- 연관 정보 활용

1.4 정보검색 시스템

IRS의 기본 구조

문서 검색에서 문서 안의 모든 단어들을 키워드(검색어)로 간주.

Query expression: AND, OR, NOT으로 구성

1.4 정보검색 시스템

IRS의 자료 흐름

1.4.2 새로운 검색 분야

기존의 독립적 검색 사업

1) 도서관, 전자 정보도서관,

2) Videotex

특정 정보를 가입자의 TV 수상기에 보내주는 시스템

3) Potal 사이트

Google, Naver, Daum,

1.4.2 새로운 검색 분야

기존의 종속적 검색 사업

1) 전자상거래 시스템

상품 구매를 위한 검색

2) 경영정보 시스템

조직의 정보관리를 위한 검색

ex. 학교, 관공서, 기업, 병원, 경찰, 법원, 언론,,,,,

1.4.2 새로운 검색 분야

정보 사회의 변화

산업사회의 발전

- 공동 사용에서 개인사용으로 - 제품의 기능과 디자인이 중요 - 다품종 소량생산

정보화사회의 발전 - 생산보다 마케팅 - 이성보다 감성으로

소비자 의식 구조의 변화 - 제품 비교우위 욕구 - 감성 욕구

개인의 중요성 부각 - 인간의 가치 존중 - 참여와 협력

대중에서 개인으로

1.4.2 새로운 검색 분야

새로운 검색 기술

구분 작업 내 역

의미 검색 정보의 의미와 개념을 파악하여 사용자가 원하는 정보를 검 색

개인화 사용자 개인의 관심과 특성에 따라서 적합한 정보를 검색

소셜 검색 소셜 네트워크를 이용하여 정보를 검색

Big Data 초대형 자료에서 초고속으로 가치를 창출하고 분석하는 기 술

31

1.4.2 새로운 검색 분야

Big Data Def.

- 전통적인 DB로 저장, 관리, 분석할 수 없는 대용량의 자료를 초고속으 로

저장, 수집, 분석, 사업화 하는 일련의 기술.

- 클라우드 컴퓨팅과 하드웨어 변화와 플랫폼 변경에 따른 자료 처리 능 력과

비용을 극대화하기 위한 기술.

- 기존 자료관리 역량을 넘어서는 대량의 정형 및 비정형 자료와 이들로 부터

가치를 추출하고 결과를 분석하는 기술

Big Data의 목적

- 기업경영에 새로운 통찰력을 얻고 바로 실행하는 기업을 만들려는 것. Cloud computing: 서버에 있는 SW를 인터넷과 각종 기기를 이용하여 공유하는 사용 환경.

1.4.2 새로운 검색 분야

Big Data의 3대 요소 - Volume

- Variety - Velocity

Terabytes Records Transactions

Tables,files

Batch Near time Real time Stream

Structured Unstructured Semistructured All the above

Velocity Variety

Volume

1.5 요점 정리

아는 것이 힘이다? 미셀 푸코 과연 그럴까? 모르는 것이 약이다? 진리란?

정보검색

- 알려고 하는 욕구를 충족시키기 위한 행동 - 저장했던 자료를 필요할 때 찾아오는 것 앎: knowledge

다른 사람들이 이해하는 것을 모두 이해하는 것 정보검색의 목적/목표

자료  정보  지식  지혜 정보검색의 문제점

- 방대한 자료, 적은/많은 결과, 지식검색

1.5 요점 정리

정보검색의 4 요소

자료, 색인, 순위, 환류

정보검색의 역사 - 컴퓨터의 역사

Batch process, online, database, online DB, internet, Ubiquatous

1.5 요점 정리

정보검색의 분류

- 자료검색, 정보검색, 멀티미디어 검색, 웹 검색, 지식검색 - 지식 검색: 시맨틱웹, 지능형 검색, 자동분류, 에이전트 자료 분류

- 구조적 자료, 비구조적 자료(문서, 다매체, 웹) 정보검색 시스템

- 입력, 질의, 출력(우선순위) - 자료, 색인, 순위, 환류 새로운 검색분야

- 대중에서 개인으로

- 의미검색, 개인화, 소셜검색, 빅데이터