비구조적 문서가 다량이 포함된 웹 문서 검색 시 현재 연구되어 온 텍스트마이닝 시스템이, 보다 오류율과 속도 개선과 더불어서 그동안 웹 중심의 자연어 텍스트문서 를 자동 분석하기 위한 효율적 시스템에 새로운 접근이 이루어 졌으며 기존 검색 시 스템의 여러 문제점과 한계들을 효과적으로 극복하고 사용자의 편익 증가 시킬 수 있다.
오늘날 검색엔진은 상당히 많고 여러분야로 나누어서 검색을 한다. 또한 검색된 정보 를 통한 지식발전과 새로운 정보를 통한 부가가치가 향상이 개인 및 나아가 나라 발 전에 도움을 줄 것이라 믿고 있다. 또한 현재 인터넷을 사용하는 인구의 대부분은 인 테넷 에서 검색엔진을 통한 새로운 정보를 찾고 있으며 그 정보를 통한 지식을 서로 교환하여 질 높은 생활을 추구해 나갈수 있다.
그러기 위해서는 찾고자 하는 정보를 손쉽게 접근하고 더불어서 연관 있는 정보를 동시에 제공함으로써 보다 부가적인 비용과 새로운 정보교환이 손쉽게 할수 가 있으 며 이 알고리즘을 통한 다양한 곳에 적용을 하여 보다 능률적인 작업환경을 제공해 줄 것이라고 믿는다.
또한 비구조적인 데이터들은 아직도 생산이 되어지고 있으며 무수히 많은 연관된 문 서와 새로운 정보와 유기적으로 결합한다. 앞으로는 누가 정보를 많이 갖는냐가 문제 가 아니라 보다 질 높은 정보를 갖느냐가 핵심이 될 것이라 본다. 그러기 위해서는 정확한 정보를 빠르고 연관성이 높은 정보를 제공함으로써 정보검색시 높은 서비스 만족감과 관련된 부가적인 비용을 줄여 효율적인 검색시스템 개발이 기대가 된다. 다 만 앞으로는 시멘틱 웹기술을 이용한 지식검색 기능으로 한 단계 발전 할 수 있는 연구와 여전히 다량의 문서 검색 시 속도 개선 문제점을 있으므로 분산 환경시스템 을 이용한 텍스트마이닝 연구가 진행이 되어야 할 것 이라 생각된다.
[ 참고문헌 ]
[1] 노나키 이쿠지로, Michael Polanyi, Delphi Group 1998.
[2]Yang, Y., "An Evaluation of Statistical Approaches to Text Categorization". Journal of Information Retrieval, 1999.
[3] Lee, H-Y, "Text Mining-Knowledge Discovery from Text", Trend in Knowledge Discovery from Databases, 29th June 1999.
[4] 구글 개발자들이 쓴 'The anatomy of large scale search engine' 논문 [5] 텍스트마이닝 기술을 적용한 대용량 온라인 문서데이타의 계층적 조직화 기 법", 서울대 학위논문
[6] Soumen Chakrabarti , "Mining the Web Discovering knowledge from Hypertext Data" , MORGAN KAVFMANN PUBLISHERS
[7] Soumen Chakrabarti , "Mining the Web Discovering knowledge from Hypertext Data" , MORGAN KAVFMANN PUBLISHERS
[8] Dan Sullivan , "Document Warehousing and Text Mining Techniques for Improving Business Operations, Marketing and Sales" , WILEY COMPUTER PUBLISING
[9] Tom M. Mitchell(Carnegie Mellon University), "MACHINE LEARNING", The McGraw-Hill Companies, Inc
[10] Sergey Brin and Lawrence Page, “The anatomy of large scale search engine”
[11] Rosie Jone, Andrew McCallum, Kamal Nigam and Ellen Riloff,
"Bootstrapping for Text Learning Tasks", IJCAI-99 Workshop on Text Mining Foundations, Techniques, and Applications
[12]Kanagasa R. and A-H. Tan, "Topic Detection, Tracking and Trend Analysis Using
[13]Tan, A-H, "Predictive Self-Organizing Networks for Text Categorization". in Proceedings, Fifth Pacific- Asia Conference on Knowledge Discovery and Data Mining (PAKDD'01), Hong Kong, pages 66-77, 2001.
[14]Lakshmi, V., A-H Tan, C-L Tan, "Web Structure Analysis for Information Mining.
Accepted by ICDAR'01 Workshop on Web Document Analysis", Seattle, September 10-13, 2001.