OntoFrame 2007은 지식기반 시맨틱 기술이 적용된 정보 서비스 기술 연구 개발의 결과물이며 NDSL Scholar는 일반 키워드 기반의 학술정보 서비스 시스템으로 파악된다. 본 비교평가 보고서는 지식기반 시맨틱 기술이 적용된 OntoFrame 시스템의 사용성 평가 결과를 보고하고 있다.
원래의 소프트웨어 사용성은 해당 소프트웨어를 사용하여 목표하고자 하는 문제를 해결하는데 있어서, 사용자가 얼마나 쉽고 빠르며 정확하게 과업을 완수하는가를 의미하는데, 본 보고서의 사용성 평가는 보고서에 언급한 바와 같이 기능성 측면의 사용성 평가를 하고 있으며 사용의 편리성에 의한 사용자 인터페이스 측면의 사용성 평가는 하지 않고 있다. 따라서 기능성 사용자평가가 강조된 반면 사용의 편리성 측면이 결여됨으로 완전한 사용성 평가로 보기는 어려운 측면이 있다.
OntoFrame 2007의 원래 목적은 새로운 기술인 지식기반 시맨틱 기술이 적용된 정보 서비스 기술 연구 개발의 결과물로서 키워드 기반의 학술정보 서비스 시스템인 NDSL Scholar와의 사용성 평가에 있어 절대적인 평가는 합당하지 않다고 판단이 된다. 이는
보고서에서도 언급하고 있는 바와 같이 “OntoFrame과 NDSL의 기능적 사용성 비교 평가는 OntoFrame에 적용된 시맨틱 웹 기술의 장단점을 파악하고, 개선하기 위한 목적을 가지고 있다”처럼 보고서에서 목적하는 바와 같은 목적을 가지고는 의미가 있으나 애초에 기능을 가지고 있지 않은 시스템(NDSL)과 기능을 가지는 시스템(OntoFrame)과의 절대 비교는 무리가 있다고 판단된다.
테스트 과제의 선정문에 있어서 5-7번 과제문의 경우 OntoFrame이 추구하는 테스트 과제로 선정된 느낌이 있는데, 이는 애초에 가지고 있지 않은 시스템과 그 기능을 가진 시스템과의 평가 비교를 한다는 것은 무리가 있어 보인다.
본 연구의 목적은 보고서에서 언급하고 있는 바와 같이
“Semantic Web기술이 적용된 정보서비스 환경과 일반 웹 정보 서비스 환경의 다른 점을 살펴보는 것이라 할 수 있다”와 같이 어떤 서비스적인 차별성이 있는지를 파악하는 바로는 적합한 비교평가가 될 수 있다.
OntoFrame이 추구하는 지식기반 시맨틱 기술이 일반 키워드 기반의 NDSL Scholar와의 실험 통계에 나타난 바와 같이 기능 (검색 효율성 포함) 및 시간상 우위를 점하는 것은 인정이 된다.
추후 일반적인 정보서비스 시스템 평가처럼 (예, TREC 비교평가) 일반적인 테스트 컬렉션 (추론기능이 포함될 수 있음)을 가지고
공동의 목표를 갖는 두 개의 시스템간 평가가 이루어져야 공정한 평가가 될 것이다. 여기에는 적합성정보를 갖는 테스트컬렉션에서 정확률과 재현율을 가지고 평가를 해야 할 것이다. 아울러 검색시간의 평가가 동시에 이루어져야 할 것이다.
㈜코리아와이즈넛 박재득 (2008.08.14)
"좋은 소프트웨어가 잘 팔리는(이용되는) 것이 아니라, 잘 팔리는(이용되는) 소프트웨어가 좋은 소프트웨어다"라는 말이 있듯이, 최신 첨단이라서 좋아 보이는 기술을 적용한 소프트웨어라고 해서 반드시 잘 팔리거나 사용된다는 보장이 없으며, 실제 사용자들이 얼마나 편리하고 유용하게 잘 사용할 수 있느냐가 진정한 의미의 기술 혁신을 증명하는 것이라고 본다.
이러한 관점에서, 최근 크게 관심을 끌고 있는 첨단 지식기반 시맨틱 기술을 응용한 OntoFrame 시스템의 유용성, 또는 기능적 사용성을 임의의 실 사용자의 일부를 대상으로 하여 실험적으로 평가해보는 것은 매우 중요하고도 이전 연구 등에서 쉽게 찾아보기 힘들며 절실히 필요한 시도라고 높이 평가할 수 있다.
임의의 소프트웨어에 대한 사용성 평가를 위하여, 비교하고자 하는 항목에 대해 효과적이고 명확하게 차이를 확인해볼 수 있게 구체적이고 명확하며 실용적인 고찰에 기반하여 실험 방법론을
조사 분석 후에 정립하였고, 이를 기반으로 여러 가지 현실적인 제약사항과 평가 목적의 특수성을 감안하여 적절한 평가를 수행하였다고 본다.
평가 방법을 적용하여 도출된 결과를 분석하는 데에 있어서도, 관찰 수집된 데이터로부터 체계적으로 미리 잘 정해진 방법으로 일관성 있게 분석하여, 직관적으로 예측되었던 결과와 예측 이외의 결과의 대해서도 적절한 원인의 분석과 향후 개선 및 발전 방향의 도출이 적절하였다고 본다.
이러한 적절한 방법론의 적용을 통하여, OntoFrame 시스템이 기존의 유사한 목적을 갖는 검색 시스템에 비하여, 여러 가지 측면에서 직관적으로 예견되던 특장점들이라고 볼 수 있는 1) 자료 및 정보간의 상호 유기적인 연계성을 이용한 고급 정보의 생성, 2) 지식기반 추론을 통해 검색 결과의 정확성을 제고, 3) 복잡한 정보 요구에 대해서도 상대적으로 짧은 시간에 원하는 결과를 획득 등의 특징들을 여실히 보여주고 있음을 관찰할 수 있었다는 점도 의미 있는 결과라고 볼 수 있다.
이러한 의미 있는 첫 시도의 방법론과 결과를 기반으로, 향후에는 좀 더 심화된 연구를 할 수 있을 것으로 기대한다. 향후 심화 연구에서 보완되었으면 하는 것은, 1) 좀 더 많은 테스트 시나리오 2) 시맨틱 정보 시스템에 대한 특징적인 다양한 형태의 사용자
인터페이스에 의한 사용성 증대 여부 3) 지능적 처리를 위해 처리 시간이 좀 지연되더라도 결과가 만족스러운 경우에, 기존 검색 대비 반응 시간이 좀 느려져도 어느 정도 감내할 수 있는가 등에 대한 연구가 필요한 것으로 사료된다.
[참고 문헌]
김진우. Human Computer Interaction 개론. 안그라픽스. 2005.
김한샘, 김효영, 한혁수. 정신모형과 감성 요소를 이용한 소프트웨어 사용성 평가 모델 개발. 『한국정보과학회논문지: 소프트웨어 및 응 용』, 30 (1): 117-128. 2003.
지용구. IT업계에서의 사용성 및 사용자 중심 설계에 관한 현황 조 사. 『 한국감성과학회 추계학술대회 』 , 2003년 11월 22일. (서울, 숭실대학교). 2003.
H. Jung. Developing Information Dissemination Platform Combined with Semantic Web-based Inference Services. In Proceedings of the 20th International CODATA Conference. Beijing, China, 87-88.
2006.
J. Nielsen. Card Sorting: How Many Users to Test, Jakob Nielsen's Alertbox. 2004.
J. Nielsen. Quantitative Studies: How Many Users to Test?, Jakob Nielsen's Alertbox. 2006.
J. Rubin. Handbook of Usability Testing. John Wiley & Sons. 1994.
Andre, T., Williges, R. and Hartson, H. The effectiveness of usability evaluation methods: determining the appropriate criteria.
Proceedings of the Human Factors and Ergonomics Society 43rd Annual Meeting (Santa Monica CA: HFES) 1090-1094. 1999 Card, S. , Moran, T. and Newell, A. The Psychology of
Human-Computer Interaction. (Hillsdale NJ: LEA.). 1983
Gray, W. John, B. and Atwood, M. The precise of project Ernestine or An overview of a validation of GOMS. Proc. of the Annual ACM SIGCHI Conference: CHI '92, New York: ACM Press 307-312.
1992
John B. and Marks, S. Tracking the effectiveness of usability evaluation methods, Behavior and Information Technology, 16, 4/5, 188-202. 1997
Lewis, J Sample sizes for usability studies: additional considerations. Human Factors, 36 (2) 368-378. 1994
Nielsen, J. Finding usability problems through heuristic evaluation Proceedings of the ACM SIGCHI Conference: CHI 1992 (New York: ACM), 373-380. 1992
Nielsen, J. Heuristic Evaluation. In J. Nielsen and R. Mack (eds.) Usability Inspection Methods (New York: Wiley) 25-62. 1994 Shackel, B. Usability - Context, Framework, Definition, Design and Evaluation. In B. Shackel and S. Richardson (eds.) Human Factors for Informatics Usability (Cambridge: Cambridge University Press) 21-38. 1991
Wharton, C. Rieman, J. Lewis, C. and Polson, P. The Cognitive Walkthrough Method: A Practitioner's Guide. In J. Nielsen and R.
Mack (eds.) Usability Inspection Methods (New York: Wiley) 105-140. 1994