ｰ 이 실험의 목적은 단어 쌍에 유사성 점수를 할당하여 인간의 학습 점수를 사
ｰ 이 실험의 목적은 문장 쌍에 유사성 점수를 할당하여 인간의 학습 점수를 사용하여 기계 학습(machine learning) 알고리즘을 훈련하고 조정할 수 있도록 하는 것임
ｰ 제시된 문장 쌍에 대한 유사성 점수는 0과 5사이에서 점수를 배정함
ｰ 유사성은 비슷함(similarity), 관련성(relatedness)과 유사한 의미로 혼용되어 사용됨
ｰ 문장 자체의 유사성은 5이어야 함. 유사성 점수에 소수점 점수(예; 3.5)를 지정할 수 있음
<표 6> 문장 유사도 평가표
ｰ 문장 유사도 평가 지침
평가표 시작 부분에 참여자의 이름을 기입하세요.
필요한 경우 설명이 필요할 때 연락할 수 있도록 해야 합니다.
평가표 해당란에 유사성 점수를 기입하세요. 문장 쌍에 대한 유사성 점 수는 0 과 5 사이서 점수를 배정합니다.
특정 단어의 의미를 모르는 경우 사전 또는 인터넷을 사용하세요.
친구에게 유사성 점수 부여에 대하여 상담하지 마세요. 당신이 배정하 는 점수가 다른 누군가와 독립적으로 평가되는 것이 매우 중요합니다.
평가를 하다가 궁금한 사항이 있거나 추가 설명이 필요한 경우 언제든 지 연락하세요.
<표 7> 문장 유사도 평가 예시
라. 단어 의미유사도 평가
ｰ 자율성장 인지컴퓨팅 테스트베드를 위한 “단어 의미유사도 평가셋” 구축은 다음의 절차에 의해 이루어 졌음
대용량 Data Set 에서 다양한 도메인에서, 고빈도/저빈도를 고려하여 단 어 의미유사도 평가를 위한 4 천개의 단어를 추출하였음
추출된 4 천개의 단어에 의미유사성이 있는 단어의 쌍을 만듬
4 천개의 단어쌍을 대상으로 10 명의 평가자가 0(다른 의미)에서 10(동
일 의미)까지 의미 유사도를 평가하였음.
각 단어쌍의 의미유사도 평균값과 표준편차를 구하고, 4 천개의 단어쌍 중 표준편차가 낮은 3 천개의 단어쌍을 “단어 의미유사도 평가셋”으로 선정하였음
단어 의미유사도 평가셋 구축을 위한 단어 의미유사도 평가 결과는 다 음과 같음
<표 8> 단어 의미 유사도 평가 결과
마. 문장 의미유사도 평가
ｰ 자율성장 인지컴퓨팅 테스트베드를 위한 “문장 의미유사도 평가셋” 구축은 다음의 절차에 의해 이루어 졌음
대용량 Data Set 에서 다양한 도메인을 고려하여 문장 의미유사도 평가 를 위한 4 천개의 문장을 추출하였음
추출된 4 천개의 문장은 다양한 도메인이 고려되었고 7 어절~15 어절 수 준의 문장 길이를 유지하여 의미유사도가 있는 문장쌍을 만듬
4 천개의 문장쌍을 대상으로 10 명의 평가자가 0(다른 의미)에서 5(동일 의미)까지 의미유사도를 평가하였음
각 문장쌍의 의미유사도 평균값을 구하고, “문장 의미유사도 평가셋”
을 구축하였음
문장 의미유사도 평가셋 구축을 위한 문장 의미유사도 평가 결과는 다 음과 같음
<표 9> 문장 의미 유사도 평가 결과