□ 자동채점 프로그램의 성과와 기대 효과
○ 의의 및 성과
- 대규모 한국어 서답형 답안을 기계로 채점하는 시스템을 최초로 구축함.
- 단어･구 수준 서답형 문항을 정확하고 신뢰롭게 채점함은 물론, 향후 문장 수준 문항의 채점 가능성도 적정하게 확보함.
- 단답형 처리로 출발하는 단계적 연구 및 개발은 현재 상태로서 실용성을 담보하면서도, 확장된 언어 단위의 자동채점 연구에 기반을 제공함.
- 자동채점을 통한 채점 결과 및 채점 정보는 교수･학습을 위한 정보로 즉각 제공 가능함.
○ 기대 효과
[그림 5-1] 한국어 자동채점 프로그램 개발 및 활용의 기대 효과
□ 자동채점 프로그램의 한계 및 대처
- 외부적 한계 : 현재 국가 단위의 주요 평가에서 본격적으로 컴퓨터 기반으로 검사를 시행하고 있지 않아 자동채점을 전격적으로 적용하기 어려움.
- 대응 방안 : 컴퓨터 기반 평가 체제가 정착되기 전까지는 지필 평가를 통해 얻은 학생들의 답안을 스캔하여 문자로 전환하는 방식이나 학생이 보조 단말기나 스마트 기기를 이용하여 답안을 입력하는 방식을 이용함.
- 내부적 한계 : 한국어 처리 기술과 지식베이스 축적이 충분하지 않음.
- 대응 방안 : 현재 한국어 처리 기술이 갖는 한계는 연구의 진행과 더불어 극복 가능함.
즉, 한국어 처리 분야 전문가들이 그간 자동채점 연구에 초점을 두지 않았으나, 실제적으로는 이와 관련한 상당한 기술적 역량을 축적하고 있음. 따라서 현재의 기술적 한계는 자동채점 프로그램 개발과 함께 극복해 나갈 수 있음.
□ 자동채점 프로그램 활용 1 : 대규모 평가의 채점 지원 도구
○ 국가수준 학업성취도 평가 표집채점 교과의 자동채점 적용
- 국가수준 학업성취도 평가의 교과별 문항 특성에 따라 표집학생을 대상으로 2015년 사회 교과, 2016년 과학･영어･수학 교과, 2017년 국어 교과를 순차적으로 자동채점에 적용 가능함.
○ 국가수준 학업성취도 평가 전수채점을 위한 채점 기준 및 답안 유형 제공
- 전수채점 교과인 국어･영어･수학의 경우, 표집학생들의 답안을 자동채점으로 처리 하고, 표집학생의 답안과 점수를 전집학생들의 답안 채점을 지원하는 자료로 활용할 수 있음.
- 자동채점을 위해 표집학생들의 답안을 모두 입력한 상태이기 때문에, 약 8,000명의
○ 채점 절차의 간소화
- 현행 국가수준 학업성취도 평가의 표집채점을 자동채점 방식으로 전환할 경우 채점 절차를 간략화할 수 있음.
- 현행 국가수준 학업성취도 평가는 복수의 채점자가 동일 답안을 채점하여 점수 차이가 있는 경우 추가적으로 3라운드까지 진행하고 이후 불일치한 답안은 교과 전문가가 4라운드에서 최종 결정함.
[그림 6-1] 현행 국가수준 학업성취도 평가 표집･전수답안의 온라인 채점 절차
- 자동채점 절차는 답안 입력 단계와 자동채점 단계로 나눔. 답안 입력 단계에서는 동일 답안에 대해 개별 입력자가 복수로 입력하여 일치한 경우만 자동채점 단계로 전달함. 채점의 정확성을 담보하기 위해 자동채점 프로그램을 활용하여 해당 교과 전문가 3인이 동일 답안에 대해 독립 채점하고 일치하는 경우를 학생의 최종 점수로 확정함.
[그림 6-2] 국가수준 학업성취도 평가 표집답안의 자동채점 절차 (안)
□ 자동채점 프로그램 활용 2 : 학교 단위의 교수･학습 지원 도구
○ 자동채점 결과 활용을 통한 교수･학습 지원
- 개별 학생에게 자동채점 도구로 최종 점수 외에 점수에 대한 채점 정보와 후속 학습 정보를 제공하여 학생의 자기주도적 학습을 도움.
[그림 6-3] 2013년 학업성취도 평가 국어 자동채점 결과표 예시
- 교사에게 자동채점 결과 정보를 제공하여 교수 설계를 도움. 올해 개발한 단어･구 수준 자동채점 프로그램은 교과 서답형 점수의 평균, 표준편차, 고빈도 답안 목록, 그 답안을 작성한 학생의 빈도 및 비율이 제공되고 이 정보들은 교사의 선택에 따라 지역, 학교, 학급 단위로 확인할 수 있음.
○ 교실 안 형성평가의 활성화 지원
- 학교 단위에서 웹서베이 도구5)를 활용해 답안 입력을 간편화할 수 있음. 현재 서답형 문항의 자동채점 활용이 어려운 이유 중 하나는 교사들이 학생들의 서답형 답안을 수동으로 입력해야 한다는 점임. 이에 대한 해결 방안의 하나로 웹서베이 도구를 학교 단위 평가에서 사용할 경우 학생들의 답안을 직접 입력하는 교사의 추가적인 노력이 필요 없음.
- [그림 6-5]는 스마트폰을 사용하여 서답형 문항의 답안을 입력하는 장면을 캡처한 것임. 이처럼 서답형 문항의 답안은 스마트기기(스마트폰, 태블릿 PC)를 사용하여 학생들이 직접 입력할 수 있음.
[그림 6-5] 구글 폼을 통해 입력한 서답형 답안 입력 예시
- 학생별로 개별 입력된 답안은 한 학급의 데이터 자료로 마련되고 이를 교사가 자동 채점할 수 있음. 이처럼 데이터화된 학생 답안은 자동채점을 거쳐 개별 학생에게 즉각적으로 그 결과를 제공하고, 나아가 학급이나 학교 단위의 점수 평균, 표준편차, 고빈도 답안 유형 목록 등의 결과를 산출하여 교사에게 수업에 도움이 되는 피드백 자원을 제공할 수 있음.
5) 대표적인 웹서베이 도구로는 구글 폼(google forms: www.google.com/google-d-s/createforms.html), 서베이 몽키(survey mongkeys: https://ko.surveymonkey.com/), 쿼트릭(Qultrics: http://www.qualtrics.com/panel-management/), 서베이기즈모(surveygizmo: http://www.surveygizmo.com/) 등이 있음.
❚ 참 고 문 헌❚
Landis, J.R.; Koch, G.G. (1977). The measurement of observer agreement for categorical data.
Biometrics, 33(1), 159–174.
Shermis, M. D., & Hamner, B. (2013). Contrasting state-of-the-art automated scoring of essays:
Analysis. Retrieved from http://www.scoreright.org/NCME_2012_Paper3-㉡9_12.pdf.