국가수준 학업성취도 평가

영어과를 중심으로 국가수준 학업성취도 평가의 목적과 주요 특징에 대해 소개하면 다음과 같다.

제2주제：국내 절대평가 사례 분석 - 수능 영어영역 절대평가 도입에 대한 시사점

가. 목적

국가수준 학업성취도 평가(이하 학업성취도 평가)는 학교교육의 결과를 체계적으로 점검･관 리하기 위한 평가 체제로 국가 교육과정이 학교 현장에서 실행되어 개별 학생에 미치는 과정 및 결과를 점검하기 위한 것이다. 학업성취도 평가는 1998년 기본계획 수립 이후 평가의 목적, 대 상, 시기, 영역, 평가 유형, 표집 방법, 점수체제, 교육맥락 변인의 조사 범위와 내용, 결과 분석 과 활용 방안, 법제적 지원 방안 등 다양한 측면에서 발전해 왔다.

표본을 대상으로 교육의 질 관리에 중심을 두었던 학업성취도 평가는 2008년 정부의 ‘기초학 력 향상 지원 체계’ 구축 및 강화 정책에 따라 전수 시행 체제로 전환되었다. 이에 따라 학업성 취도 평가의 기능은 교육의 질 점검에서 학교 교육의 책무성 점검과 이를 지원하는 것으로 확대 되었다(김성숙 외, 2009b). 전수평가로의 전환은 개별 학생과 단위학교의 학업성취 수준을 점 검하여 지역 및 계층 간 학업성취 격차를 해소하기 위해 추진된 것으로, 전수평가를 통해 개별 학생, 단위학교, 각 시･도 교육청의 학업성취 수준을 파악하여 그에 적절한 학력 향상 지도 방 안을 마련하고 단위학교나 교육청의 책무성을 강화할 수 있게 되었다. 특히, “교육관련기관의 정보공개에 관한 특례법”(법률 제8492호, 2007. 5. 25 공포)과 그 시행령(대통령령 제 21119 호, 2008. 11. 17 제정, 2013. 11. 5개정)에 의해 학업성취도 평가 결과의 공개가 의무화되고, 평가 결과가 연도별로 축적되면서 객관적 데이터를 기반으로 한 교육 정책의 결정이 가능하게 되었다. 그러나 새 정부의 국정과제 실천계획(2013. 3. 28)에 따라 학생들의 평가 부담을 완화 하기 위해 2013년에 초등학교 학업성취도 평가가 폐지되고 중학교 평가 교과는 종전 5개 교과 에서 3개 교과(국어, 수학, 영어)로 축소되면서 기초학력 보장 정책의 추진은 새로운 국면을 맞 이하게 되었다.

나. 국가수준 학업성취도 영어 평가의 특징

국가수준 학업성취도 평가의 출제, 시행, 채점, 점수 산출, 성적 통지 단계에서의 주요 고려 사항과 특징에 대해 설명하면 다음과 같다.

출제

국가수준 학업성취도 영어 평가 대상은 중학교 3학년과 고등학교 2학년 전체 학생이며, 평가 영역은 듣기, 읽기, 말하기, 쓰기의 4개 영역이다. 학업성취도 평가는 지필시험(paper-based

test: PBT)으로 시행되기 때문에 말하기와 쓰기는 간접 평가로 이루어진다. 문항 유형은 선다 형과 서답형으로 구성되어 있으며, 문항 수는 선다형 34문항, 서답형 6문항을 포함하여 총 40 문항으로 구성되어 있다.

매년 시행되는 국가수준 학업성취도 평가의 주된 목적 중 하나는 학생들의 연도별 학업성취 도 변화 추이를 점검하는 것이다. 이를 위해 학업성취도 평가에서는 매년 평가 결과를 이전 연 도의 평가 결과와 상호 비교하기 위해 검사동등화를 수행하고 있다. 검사동등화에서 중요한 부 분 중 하나는 자료수집을 위한 동등화 설계이다. 학업성취도 평가가 전체 학생을 대상으로 하는 고부담 시험으로 전환되면서, 공정하고 객관적인 평가를 위해 검사 및 문항의 보안을 유지하는 것이 매우 중요한 문제가 되었다. 학업성취도 평가에서 적용하고 있는 검사동등화 설계의 기본 원칙은 다음과 같다.

◦ 학교급별로 총 4개의 검사유형 개발

◦각 검사유형은 본검사(채점에 포함되는 문항)와 외적가교문항세트(채점에 포함되지 않고 동등화를 위한 문항)로 구성

◦선택형 문항만을 가교문항으로 사용

◦기본형의 외적가교문항세트는 해당 연도 시행 후 다시 쓰이지 않음. 그 이외의 외적가교 문항은 이후 연도에 외적가교문항으로 다시 사용함

◦동등화를 위한 표집 크기는 2,000명 내외로 선정

시행

학업성취도 평가에서는 학업성취도 변화 추이 파악 및 서답형 채점기준의 타당성을 검증하기 위해 표집평가를 병행하여 시행하고 있다. 국가수준 학업성취도에서 적용하고 있는 표집설계는

<표 4>와 같다.

제2주제：국내 절대평가 사례 분석 - 수능 영어영역 절대평가 도입에 대한 시사점

<표 4> 국가수준 학업성취도 평가 표집 설계

구분 내용

모집단 중학교 3학년, 고등학교 2학년

학교 표집틀 시･도교육청을 통한 전국 조사

표집 설계 2단계 층화 군집 설계

표집 단위 1단계 학교

2단계 학급

층화변인 외층 시･도교육청

내층 도시화와 학교유형

표집방법 1단계 체계적 표집법

2단계 표집학급 무선 표집

기준 학급 크기 30명 (고등학교 35명)

표본 크기 중･고등학교 8,000명

평가 시행의 질 관리를 위해 학업성취도 평가에서는 시행의 전 과정을 상세하게 기술한 학업 성취도 평가 세부 시행 계획을 개발･배포하여 평가 대상 학교들이 표준화된 절차에 의해 전국적 으로 동시에 평가가 실시되도록 하고 있다. 이를 위해 평가 시행을 담당하는 시･도교육청 및 교 육지원청 평가 담당관, 단위 학교의 시행책임자 및 감독교사들을 대상으로 표준화된 세부 시행 계획에 대한 연수를 실시하고, 평가 시행일에는 상황실을 운영하여 평가 당일 발생할 수 있는 사안에 대해 신속하게 대처하고 있으며, 시행 후에 평가 자료를 원활하게 수합할 수 있도록 평가 결과 자료 생성 및 송부 방법에 대한 담당자 연수를 실시하고 있다.

채점

학업성취도 평가 채점에서는 선다형의 경우 자동채점, 서답형의 경우 온라인으로 교사채점이 진행된다. 서답형 문항의 채점 신뢰성을 확보하기 위하여 전수채점 이전에 표집채점을 통해 채 점기준의 타당성을 검증하여 채점기준을 수정･보완하고, 채점소요 시간을 산정하여 점수채점에 필요한 채점자 수를 확정한다. 동일 답안에 대해 2명의 채점자가 복수 채점하며, 2명의 채점 결 과가 일치하지 않을 경우 재채점을 실시한다. 2013년 고등학교 영어과 학업성취도의 경우 780 명 정도의 채점자가 본채점에 참여하였다.

점수 산출

학업성취도 평가에서는 학생들의 성취수준을 4단계로 평정한다. 앞에서 설명한 검사동등화 를 적용하기 위해 여러 유형의 검사를 제작하고 이들 검사들의 점수가 상호 비교 가능한 형태를 갖추어야 하는 경우, 검사의 원점수 대신 별도의 척도점수를 개발해 기본점수척도(primary score scale)로 사용하는 것이 필요하다. 준거참조평가의 대표적 사례에 해당하는 학업성취도 평가의 점수 체제에 대한 이해를 위해 학업성취도 평가의 척도점수와 성취수준의 산출 절차를 간략히 제시하면 다음과 같다.

① 척도점수(평균 200, 표준편차 30, 점수 범위 100~300) 산출

- 원점수를 점수대별 측정오차가 유사하도록 비선형 변환 후 이를 목표 특성을 갖도록 선 형 변환

- 표집자료를 기반으로 시행 연도의 난이도를 점수에 반영하여 기준 연도 점수와 비교할 수 있도록 가교문항을 활용한 검사동등화 방법을 적용하여 통계적으로 조정

- 원점수-통계적으로 조정된 점수-척도점수의 변환표에 근거하여 척도점수 산출

② 성취수준 설정을 위한 분할점수 산출

- 교과 전문가 및 교수･학습 경험이 풍부한 현직교사로 구성된 전문가 집단의 협의를 통 해 분할점수 산출(교과별 20명으로 구성)

- 변형된 Angoff 방법 적용: 전문가들이 각 성취수준의 최소능력자에게 기대하는 문항정 답률을 추정하고 이를 합산하여 분할점수 산출

성취수준의

개념적 정의 → 성취수준별

최소능력 특성 확인 → 문항

검토 → 성취수준별

문항 정답률 판정 → 성취수준별 분할점수 산출 (* 반복: 최소 3 라운드) [ 그림 2 ] 성취수준 설정 절차

분할점수를 산출하기 위하여 학업성취도 평가 성취수준 설정 과정에서 활용하고 있는 각 성 취수준에 대한 일반적인 특성은 <표 5>와 같다.

제2주제：국내 절대평가 사례 분석 - 수능 영어영역 절대평가 도입에 대한 시사점

다. 고려 사항

성취평가제에서 언급한 평가도구의 타당성 확보, 분할점수 산출 방법의 타당성 확보 방안 외 에 수능 절대평가 도입에서 학업성취도 평가를 통해 얻을 수 있는 시사점은 다음과 같다.

첫째, 검사동등화 설계에 따른 출제의 어려움이다. 고부담 시험에서는 검사 및 문항의 보안 이 매우 중요한 쟁점으로 부각되기 때문에 검사동등화를 위해 향후에 가교문항으로 사용될 문항들은 노출이 되지 않아야 한다. 이를 위해 학업성취도 평가에서는 예비검사 과정에서 노출되었던 문항이 일부 학생들에게 유출되었다고 하더라도, 특정 개인의 성적에 유리하 게 작용하는 경우는 없으며 검사동등화에 미치는 영향을 최소화하는 검사동등화 설계를 적용하고 있다. 그러나 이를 위해서는 검사동등화 설계 원칙에 따라 많은 유형의 검사를 제작해야 하며, 이에 따라 시행과 결과 분석에서도 많은 시간과 노력, 예산이 소요되는 단점이 있다.

둘째, 성취수준별 대표 문항 확보를 위한 적정 난이도 출제 방안이다. 현재 학업성취도 평가 결과표의 성취수준기술에서 활용하고 있는 문항 연계 방법은 성취수준별 특성을 대표할 수 있 는 문항들이 충분히 확보되어야 적용가능하다. 이는 출제 단계에서부터 각 성취수준별 특성을

둘째, 성취수준별 대표 문항 확보를 위한 적정 난이도 출제 방안이다. 현재 학업성취도 평가 결과표의 성취수준기술에서 활용하고 있는 문항 연계 방법은 성취수준별 특성을 대표할 수 있 는 문항들이 충분히 확보되어야 적용가능하다. 이는 출제 단계에서부터 각 성취수준별 특성을