읽기 및 수학 영역의 학습성과는 각 국가에서 초등 전기 및 초등 후기 능력평가 검사를 통해 지속적으로 측정하되 국제적으로 비교 가능하도록 측정되어야 한다. 이를 위해서는 각 국가에서 사용하는 능력평가 검사의 점수척도가 국제공통의 발달점수척도와 연계되어 야 한다. 즉, 각 국가에서 사용하는 읽기 및 수학 능력평가 검사의 점수는 개념상 “절대적 인” 발달점수척도에 기초하여 해석되고 성취수준이 결정되어야 한다. 본 연구에서는 읽기 및 수학 영역의 학습성과를 국제적으로 비교하기 위한 방안의 하나로 ‘판단적 조정 (judgmental moderation)에 의한 방안’을 제안한다. 판단적 조정은 Mislevy(1992)와 Linn(1993)이 분류한 검사 연계(linking)의 한 유형(다른 분류방식은 Holland, 2007 참고)으 로 전문가적 판단에 의해 검사 간의 대등한 점수를 찾는 과정이다. 대개 판단적 조정은 기 준설정을 통해 이루어진다(Kolen & Brennan, 2014). 이 방안의 구체적인 방법과 예시, 장 점과 제한점은 다음과 같다.
가. 방법
판단적 조정에 의한 학습성과 비교 방안은 “실제적인 국제공통 발달점수척도의 개발 없 이” 각 국가에서 1주기의 초등전기 및 초등후기 능력평가 검사에 대해 “국제공통의 성취수 준”을 전문가적 판단에 의해 관념적으로 적용하여 국제 간 대등한 분할점수를 찾는 방법이 다. 이 방안의 기본 논리는 읽기 및 수학 영역의 학습성과에 대해 국제공통의 성취수준을 각국이 사용하는 능력평가 검사에 대해 해당 전문가들이 “절대적으로” 해석하여 찾은 분 할점수들은 국제적으로 동등한 성취수준을 나타낸다는 것이다. 다시 말해서, 국제공통의 성취수준 개념에 기초하여 각 국가에서 1주기의 기본 검사형에 대해 기준설정을 통해 찾 은 분할점수들은 국제적으로 대등한 점수로 간주한다.
[그림 IV-3] 판단적 조정에 의한 기본 검사형(초등전기 국내 검사, 초등후기 국제 검사)에 대한 분할점수 설정
이 방법의 구체적 절차는 다음과 같다([그림 IV-3] 참조). 첫째, 각 국가에서는 읽기 및 수학 영역의 각 학습성과를 평가하기 위해 초등전기 및 초등후기 능력평가 검사(기본 검사 형)를 개발하거나 선정한다. 만약 어떤 국가가 국가수준의 읽기 및 수학 능력평가 검사를 보유하고 있지 않으면서 해당 국제 검사에도 참여하지 않고 있다면 자체적으로 국가수준 의 능력평가 검사를 개발할 필요가 있을 것이다. [그림 IV-3]에서 보듯이, 어떤 국가는 초 등전기의 국가수준 능력평가 검사를 보유하고 있지만 초등후기의 검사를 보유하고 있지 않아서 초등후기의 해당 국제 능력평가에 참여할 수도 있을 것이다.
둘째, 각국에서 사용하는 읽기/수학 능력평가 기본 검사형에 대해 기준설정을 통해 국제 공통의 성취수준을 평가할 수 있는 분할점수를 찾는다. 만약 사용된 기본 검사형이 국제 능력평가 검사라면 그 국제 평가에 참여하는 여러 국가들이 검사개발 기관과의 협의 하에 공동으로 기준설정 작업을 진행할 필요가 있을 것이다.
셋째, 2주기부터는 동등화를 통해 후속 검사의 점수척도를 기본 검사형의 점수척도로 연 계하여 대등한 분할점수를 찾는다. 검사동등화 자료수집 설계로는 공통문항 설계(common-item design), 랜덤집단 설계(random groups design), 단일집단 설계(single-group design) 등 검사실시상의 편의와 보안상의 문제 등을 고려하여 적절한 설계가 사용되어야 한다. 검
사 간 동등한 점수를 찾기 위해 IRT 척도연계와 동등화 방법(Holland & Dorans, 2006;
Kim, Harris, & Kolen, 2010; Kolen & Brennan, 2014)을 사용할 수 있다.
나. 판단적 조정 방안 적용 예시
판단적 조정에 의한 학습성과 비교 방안을 예시를 통해 설명하면 다음과 같다. 설명의 구체성과 편의를 위해 평가영역과 예시 국가를 수학과 우리나라로 국한한다. III장에서 수 학 영역은 “수, 도형, 측정, 자료”의 4가지 내용요소(즉, 평가내용)로 구성됨을 확인하였다.
이러한 전제 하에서 이 방안의 실제적 적용은 다음과 같이 이루어질 수 있다.
먼저 기준설정 작업을 적용할 초등 전기 및 초등 후기 국가수준 혹은 국제 수학능력평 가 검사를 개발하거나 선정한다. 우리나라의 경우 초등 전기용 국가수준 수학능력평가 검 사는 시행되지 않고 있으며, 초등 후기용 검사는 국가수준 학업성취도평가의 수학 검사로 6학년에 시행되다가 중단된 상태이다. 한편, 우리나라는 초등학교 4학년생들과 중학교 2학 년생들이 TIMSS 국제평가에 참여하고 있다. 앞 절에서 요약하였듯이, 4년 주기로 실시되 는 TIMSS는 수학 영역의 “수, 도형, 측정, 자료”의 4가지 내용을 모두 평가한다. 즉, TIMSS 수학 검사는 초등후기용 수학 영역의 학습성과를 측정하는 도구로 사용될 수 있 다. 이러한 검사 개발 혹은 참여 상황을 고려할 때, 우리나라는 초등 전기용 수학능력 평가 검사는 국가수준에서 자체 개발하고, 초등 후기용 수학능력 평가 검사는 자체 개발하는 대 신 TIMSS의 수학 검사를 사용하는 것으로 결정할 수 있다.
둘째, 개발된 초등전기용 국가수준 수학능력 평가 검사(기본 검사형)와 4학년용 TIMSS 의 수학 검사(기본 검사형) 각각에 대해 기준설정 작업을 통해 국제공통 수학 능력의 성취 수준 간 분할점수를 찾는다. 예를 들어, 기본(foundational), 중간(intermediate), 능숙 (competent), 고급(advanced)의 4개의 범주로 나누었다면 초등 전기와 초등 후기 각 기본 검사형에 대해 최대 3개의 분할점수를 찾을 수 있다. 초등 전기와 초등 후기의 각 검사가 3개의 분할점수를 갖기 위해서는 4개의 성취수준을 포괄할 만큼 충분한 수의 문항으로 다 양한 검사내용(평가내용)을 측정해야 할 것이다. 검사의 길이가 짧고 넓은 범위의 평가내 용을 다루지 않을 경우 검사점수의 범위는 좁게 되고, 따라서 이 검사점수 척도에서는 2개 의 분할점수(예를 들어, 기본/중간 분할점수, 중간/능숙 이상 분할점수)만이 설정될 수도 있다. 기술적으로, 기준설정을 위해 수정된/확장된 Angoff 방법(Angoff, 1971; Brandon, 2004; Hambleton & Plake, 1995)이나 Bookmark 방법(Karantonis & Sireci, 2006; Mitzel, Lewis, Patz, & Green, 2001)을 사용할 수 있다. 초등전기용 국가수준 수학능력평가 검사
의 기준설정 작업에는 국내의 수학 교사, 교육과정 전문가, 측정평가 전문가 등으로 구성 된 기준설정 전문가 패널이 형성될 필요가 있다. TIMSS의 수학 검사의 기준설정 작업에 는 TIMSS 개발진과의 전문적 협의가 필수적이다. TIMSS 수학 검사의 점수척도는 4개의 성취수준(low: 400-475, intermediate: 475-550, high: 550-625, advanced: 625+)을 가지는 데, 4개의 성취수준을 경계 짓는 3개의 분할점수 475, 550, 625는 국제공통의 수학 성취수 준 개념을 적용하여 산출한 분할점수와 다를 수 있다.
셋째, 2주기 이후의 국내 혹은 국제 검사의 점수들은 1주기의 기본 검사형의 점수척도와 동일한 척도에 놓여야 발달 혹은 성장을 확인할 수 있다. 2주기 이후의 검사들이 1주기 기 본 검사형의 동형 검사로 제작되는 한 두 검사의 점수들은 동등화를 통해 상호 비교 가능 하게 된다. 동등화 과정에서 핵심은 1주기 기본 검사형에 설정된 3개의 분할점수들에 상응 하는 2주기 이후의 검사들의 점수척도상에서의 분할점수들이다. 이와 같이 두 검사 간의 대등한 점수(즉, 동등 점수)를 찾기 위해서는 자료수집 및 분석을 포함하는 동등화 연구가 수행되어야 한다. 동등화를 위한 자료수집 설계는 검사의 성격 및 목적, 실시상의 제한 및 보안 등을 고려하여 선택되어야 한다. 초등학교 6학년생에 실시된 우리나라의 국가수준 학 업성취도평가는 동등화 자료를 수집하기 위해 공통문항 설계를 사용해왔다. TIMSS의 경 우 여러 평가 연도 간의 추이를 측정하기 위해 공통문항 설계가 사용되어 왔다(Mazzeo, Lazer, & Zieky, 2006). 동등화 자료가 수집되면 두 검사의 점수척도 간의 대등한 점수를 찾기 위해 동등화의 정의와 통계적 기법이 결정되어야 한다. IRT를 사용할 경우, 동일한 능력모수()와 연관된 두 검사점수는 동등한 것으로 간주한다(Kim, Harris, & Kolen, 2010; Kolen & Brennan, 2014). 여기서 “동일한 능력모수”는 공통의 IRT 능력척도에서 파 악한 값을 의미한다. 그러나 IRT 능력척도의 미결정성(Lord, 1980) 때문에 두 검사에서 각 각 얻어진 능력척도는 임의의 원점과 단위를 가지면서 동등하지 않다. 공통의 IRT 능력척 도는 두 능력척도 중 하나를 기준척도로 하여 다른 능력척도를 기준척도로 연계함으로써 개발될 수 있다. 이러한 공통 능력척도 개발 과정을 “IRT 척도연계”라 부른다. 공통문항 동등화 설계에서는, IRT 척도연계를 위해 “개별추정 후 변환(separate estimation and scale-transformation)”, “동시추정(concurrent estimation)”, “고정문항모수추정(fixed anchor estimation)” 등의 문항모수 및 능력분포의 추정방법이 사용될 수 있다(Kim, 2006). 이전 주기와 후속 주기 검사 간의 IRT 공통 능력척도가 개발되면, 기본 검사형의 -대-척도점 수의 대응관계를 이용하여 후속 주기의 검사를 치른 피험자들의 능력수준()은 기본 검사 형의 점수척도상의 점수로 변환된다. 각 피험자의 기본 검사형 척도에서의 점수는 분할점 수들과 비교하여 해당 성취수준으로 최종 변환된다.
다. 장점
판단적 조정에 의한 학습성과의 국제적 비교 방안은 다음과 같은 장점을 가진다. 첫째, 국제적으로 비교 가능한 성취수준 간 분할점수를 설정하는 방법과 절차가 비교적 간단하 며 이해하기 쉽다. 기준설정에 대한 개념 및 절차를 이해하는 한 이 방안의 이해 및 적용은 어렵지 않을 것이다.
둘째, 국제 공통의 읽기 및 수학 능력평가 검사의 실제적 개발 없이 국제 공통의 성취수 준 개념을 곧바로 국내/국제 읽기/수학 능력평가 검사에 적용하기 때문에 국제 공통의 새 로운 검사를 개발하는 데 드는 막대한 시간과 비용을 절감할 수 있다. 특히 국제 공통의 읽
둘째, 국제 공통의 읽기 및 수학 능력평가 검사의 실제적 개발 없이 국제 공통의 성취수 준 개념을 곧바로 국내/국제 읽기/수학 능력평가 검사에 적용하기 때문에 국제 공통의 새 로운 검사를 개발하는 데 드는 막대한 시간과 비용을 절감할 수 있다. 특히 국제 공통의 읽