수학 평가틀과 CBAM 평가도구 - OECD 국제 학업성취도 평가 연구 : PISA 2012 컴퓨터 기반 평가 결과 분석

1. 수학 평가틀과 CBAM 평가도구

PISA 2012의 수학 영역에 대한 평가는 지필평가와 컴퓨터 기반 평가의 두 가지 방식으 로 시행되었다. PISA 2000 이후 수학은 지필평가로만 시행되었으나, PISA 2012에는 정보 화 사회에 적합한 수학 소양을 평가하기 위해 지필평가와 더불어 컴퓨터 기반 수학 평가 (Computer Based Assessment of Mathematics, 이하 CBAM)를 추가적으로 도입하였다.

두 방식의 평가는 동일한 PISA 2012 수학 평가틀을 토대로 하고 있지만, 서로 다른 평가 방식, 즉 지필평가와 컴퓨터 기반 평가에 적합한 문항을 각각 개발하여 사용하였다.

가. 수학 평가틀

¹³⁾

PISA 2012는 PISA 2003 이후 두 번째로 수학이 주영역인 주기로, 실세계 맥락에서 학생 들의 소양을 평가하기 위해 PISA 2003의 수학 소양 정의를 수정 보완하여 수학 소양 정의 를 제시하였다. PISA에서는 학생들이 순수 수학의 개념에 대한 이해와 더불어 실생활에서 의 다양한 맥락에서 수학적 지식과 기술을 사용하는 능력을 갖추어야 한다고 보고, 수학 소 양을 구체화하고자 했는데, 이때의 소양은 일반적인 의미인 최소한의 낮은 수준의 지식과 기술과는 차이가 있다. PISA 2012에서 제시한 수학 소양(mathematical literacy)의 정의는 다음과 같다.

수학 소양이란 다양한 맥락에서 수학을 형식화하고, 이용하고, 해석하는 개인적인 능력이 다. 여기에는 현상을 기술하고 설명하며 예측하기 위해 수학적 추론과 수학적 개념, 절차, 사 실, 도구를 사용하는 것이 포함된다. 수학 소양은 개인이 실세계에서 수학의 역할을 인식하 고, 건설적이고 참여적이며 반성적인 시민에게 요구되는 근거 있는 판단과 결정을 할 수 있 도록 도와준다(조지민 외, 2011a, p.13; 조지민 외 2012, p.21; 송미영 외, 2013c, p.27; OECD, 2013a, p.25).

PISA 2003과 비교하여 PISA 2012 수학 소양에는 실세계 문제해결과 직접적으로 관련 되며 PISA 2003 평가틀의 초석이 되는 수학적 모델링 개념과 수학적 도구의 필요성이 추 가되었다. 일부 국가에서는 수학적 도구는 알고리즘과 같은 수학적 절차를 수립하는 것까

소양은 수학에 대한 적극적인 참여에 초점을 두고 있으며, 여기에는 적극적 문제해결자로 참여하는 학생들이 ‘형식화하고’, ‘이용하고’, ‘해석하는’ 수학적 모델링의 개념이 통합되어 있다. [그림 Ⅲ-1-1]의 가장 바깥쪽 사각형은 수학 소양이 요구되는 실세계에서 일어나는 도전과 문제들의 맥락을 의미한다. 이때, 맥락은 개인적, 과학적, 사회적, 직업적 맥락으로 구체화할 수 있으며, 실세계의 현상은 공간과 모양, 변화와 관계, 불확실성과 자료, 양의 네 가지 범주의 수학적 지식과 관련지을 수 있다. 한편, 맥락의 문제를 해결하기 위해서는 다 음의 과정이 요구된다. 우선 학생들은 맥락에서의 문제를 해결하기 위해 수학적 사고와 행 동을 통해 맥락상의 문제를 수학적으로 다룰 수 있는 수학적 문제로 ‘형식화’하고, 수학적 개념, 절차, 사실, 도구를 ‘이용’하여 수학적 추론, 조작, 변환, 계산을 통해 수학적 결과를 이끌어내야 한다. 그 다음 단계에서는 수학적 결과를 원래 문제에 적용하기 위한 ‘해석’을 해야 하는데, 이 단계에는 수학적 해가 실세계 맥락에서 합리적인지 ‘평가’하는 것도 포함 된다(조지민 외, 2012, p.21; 송미영 외, 2013c, pp.27∼28; OECD, 2013a, pp.25∼26).

* 출처: 송미영 외(2013c, p.28), OECD(2013a, p.26)

[그림 Ⅲ-1-1] PISA 2012 수학 소양의 모델

수학 소양을 평가하기 위한 문항은 평가틀을 토대로 개발된다. PISA 2012 수학 평가틀 은 <표 Ⅲ-1-1>과 같이 ‘맥락’, ‘수학적 내용’, ‘수학적 과정’의 세 가지 차원으로 구성된다.

‘맥락’은 문제가 제시되는 상황 및 배경을 의미하며, ‘수학적 내용’은 맥락에서의 문제를 해 결하는 데 필요한 수학적 지식을 의미한다. ‘수학적 과정’은 한 개인이 문제가 발생한 상황 을 수학과 연결하고 문제를 해결하기 위해 연결하는 능력과 관련된다(송미영 외, 2013c, p.28; OECD, 2013a, pp.27～38).

차원 하위요소

나. CBAM 평가도구

단위문항 문항 ID 평가틀

문항 유형

맥락 수학적 내용 수학적 과정

GPS 내비게이션

CM035Q01 개인적 공간과 모양 해석하기 단순 선다형

CM035Q02 개인적 양 해석하기 단순 선다형

CM035Q03 개인적 공간과 모양 해석하기 단순 선다형

CM035Q04 개인적 양 형식화하기 구성형(A)

벚꽃

CM036Q01 사회적 불확실성과 자료 해석하기 복합 선다형

CM036Q02 사회적 변화와 관계 이용하기 구성형(A)

CM036Q03 사회적 변화와 관계 해석하기 구성형(A)

체질량 지수

CM038Q03 사회적 불확실성과 자료 해석하기 복합 선다형

CM038Q05 사회적 불확실성과 자료 해석하기 구성형(E)

CM038Q06 사회적 불확실성과 자료 해석하기 구성형(E)

<표 Ⅲ-1-3> PISA 2012 CBAM 문항 정보(계속)

* 구성형(A): 자동채점되는 구성형 문항(construct response auto-coded)

* 구성형(E): 전문가에 의한 채점이 요구되는 구성형 문항(constructed response expert)

* 출처: 조지민 외(2012, pp.69～70), 송미영 외(2013c, pp.39～40)

PISA 2012 수학 평가틀의 하위요소 구분에 따른 CBAM 문항 구성 비율은 ‘맥락’에서는 개인적 맥락, ‘수학적 내용’에서는 공간과 모양, ‘수학적 과정’에서는 이용하기에 해당하는 문항 비율이 가장 높았다. 이를 도식화하면 [그림 Ⅲ-1-2]와 같다.

* 출처: 송미영 외(2013c, pp.40～41)을 재구성함.

[그림 Ⅲ-1-2] 수학 평가틀에 따른 하위요소별 문항 분포

<표 Ⅲ-1-4>는 PISA 2012 CBAM 영역의 문항 유형에 따른 문항 구성을 나타낸다.

CBAM 문항 유형은 크게 선다형과 구성형으로 구분되며, 선다형은 다시 단순 선다형, 복 합 선다형, 선택 응답형으로, 구성형은 자동 채점되는 구성형(A), 전문가의 판단이 요구되 는 구성형(E)으로 구분된다. PISA 2012 CBAM에서는 선다형 문항(36.6%)보다 구성형 문 항(63.4%)의 비율이 더 높았다(조지민 외, 2012, p.57; 송미영 외, 2013c, p.37).

문항 유형 문항 수 문항 비율(%)

선다형

단순 선다형 8 19.5

복합 선다형 4 9.8

선택 응답형 3 7.3

구성형

구성형(A) 22 53.7

구성형(E) 4 9.8

합계 41 100.0

<표 Ⅲ-1-4> 문항 유형에 따른 PISA 2012 CBAM 문항 분포

* 출처: 조지민 외(2012, p.72)

다. CBAM 문항 예시

¹⁴⁾

CBAM 문항은 PISA 2012 예비검사 후 예비검사에 사용된 문항 중 단위문항 4개(하위 문항 12개)가 공개되었으며, 본검사가 끝난 뒤에는 본검사에 사용된 문항 중 단위문항 3개 (하위문항 10개)가 추가로 공개되었다. 예비검사 후 공개된 문항은 송미영 외(2013d)에 수 록되어 있으므로, 여기서는 본검사 이후 공개된 단위문항인 ‘CD 제작’, ‘스타 포인트’, ‘체질 량 지수’ 문항을 중심으로 살펴보고자 한다.

개발 주기 하위문항 정보

PISA 2012 예비검사 맥락 수학적 내용 수학적 과정

CM015Q01 직업적 양 이용하기

CM015Q02 직업적 변화와 관계 형식화하기

CM015Q03 직업적 변화와 관계 해석하기

최종 사용 주기 PISA 2012 본검사

CD제작

CM015Q02

[그림 Ⅲ-1-3] PISA 2012 CBAM 예시 문항: CD 제작(CM015Q02)

‘CD 제작(CM015)’ 문항은 CD를 제작하는 업무를 하는 제드테크라는 회사를 배경으로, CD를 복제(replication)하고 복사(duplication)하는 비용을 계산하고 비교할 수 있는지를 묻 고 있다. 컴퓨터 기반 평가 문항의 특성을 반영하여 사본 수에 따른 복제 가격과 복사 가격 을 계산하는 가격 계산기가 제공되며, 학생들이 입력한 결과는 그래프로도 표현된다. 이 문항은 세 개의 하위문항으로 구분되는데, 첫 번째 하위문항(CM015Q01)은 CD 500장을 복제하고 복사한 가격 차이를 묻는 문항으로 ‘직업적’ 맥락을 기반으로 하며 수학적 내용 은 ‘양’, 수학적 과정으로는 ‘이용’하는 능력을 평가한다. 문제를 풀기 위해 가격 계산기의

사본 수에 500을 입력하여 복제 비용은 940제드와 복사 비용 1080제드의 차이인 140제드 를 계산하면 된다. 두 번째 하위문항(CM015Q02)은 그래프와 가격 계산기를 이용하여 복 제의 가격 공식을 구하는 문항으로, 표와 그래프에 주어진 값을 사용하여 일차의 관계식을 구할 수 있는 지를 묻고 있다. 평가틀과 관련해서는 ‘직업적’ 맥락을 기반으로 하며 수학적 내용은 ‘변화와 관계’, 수학적 과정으로는 ‘형식화’하는 능력을 평가한다. 복제가격을  사 본 수를 이라 할 때,     에서 는 사본 수에 0을 입력했을 때 그래프의 절편 또 는 가격 계산기의 값으로 290제드임을 구할 수 있다. ^는 사본 수가 100일 때 복제 가격이 420제드이므로, 증가량의 비를 통해 _^{  }_ ^{ }임을 알 수 있다([그림 Ⅲ-1-3] 참조).

세 번째 하위문항(CM015Q03)은 ‘500장까지의 소량 사본 제작에는 복사 방법이 더 저렴합 니다.’ 라는 광고문에서 500이라는 숫자가 잘못된 이유를 묻고 있는데, 이 문항을 풀기 위 해 학생들은 표의 값 또는 두 그래프의 교점을 찾아야 한다. 이 문항은 ‘직업적’ 맥락을 기 반으로 하며 수학적 내용은 ‘변화와 관계’, 수학적 과정으로는 ‘해석’하는 능력을 평가한다.

사본 수가 220장일 때 두 방법의 가격이 동일하며, 220장을 넘어서면 복사 비용이 더 높음 을 표의 값 또는 두 그래프의 기울기를 비교하여 알 수 있다.

한편, ‘스타 포인트(CM020)’ 문항은 스타 포인트의 정의를 이해하고 찾을 수 있는지를 묻는 문항으로, 네 개의 하위문항으로 구성된다. 문제에는 스타 포인트인지의 여부를 확인 하기 위해 도형에 점과 선분을 자유롭게 나타내고 지울 수 있는 도구가 제시되어 학생들의 사고 실험을 도와준다. 첫 번째 하위문항(CM020Q01)은 두 도형에서 스타 포인트인 점과 아닌 점을 찾기([그림 Ⅲ-1-4] 참조), 두 번째 하위문항(CM020Q02)는 스타 포인트가 없는 도형 찾기, 세 번째와 네 번째 하위문항(CM020Q03～04)은 스타 포인트의 개념을 확장하 여 보안 카메라의 대수 및 위치를 결정할 수 있는지를 묻고 있다. 모든 하위문항은 ‘과학 적’ 맥락에서 ‘공간과 모양’과 관련된 내용을 ‘이용’할 수 있는지를 평가한다.

개발 주기 하위문항 정보

PISA 2012 예비검사 맥락 수학적 내용 수학적 과정

CM020Q01 과학적 공간과 모양 이용하기

CM020Q02 과학적 공간과 모양 이용하기

CM020Q03 과학적 공간과 모양 이용하기

CM020Q04 과학적 공간과 모양 이용하기

최종 사용 주기 PISA 2012 본검사

스타 포인트

CM020Q01

[그림 Ⅲ-1-4] PISA 2012 CBAM 예시 문항: 스타 포인트(CM020Q01)

마지막으로, ‘체질량 지수(CM038)’ 문항은 실생활에서 자주 접할 수 있는 체질량 지수 (BMI; Body Mass Index)에 대한 이해를 묻는 문항으로, 모든 하위문항은 ‘사회적’ 맥락에 서 ‘불확실성과 자료’와 관련된 내용을 ‘해석’할 수 있는지를 평가한다. 컴퓨터 기반 평가 의 특징은 체질량 지수 하위 5%, 중앙값, 상위 5%에 대한 남학생과 여학생의 그래프를

문서에서 OECD 국제 학업성취도 평가 연구 : PISA 2012 컴퓨터 기반 평가 결과 분석 (페이지 103-115)