대한수학교육학회지 <학교수학> 제 15 권 제 2 호 Journal of Korea Society Educational Studies in Mathematics School Mathematics Vol. 15, No. 2, 289 ~ 314. Jun 2013
인지진단모형을 활용한 수학 학업성취 결과 분석 -2011년 국가수준 학업성취도 평가 자료를 중심으로-
김 희 경
*ㆍ김 부 미
**본 연구는 2011년 학업성취도 평가 결과를 Fusion 모형이라는 인지진단모형을 적용하여 수학교과에서 학교급별, 성취수준별, 성별에 따른 인지요소 숙달 양상과 다문화가정의 인 지요소 숙달 양상을 분석하였다. 연구결과, 초6은 12개의 인지요소에서 ‘귀납적으로 추론 하기’, 중3은 10개의 인지요소에서 ‘연역적으로 정당화하기’, 고2는 10개의 인지요소 중
‘사칙계산’이 가장 높은 숙달 비율을 보였다. 성취수준별로 인지요소의 숙달 양상을 분석 한 결과, 초 중 고 모두 우수학력 집단은 전체 인지요소에서 94%이상의 숙달률을 보였으 나, 기초학력이하 집단 학생들은 거의 모든 인지요소에서 초6과 중3의 경우 미숙달 비율 이 70%이상이었고 고2는 99%이상이었다. 또한, 초6, 중3까지는 전반적으로 여학생의 인지 요소 숙달 비율이 남학생보다 높으나 고2에서는 대부분의 인지요소에서 남학생이 여학생 보다 숙달 비율이 높게 나타났다. 다문화가정 학생 집단과 일반가정 학생 집단 간 인지요 소의 숙달 양상은 학교급별로 상이하게 나타났다.
* 한국교육과정평가원, [email protected]
** 원광대학교, [email protected], 교신저자
I. 서론
국가수준 학업성취도 평가는 학교 교육의 질 을 평가하고 개선하며, 학생 개개인의 교과별 성 취수준을 진단하고 보정하기 위해 매년 초등학 교 6학년, 중학교 3학년, 고등학교 2학년 학생을 대상으로 전수 평가로 시행되고 있다 . 평가는 학 생의 교육성과 확인보다는 교수 ·학습의 개선과 지원을 위한 자료로 활용되어야 하는 수학 교수
학습 과정의 중요한 부분이다 . 특히 수학과 교 육과정에서 의도한 교육목표를 달성하고 있는지 를 평가하는 수학 학업성취도 평가 결과는 학생 들의 학습과 성장을 도모할 수 있도록 활용될 필요가 있다. 그러나 현재 수학 학업성취도 평가
결과는 학생들에게 점수나 성취수준 정보를 통 해 제공되므로 학생에게 구체적으로 어떤 부분 이 부족한지에 대한 정확하고 상세한 정보를 전 달하기에는 부족하다 .
평가 결과는 학생의 학습에 도움이 되어야 하 며 , 교사 및 학부모와도 명확한 의사소통을 함으 로써 교육적 지원 활동에 기여해야 한다는 실제 적인 요구들로 인해, 최근 교육평가 분야에서는 학생들의 평가 결과를 학습 과정과 교사의 교수 활동 개선에 직접적으로 연계할 수 있도록 다양 한 인지진단모형(Cognitive Diagnostic Model)들이 개발되었다(Rupp & Templin, 2008). 인지진단모 형은 개별 학생의 학업성취 수준을 정교한 프로 파일 형태로 제공하여 개별 학생들의 습득해야 하는 세부적 인지요소의 숙달 정도 및 학생의
학습 개선과 지원을 위한 유용한 정보를 제공해 주는 방향으로 평가 결과를 분석하는 측정 모형 이다. 구체적으로, Tatsuoka et al(2004), 김성훈 (2005), Park(2008), 김수진 외(2008), 김선희 외 (2008), Dogan & Tatsuoka(2008), 김선희(2009), 김 성훈·송미영(2009), 송미영(2011) 등은 수학 교과 에 Fusion 모형이나 DINA모형과 같은 인지진단 모형을 활용하여 평가 결과를 분석하면 학생 개 개인의 수학적 강점과 약점을 분석하여 학생의 수학 학습에 대한 진단과 처방, 추후 학습 지도 에 유용한 정보를 제공할 수 있다고 보고한다.
그러나 이러한 연구들은 학업성취도 평가 자 료를 대상으로 하여 주로 인지진단모형의 적용 가능성을 탐색하는 것을 목적으로 하므로, 학생 들의 인지요소 숙달 여부에 초점을 맞추는 것에 주로 초점을 두었을 뿐 학교급별, 성취수준별 숙 달 양상이나 학력격차를 일으키는 성별 등의 요 인을 고려한 심층적인 분석을 수행하지 않았다.
특히, TIMSS(Trends in International Mathematics and Science Study)나 국가수준 학업성취도 평가 가 선다형 문항 외에도 다분점수
1)로 구성되는 서답형 문항을 포함한 혼합형 검사임에도 불구 하고, 위의 연구들은 선다형 문항만을 주된 연구 의 대상으로 하여 인지진단모형을 제한적으로 적용하고 있다. 그런데 인지진단모형 중 Fusion 모형은 최근 서답형 문항의 다분점수를 그대로 처리할 수 있도록 모형이 확장되었다 . Fusion 모 형은 Hartz(2002)가 개발한 모형으로서, 수학적으 로 덜 복잡하여 많은 수의 학생들의 숙달 /미숙달 정보를 분석하는데 있어 무리가 없고, 이해와 해 석이 유용하다는 장점이 있어 최근 대단위 자료 분석에 널리 사용되고 있다. 따라서 최근 전수 시행으로 전환된 수학 학업성취도 평가 결과를 최신의 인지진단모형을 적용하여 우리나라 초
중 고 학생들의 성취 수준을 보다 명세화하여 분석함으로써 수학 교수 학습 개선과 지원에 유 용한 정보를 도출할 필요가 있다.
인지진단모형을 적용하려면 개별 문항 해결에 요구되는 인지요소를 타당하게 추출하고 각 문 항과 인지요소 간의 관계를 나타내는 Q행렬을 제작해야 한다 . 김선희 외(2008), 김선희(2009), 김수진 외(2008), 송미영 외(2011) 등은 수학 문 항 정보와 TIMSS의 인지요소를 참고하여 특정 한 학교급에만 적용할 수 있게 개발하거나 내용 영역과 과정영역의 인지요소가 중복되는 경향이 나타났다. 수학과 교육과정에서 규정한 교육목표 는 핵심 인지요소들로 구성되고, 이러한 핵심 인 지요소에 대한 달성도를 측정하기 위해 학업성 취도 평가 문항이 출제된다는 점에서, Q행렬을 제작할 때에는 수학과 교육과정을 반영하고 모 든 학교급에 적용할 수 있어 학생 개개인의 인 지속성에 대한 연계성 있는 정보를 제공할 수 있도록 인지요소를 추출할 필요가 있다.
한편, 한국 사회는 국제결혼이 점점 증가하고, 이주 노동자의 국내 취업이 증대되면서 이들 다 문화가정의 학생들이 국내 학교에 진학하는 사 례가 증가하고 있다. 이 외에도 탈북 학생들이나 중도입국 학생들을 포함하여 다양한 한국 유입 배경을 가지고 있는 다문화가정 학생들이 국가 수준 학업성취도 평가에 참여하고 있다 . 현재 그 수는 만 명 이하 수준으로 추정되지만 이후 학 업성취도 평가에 참여하는 다문화 학생의 수는 증가할 전망이다 . 이러한 다문화가정에 대한 사 회적 관심의 증가와 교육지원 필요성을 반영하 여 다문화가정 여부에 따른 인지요소 숙달 양상 을 분석할 필요가 있다.
이에, 본 연구에서는 학생의 수학 학습에 도움 이 되는 의미있는 평가 결과를 제공하고 평가
1) 배점이 4점인 서답형 문항에서는 0, 1, 2, 3, 4의 5개의 다분점수가 가능하다. 이와 같이 여러 개의 다분 점수가 가능한 서답형 문항을 다분문항(polytomous item)이라고 한다.
대한수학교육학회지 <학교수학> 제 15 권 제 2 호 Journal of Korea Society Educational Studies in Mathematics School Mathematics Vol. 15, No. 2, 289 ~ 314. Jun 2013
인지진단모형을 활용한 수학 학업성취 결과 분석 -2011년 국가수준 학업성취도 평가 자료를 중심으로-
김 희 경
*ㆍ김 부 미
**본 연구는 2011년 학업성취도 평가 결과를 Fusion 모형이라는 인지진단모형을 적용하여 수학교과에서 학교급별, 성취수준별, 성별에 따른 인지요소 숙달 양상과 다문화가정의 인 지요소 숙달 양상을 분석하였다. 연구결과, 초6은 12개의 인지요소에서 ‘귀납적으로 추론 하기’, 중3은 10개의 인지요소에서 ‘연역적으로 정당화하기’, 고2는 10개의 인지요소 중
‘사칙계산’이 가장 높은 숙달 비율을 보였다. 성취수준별로 인지요소의 숙달 양상을 분석 한 결과, 초 중 고 모두 우수학력 집단은 전체 인지요소에서 94%이상의 숙달률을 보였으 나, 기초학력이하 집단 학생들은 거의 모든 인지요소에서 초6과 중3의 경우 미숙달 비율 이 70%이상이었고 고2는 99%이상이었다. 또한, 초6, 중3까지는 전반적으로 여학생의 인지 요소 숙달 비율이 남학생보다 높으나 고2에서는 대부분의 인지요소에서 남학생이 여학생 보다 숙달 비율이 높게 나타났다. 다문화가정 학생 집단과 일반가정 학생 집단 간 인지요 소의 숙달 양상은 학교급별로 상이하게 나타났다.
* 한국교육과정평가원, [email protected]
** 원광대학교, [email protected], 교신저자
I. 서론
국가수준 학업성취도 평가는 학교 교육의 질 을 평가하고 개선하며, 학생 개개인의 교과별 성 취수준을 진단하고 보정하기 위해 매년 초등학 교 6학년, 중학교 3학년, 고등학교 2학년 학생을 대상으로 전수 평가로 시행되고 있다 . 평가는 학 생의 교육성과 확인보다는 교수 ·학습의 개선과 지원을 위한 자료로 활용되어야 하는 수학 교수
학습 과정의 중요한 부분이다 . 특히 수학과 교 육과정에서 의도한 교육목표를 달성하고 있는지 를 평가하는 수학 학업성취도 평가 결과는 학생 들의 학습과 성장을 도모할 수 있도록 활용될 필요가 있다. 그러나 현재 수학 학업성취도 평가
결과는 학생들에게 점수나 성취수준 정보를 통 해 제공되므로 학생에게 구체적으로 어떤 부분 이 부족한지에 대한 정확하고 상세한 정보를 전 달하기에는 부족하다 .
평가 결과는 학생의 학습에 도움이 되어야 하 며 , 교사 및 학부모와도 명확한 의사소통을 함으 로써 교육적 지원 활동에 기여해야 한다는 실제 적인 요구들로 인해, 최근 교육평가 분야에서는 학생들의 평가 결과를 학습 과정과 교사의 교수 활동 개선에 직접적으로 연계할 수 있도록 다양 한 인지진단모형(Cognitive Diagnostic Model)들이 개발되었다(Rupp & Templin, 2008). 인지진단모 형은 개별 학생의 학업성취 수준을 정교한 프로 파일 형태로 제공하여 개별 학생들의 습득해야 하는 세부적 인지요소의 숙달 정도 및 학생의
학습 개선과 지원을 위한 유용한 정보를 제공해 주는 방향으로 평가 결과를 분석하는 측정 모형 이다. 구체적으로, Tatsuoka et al(2004), 김성훈 (2005), Park(2008), 김수진 외(2008), 김선희 외 (2008), Dogan & Tatsuoka(2008), 김선희(2009), 김 성훈·송미영(2009), 송미영(2011) 등은 수학 교과 에 Fusion 모형이나 DINA모형과 같은 인지진단 모형을 활용하여 평가 결과를 분석하면 학생 개 개인의 수학적 강점과 약점을 분석하여 학생의 수학 학습에 대한 진단과 처방, 추후 학습 지도 에 유용한 정보를 제공할 수 있다고 보고한다.
그러나 이러한 연구들은 학업성취도 평가 자 료를 대상으로 하여 주로 인지진단모형의 적용 가능성을 탐색하는 것을 목적으로 하므로, 학생 들의 인지요소 숙달 여부에 초점을 맞추는 것에 주로 초점을 두었을 뿐 학교급별, 성취수준별 숙 달 양상이나 학력격차를 일으키는 성별 등의 요 인을 고려한 심층적인 분석을 수행하지 않았다.
특히, TIMSS(Trends in International Mathematics and Science Study)나 국가수준 학업성취도 평가 가 선다형 문항 외에도 다분점수
1)로 구성되는 서답형 문항을 포함한 혼합형 검사임에도 불구 하고, 위의 연구들은 선다형 문항만을 주된 연구 의 대상으로 하여 인지진단모형을 제한적으로 적용하고 있다. 그런데 인지진단모형 중 Fusion 모형은 최근 서답형 문항의 다분점수를 그대로 처리할 수 있도록 모형이 확장되었다 . Fusion 모 형은 Hartz(2002)가 개발한 모형으로서, 수학적으 로 덜 복잡하여 많은 수의 학생들의 숙달 /미숙달 정보를 분석하는데 있어 무리가 없고, 이해와 해 석이 유용하다는 장점이 있어 최근 대단위 자료 분석에 널리 사용되고 있다. 따라서 최근 전수 시행으로 전환된 수학 학업성취도 평가 결과를 최신의 인지진단모형을 적용하여 우리나라 초
중 고 학생들의 성취 수준을 보다 명세화하여 분석함으로써 수학 교수 학습 개선과 지원에 유 용한 정보를 도출할 필요가 있다.
인지진단모형을 적용하려면 개별 문항 해결에 요구되는 인지요소를 타당하게 추출하고 각 문 항과 인지요소 간의 관계를 나타내는 Q행렬을 제작해야 한다 . 김선희 외(2008), 김선희(2009), 김수진 외(2008), 송미영 외(2011) 등은 수학 문 항 정보와 TIMSS의 인지요소를 참고하여 특정 한 학교급에만 적용할 수 있게 개발하거나 내용 영역과 과정영역의 인지요소가 중복되는 경향이 나타났다. 수학과 교육과정에서 규정한 교육목표 는 핵심 인지요소들로 구성되고, 이러한 핵심 인 지요소에 대한 달성도를 측정하기 위해 학업성 취도 평가 문항이 출제된다는 점에서, Q행렬을 제작할 때에는 수학과 교육과정을 반영하고 모 든 학교급에 적용할 수 있어 학생 개개인의 인 지속성에 대한 연계성 있는 정보를 제공할 수 있도록 인지요소를 추출할 필요가 있다.
한편, 한국 사회는 국제결혼이 점점 증가하고, 이주 노동자의 국내 취업이 증대되면서 이들 다 문화가정의 학생들이 국내 학교에 진학하는 사 례가 증가하고 있다. 이 외에도 탈북 학생들이나 중도입국 학생들을 포함하여 다양한 한국 유입 배경을 가지고 있는 다문화가정 학생들이 국가 수준 학업성취도 평가에 참여하고 있다 . 현재 그 수는 만 명 이하 수준으로 추정되지만 이후 학 업성취도 평가에 참여하는 다문화 학생의 수는 증가할 전망이다 . 이러한 다문화가정에 대한 사 회적 관심의 증가와 교육지원 필요성을 반영하 여 다문화가정 여부에 따른 인지요소 숙달 양상 을 분석할 필요가 있다.
이에, 본 연구에서는 학생의 수학 학습에 도움 이 되는 의미있는 평가 결과를 제공하고 평가
1) 배점이 4점인 서답형 문항에서는 0, 1, 2, 3, 4의 5개의 다분점수가 가능하다. 이와 같이 여러 개의 다분 점수가 가능한 서답형 문항을 다분문항(polytomous item)이라고 한다.
[그림 Ⅱ-1] Q행렬 예시 결과에 대한 학생, 교사, 학부모의 이해도를 제
고하기 위해, 2011년 수학과 학업성취도 평가의 전수 자료를 바탕으로 인지진단모형 중 Fusion 모형을 적용하여 평가결과를 학교급별, 성취수준 별 인지요소 숙달 양상과 특성, 학력 격차가 나 타나기 쉬운 성별과 다문화가정 여부에 따른 인 지요소 숙달 양상과 그 특성을 분석하고자 한다 .
Ⅱ. 이론적 배경 1. 인지진단모형
인지진단모형은 학생들의 평가 결과를 세부적 인지속성에 대한 숙달 또는 미숙달로 구분하여 프로파일 정보를 제공하기 위해 개별 학생이 시 험에서 보인 문항반응을 토대로 그 학생이 각 인지요소 측면에서 어떠한 숙달 상태에 도달해 있는지 과학적으로 추론해주는 통계 모형이다 (DiBello, Stout, & Rousses, 1995; Tatsuoka, 1995).
인지진단모형을 적용한 평가 결과 분석의 주요 한 목적은 학생의 학업성취 수준에 대한 상세한 프로파일 정보를 제공하여 개별 학생들의 강약 점을 파악하고 교육적 피드백을 제공해 주기 위 함이다. 또한 인지진단모형을 통한 인지요소 숙 달 여부 분석은 문항 난이도를 고려하여 인지요 소 숙달 확률을 추정하는 통계적 기법이므로, 검 사 문항이 어려워서 인지요소를 숙달하지 못한 것으로 판정되거나 또는 쉬운 문항으로 인해 인 지요소의 숙달여부가 판정되지 않는다 . 이 점은 전통적인 문항정답률에 기초하여 문항 난이도를 판정하는 분석 방법에 비해 인지진단모형을 적 용한 분석 방법이 갖는 장점이라고 할 수 있다 . 현재 개발된 인지진단모형은 Rule Space Model, Fusion 모형, DINA 모형, Generalized Diagnostic Model 등 다양하며, Fu & Li(2007)는 62종의 인
지진단모형에 대해 리뷰하기도 하였다.
인지진단모형을 적용하기 위해서는 가장 먼저 검사를 구성하는 문항들과 그 문항을 정확하게 풀기 위해 요구되는 인지요소들 간의 관계를 나 타내는 방법을 모색해야 한다. 인지요소란, 학생 들이 문항의 정답을 맞히는 데 필요한 능력 (ability), 기능(skills), 지식(knowledge)이나 인지 과정(cognitive process) 등을 통합하여 의미한다 (Tatsuoka, 1983). Q행렬은 문항과 인지요소 간의 관계를 명시해놓은 × (=인지요소의 수, =
문항의 수)의 행렬이다(Tatsuoka, 1983, 1990, 1995). Q행렬의 원소는 인지요소를 습득하는 것 이 문항을 푸는데 필요하면 1, 그렇지 않으면 0 의 값을 가진다. 인지요소와 문항의 관계를 Q행 렬로 표현하면 [그림Ⅱ-1]과 같다.
인지진단의 목적으로 개발되지 않은 검사에 인지진단모형을 적용하고자 할 때는 일반적으로 [그림 Ⅱ-2]과 같이 네 단계를 걸쳐 수행한다. 먼 저, 교과전문가가 해당 교과 검사에서 측정하고 있는 인지요소들을 정의한다 . 두 번째 단계에서 는 정의된 인지요소와 개별 문항 간의 관계를 Q 행렬로 개발한다. 세 번째 단계에서는 피험자의 문항 응답 자료와 Q행렬을 분석한다. 마지막 단 계에서는 분석 결과를 바탕으로 각 인지요소의 숙달/미숙달 정보를 학생들에게 평가 결과로 제
[그림 Ⅱ-2] 인지진단모형 적용의 4단계 공한다.
2. 선행 연구
수학 교과에서 인지진단이론을 통해 평가 결 과를 분석한 연구를 살펴보면, TIMSS의 경우에 Tatsuoka, Corter, & Tatsuoka(2004)가 인지진단모 형을 사용하여 각국 학생들의 인지적 속성을 분 석하는 연구를 수행하였고, Dogan & Tatsuok a(2008)는 TIMSS-R 결과를 인지진단모형을 통해 분석하여 터키와 미국 학생들의 수학적 인지요 소의 숙달 양상을 비교하였다 . 국내에서는 2008 년 이후 인지진단모형을 활용한 수학의 성취도 평가에 대한 연구가 이루어졌다. 김선희 외 (2008)와 김수진(2008)의 연구는 2003～2006년까 지의 수학 학업성취도 평가 문항을 재구성하여 중학교 3학년 수학 검사 도구를 작성하고 검사 를 실시한 후 Fusion 모형을 활용하여 학생들의 수학 인지요소 숙달 정도를 분석하였다. 김수진 외(2008)와 김선희 외(2008)는 모두 TIMSS 2007 평가틀에 나타난 하위 요소를 선별하여 인지요 소를 추출하였고, 두 연구에서 공통으로 사용한 인지요소는 ‘계산하기’, ‘모델링하기’, ‘분석하기’,
‘인식하기’, ‘재발견하기’의 5개 요소이며, 김수진
외(2008)는 ‘선택하기’라는 요소를 추가하여 6개 의 인지요소를 추출하였다. 그 결과, 교사가 학 생의 수학적 강점과 약점을 파악할 수 있어 학 생과 학부모에게 개별 학생의 수학적 능력에 대 한 유용한 정보를 제공할 수 있었다. 김선희 (2009)는 중학교의 2학년 수학 기하 영역을 중심 으로 중학교 2학년 기하 문제를 해결하는 데 필 요한 인지요소가 무엇이고 학생들이 그러한 인 지요소를 얼마나 숙달하고 있는지를 분석하였다.
연구 결과 , 중학교 2학년 기하 영역의 인지요소 는 TIMSS 2007의 인지영역을 참고하여 ‘회상하 기 ’, ‘분석하기’, ‘정당화하기’, ‘종합하기’, ‘비정 형 문제해결 ’의 5가지로 추출되었으며, 이들 5개 인지요소는 서로 높은 상관이 있었다. 이상의 김 수진 외(2008), 김선희 외(2008), 김선희(2009)의 연구에서 인지요소를 추출할 때 TIMSS 2007의 수학 평가틀을 사용한 것은 TIMSS 평가틀이 수 학 평가에서 다루는 내용과 수학을 학습함에 따 라 기대되는 학생들의 행동을 각각 ‘내용영역’과
‘인지영역’으로 구분할 뿐만 아니라, 특히 인지
영역 내에 세부적인 하위 요소가 있어 너무 포
괄적이지 않으면서 특수한 문항에 한정되지 않
도록 인지요소를 추출할 수 있기 때문인 것으로
파악된다.
[그림 Ⅱ-1] Q행렬 예시 결과에 대한 학생, 교사, 학부모의 이해도를 제
고하기 위해, 2011년 수학과 학업성취도 평가의 전수 자료를 바탕으로 인지진단모형 중 Fusion 모형을 적용하여 평가결과를 학교급별, 성취수준 별 인지요소 숙달 양상과 특성, 학력 격차가 나 타나기 쉬운 성별과 다문화가정 여부에 따른 인 지요소 숙달 양상과 그 특성을 분석하고자 한다 .
Ⅱ. 이론적 배경 1. 인지진단모형
인지진단모형은 학생들의 평가 결과를 세부적 인지속성에 대한 숙달 또는 미숙달로 구분하여 프로파일 정보를 제공하기 위해 개별 학생이 시 험에서 보인 문항반응을 토대로 그 학생이 각 인지요소 측면에서 어떠한 숙달 상태에 도달해 있는지 과학적으로 추론해주는 통계 모형이다 (DiBello, Stout, & Rousses, 1995; Tatsuoka, 1995).
인지진단모형을 적용한 평가 결과 분석의 주요 한 목적은 학생의 학업성취 수준에 대한 상세한 프로파일 정보를 제공하여 개별 학생들의 강약 점을 파악하고 교육적 피드백을 제공해 주기 위 함이다. 또한 인지진단모형을 통한 인지요소 숙 달 여부 분석은 문항 난이도를 고려하여 인지요 소 숙달 확률을 추정하는 통계적 기법이므로, 검 사 문항이 어려워서 인지요소를 숙달하지 못한 것으로 판정되거나 또는 쉬운 문항으로 인해 인 지요소의 숙달여부가 판정되지 않는다 . 이 점은 전통적인 문항정답률에 기초하여 문항 난이도를 판정하는 분석 방법에 비해 인지진단모형을 적 용한 분석 방법이 갖는 장점이라고 할 수 있다 . 현재 개발된 인지진단모형은 Rule Space Model, Fusion 모형, DINA 모형, Generalized Diagnostic Model 등 다양하며, Fu & Li(2007)는 62종의 인
지진단모형에 대해 리뷰하기도 하였다.
인지진단모형을 적용하기 위해서는 가장 먼저 검사를 구성하는 문항들과 그 문항을 정확하게 풀기 위해 요구되는 인지요소들 간의 관계를 나 타내는 방법을 모색해야 한다. 인지요소란, 학생 들이 문항의 정답을 맞히는 데 필요한 능력 (ability), 기능(skills), 지식(knowledge)이나 인지 과정(cognitive process) 등을 통합하여 의미한다 (Tatsuoka, 1983). Q행렬은 문항과 인지요소 간의 관계를 명시해놓은 × (=인지요소의 수, =
문항의 수)의 행렬이다(Tatsuoka, 1983, 1990, 1995). Q행렬의 원소는 인지요소를 습득하는 것 이 문항을 푸는데 필요하면 1, 그렇지 않으면 0 의 값을 가진다. 인지요소와 문항의 관계를 Q행 렬로 표현하면 [그림Ⅱ-1]과 같다.
인지진단의 목적으로 개발되지 않은 검사에 인지진단모형을 적용하고자 할 때는 일반적으로 [그림 Ⅱ-2]과 같이 네 단계를 걸쳐 수행한다. 먼 저, 교과전문가가 해당 교과 검사에서 측정하고 있는 인지요소들을 정의한다 . 두 번째 단계에서 는 정의된 인지요소와 개별 문항 간의 관계를 Q 행렬로 개발한다. 세 번째 단계에서는 피험자의 문항 응답 자료와 Q행렬을 분석한다. 마지막 단 계에서는 분석 결과를 바탕으로 각 인지요소의 숙달/미숙달 정보를 학생들에게 평가 결과로 제
[그림 Ⅱ-2] 인지진단모형 적용의 4단계 공한다.
2. 선행 연구
수학 교과에서 인지진단이론을 통해 평가 결 과를 분석한 연구를 살펴보면, TIMSS의 경우에 Tatsuoka, Corter, & Tatsuoka(2004)가 인지진단모 형을 사용하여 각국 학생들의 인지적 속성을 분 석하는 연구를 수행하였고, Dogan & Tatsuok a(2008)는 TIMSS-R 결과를 인지진단모형을 통해 분석하여 터키와 미국 학생들의 수학적 인지요 소의 숙달 양상을 비교하였다 . 국내에서는 2008 년 이후 인지진단모형을 활용한 수학의 성취도 평가에 대한 연구가 이루어졌다. 김선희 외 (2008)와 김수진(2008)의 연구는 2003～2006년까 지의 수학 학업성취도 평가 문항을 재구성하여 중학교 3학년 수학 검사 도구를 작성하고 검사 를 실시한 후 Fusion 모형을 활용하여 학생들의 수학 인지요소 숙달 정도를 분석하였다. 김수진 외(2008)와 김선희 외(2008)는 모두 TIMSS 2007 평가틀에 나타난 하위 요소를 선별하여 인지요 소를 추출하였고, 두 연구에서 공통으로 사용한 인지요소는 ‘계산하기’, ‘모델링하기’, ‘분석하기’,
‘인식하기’, ‘재발견하기’의 5개 요소이며, 김수진
외(2008)는 ‘선택하기’라는 요소를 추가하여 6개 의 인지요소를 추출하였다. 그 결과, 교사가 학 생의 수학적 강점과 약점을 파악할 수 있어 학 생과 학부모에게 개별 학생의 수학적 능력에 대 한 유용한 정보를 제공할 수 있었다. 김선희 (2009)는 중학교의 2학년 수학 기하 영역을 중심 으로 중학교 2학년 기하 문제를 해결하는 데 필 요한 인지요소가 무엇이고 학생들이 그러한 인 지요소를 얼마나 숙달하고 있는지를 분석하였다.
연구 결과 , 중학교 2학년 기하 영역의 인지요소 는 TIMSS 2007의 인지영역을 참고하여 ‘회상하 기 ’, ‘분석하기’, ‘정당화하기’, ‘종합하기’, ‘비정 형 문제해결 ’의 5가지로 추출되었으며, 이들 5개 인지요소는 서로 높은 상관이 있었다. 이상의 김 수진 외(2008), 김선희 외(2008), 김선희(2009)의 연구에서 인지요소를 추출할 때 TIMSS 2007의 수학 평가틀을 사용한 것은 TIMSS 평가틀이 수 학 평가에서 다루는 내용과 수학을 학습함에 따 라 기대되는 학생들의 행동을 각각 ‘내용영역’과
‘인지영역’으로 구분할 뿐만 아니라, 특히 인지
영역 내에 세부적인 하위 요소가 있어 너무 포
괄적이지 않으면서 특수한 문항에 한정되지 않
도록 인지요소를 추출할 수 있기 때문인 것으로
파악된다.
Rupp, Templin, & Hensen(2010)은 de la Torre
& Douglas(2004), Rupp, & Wilhelm(2008), Gierl, Leighton, & S.M. Hunka(2007)의 연구를 참고하 여 분수의 뺄셈, 기초 산술, 일차방정식 문제해 결을 구인으로 하고 각 구인의 내용영역별 인지 요소를 8개씩으로 설정하여 분수의 뺄셈과 일차 방정식 문제해결에 관한 인지요소들을 비교하였 다. 그 결과, 일차방정식 문제해결의 인지요소명 은 ‘수학적 상징성과 약속에 관한 의미 이해’와
‘문항의 문장 이해’와 같이 추상적이고 불명확한 경향이 있어, 이러한 인지요소는 그 정의를 보완 해야 한다고 보고하였다. 예를 들어, 인지요소
‘수학적 상징성과 약속에 관한 의미 이해’는 +, -, ․, ÷, =, | |,
,
, <, >, 부호 달린 숫자와 같은 간단한 산술적 수식의 이해, · ,
,
와 같은 수식의 이해, 속도와 거리 사이의 관계 및 그 역의 관계의 이해로 정의한다. 그렇 게 해야 어떤 문항이 ‘수학적 상징성과 약속에 관한 의미’를 이해하고 있는지를 물을 때 이는 피험자에게 이 세 가지 정의를 알고 있는지를 묻는 것이고, 문항을 맞힌다면 피험자는 이 세 가지 정의를 이해하고 있다고 가정할 수 있다.
송미영 외(2011)는 약 10000명을 대상으로 하 여 2010년 국가수준 학업성취도 평가의 초 중 고 수학과 자료에 인지진단모형 중 DINA 모형 을 적용하여 학생 개인별 인지요소 숙달에 대한 상세 정보를 성적 결과표에 제공하는 방안을 모 색하였다. 또한, 수학과의 인지요소를 내용중심 과 문제풀이 과정 중심으로 구분하여 추출하고 인지요소별 숙달 비율을 분석하였는데 내용 중 심과 문제풀이 과정 중심 모두 학교급이 올라갈 수록 낮아짐을 보고하였다. 수학과 내용 중심 인 지요소는 초등학교 7개, 중학교 6개, 고등학교 7 개이며, 문제풀이 과정 중심 인지요소는 초등학 교 8개, 중학교 9개, 고등학교 8개이다. 내용 중 심에 포함된 인지요소는 초·중·고 학교급의 차이
를 반영하여 수, 대수, 기하, 통계 등과 같은 교 육과정의 내용지식으로 추출하였고, 문제풀이 과 정 중심 인지요소는 문제해결전략과 해결방법에 관련된 능력을 추출하였다. 예를 들어, ‘수와 연 산’ 영역의 내용중심 인지요소를 살펴보면, 초등 학교는 자연수와 유리수를 다루는 인지요소를 구분하고 , 고등학교에서는 ‘실수와 복소수에 대 한 기본 개념과 연산’만을 다루고 있다. 문제풀 이 과정 중심 인지요소는 수에 대한 기본 개념 과 연산을 적용하기, 간단한 수학 공식을 활용하 여 계산하기, 대수식을 전개 및 정리하기, 대수 식의 답 구하기 등이 있다. 이러한 문제풀이 중 심의 인지요소는 TIMSS의 인지 행동이 내용 요 소를 반영하지 않고 과정에만 초점을 맞추고 있 는 것과 달리 내용 영역을 반영하고 있다.
이상의 여러 연구들은 수학 학업성취도 평가 에 요구되는 인지요소를 규명하고 Q행렬을 개발 하는데 기여하였다. 또한 학교 교육에서 수학적 속성은 문항을 통해 측정될 수 있고 학생들이 어떤 속성을 많이 숙달하고 있는지에 대한 상세 한 정보를 제공함으로써 수학 성취도 평가 결과 가 보다 의미있게 교육 현장에 피드백 되어 활 용될 수 있음을 알 수 있다.
Ⅲ. 연구 방법
본 장에서는 2011년 수학 학업성취도 평가 자 료를 대상으로 [그림 Ⅱ-2]와 같은 일련의 단계 에 따라 인지진단모형을 적용하여 결과를 분석 하는 구체적인 방법을 살펴본다 .
1. 검사도구
인지진단모형을 통해 평가 결과를 분석하고 이를 바탕으로 학생들에게 교육적 피드백을 제
인지영역 정의
계산하기 •자연수, 정수, 유리수, 실수, 복소수를 가지고 +, -, ×, ÷ 및 혼합계산을 할 수 있고, 비례식의 계산, 집합 의 연산, 대수식의 전개 및 정리, 식의 값 구하기, 방정식의 풀이, 부등식의 풀이를 할 수 있다.
이해하기 •문제 상황에 활용되기 적절한 수학적 원리와 법칙, 수학적 개념과 성질 등을 이해할 수 있고, 수학에서 사용되는 정의, 용어와 기호의 의미를 알 수 있다.
추론하기
•주어진 정보로부터 문제해결에 요구되는 여러 정보 사이의 타당한 관계를 결정하거나 문제의 해법을 발 견하고 활용할 수 있다.
•관찰, 실험, 열거 또는 주어진 정보를 바탕으로 귀납, 유추, 추측을 통해 수학적 원리와 법칙을 발견할 수 있고, 적절한 단위선택, 도형의 해부, 수 감각, 양감을 활용하여 문제해결에 적합한 시각적/직관적 추론 을 할 수 있으며 증명을 읽고 이해할 수 있으며 수학적 명제를 증명할 수 있다.
표현하기 •문제에 주어진 정보, 자료 등으로부터 읽어낸 정보를 그림, 수직선, 식, 표, 그래프, 글(언어), 기호, 벤다 이어그램, 차트 등으로 표현할 수 있다.
해석하기 •문제에 주어진 지문, 대화, 조건, 표, 그래프, 도형, 그림, 식, 다양한 다이어그램, 통계적 자료 등으로부터 문제해결에 필요한 정보를 읽어 낼 수 있다.
<표 Ⅲ-1> 5개 인지영역과 그 정의
공하기 위해서는 검사 도구는 문항 하나하나가 수학적 속성을 갖고 있으면서도 교육과정에 충 실하게 개발되어 학생들의 강약점에 대한 정보 를 제공할 수 있도록 개발된 것이 적합하다. 국 가수준 학업성취도 평가 문항은 전국 초등학교 6학년, 중학교 3학년, 고등학교 1학년을 대상으 로 실시되는 검사로서 , 수학과 교육과정에 근거 하여 학업성취도 평가에 적합하게 추출된 성취 기준에 따라 제작된다 . 따라서 본 연구에서는 가 장 최근에 전수조사로 시행되고 2012년에 평가 결과가 발표된 2011년 수학 학업성취도 평가 문 항
2)을 활용하였고, 각 학교급별로 평가문항의 성취기준(평가목표)는 <부록1>, <부록2>, <부록 3>에 제시하였다.
2. 인지요소 추출
2011년 수학 학업성취도 평가의 인지요소를 추출하기 위하여 먼저 전수 시행이 시작된 2008년 이후의 학업성취도 평가 보고서, 검사지 등 학업 성취도 평가 관련한 각종 연구 자료를 검토하고
인지진단이론 관련 국내·외 선행연구를 분석하 였다. 이를 바탕으로 학교급별로 수학과 내용 영 역별 성취기준을 공통으로 포함할 수 있는 인지 영역을 범주화하고 이와 관련한 인지요소를 분석 하였다. 그런 다음, 각 학교급별 수학교사 3인과 수학교육전공 교수 2인이 2011년 국가수준 학업 성취도 평가 문항과 문항 정보 , 정답률, 수학 학 업성취도 평가틀 등을 토대로 전체 학교급을 포 괄할 수 있는 공통의 인지영역과 인지요소를 추 출하였다. 추출된 인지요소를 선행연구 결과와 평가틀에서 제시하고 있는 성취기준에 비추어 검토하면서 인지요소를 수정하거나 재추출하는 과정을 반복하였다.
구체적으로, 초·중·고 모두에서 공통적으로 추 출가능한 인지영역을 추출하기 위해, 초등학교의 5개 내용 영역(수와 연산, 측정, 도형, 규칙성과 문제해결, 확률과 통계)과 중·고등학교의 5개 내용 영역(수와 연산, 문자와 식, 함수, 기하, 확률과 통계)별로 출제된 문항의 행동영역(계산, 이해, 추론, 문제해결)에 대한 분류 정보를 활용하였다.
특히, 수학과 교육과정과 학업성취도 평가틀에
2) 2011년 국가수준 학업성취도 평가의 중학교 수학 문항은 한국교육과정홈페이지 기출문제에 공개되어 있고, 그 URL은 다음과 같다.
http://www.kice.re.kr/board.do?boardConfigNo=112&menuNo=372&action=view&boardNo=24894
Rupp, Templin, & Hensen(2010)은 de la Torre
& Douglas(2004), Rupp, & Wilhelm(2008), Gierl, Leighton, & S.M. Hunka(2007)의 연구를 참고하 여 분수의 뺄셈, 기초 산술, 일차방정식 문제해 결을 구인으로 하고 각 구인의 내용영역별 인지 요소를 8개씩으로 설정하여 분수의 뺄셈과 일차 방정식 문제해결에 관한 인지요소들을 비교하였 다. 그 결과, 일차방정식 문제해결의 인지요소명 은 ‘수학적 상징성과 약속에 관한 의미 이해’와
‘문항의 문장 이해’와 같이 추상적이고 불명확한 경향이 있어, 이러한 인지요소는 그 정의를 보완 해야 한다고 보고하였다. 예를 들어, 인지요소
‘수학적 상징성과 약속에 관한 의미 이해’는 +, -, ․, ÷, =, | |,
,
, <, >, 부호 달린 숫자와 같은 간단한 산술적 수식의 이해, · ,
,
와 같은 수식의 이해, 속도와 거리 사이의 관계 및 그 역의 관계의 이해로 정의한다. 그렇 게 해야 어떤 문항이 ‘수학적 상징성과 약속에 관한 의미’를 이해하고 있는지를 물을 때 이는 피험자에게 이 세 가지 정의를 알고 있는지를 묻는 것이고, 문항을 맞힌다면 피험자는 이 세 가지 정의를 이해하고 있다고 가정할 수 있다.
송미영 외(2011)는 약 10000명을 대상으로 하 여 2010년 국가수준 학업성취도 평가의 초 중 고 수학과 자료에 인지진단모형 중 DINA 모형 을 적용하여 학생 개인별 인지요소 숙달에 대한 상세 정보를 성적 결과표에 제공하는 방안을 모 색하였다. 또한, 수학과의 인지요소를 내용중심 과 문제풀이 과정 중심으로 구분하여 추출하고 인지요소별 숙달 비율을 분석하였는데 내용 중 심과 문제풀이 과정 중심 모두 학교급이 올라갈 수록 낮아짐을 보고하였다. 수학과 내용 중심 인 지요소는 초등학교 7개, 중학교 6개, 고등학교 7 개이며, 문제풀이 과정 중심 인지요소는 초등학 교 8개, 중학교 9개, 고등학교 8개이다. 내용 중 심에 포함된 인지요소는 초·중·고 학교급의 차이
를 반영하여 수, 대수, 기하, 통계 등과 같은 교 육과정의 내용지식으로 추출하였고, 문제풀이 과 정 중심 인지요소는 문제해결전략과 해결방법에 관련된 능력을 추출하였다. 예를 들어, ‘수와 연 산’ 영역의 내용중심 인지요소를 살펴보면, 초등 학교는 자연수와 유리수를 다루는 인지요소를 구분하고 , 고등학교에서는 ‘실수와 복소수에 대 한 기본 개념과 연산’만을 다루고 있다. 문제풀 이 과정 중심 인지요소는 수에 대한 기본 개념 과 연산을 적용하기, 간단한 수학 공식을 활용하 여 계산하기, 대수식을 전개 및 정리하기, 대수 식의 답 구하기 등이 있다. 이러한 문제풀이 중 심의 인지요소는 TIMSS의 인지 행동이 내용 요 소를 반영하지 않고 과정에만 초점을 맞추고 있 는 것과 달리 내용 영역을 반영하고 있다.
이상의 여러 연구들은 수학 학업성취도 평가 에 요구되는 인지요소를 규명하고 Q행렬을 개발 하는데 기여하였다. 또한 학교 교육에서 수학적 속성은 문항을 통해 측정될 수 있고 학생들이 어떤 속성을 많이 숙달하고 있는지에 대한 상세 한 정보를 제공함으로써 수학 성취도 평가 결과 가 보다 의미있게 교육 현장에 피드백 되어 활 용될 수 있음을 알 수 있다.
Ⅲ. 연구 방법
본 장에서는 2011년 수학 학업성취도 평가 자 료를 대상으로 [그림 Ⅱ-2]와 같은 일련의 단계 에 따라 인지진단모형을 적용하여 결과를 분석 하는 구체적인 방법을 살펴본다 .
1. 검사도구
인지진단모형을 통해 평가 결과를 분석하고 이를 바탕으로 학생들에게 교육적 피드백을 제
인지영역 정의
계산하기 •자연수, 정수, 유리수, 실수, 복소수를 가지고 +, -, ×, ÷ 및 혼합계산을 할 수 있고, 비례식의 계산, 집합 의 연산, 대수식의 전개 및 정리, 식의 값 구하기, 방정식의 풀이, 부등식의 풀이를 할 수 있다.
이해하기 •문제 상황에 활용되기 적절한 수학적 원리와 법칙, 수학적 개념과 성질 등을 이해할 수 있고, 수학에서 사용되는 정의, 용어와 기호의 의미를 알 수 있다.
추론하기
•주어진 정보로부터 문제해결에 요구되는 여러 정보 사이의 타당한 관계를 결정하거나 문제의 해법을 발 견하고 활용할 수 있다.
•관찰, 실험, 열거 또는 주어진 정보를 바탕으로 귀납, 유추, 추측을 통해 수학적 원리와 법칙을 발견할 수 있고, 적절한 단위선택, 도형의 해부, 수 감각, 양감을 활용하여 문제해결에 적합한 시각적/직관적 추론 을 할 수 있으며 증명을 읽고 이해할 수 있으며 수학적 명제를 증명할 수 있다.
표현하기 •문제에 주어진 정보, 자료 등으로부터 읽어낸 정보를 그림, 수직선, 식, 표, 그래프, 글(언어), 기호, 벤다 이어그램, 차트 등으로 표현할 수 있다.
해석하기 •문제에 주어진 지문, 대화, 조건, 표, 그래프, 도형, 그림, 식, 다양한 다이어그램, 통계적 자료 등으로부터 문제해결에 필요한 정보를 읽어 낼 수 있다.
<표 Ⅲ-1> 5개 인지영역과 그 정의
공하기 위해서는 검사 도구는 문항 하나하나가 수학적 속성을 갖고 있으면서도 교육과정에 충 실하게 개발되어 학생들의 강약점에 대한 정보 를 제공할 수 있도록 개발된 것이 적합하다. 국 가수준 학업성취도 평가 문항은 전국 초등학교 6학년, 중학교 3학년, 고등학교 1학년을 대상으 로 실시되는 검사로서 , 수학과 교육과정에 근거 하여 학업성취도 평가에 적합하게 추출된 성취 기준에 따라 제작된다 . 따라서 본 연구에서는 가 장 최근에 전수조사로 시행되고 2012년에 평가 결과가 발표된 2011년 수학 학업성취도 평가 문 항
2)을 활용하였고, 각 학교급별로 평가문항의 성취기준(평가목표)는 <부록1>, <부록2>, <부록 3>에 제시하였다.
2. 인지요소 추출
2011년 수학 학업성취도 평가의 인지요소를 추출하기 위하여 먼저 전수 시행이 시작된 2008년 이후의 학업성취도 평가 보고서, 검사지 등 학업 성취도 평가 관련한 각종 연구 자료를 검토하고
인지진단이론 관련 국내·외 선행연구를 분석하 였다. 이를 바탕으로 학교급별로 수학과 내용 영 역별 성취기준을 공통으로 포함할 수 있는 인지 영역을 범주화하고 이와 관련한 인지요소를 분석 하였다. 그런 다음, 각 학교급별 수학교사 3인과 수학교육전공 교수 2인이 2011년 국가수준 학업 성취도 평가 문항과 문항 정보 , 정답률, 수학 학 업성취도 평가틀 등을 토대로 전체 학교급을 포 괄할 수 있는 공통의 인지영역과 인지요소를 추 출하였다. 추출된 인지요소를 선행연구 결과와 평가틀에서 제시하고 있는 성취기준에 비추어 검토하면서 인지요소를 수정하거나 재추출하는 과정을 반복하였다.
구체적으로, 초·중·고 모두에서 공통적으로 추 출가능한 인지영역을 추출하기 위해, 초등학교의 5개 내용 영역(수와 연산, 측정, 도형, 규칙성과 문제해결, 확률과 통계)과 중·고등학교의 5개 내용 영역(수와 연산, 문자와 식, 함수, 기하, 확률과 통계)별로 출제된 문항의 행동영역(계산, 이해, 추론, 문제해결)에 대한 분류 정보를 활용하였다.
특히, 수학과 교육과정과 학업성취도 평가틀에
2) 2011년 국가수준 학업성취도 평가의 중학교 수학 문항은 한국교육과정홈페이지 기출문제에 공개되어 있고, 그 URL은 다음과 같다.
http://www.kice.re.kr/board.do?boardConfigNo=112&menuNo=372&action=view&boardNo=24894
인지영역 인지요소 정의 계산하기
1. 사칙계산 자연수, 정수, 유리수, 실수, 복소수에 대한 사칙계산 및 그 혼합계산을 할 수 있다.
2. 정형적인 대수적 절차 비례식의 계산, 집합의 연산, 대수식의 전개 및 정리, 식의 값 구하기, 방정식의 풀 이, 부등식의 풀이를 할 수 있다.
이해하기
3. 원리와 법칙의 이해 문제 상황에서 활용되기 적절한 수학적 원리와 법칙을 이해할 수 있다.
4. 개념과 성질의 이해 수학적 대상, 개념과 성질을 이해할 수 있고, 수학에서 사용되는 정의와 용어의 의 미를 알 수 있다.
추론하기
5. 분석하기 수학적 상황에서 변수나 대상들 사이의 관계, 문항의 조건, 자료로부터 문제해결에 요구되는 여러 정보 사이의 타당한 관계를 결정하고 활용할 수 있다.
6. 귀납적으로 추론하기 주어진 정보로부터 귀납적으로 규칙성이나 원리와 법칙을 발견하고 그들 사이의 관 계를 알고 활용할 수 있다.
7. 직관적으로 추론하기 수학적 상황에 따라 적절한 수 감각, 양감 및 단위 선택 능력이 있고 이를 시각적으 로 추론하거나 그 성질을 직관적으로 추론할 수 있다. 평면도형에서 입체도형으로 혹은 입체도형에서 평면도형으로 변환시키는 추론을 할 수 있다.
8. 연역적으로 정당화하기 가정과 결론을 구분할 수 있다. 문제의 조건이나 증명과정을 논리적으로 타당하게 설명하고 이를 연역적으로 구성/서술할 수 있다. 논리규칙을 적용하여 연역적으로 추론할 수 있다.
표현하기9. 그림, 표, 그래프, 식, 기호,
글 등으로 표현하기 문제에 주어진 정보, 자료, 조건 등으로부터 읽어낸 정보를 그림, 수직선, 식, 표, 그 래프, 글(언어), 기호, 벤다이어그램, 차트 등으로 표현할 수 있다.
해석하기
10. 문제 상황의 글 해석하기문제에 주어진 지문, 대화, 풀이과정 등으로부터 정보를 읽어 낼 수 있다. (단, 문제 로부터 주어진 조건이나 단서를 파악하는 것은 제외함)
11. 함수와 도형의 방정식 영
역의 자료 해석하기 함수 영역과 도형의 방정식 영역의 다양한 그래프, 대응표, 식, 그림 등 의 자료로부 터 정보를 읽어 낼 수 있다. 간단한 눈금을 읽을 수 있다.
12. 통계적 자료 해석하기 주어진 데이터, 표, 그래프, 차트 등의 통계적 자료들로부터 정보를 읽어 낼 수 있다.
13. 도형, 다이어그램의 정보
해석하기 도형이나 그림, 다이어그램 등으로부터 필요한 정보를 읽어 낼 수 있다.
<표 Ⅲ-2> 2011년 수학 학업성취도 평가에서 추출된 인지요소 제시된 교육목표와 성취기준에서는 내용 영역과
행동 영역을 구분한 인지영역을 서술하고 있지 않고, 송미영 외(2011)의 연구를 제외한 선행연 구에서도 인지영역은 학생들이 수학 내용을 공 부함에 따라 기대되는 행동을 의미하므로 내용 중심과 행동 중심의 인지영역 및 그 하위 인지 요소를 구분하지 않고 있다 . 이에, 본 연구에서 는 내용 영역과 행동 영역을 구분하지 않고 초·
중 ·고 모두에 적용할 수 있는 공통의 인지영역 과 그 정의를 <표 Ⅲ-1>과 같이 추출하였다. 공 통의 인지영역은 계산하기, 이해하기, 추론하기, 표현하기, 해석하기의 5개 범주이다.
그런 다음, 인지요소는 동일 수준의 서로 독립 적이며, 문항에서 측정하고자 하는 것을 모두 포
함할 수 있도록 추출하였다. 2011년 수학 학업성 취도 평가에서 최종적으로 추출된 인지요소는 13개이고 <표 Ⅲ-2>와 같다.
3. Q행렬 개발
<표 Ⅲ-2>에 제시된 2011년 수학 학업성취도 평가의 공통 인지요소를 토대로 하여 초등학교 6학년, 중학교 3학년, 고등학교 2학년의 학교급 별 Q행렬 초안을 개발하였다. 이때, 기본적으로 각 문항에 해당 인지요소가 포함될 경우는 1로, 포함되지 않을 경우 0으로 코딩하였으며 선다형 과 서답형 문항의 코딩 방식은 동일하였다. 그리 고 Q행렬을 확정하기에 앞서 다중회귀분석과 자
모형 비표준화계수 표준화계수 t 유의확률
B 표준오차 오류 베타
(상수) .675 .350 1.929 .065
인지요소 1 -.233 .420 -.105 -.533 .585
인지요소 2 -.093 .292 -.066 -.318 .753
인지요소 3 -.435 .391 -2.33 -1.112 .277
인지요소 4 .006 .268 .004 .021 .983
인지요소 5 -.884 .400 -.400 -2.212** .036
인지요소 8 -.120 .532 -.040 -.226 .823
인지요소 9 -.488 .279 -.316 -1.752* .092
인지요소 10 -.844 .515 -.278 -1.640 .114
인지요소 11 .129 .403 .059 .321 .751
인지요소 12 .051 .534 .017 .095 .925
인지요소 13 .090 .325 .063 .277 .784
*p<.10, ** p<.05
<표 Ⅲ-3> 2011년 학업성취도 평가 중3 수학과 중다회귀분석 결과 카드 계수를 통해 문항 정답률에 부적으로 영향
을 미치는 인지요소를 검토하고, 인지요소 간 유 사성을 확인하여 문항과 인지요소 간 관계 설정 이 타당한지를 통계적으로 분석하였다.
Buck & Tatsuoka(1998)과 김성훈(2005)에 의하 면, 각 문항의 정답을 맞히기 위한 인지요소의 필요성 여부가 해당 문항의 실제 정답률에 기여 할 것이라는 가정 하에 문항의 정답률을 종속변 수로 다중회귀분석을 수행하면 문항 정답률에 부적인 영향을 미치는 인지요소를 Q행렬에서 삭 제할 수 있다. Park(2008)은 Q행렬에 나타난 인 지요소 간의 유사성을 산출하기 위해 자카드 계 수(Jaccard index)를 사용하였다. 만약 인지요소 간의 자카드 계수 값이 .33이라면 전체 문항들 중에서 1/3에 해당하는 문항에 두 인지요소가 동 시에 나타난 것을 의미하고, 자카드 계수 값이 1 이라면 항상 두 인지요소가 동시에 나타났음을 의미한다. Hennig(2004)은 군집분석에서 유사한 대상이 모인 집단이라고 판단할 때 ‘자카드 계수
＞ .50’을 기준으로 삼았다. 본 연구에서도 Hennig (2004)의 기준에 따라 자카드 계수를 활용하여 유사성을 판단하였다.
초6과 고2 수학의 경우 Q행렬 초안에 대하여 자카드 계수와 다중회귀분석을 수행하여 타당화 분석을 실시한 결과, Q행렬 초안을 수정 없이 그대로 최종안으로 확정할 수 있었다. 그런데 중 3 Q행렬 초안의 경우 자카드 계수 분석 결과는 타당한 것으로 판단되었으나, 다중회귀분석을 실 시한 결과 Q행렬 내에 인지요소 5(분석하기)와 인지요소 9(표현하기)가 문항 정답률에 유의하게 부적 영향을 미치는 것으로 나타났다 (<표 Ⅲ-3>
참조). 이에, 인지요소 5와 인지요소 9가 포함된 문항을 다시 검토하였다.
문항을 재검토한 결과, 서답형 3, 4번
3)에서 인 지요소 5를 삭제하였다. 서답형 3번은 부분 문항 인 3-(1)번에서 삼각형의 합동 조건을 논리적 순 서로 올바르게 이해하고 있는지를 해결한 후 3-(2)번에서는 주어진 변의 길이를 3-(1)번에 주 어진 관계식에 대입하여 삼각형의 둘레의 길이 를 구하는 문제이다. 따라서 단순한 수치 대입을 통한 식의 계산을 할 수 있는 능력을 묻는 문항 으로 볼 수 있으므로 인지요소 5를 삭제해도 무 방하다는 결론을 내렸다. 또한 서답형 4번에서 인지요소 5가 인지요소 10과 함께 연결되어 나
3) 서답형 3, 4번 문항은 <부록 4>에 제시하였다.
인지영역 인지요소 정의 계산하기
1. 사칙계산 자연수, 정수, 유리수, 실수, 복소수에 대한 사칙계산 및 그 혼합계산을 할 수 있다.
2. 정형적인 대수적 절차 비례식의 계산, 집합의 연산, 대수식의 전개 및 정리, 식의 값 구하기, 방정식의 풀 이, 부등식의 풀이를 할 수 있다.
이해하기
3. 원리와 법칙의 이해 문제 상황에서 활용되기 적절한 수학적 원리와 법칙을 이해할 수 있다.
4. 개념과 성질의 이해 수학적 대상, 개념과 성질을 이해할 수 있고, 수학에서 사용되는 정의와 용어의 의 미를 알 수 있다.
추론하기
5. 분석하기 수학적 상황에서 변수나 대상들 사이의 관계, 문항의 조건, 자료로부터 문제해결에 요구되는 여러 정보 사이의 타당한 관계를 결정하고 활용할 수 있다.
6. 귀납적으로 추론하기 주어진 정보로부터 귀납적으로 규칙성이나 원리와 법칙을 발견하고 그들 사이의 관 계를 알고 활용할 수 있다.
7. 직관적으로 추론하기 수학적 상황에 따라 적절한 수 감각, 양감 및 단위 선택 능력이 있고 이를 시각적으 로 추론하거나 그 성질을 직관적으로 추론할 수 있다. 평면도형에서 입체도형으로 혹은 입체도형에서 평면도형으로 변환시키는 추론을 할 수 있다.
8. 연역적으로 정당화하기 가정과 결론을 구분할 수 있다. 문제의 조건이나 증명과정을 논리적으로 타당하게 설명하고 이를 연역적으로 구성/서술할 수 있다. 논리규칙을 적용하여 연역적으로 추론할 수 있다.
표현하기9. 그림, 표, 그래프, 식, 기호,
글 등으로 표현하기 문제에 주어진 정보, 자료, 조건 등으로부터 읽어낸 정보를 그림, 수직선, 식, 표, 그 래프, 글(언어), 기호, 벤다이어그램, 차트 등으로 표현할 수 있다.
해석하기
10. 문제 상황의 글 해석하기문제에 주어진 지문, 대화, 풀이과정 등으로부터 정보를 읽어 낼 수 있다. (단, 문제 로부터 주어진 조건이나 단서를 파악하는 것은 제외함)
11. 함수와 도형의 방정식 영
역의 자료 해석하기 함수 영역과 도형의 방정식 영역의 다양한 그래프, 대응표, 식, 그림 등 의 자료로부 터 정보를 읽어 낼 수 있다. 간단한 눈금을 읽을 수 있다.
12. 통계적 자료 해석하기 주어진 데이터, 표, 그래프, 차트 등의 통계적 자료들로부터 정보를 읽어 낼 수 있다.
13. 도형, 다이어그램의 정보
해석하기 도형이나 그림, 다이어그램 등으로부터 필요한 정보를 읽어 낼 수 있다.
<표 Ⅲ-2> 2011년 수학 학업성취도 평가에서 추출된 인지요소 제시된 교육목표와 성취기준에서는 내용 영역과
행동 영역을 구분한 인지영역을 서술하고 있지 않고, 송미영 외(2011)의 연구를 제외한 선행연 구에서도 인지영역은 학생들이 수학 내용을 공 부함에 따라 기대되는 행동을 의미하므로 내용 중심과 행동 중심의 인지영역 및 그 하위 인지 요소를 구분하지 않고 있다 . 이에, 본 연구에서 는 내용 영역과 행동 영역을 구분하지 않고 초·
중 ·고 모두에 적용할 수 있는 공통의 인지영역 과 그 정의를 <표 Ⅲ-1>과 같이 추출하였다. 공 통의 인지영역은 계산하기, 이해하기, 추론하기, 표현하기, 해석하기의 5개 범주이다.
그런 다음, 인지요소는 동일 수준의 서로 독립 적이며, 문항에서 측정하고자 하는 것을 모두 포
함할 수 있도록 추출하였다. 2011년 수학 학업성 취도 평가에서 최종적으로 추출된 인지요소는 13개이고 <표 Ⅲ-2>와 같다.
3. Q행렬 개발
<표 Ⅲ-2>에 제시된 2011년 수학 학업성취도 평가의 공통 인지요소를 토대로 하여 초등학교 6학년, 중학교 3학년, 고등학교 2학년의 학교급 별 Q행렬 초안을 개발하였다. 이때, 기본적으로 각 문항에 해당 인지요소가 포함될 경우는 1로, 포함되지 않을 경우 0으로 코딩하였으며 선다형 과 서답형 문항의 코딩 방식은 동일하였다. 그리 고 Q행렬을 확정하기에 앞서 다중회귀분석과 자
모형 비표준화계수 표준화계수 t 유의확률
B 표준오차 오류 베타
(상수) .675 .350 1.929 .065
인지요소 1 -.233 .420 -.105 -.533 .585
인지요소 2 -.093 .292 -.066 -.318 .753
인지요소 3 -.435 .391 -2.33 -1.112 .277
인지요소 4 .006 .268 .004 .021 .983
인지요소 5 -.884 .400 -.400 -2.212** .036
인지요소 8 -.120 .532 -.040 -.226 .823
인지요소 9 -.488 .279 -.316 -1.752* .092
인지요소 10 -.844 .515 -.278 -1.640 .114
인지요소 11 .129 .403 .059 .321 .751
인지요소 12 .051 .534 .017 .095 .925
인지요소 13 .090 .325 .063 .277 .784
*p<.10, ** p<.05
<표 Ⅲ-3> 2011년 학업성취도 평가 중3 수학과 중다회귀분석 결과 카드 계수를 통해 문항 정답률에 부적으로 영향
을 미치는 인지요소를 검토하고, 인지요소 간 유 사성을 확인하여 문항과 인지요소 간 관계 설정 이 타당한지를 통계적으로 분석하였다.
Buck & Tatsuoka(1998)과 김성훈(2005)에 의하 면, 각 문항의 정답을 맞히기 위한 인지요소의 필요성 여부가 해당 문항의 실제 정답률에 기여 할 것이라는 가정 하에 문항의 정답률을 종속변 수로 다중회귀분석을 수행하면 문항 정답률에 부적인 영향을 미치는 인지요소를 Q행렬에서 삭 제할 수 있다. Park(2008)은 Q행렬에 나타난 인 지요소 간의 유사성을 산출하기 위해 자카드 계 수(Jaccard index)를 사용하였다. 만약 인지요소 간의 자카드 계수 값이 .33이라면 전체 문항들 중에서 1/3에 해당하는 문항에 두 인지요소가 동 시에 나타난 것을 의미하고, 자카드 계수 값이 1 이라면 항상 두 인지요소가 동시에 나타났음을 의미한다. Hennig(2004)은 군집분석에서 유사한 대상이 모인 집단이라고 판단할 때 ‘자카드 계수
＞ .50’을 기준으로 삼았다. 본 연구에서도 Hennig (2004)의 기준에 따라 자카드 계수를 활용하여 유사성을 판단하였다.
초6과 고2 수학의 경우 Q행렬 초안에 대하여 자카드 계수와 다중회귀분석을 수행하여 타당화 분석을 실시한 결과, Q행렬 초안을 수정 없이 그대로 최종안으로 확정할 수 있었다. 그런데 중 3 Q행렬 초안의 경우 자카드 계수 분석 결과는 타당한 것으로 판단되었으나, 다중회귀분석을 실 시한 결과 Q행렬 내에 인지요소 5(분석하기)와 인지요소 9(표현하기)가 문항 정답률에 유의하게 부적 영향을 미치는 것으로 나타났다 (<표 Ⅲ-3>
참조). 이에, 인지요소 5와 인지요소 9가 포함된 문항을 다시 검토하였다.
문항을 재검토한 결과, 서답형 3, 4번
3)에서 인 지요소 5를 삭제하였다. 서답형 3번은 부분 문항 인 3-(1)번에서 삼각형의 합동 조건을 논리적 순 서로 올바르게 이해하고 있는지를 해결한 후 3-(2)번에서는 주어진 변의 길이를 3-(1)번에 주 어진 관계식에 대입하여 삼각형의 둘레의 길이 를 구하는 문제이다. 따라서 단순한 수치 대입을 통한 식의 계산을 할 수 있는 능력을 묻는 문항 으로 볼 수 있으므로 인지요소 5를 삭제해도 무 방하다는 결론을 내렸다. 또한 서답형 4번에서 인지요소 5가 인지요소 10과 함께 연결되어 나
3) 서답형 3, 4번 문항은 <부록 4>에 제시하였다.
