판구조론의 학습발달과정 개발을 위한 지구적 인지과정 평가의 횡단적 문항 반응 분석: Rasch 모델
맹승호*, 이기영
강원대학교Cross-Sectional Item Response Analysis of Geocognition Assessment for the Development of Plate Tectonics Learning Progressions: Rasch Model
Seungho Maeng*, Kiyoung Lee
Kangwon National University A R T I C L E I N F O A B S T R A C TArticle history:
Received 15 January 2015 Received in revised form 17 February 2015
Accepted 18 February 2015
In this study, assessment items to examine geocognition on plate tectonics were developed and applied to middle and high school students and college students. Conceptual constructs on plate tectonics are Earth interior structure, specific geomorphology, and geologic phenomena at each plate boundary.
Construct for geocognition included temporal reasoning, spatial reasoning, retrospective reasoning, and system thinking. Pictorial data in each item were all obtained from GeoMapApp. Students’ responses to the items were analyzed and measured cross-sectionally by Rasch model, which distinguishes persons’
ability levels based on their scores for all items and compared them with item difficulty. By Rasch model analysis, Wright maps for middle and high school students and college students were obtained and compared with each other. Differential Item Functioning analysis was also implemented to compare students’ item responses across school grades. The results showed: 1) Geocognition on plate tectonics was an assessable construct for middle and high school students in current science curriculum, 2) The most distinguished geocognition factor was spatial reasoning based on cross sectional analysis across school grades, 3) Geocognition on plate tectonics could be developed towards more sophisticated level through scaffolding of relevant instruction and earth science content knowledge, and 4) Geocognition was not a general reasoning separated from a task content but a content-specific reasoning related to the content of an assessment item. We proposed several suggestions for learning progressions for plate tectonics and national curriculum development based on the results of the study.
Keywords:
plate tectonics, geocognition,
item response analysis, Rasch model,
learning progressions
* 교신저자 : 맹승호 ([email protected])
** 이 논문은 2012년 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(NRF-2012S1A5B5A01022532).
http://dx.doi.org/10.14697/jkase.2015.35.1.0037
Ⅰ. 서론
이 연구는 판구조론(plate tectonics)을 이해하는데 필요한 지구적 인지과정(geocognition)의 검사 문항들을 개발하고, 이를 중학생, 고등 학생 및 대학생들에게 적용하였다. 또한, 학생들의 문항별 응답 반응을 Rasch 모델에 근거하여 학교급별로 횡단적으로 분석하고, 그 결과를 바탕으로 판구조론에 대한 학습 발달과정 및 교육과정 개발을 위한 기초 자료를 제공하고자 하였다. 이 논문에서 지구적 인지과정은 “화 산이나 지진, 대륙의 운동과 같은 지구적 규모의 자연 현상을 인식하고 그 형성 원리를 이해하는데 사용되는 인지적 과정”(Libarkin, 2006)을 나타낸다.
이 연구의 내용적 소재인 판구조론은 과거로부터 현재까지 진행되 고 있는 지각의 지질학적 운동과 지표의 변화, 그리고 화산과 지진 및 조산운동을 지구의 판의 운동으로 일관성 있게 설명할 수 있는 체계를 제공해 주는 지구과학의 핵심 이론 중의 하나이다. 우리나라의 2009 과학과 교육과정 (MEST, 2011)에서도 판구조론은 부분적으로 관련된 내용을 포함하여 비록 수준의 차이는 있지만 초등학교와 중학
교, 고등학교 과학 및 지구과학Ⅰ, 지구과학Ⅱ 의 내용 체계에서 모두 언급될 만큼 중요한 개념으로 제시되었다(Table 1). 또한, 판구조론은 미국의 A Framework for K-12 Science Education (National Research Council [NRC], 2012)와 Next Generation Science Standards([NGSS]
Achieve Inc., 2013)에서 지구우주과학(Earth and Space Science)의 핵심 개념(disciplinary core idea)의 하나로 포함되어 지구 시스템 항목 의 주요 내용으로 초등학교, 중학교, 고등학교에 제시되었다. 특히, NRC Framework와 NGSS에서는 판구조론과 관련된 학생들의 점진적 인 발달의 과정을 학년급간에 따라 가설적으로 제시하였다. 즉, 유치원 과 초등학교 저학년(K~2학년)에서는 육지와 강 또는 바다의 종류와 형태를 지도에서 찾거나 표시할 수 있는 수준, 초등학교 고학년(3 ~ 5학년)에서는 산맥과 바다의 협곡, 해양저의 구조, 지진과 화산의 발생 등에 특정한 패턴이 있음을 인식하고, 이들을 지도에 표시하고 그것의 패턴을 결정하는데 지도를 사용할 수 있는 수준을 명시하였다. 중학교 (6~8학년)에서는 판구조론이 지표에서 대륙과 해저의 구조적 특징과 그것의 지질학적 역사를 설명할 수 있는 통합적 이론이며, 판의 운동에 대한 증거를 표현하는데 지도를 사용할 수 있는 수준에 도달하며, 고등
Journal of the Korean Association for Science Education
Journal homepage: www.koreascience.org
Table 1. Statements on plate tectonics described in the 2009 Korean National Science Curriculum
학교/학년
(군) 단원 교육과정 내용 체계 및 학습 내용 성취 기준
초등학교 3~4학년
군
화산과 지진
화산활동으로 생기는 다양한 물질을 안다.
화성암의 생성과정을 알고, 화강암과 현무암의 특징을 이해한다.
지진 발생의 원인을 이해한다.
중학교 1~3학년
군
지구계와 지권의
변화
지권의 특징에 대해 알고, 지진과 화산활동 등 지권의 변화가 우리 생활에 미치는 영향을 바르게 이해한다.
지진파를 이용하여 지구의 내부의 층상 구조를 탐사하 는 방법을 알고, 각 층의 특징을 이해한다.
판구조론의 발달 과정을 과학사적 관점에서 이해하고, 판의 운동과 지진, 화산 활동을 연계하여 설명한다.
고등학교 지구과학
Ⅰ
고체지구 의 변화
지진, 화산 등 지각의 변화를 일으키는 과정과 원리를 판구조론과 연계하여 설명할 수 있다
고체 지구의 변화를 설명하는 다양한 이론의 발달 역사 조사하기
고등학교 지구과학
Ⅱ
지구의 구조와 지각의 물질
지진파를 이용하여 알아낸 지구 내부의 구조와 각 층의 특징을 설명할 수 있다.
지구의 변동과 역사
대륙 이동설 이후 판구조론이 대두되기까지의 과정과
이를 뒷받침하였던 여러 가지 증거를 이해한다.
화산, 지진, 조산운동 등의 지각 변동을 판구조론으로 설명할 수 있다.
판 경계에 따라 생성되는 마그마의 종류가 다름을 이해 한다.
Table 2. Increasing sophistication on plate tectonics in NGSS (from the DCI Progression in NGSS)
Section of Earth and Space Science Grade bands
ESS2.B
Plate tectonics and large-scale system interactions
K-2 Maps show where things are located. One can map the shapes and kinds of land and water in any area.
3-5
Earth’s physical features occur in patterns, as do earthquakes and volcanoes. Maps can be used to locate features and determine patterns in those events.
6-8
Plate tectonics is the unifying theory that explains movements of rocks at Earth’s surface and geological history. Maps are used to display evidence of plate movement.
9-12
Radioactive decay and residual heat of formation within Earth’s interior contribute to thermal convection in the mantle.
학교(9~12학년)에서는 지구내부의 열과 방사능 붕괴를 통해 맨틀의 대류를 설명할 수 있는 수준에 도달할 수 있음을 가설적으로 제시하였 다(NRC Framework, Table 2). 과학 개념 이해의 발달과정이 항상 학 생들의 학년 및 학교급에 비례하여 정교화된다고 주장할 수는 없다.
개념의 곤란도나 주제의 특성, 해당 학년의 과학 교육과정에 제시된 내용 체계 등의 변수에 따라 학교급별 과제 수행 정도는 다르게 나타날 수 있다. 그러나 과학 교육과정의 내용 체계는 학년 및 학교급이 높아 짐에 따라 학생들의 발달과정에 최대한 부합하게 선정되고 제시되는 것이 필요하다. 이러한 측면에서 NRC Framework와 NGSS에 제시된 가설적인 발달과정은 NRC Framework 및 NGSS 개발자들이 스스로 언급한 바와 같이 구체적인 학습 평가 및 교수활동의 결과에 근거하여 그 적절성과 타당성이 검증되어야 한다. 우리나라의 과학교육과정에 제시된 판구조론의 내용체계의 학교급간 진술 역시 경험적인 평가와
적용 사례를 바탕으로 검증되고 수정, 보완되어야 함은 당연하다. 그러 므로 지구과학에서 차지하는 학술적 중요성 및 국가 수준의 과학 교육 과정의 요소로서 비중을 고려할 때 학교급에 따라 학생들이 판구조론 에 대해 어떻게 이해하는지를 구체적인 평가 문항의 결과를 근거로 파악하는 것은 판구조론에 대한 교육과정 구성을 위한 기초 자료를 확보하는데 매우 중요하다고 하겠다.
한편, 판구조론에 대한 학생들의 오개념 및 정신 모형(mental model)을 조사했던 선행 연구들도 학교급에 따라 조금씩 다른 결과들 을 보여주었다. Gobert & Clement(1999)의 연구에 의하면, 5학년 학생 (한국의 초등학교 고학년 또는 중학교 1학년에 해당함)들의 10% 정도 가 지구의 내부를 핵 – 맨틀 – 지각으로 이어지는 층상 구조로 옳게 그림으로 표현할 수 있었으나, 많은 학생들이 지구의 층에 대한 올바른 정적 모델(static model)을 설정하는데 어려움을 느끼고 있다고 한다.
Gobert(2000)는 역시 5학년 학생들이 화산 분출의 원인과 과정에 대한 정신모형 연구에서 부분적인 열과 관련된 유형, 부분적인 운동과 관련 된 유형, 소수의 열과 운동을 혼합한 유형, 다양한 열의 원인과 판의 운동 사례를 통합하여 화산의 분출을 설명하는 유형이 있음을 밝혔는 데, 학생들은 판 운동의 원인에 대한 인과적이며 역동적인 정보를 이해 하는데 어려움이 있고, 통합적인 정신 모형을 형성하는데 필요한 다양 한 유형의 지식을 통합하지 못하는 어려움이 있음을 주장하였다. 한국 의 중학생들을 대상으로 Park(2011)은 판의 위치와 마그마의 생성 과 정과 관련하여 학생들이 판의 위치를 설명하지 못하고 마그마의 기원 을 지구 중심의 핵으로 설명하는 불안정 모형, 판의 위치를 파악하지만 마그마의 생성 과정을 부분적으로 표현할 수 있는 부분적 인과 모형, 마그마의 생성과정과 판의 운동을 인과적 관계로 설명할 수 있는 인과 모형 및 개념적 모형을 가지고 있음을 제시하였다. 또한, Jeong et al.(2007)은 판구조론에 대한 한국의 고등학생들의 개념 이해를 조사 하였는데, 학생들은 판의 구조와 관련하여 지각을 판과 동일시하거나 맨틀의 상부를 판으로 보는 경향이 많았으며, 판의 분포에 대해서는 지진대를 그대로 판의 경계로 파악하는 경향이 많으며, 판의 발산 경계 에서 판의 운동에 대해 부정확한 구조를 가지고 있음을 발견하였다.
또한, 판의 수렴 경계에서 판의 충돌에 의한 산맥의 형성을 수렴하는 두 판의 단순한 대칭적 구조로 파악하는 경우가 많았고, 판의 보존 경계에서는 변환단층의 위치와 이름만 알고, 그것의 형성 과정을 명확 하게 이해하지 못하는 경우가 많음을 조사하였다. Park(2009)이 규명 한 고등학생들의 판의 경계에 대한 정신모형 연구의 결과는 맨틀과 암석권을 구분하지 못하고 암석권의 운동 및 판 경계의 지형적 특징을 설명하지 못하는 단순 모형, 하부맨틀과 암석권을 부정확하게나마 구 분하지만, 판 경계의 지형적 특징을 맨틀의 대류와 연관시켜 설명하지 못하는 불안정 모형, 판의 운동과 판 경계의 지형을 맨틀의 대류로 설명할 수 있는 인과적 모형 및 개념적 모형이 있었다.
판구조론에 대한 학생들의 개념 이해를 조사한 선행 연구들은 대체 로 판구조론과 관련된 부분적인 개념 이해(e.g., 지구의 내부 구조, 마 그마의 생성, 해저 확장, 지진, 화산 등)만을 조사하는 경향이 있어서, 학생들이 판구조론에 대한 여러 유형의 판 운동에 대한 현상을 종합적 으로 이해하고 있는지를 파악하지 못하는 한계가 있었다(Gobert, 2005). 그래서 Gobert(2000, 2005)는 학생들에게 판구조론에 대한 종 합적인 설명 텍스트를 제시하고 이것에 근거하여 그림을 그리게 하여 판구조론에 대해 학생들이 가지고 있는 공간적 지식(spatial
knowledge), 인과적 지식(causal knowledge), 및 시간적 지식(temporal knowledge)을 유형화하였다. 판구조론에 대한 공간적 지식은 지구 내 부의 공간 구조를 말하며, 인과적 지식은 판의 운동을 유발하는 맨틀의 대류나 판의 운동에 의해 화산이 형성되는 과정이 있으며, 판구조론에 대한 시간적 지식은 대륙의 이동과 화산 분출의 시간적 규모의 차이와 같이 서로 다른 지질학적 현상의 시간 규모를 구분하는 것을 말한다. 그래서 Gobert는 판구조론에 대한 개념적 지식을 공간적, 인과적, 시간 적 지식으로 구분하여 지도하면 더 깊은 지식을 이끌어 낼 수 있다고 하였다. Gobert(2005)는 판 구조론에 대한 점진적인 모델 형성 접근 방식(progressive model-building approach)으로서 먼저 학생들에게 지 구의 공간적 구조에 대해 생각하게 하고, 그 다음으로 지구 내부의 인과적이고 역동적인 과정을 사고하게 하고, 마지막으로 판의 운동과 관련된 두 가지 지질학적 현상으로서 산맥의 형성과 화산의 분출에 대한 시간적 규모를 사고하게 하였다(Gobert, 2005). Gobert의 연구에 서 특히 중요한 것은 그녀가 제시한 판구조론의 공간적 지식, 인과적 지식 및 시간적 지식의 관점은 이 논문에서 제안하는 지구적 인지과정 과 유사한 맥락에서 이해될 수 있다는 것이다.
지구적 인지과정은 암석의 순환, 물의 순환이나 탄소의 순환 및 풍화와 침식과 같은 지구적 과정(Earth processes; Cheek, 2010), 화산 과 지진, 판구조론, 지질시대의 지구의 역사, 지구규모의 기후변화 등 지구와 관련된 자연현상의 형성 원리를 관찰하고 해석할 때 작용하는 인지적 과정을 의미한다(King et al., 2008; Libarkin, 2006; Stokes, 2011). Libarkin(2006)과 King et al.(2008)이 제안했던 지구적 인지과 정의 초기 아이디어는 주로 지구적 현상의 원리를 이해하는데 필요한 개념 지식의 인지과정을 강조하였다. 그 대표적인 결과물이 Libarkin 이 운영하는 Geocognition Research Laboratory에서 작성된 Geoscience Concept Inventory (GCI)였다. 이후 GCI를 적용하여 지구 과학의 개념 이해 조사 연구들이 지속적으로 발표되기도 하였다(e.g., Petcovic & Ruhf, 2008). 그러나 지구적 현상에 대한 지구과학 탐구의 역사적 경험들은 지구과학의 개념적 지식의 이해뿐만 아니라, 각 개념 적 지식의 이해에 필요한 시간적 사고(temporal thinking, Hermann
& Lewis, 2004, Libarkin, Kurdziel, & Anderson, 2007), 공간적 사고 (spatial thinking, Kastens & Ishikawa, 2006; Petty & Rule, 2008), 3차원적 시각화 기능(visualization, Kastens, 2010; Titus & Horsman, 2009), 시스템적 사고(systems thinking, Sibley et al., 2007), 현재에 관찰된 사실을 근거로 과거의 역사를 추론하는 귀추적 또는 과거역산 적 사고(abductive or retrospective thinking, Frodeman, 1995) 등과 같은 지구과학적 탐구실행의 수행 능력을 습득하는 것이 중요함을 지 적하고 있다. 판구조론에서 다루는 지구적 현상들도 역시 오랜 시간에 걸쳐 형성되며 넓은 공간적 규모를 가지고 있기 때문에, 판구조론의 이해에 필요한 인지적 과정은 현재의 지구적 현상을 관찰하고 그것이 형성된 역사를 해석해 내는데 필요한 지구과학적 추론과정, 즉 지구적 인지과정을 포함하는 고유한 지구과학적 탐구실행 능력을 수반한다 (Orion & Trend, 2009).
Manduca & Kastens(2012)는 지구과학, 특히 지질학적 추론의 고유 한 특성으로 암석에 기록된 현재의 지질학적 과정의 결과들을 서로 비교하기, 지리적으로 그리고 시간적으로 고유한 사례들을 종합하여 본질적인 과정을 연역해 내기, 불완전한 여러 데이터에서 다양한 공통 점을 찾아내기, 지질학적 현상의 결과를 예측함으로써 가설을 검증하
기 등을 제시하였다. 이들은 또 지구과학적 추론의 고유한 관점으로서 자연 현상에 대한 관찰에 기반하기, 지리적/공간적/시간적으로 조직하 기, 지질학적 시간의 긴 역사와 격변적 사건의 중요성을 함께 고려하 기, 역동적이고 복잡한 지구 시스템의 틀을 이해하기 등을 제시하였다.
이들이 제시한 지구과학적 추론의 특성과 지구과학적 추론의 고유한 관점을 바탕으로 이 연구에서는 지구적 인지과정의 하위 항목으로 시 간적 추론(temporal reasoning, Cervato & Frodeman, 2012; Dodick
& Orion, 2006), 공간적 추론(spatial reasoning, Kastens & Ishikawa, 2006; Liben & Titus, 2012) 및 시각화(visualization, Rapp & Uttal, 2006), 시스템적 사고(systems thinking, Herbert, 2006; Stillings, 2012), 과거역산적 추론(retrospective reasoning, Dodick & Argamon, 2006)을 선정하였다.
지구적 인지과정 중 시간적 추론은 지질학적 시간에 대한 거시규모 적 사고와 미시규모적 사고로 나눌 수 있다(Dodick & Orion, 2006).
거시규모의 시간적 사고는 지구 역사에 대한 긴 시간 규모를 이해하기 또는 지질학적 사건들을 지구 역사의 긴 흐름에 맞추어 정렬하기와 시간 스케일이 크다는 것(deep time)을 강조하는 사고 능력이다. 미시 규모의 시간적 사고는 지층의 상대적인 순서를 결정하기와 같이 지질 학적 현상을 관찰하고 이것을 시간 순서에 따라 논리적으로 해석하는 능력을 강조한다.
지구적 인지과정 중 공간적 추론 및 시각화에 대한 세부 요소는 Kastens & Ishikawa(2006)이 제시한 공간적 추론 능력에 대한 지구과 학적 과제들을 반영하여 정리하였다. 이들은 공간적 추론 능력과 관련 하여 사물의 모양을 해석하고 묘사하기, 공간적 성질과 과정을 이해하 기, 공간적 사고를 은유적으로 사용하기 등이 주요한 지구과학적 과제 가 될 수 있음을 주장하였다. 사물의 모양을 묘사할 때는 인지적 수준 에 따라 위상적, 투영적, 기하학적 묘사가 사용되며, 지구과학에서는 현상을 표현하는 많은 공간적 과제들이 투영적 또는 기하학적 요소를 가지고 있어서 학습자들에게 어려움을 준다. 그리고 복잡하고 다양한 여러 자료에서 특징적인 모양이나 패턴을 인식하는 과제도 공간적 사 고 능력에 포함된다. 공간적 성질과 과정을 이해하는 것은 2차원적인 평면에 제시된 지도나 사진 자료를 보고 3차원적인 공간 구조를 추리 하거나 이것을 3차원적인 이미지로 시각화하는 것을 들 수 있다.
지구적 인지과정 중 과거역산적 추론 능력은 시간적 사고 및 공간적 추론과 복합적으로 작용하는 것으로 볼 수 있다. 예를 들면, 공간적 추론과 관련하여 지질학적 형태를 관찰할 때 그 형상을 만들어낸 지질 학적 역사, 작용한 에너지, 그리고 물리적, 화학적 환경의 변화를 역으 로 추적하여 과거의 변화 과정을 추리하게 된다. 이 때 과거의 작용과 유사하다고 생각되는 현재의 지질학적 과정을 관찰한 결과가 논거로 사용될 수 있다(Kastens & Ishikawa, 2006).
지구적 인지과정 중 시스템적 사고는 전체 시스템을 구성하는 한 부분에서 나타나는 작동, 변화, 또는 기능이 어떻게 시스템의 다른 부분에 영향을 주는지 이해하고, 그것들을 종합하여 전체 시스템의 작용에 대한 큰 그림을 완성하는 사고 능력을 말한다(NRC, 2010).
그러므로 판구조론과 관련된 현상이 지구 시스템의 어느 하위 시스템 과 관련된 것인지 파악하기, 각 시스템 간의 물질과 에너지의 교환이 판의 운동에서 어떻게 나타나는지 이해하기, 판의 경계에서 형성되는 지질학적 현상들이 대기, 해양 및 지권의 시스템에 어떤 영향을 주는지 설명하기 등을 제시할 수 있다.
한편, 학습을 위한 평가(assessment for learning, Black & Wiliam, 1998)의 관점에서 학습 평가의 결과를 활용하여 ‘과학 학습의 순서와 계열이 나타내는 수직적 경로(vertical pathways)가 학생들의 실제적인 발달의 경로와 일치하는지 여부를 밝히는 것’은 과학 학습평가와 과학 교육과정 및 교수활동의 일관성을 확보하는데 매우 중요하다(NRC, 2006; National Assessment Governing Board, 2008). 과학 학습의 수직 적 경로는 그동안 교육과정 또는 교육기준(standards)을 개발할 때 과 학자, 과학교육자 또는 과학교육 정책 입안자 등 전문가들의 경험과 식견에 따라 결정되는 경우가 많았다. 그러나 그 수직적 경로가 학생들 의 실제적 발달 과정과 부합하지 못할 경우 과학 교육과정은 학생들의 과학 학습을 적절하게 안내하기 어렵다. 따라서 과학 교육과정에 제시 되는 개념들의 위계와 순서를 포함한 수직적 학습 경로는 적절한 학습 평가의 결과를 통해 도출된 학생들의 실제적 발달과정에 맞추어 보완 되는 것이 필요하다. 이런 취지에서 최근 과학교육계에 학습 발달과정 (learning progressions, Maeng et al., 2013; NRC, 2007)에 대한 연구가 점차 확산되고 있다. 학습 발달과정은 “학습자들이 습득한 과학의 핵 심적인 개념(core concepts) 및 관련된 과학 탐구의 실행(scientific inquiry practices)에 대한 이해와 활용 능력이 장기적인 학습 과정을 거치는 동안 점점 더 정교해지는 과정에 대한 평가 가능한 가 설”(Corcoran, Mosher, & Rogat, 2009)을 말한다. NRC(2007)에서 제 시한 학습 발달과정 연구의 전형적인 형태는 학생들의 발달 경로의 출발점으로서 하위 정착점(lower anchor)과 도달점으로서 상위 정착 점(upper anchor)을 설정하고, 그 사이에 배치될 발달 경로의 중간 단 계들을 가설적으로 제시한 뒤 학습 평가의 결과를 근거로 가설적 발달 경로를 검증하는 방식이다1). 학습 발달과정이 학생들의 발달에 대한 평가 가능한 가설적 경로라고 한다면, 더 정확한 가설적 학습 발달과정 을 규명하기 위해서 적절하고 타당한 평가 문항을 개발하고, 평가 결과 가 하위 정착점에서 중간 단계들을 거쳐 상위 정착점까지 일련의 발달 경로를 보여줄 수 있는지 여부를 과학적으로 측정하고 해석하는 과정 이 필요하다. 이를 위해 그동안 학습 발달과정 연구에서는 순위 선다형 문항(ordered multiple-choice items, Briggs et al., 2006; Alonzo &
Steedle, 2009; Maeng et al., 2013, Maeng et al., 2014), 2단계 선다형 문항(two-tiered multiple-choice items, Neumann et al., 2013), 2단계 열린 응답 검사(two-tiered open ended assessment items, Lee & Liu, 2010; Mohan et al., 2009), 임상 인터뷰(clinical interview, Carraher et al., 2009; Smith et al., 2010) 등 여러 가지 평가 방법들이 사용되었 다. 또한, 평가 결과를 측정과 해석하기 위하여 구인 모델링 방식 (construct modeling approach, Wilson, 2005), 구인 중심 설계 (construct centered design, Krajcik et al., 2009), 또는 증거 중심 설계 (evidence-centered design, Mislevy & Riconscente, 2005) 방식 등이 사용되었다. 학습 발달과정 연구에서 평가 결과의 측정과 해석을 위한 이론적 배경으로서 문항반응이론(item response theory)이 주로 적용 되었다. 문항반응이론은 피험자들의 잠재적 특성(latent traits)을 문항 들에 대한 응답 반응을 근거로 예측할 수 있다고 가정한다. 이를 위해 피험자들의 응답 반응과 그들이 가진 잠재적 특성 사이의 관계를 수학 적 확률 함수로 나타내기 위한 다양한 문항반응 모델이 제안되었으며,
1) Duschl, Maeng, & Sezen(2011)은 이러한 형태의 학습 발달과정 연구를 validation LPs라 하여 그 한계점을 지적한 바 있으나 이 논문에서는 학습 발달 과정 연구의 일반적 경향 중의 하나로서 서술한다.
최근 과학교육계의 학습 발달과정 연구에서는 문항의 곤란도 (difficulty)에 대한 피험자의 특성(또는 능력)을 추정하는 Rasch 모델 이 문항 모수 선정의 간편함 때문에 다른 모델에 비해 많이 사용되어 왔다(e.g., Jin & Anderson, 2012; Neumann et al., 2013; Gotwals &
Songer, 2013). Rasch 모델에서는 피험자의 능력이 문항의 곤란도보다 높으면 문항에 대해 정답 반응을 보일 확률이 더 크고, 피험자의 능력 이 문항의 곤란도보다 낮으면 그 문항에 대해 오답 반응을 보일 확률이 더 크다고 해석한다. Rasch 모델을 적용한 학습 발달과정 연구에서는 검사 문항들에 대하여 문항특성곡선(item characteristic curves)과 person-item map의 하나인 Wright map을 이용하여 문항의 곤란도와 피험자의 능력을 서로 비교하여 학습 발달의 경로를 서술하고 있다.
Wright map을 이용하면 다양한 학교급의 피험자들에게 동일한 검사 지를 적용하여 학교급별로 횡단적인 비교를 통해 피험자들의 발달 경 로의 경향을 파악할 수 있다.
이상의 논의를 바탕으로 이 연구에서는 지구적 인지과정을 반영한 판구조론의 학습 발달과정을 탐색하기 위한 평가 문항을 개발하고 이 를 다양한 학교급(중학교, 고등학교, 및 대학교)의 학생들에게 적용하 였다. 각 문항들에 대한 학생들의 응답 반응을 문항반응이론의 Rasch 모델을 이용하여 학교급에 따라 횡단적 분석을 수행하였다. 그 결과를 근거로 판구조론의 학습 발달과정 개발 및 과학 교육과정 개발을 위한 기초 자료로서 횡단적 문항반응 분석의 의의를 탐색하고자 하였다.
Ⅱ. 연구 방법
판구조론에 대한 문항 개발 과정과 적용 사례, 문항에 대한 응답 반응 분석 방법, 문항 반응 결과를 근거로 중학생, 고등학생 및 대학생 의 학교급간 비교 방법에 대하여 서술한다.
1. 문항 개발 과정
판구조론의 이해 수준을 평가하는 문항 개발은 평가 구인(construct) 을 선정한 후에 각 구인에 대한 문항의 맥락과 문항의 형태를 결정하여 실제 문항을 개발하는 절차로 진행되었다. 판구조론 평가 문항의 평가 구인은 크게 개념적 구인과 지구적 인지과정 구인으로 나눌 수 있다. 판구조론의 개념적 구인은 판구조론과 관련된 오개념 또는 정신모형 연구들의 결과를 검토하여 ‘판과 관련된 지구 내부 구조의 이해, 판 경계에서 특징적인 지형, 판 경계의 지질 현상’으로 선정하였다. 지구 적 인지과정의 구인은 서론에서 논의된 네 가지 추론(시간적 추론, 공간적 추론, 과거역산적 추론, 시스템 사고)으로 선정하였다. 이 연구 의 지구적 인지과정은 지구적 현상의 내용과 무관한 일반적 추론 능력 을 다루는 것이 아니므로, 문항 개발 과정에서 판구조론의 개념적 구인 과 지구적 인지과정은 통합적 형태로 제시되었다. 즉, 판구조론의 개념 적 구인을 문항의 소재로 하여 지구적 인지과정의 추론 능력을 측정하 는 맥락으로 문항을 개발하였다. 이에 따라 판의 수렴 경계와 발산 경계에서 특징적으로 나타나는 지형에 대한 이해를 소재로 공간적 추 론 능력을 측정하거나, 보존 경계의 변환단층을 소재로 과거역산적 추론 능력을 측정하고, 판 경계의 지진과 화산을 소재로 시스템 사고 능력을 측정하고, 해양판의 운동을 소재로 시간적 추론 능력을 측정하 고, 판구조론과 관련된 지구 내부 구조를 소재로 공간적 사고 능력을
Table 3. Summary of the assessment items on plate tectonics and geocognition
문항 번호 1 2 3 4 5 6 7 8 9
문항 형태 순위선다형 순위선다형 위치
표시하기 순위선다형 그림 그리기 문장 순서
재배열 순위선다형 단답형 순위선다형
개념 수렴 경계 수렴 경계 발산 경계 발산 경계 지구 내부
구조 변환단층 지진/화산 해양판의
운동
발산/수렴 경계 지구적
인지과정 공간적 추론 공간적 추론 공간적 추론 공간적 추론 공간적 추론 과거역산적
추론 시스템 사고 시간적 추론 시스템 사고
제시된 자료 수심
해저 지형 수심 해저 지형
수심 지형 단면
수심
지형 단면 지형 단면 수심
지형 단면
진원 분포 화산 분포
수심 암석 연령
수심 암석 연령 퇴적층두께
Figure 1. Captured images of GeoMapApp (http://www.geomapapp.org)
측정할 수 있게 평가 문항을 개발하였다. 아래 Table 3은 이 연구에서 사용한 검사지의 문항 구성을 요약한 것이다. 개발된 검사지의 문항 형태는 순위 선다형 문항(ordered multiple-choice items, Briggs et al., 2006; Maeng et al., 2013; Seong et al., 2013)과, 해저지형도와 해저지 형의 단면도를 비교하여 관련된 위치를 표시하는 문항, 지구 내부의 판 구조를 그림으로 나타내는 문항, 지질구조를 보고 그것의 생성 과정 을 서술한 문장들의 순서를 인식적 흐름(epistemic flow)에 맞게 재배 열하는 문항, 해양판의 운동을 고려하여 해양지각 암석의 연령 순서를 답하는 문항 등으로 구성되었다(Table 3). 순위 선다형 문항의 선택지 들은 판구조론의 개념 이해 및 지구적 인지과정의 실행 정도에 따라 수준 1 – 수준 4로 구분되게 제시하였다. 즉, 수준 1은 판 구조와 관련 된 특성을 인식하지 못하며 지구적 인지과정이 표현되지 않는 경우, 수준 2는 판 구조와 관련된 특성을 인식하지만 판 경계의 유형을 구분 하지 못하고 주어진 자료의 특징을 인식하는 부분적인 지구적 인지과 정을 표현하는 경우, 수준 3은 판 경계의 유형에 따른 지질학적 특징을 지구적 인지과정에 근거하여 인식할 수 있으나 판 경계의 지질 현상에 대한 과학적 원리 이해가 부족한 경우, 끝으로 수준 4는 적절한 지구적 인지과정을 활용하여 판 경계의 유형에 따른 고유한 지질학적 특성을 과학적 원리에 맞게 설명하는 경우에 해당한다. 그러므로 순위 선다형 문항은 여러 선택지 중 정답 하나를 찾아서 선택하는 것이 아니라, 어느 선택지를 선택하더라도 학생들의 선택 결과가 그 학생의 판구조 론 개념 이해 및 지구적 인지과정의 실행 수준에 대한 정보를 제공해 줄 수 있다. 순위 선다형 문항들을 제외한 나머지 문항의 경우 순위 선다형 문항 선택지의 수준 구분과 동일한 기준으로 학생들의 답변을 구분하게 하였다.
한편, 판구조론과 관련된 개념을 이해하려면 지형을 나타낸 지도나 자료에서 지질학적 정보를 찾아 그 의미를 파악하는 것이 중요하다.
그러므로 평가 문항에 포함될 그림 자료들은 판구조론에 대한 지질학 적 연구 결과가 반영되어 그 정보를 제공해 줄 수 있도록 하는 것이 필요하다. 이를 위해 문항의 그림 자료들은 모두 GeoMapApp (http://
www.geomapapp.org; Ryan et al., 2009)을 활용하여 작성하였다.
GeoMapApp은 Columbia University의 the Lamont-Doherty Earth Observatory에서 운영하는 해양 지질 정보 시스템 (Marine Geoscience Data System)을 기반으로 제작되었으며, 전 세계에서 관측된 수심, 해저 및 육지의 지형, 화산, 지진 및 해양의 중력, 자력, 암석연령, 수온, 염분 등의 탐사 자료를 종합하여 고화질의 해상도를 가진 시각화 자료 를 제공하고 있다. GeoMapApp을 이용하면 원하는 지역의 지질 정보 자료를 원하는 배율로 확대한 질 높은 그림 자료를 얻을 수 있다. Table 3에서 “제시된 자료”는 GeoMapApp에서 추출한 그림 자료의 내용을 의미한다. 아래 Figure 1은 GeoMapApp을 실행시킬 때 구동되는 화면 과 초기 화면을 캡쳐한 것이다.
문항의 내적 타당성을 확보하기 위하여 제1 저자와 제2 저자가 문항 의 내용 오류 여부, 문항의 내용과 현행 교육과정의 연관성, 문항에 사용된 용어의 적절성 등을 중심으로 여러 차례 교차 검토를 실시하여 각 문항에 대한 합의안을 도출하였다. 공동 연구진 간의 교차 검토를 거쳐 개발된 검사 문항을 지구과학을 전공한 중학교 과학 교사 2명과 고등학교 지구과학 교사 1명에게 각 문항들이 판구조론의 개념 이해 및 지구적 인지과정의 추론 능력을 잘 측정할 수 있는지, 순위선다형 문항의 선택지들의 수준 구분이 뚜렷한지, 그리고 문항들이 학생들에 게 적용 가능한지 여부를 중심으로 추가 검토를 의뢰하였다. 현장 교사
Figure 2. Exemplars of assessment items on spatial reasoning at a divergent boundary (The pictures of these items were obtained from the GeoMapApp,http://www.geomapapp.org)
들의 의견은 검사 문항을 학생들에게 적용할 때 파생될 수 있는 문제점 들을 미리 파악하는데 도움이 되었다. 검토 과정을 거쳐 최종 확정된 9개 문항들 중 3번 문항(위치 표시하기)과 4번 문항(순위선다형)을 예시로 제시하였다(Figure 2).
Figure 2의 두 문항은 판의 발산 경계에서 형성되는 특징적인 지형 을 소재로 공간적 추론 능력을 평가한 문항이었다. 4번 문항의 선택지 들은 공간적 추론의 실행과 판구조론 이해 정도를 반영하여 각각 수준 을 구분하였는데, 선택지 2번이 가장 낮은 수준 1, 선택지 3번이 수준 2, 선택지 1번이 수준 3, 선택지 4번이 가장 높은 수준 4에 해당한다.
2. 검사 문항의 적용
판구조론의 이해와 관련된 지구적 인지과정의 발달을 횡단적으로
조사하기 위하여 검사 문항을 중학교, 고등학교, 그리고 대학교 학생들 에게 적용하였다. 연구의 초기에 학교 과학교육과정의 틀에서는 초등 학교, 중학교, 고등학교의 학교급간 비교가 필요하였으나, 현행 과학 교육과정에서 초등학생들에게 “판구조론”이라는 용어를 전혀 가르치 지 않아서 실제로 초등학교에 평가 문항을 적용하는 것은 불가능하였 다. 한편으로 현행 과학 교육과정의 내용 체계가 판구조론의 내용은 포함하지만, 판구조론의 이해와 관련된 지구적 인지과정을 명시적으 로 포함하지 않고 있다. 그래서 본 연구에서 검사 문항을 적용할 때 초등학교를 제외하는 대신에 사범대학의 지구과학교육과 대학생을 포 함하였다. 대학생들은 지구과학의 전공 강좌를 통해 대학 전공 수준의 지구과학적 탐구를 체험할 수 있으며, 그 결과 예비 지구과학 교사들의 판구조론과 지구적 인지과정의 이해 정도를 보여줄 수 있다고 판단되 었기 때문이다.
Table 4. The number of students participated in this study
학교 중학교 고등학교 대학교
학년 1 2 3 소계 2 소계 1 2 3 4 소계 총계
인원(명) 125 116 95 336 119 119 177 82 89 49 397 852
검사 문항의 학교 적용을 위해 수도권의 도시 지역 중학교 한 곳 (N=204)과, 농촌 지역 중학교 한 곳(N=132), 그리고 도시 지역 고등학 교 한 곳(N=119)을 임의 선정하였고, 중학생들과 고등학생들에 동일 한 검사 문항을 적용하여 검사를 실시하였다. 중학교는 선정된 중학교 과학 교사들의 협조를 얻어 1, 2, 3학년에 각각 두 학급 씩 적용하였으 며, 고등학교의 경우 지구과학Ⅰ 교과에서 판구조론을 명시적으로 학 습한 2학년을 선정하였다. 또한, 사범대학에 지구과학교육과가 있는 대학 중 검사 문항 적용에 동의한 6개 대학(강원대학교, 경북대학교, 서울대학교, 전남대학교, 전북대학교, 조선대학교)의 지구과학교육 전 공 학생(N=397)들에게 중고등학교에 적용한 것과 동일한 검사 문항을 적용하였다. 단, 대학생들에게 적용한 검사지는 각 문항별로 학생들이 제시한 답안에 대하여 그렇게 생각하는 근거를 간단히 서술하게 하였 다. 검사 문항에 응답한 중학생, 고등학생 및 대학생들의 학년별 분포 는 아래 Table 4와 같다.
3. 문항 반응 분석
문항 반응 분석은 학생들의 응답에 대한 점수를 할당하고 그 결과를 기술하는 과정과 학생들의 문항 응답 반응을 Rasch 모델에 적용하여 분석하는 과정으로 나눌 수 있다. 순위 선다형 문항은 판구조론의 개념 이해 및 지구적 인지과정의 실행 정도에 따라 선택지의 수준이 구분되 었으므로 선택지의 수준에 맞추어 1점~4점씩 점수를 부여하였다. 순 위 선다형 문항을 제외한 다른 문항들은 학생들의 다양한 응답 결과를 검토하여 유사한 응답끼리 분류하여 범주화하였다. 응답 결과를 분류 하고 범주화할 때 먼저 제1 저자와 제2 저자가 각각 중학교 네 학급 분량의 검사지(N=116)를 샘플로 각자 분류하여 범주화한 후 그 결과 를 함께 비교하였다. 두 연구자의 분류/범주화 결과의 채점자간 신뢰도 (inter-rater reliability)는 Cohen’s Kappa 값이 0.87로 양호하였다. 일부 이견이 있는 검사지는 두 연구자가 다시 검토하여 최종적인 합의를 도출하였다. 두 연구자 간 문항 응답의 분류 및 범주화 기준이 일치된 후 나머지 검사지들은 두 연구자가 각각 나누어 학생들의 응답 결과를 분류하고 범주를 구분하였다. 분류된 범주들은 그 문항에서 평가하고 자 했던 지구적 인지과정 요소들의 성취 정도와 순위 선다형 문항의 네 수준과 비교하여 각각 수준 1~수준 4로 재구성되어 각각 1점~4점 씩 점수를 부여하였다.
이와 같이 모든 문항들에 대하여 4점부터 1점까지 부분 점수를 부여 함으로써 각 문항에 대해 학생들의 응답 반응을 근거로 학생들의 판구 조론 개념 이해 및 지구적 인지과정의 추론 수행 능력의 수준을 구분할 수 있게 하였다. 전체 문항에 대한 학생들이 얻은 점수에 따라 학생들 의 수준을 구분하고 이를 각 문항의 과제 곤란도와 비교하여 측정하는 Rasch 모델 및 그 세부 유형으로 부분점수 모델을 적용하여 학생들의 문항 반응 결과를 측정하였다. 부분점수 모델 유형의 Rasch 모델 관계 식은 아래와 같다.
log
e(Pnij / Pni(j-1) ) = Bn - Di – Fij
Pnij: n 피험자가 i 문항의 j 선택지에서 점수를 얻을 확률 Pni(j-1): n 피험자가 i 문항의 j-1 선택지에서 점수를 얻을 확률 Bn: n 피험자의 문항 해결 능력
Di: i 문항의 곤란도
Fij: i 문항의 j 선택지가 가진 등급 척도 지수
Rasch 모델을 적용한 문항 응답 결과 측정은 문항 반응 분석 프로그 램인 Winsteps를 사용하여 각 문항별로 문항 특성 곡선(item charac- teristic curves)과 누적 확률 곡선(cumulative probability curves)을 얻었 다. 두 곡선을 바탕으로 학생들의 과제 수행 능력과 문항의 곤란도를 동일한 로그 스케일로 표현한 Wright map이 도출되었으며, Wright map의 결과를 토대로 각 문항들에서 세부 선택지들의 수준을 전체적으 로 비교하였다. 이 결과를 바탕으로 판구조론의 개념 및 그와 관련된 지구적 인지과정 요소들을 문항 곤란도에 따라 위계적으로 제시하였다.
4. 학교급 간 문항 반응 비교
중학생, 고등학생 및 대학생들의 판구조론 개념 이해와 지구적 인지 과정의 수행 정도에 대한 문항 반응 분석 결과를 학교급에 따라 비교 분석하기 위하여 먼저 중학생, 고등학생 및 대학생의 Wright map을 각각 작성하여 학생들의 능력과 문항 곤란도를 서로 비교하였다. 동일 한 문항을 적용한 것이므로 각 문항의 수준별 선택지들의 문항 곤란도 의 로지트가 학교급에 따라 어떻게 달라지는지 비교하면 학교급에 따 른 문항 반응의 차이를 파악할 수 있다. 두 번째 분석으로 세 학교급 학생들의 문항 반응 결과를 종합하여 Differential Item Functioning (이하 DIF) 분석을 수행하였다. DIF의 본래 의미는 검사 문항이 서로 다른 피험자 집단에게 다르게 반응되는 정도를 뜻하는데(Bond &Fox, 2007; Boone et al., 2014), 학년별 학생들의 문항 해결 능력값을 그 문항의 곤란도 로지트와 비교함으로써 그 문항이 피험자 집단 간의 차이를 구별하는 정도를 파악할 수 있다. 즉, 동일한 검사지를 서로 다른 집단에 적용했을 때 각 집단별로 각 문항의 곤란도 측정값을 서로 비교하여 그것이 집단 간 차이를 반영하는지 여부를 파악하는 것이다. DIF 분석 결과를 통해 이 연구의 검사 문항들에 대한 중학생, 고등학생 및 대학생들의 상대적 곤란도를 비교하였고, 각 문항들에서 측정하고자 하는 판구조론의 개념과 지구적 인지과정이 학년 및 학교 급에서 어느 정도 적합한지에 대한 의견을 제시하였다.
Ⅲ. 연구 결과
1. Rasch 모델을 적용한 문항 반응 분석: Wright map 비교
판구조론에 대한 지구적 인지과정의 발달 수준 및 학교급별 차이를 보기 위하여 각 문항에 대한 학생들의 응답 반응을 Rasch 모델에 적용Figure 3. Wright map for middle school students (grade 7 to 9) Figure 4. Wright map for high school students (grade 11)
하여 분석하였다. 분석 과정에서 각 문항별로 문항 특성 곡선과 누적 확률 곡선을 얻었으나 지면 관계상 두 곡선에 대한 서술은 생략하고 이 곡선들을 바탕으로 도출된 Wright map을 중심으로 연구 결과를 서술한다.
Figure 3~Figure 5는 각각 중학교(7-9학년), 고등학교(11학년), 그리 고 대학교(13~16학년) 학생들의 문항 반응을 분석하여 작성한 Wright map들이다. Figure 6은 중학교, 고등학교, 대학교 학생들을 종합하여 7~16학년 전체 학생들의 문항 반응을 분석하여 작성한 Wright map이 다. 네 그림에서 가장 왼쪽에 있는 “MEASURE” 아래에 있는 숫자들 (3, 2, 1, 0, -1, -2, -3)은 각 문항의 곤란도와 피험자가 그 문항을 해결할 수 있는 능력의 관계를 확률로 계산하여 로그 척도로 환산한 단위인 로지트(logit: log odds unit) 값을 나타낸 것이다.
Figure 3 ~ Figure 6의 세로선 오른편에는 각 문항별 선택지들의 배점 수준에 대한 Rasch – Thurstone 임계값을 로지트로 환산하여 그 위치가 표시되었다. Rasch – Thurstone 임계값은 응답자들이 그 문항 을 해결할 확률이 50%가 되게 하는 응답자의 능력을 말한다. 문항 반응 이론에서 문항의 곤란도는 그 문항을 맞힐 확률이 50%가 되게 하는 응답자의 능력으로 결정되므로, 각 문항별 Rasch – Thurstone 임계값은 그 문항의 곤란도에 해당한다. 따라서 Rasch – Thurstone 임계값이 높으면 피험자에게 더 어려운 문항이고, 이 임계값이 낮으면 피험자에게 더 쉬운 문항이라고 볼 수 있다. 세로선 왼편에 있는 ‘#’
표시와 ‘.’ 표시는 로지트로 표시한 능력 수준을 가진 피험자들의 숫자 를 나타낸 것이다(그림 아래에 EACH “#” is 3; EACH “.” is 1 to 2라고 씌어진 부분 참고). 오른편의 문항별 선택지의 배점 수준이 위쪽 에 있을수록 더 어려운 선택지를 나타내므로, 왼편의 피험자 표시도 위쪽에 있을수록 더 높은 수준의 능력을 나타내고 아래로 내려갈수록 더 낮은 피험자의 능력 수준을 나타낸다. 세로선 왼편의 “M”은 학생들 의 응답 점수를 Rasch 모델로 측정하여 로지트로 환산한 평균값이고, 세로선 오른편의 “M”은 문항별 곤란도의 평균값으로서 Rasch 모델에 서 자동적으로 0 에 맞추어져 있다.
가. 중학생들의 문항 반응 분석
중학생들의 문항 반응을 분석한 Wright map (Figure 3)을 보면, 학 생들의 능력 평균은 .11로 문항 곤란도 평균( .0에 맞추어짐)과 근소한 차이로 약간 높다. 따라서 이 검사 문항들은 중학생들의 판구조론 이해 와 지구적 인지과정 실행 수준을 측정하는데 평균적으로는 큰 어려움 이 없었다고 볼 수 있다. 중학생 집단의 지구적 인지과정의 평균은 수준 3, 즉 판 경계의 유형에 따른 지질학적 특징을 지구적 인지과정에 근거하여 인식할 수 있으나 판 경계의 지질 현상에 대한 과학적 원리 이해가 부족한 수준에서 비교적 낮은 위치에 해당한다. 세부적으로 지형 단면 자료를 보고 지구 내부구조를 그림으로 표현하여 공간적
Figure 5. Wright map for college students (grade 13 to 16) Figure 6. Wright map for total respondents (grade 7 to 16)
추론 능력을 평가하는 5번 문항과, 변환단층대에서 수심과 지형 단면 자료를 보고 지질 구조의 생성 과정에 대한 과거역산적 추론 능력을 평가하는 6번 문항이 네 수준의 선택지에서 모두 가장 어려운 과제로 판명되었다. 두 문항에서 수준 4의 곤란도에 해당하는 능력에 도달한 중학생들이 Wright map을 보면 표시되어 있지 않다. 이는 지구 내부구 조를 암석권과 연약권으로 이해하여 판의 구조를 파악하는 과제와 판 의 보존 경계에서 변환단층의 지질학적 과정을 과거역산적으로 추론 하는 과제는 중학생들이 현행 교육과정의 학습을 통해 자연적으로 도 달하기는 어렵다는 것을 잘 보여준다. 비록 검사 문항 중 과거역산적 추론의 과제가 6번 문항 하나뿐이지만, 중학생들에게 이 문항은 수준 2에 도달한 학생들의 숫자가 많지 않은 것으로 보아 부분적인 과거역 산적 추론도 중학생들에게 쉽지 않은 과제임을 알 수 있다. 또한, 지구 내부구조를 판 개념으로 이해하는 것은 지각, 맨틀, 외핵과 내핵으로 구분하는 것이 아니라 물질 특성에 따라 암석권, 연약권, 핵으로 구분 하는 것이어서 현행 교육과정을 이수한 중학생들에게 쉽지 않은 과제 가 되었다. 그러나 이 두 문항을 제외한 나머지 문항들은 수준 1 ~ 수준 4에 해당하는 학생들이 다수 분포하였다. 특히 평균적인 능력을 보이는 학생들이 대부분 수준 3에 해당하는 문항 곤란도의 위치에 분포하는 것으로 보아 중학생들이 판 경계의 유형에 대한 지구적 인지 과정을 어느 정도 수행할 수 있는 능력이 있음을 알 수 있다. 화산과 지진에 대한 시스템 사고를 나타내는 문항 7과 판의 발산 경계에서
해양 지각 암석의 나이를 추정하는 시간적 추론 문항 8의 곤란도가 다른 문항들보다 더 높은 위치에 놓인 것으로 보아 중학생들이 시스템 사고와 시간적 추론을 수행할 수 있지만 상대적으로 공간적 추론에 비해 어려워하는 과제로 판명되었다. 그리고 판의 수렴 경계에서 해저 지형과 지형 단면을 보고 해구의 생성과정을 이해하는 공간적 추론 능력을 평가하는 문항(1번, 2번)에서 수준 4에 해당하는 문항 곤란도 가 평균보다 약간 높은 능력을 가진 중학생들에 해당되어 전체 문항 중 상대적으로 가장 쉬운 과제로 인식되었다. 또한, 공간적 추론 능력 은 수렴 경계의 맥락보다 발산 경계의 맥락(문항 3번과 4번)에서 상대 적으로 더 어렵게 인식되었다.
나. 고등학생들의 문항 반응 분석
고등학생들의 문항 반응을 분석한 Wright map (Figure 4)을 보면, 학생들의 능력 평균이 .82로 문항 곤란도 평균( .0)보다 높다. 이 값은 중학생들의 능력 평균값보다 .71 로지트 더 높은 것으로 동일한 문항 에 대하여 고등학생 집단이 중학생 집단보다 더 높은 지구적 인지과정 능력을 보여주고 있다. 고등학생 집단의 평균적인 지구적 인지과정 수준은 수준 3 과 수준 4의 경계치 부근이라고 할 수 있다. 즉, 판 경계의 유형에 따른 지질학적 특징을 지구적 인지과정에 근거하여 대 부분 인식할 수 있으며 판 경계의 지질 현상에 대해 과학적 원리에
근거하여 이해하지만 충분하지 않은 수준이라고 볼 수 있다. 고등학생 집단도 중학생 집단과 동일하게 문항 6번과 문항 5번에 대한 곤란도가 네 수준에 대하여 모두 높게 나타났다. 두 문항 모두 수준 4의 곤란도 에 해당하는 능력에 도달한 학생 수가 표시되지 않았다. 이런 결과는 이 집단의 학생들은 지구과학Ⅰ 교과에서 판구조론에 대하여 이미 학 습한 학생들이었음을 감안하면, 변환단층에 대한 과거역산적 추론과 암석권/연약권 구분에 근거한 지구 내부구조에 대한 공간적 추론은 고등학생들에게도 여전히 도전적인 과제였음을 말해 준다. 과거역산 적 추론의 경우 현행 고등학교 지구과학 교육과정에서 특별히 강조되 지 않고 있어서 학생들의 사고 수준이 충분하지 않을 수 있다. 그러나 지구 내부구조의 경우 화학 성분에 근거한 지각, 맨틀, 외핵 및 내핵의 구분은 익숙한 반면, 지구 구성 물질의 특성에 근거한 암석권, 연약권, 중간권 및 핵의 구분이 고등학생들에게도 충분히 학습되지 못하고 있 음을 알 수 있다. 이는 지구 내부구조에 대한 교육과정 내용 체계 구성 및 교수활동 개선에서 판구조론의 관점을 더욱 강조하는 것이 필요함 을 말해준다. 문항 5번과 문항 6번을 제외한 나머지 문항들에 대해서 는 대부분의 고등학생들이 수준 2 ~ 수준 4의 곤란도에 해당하는 능력 수준에 분포하였다. 고등학생들의 문항 반응에서 특징적으로 화산과 지진 분포에 대한 시스템 사고(문항 7번)과 해양 지각 암석의 나이에 대한 시간적 추론(문항 8번)에 대한 문항 곤란도가 낮게 제시되었다.
특히 시간적 추론은 중학생들에게 어려운 과제였던 것에 반해 고등학 생들은 수렴 경계의 공간적 추론을 평가하는 문항 2번을 제외하면 가장 낮은 곤란도를 보였다. 현행 중학교 과학 교육과정이 지질시대를 가르치지 않는 반면, 고등학생의 경우 이미 지질시대를 학습한 상황이 어서 암석의 나이를 지질시대에 맞추어 응답하는 문항은 쉽게 인식한 것으로 판단된다. 한편, 판의 발산 경계에서 공간적 추론 능력을 평가 하는 문항 3번과 4번은 고등학생 집단에서도 상대적으로 높은 과제 곤란도를 보였다. 이 두 문항의 경우 수준 2, 수준 3, 수준 4에 도달한 학생들이 모두 분포하지만, 각 수준에서 모두 두 문항의 곤란도가 높은 것을 비추어 볼 때 발산 경계에 대한 공간적 추론 능력은 지구과학 교수활동에서 좀 더 강조될 필요성이 제기된다.
다. 대학생들의 문항 반응 분석
대학생들의 문항 반응을 분석한 Wright map (Figure 5)을 보면, 대 학생들의 능력 평균은 1.27로 문항 곤란도 평균( .0) 뿐만 아니라 고등 학생 집단의 능력 평균보다도 높다. 문항 곤란도의 평균에 해당하는 로지트의 피험자 능력은 전체 대학생 집단의 하위 수준에 해당한다.
과제 수행 능력 로지트별로 학생 수의 분포를 보면 대학생의 대부분이 지구적 인지과정의 수준 2와 수준 3의 최상위 또는 수준 4의 중간 정도에 해당한다. 이는 전반적으로 대학생들의 판구조론에 대한 지구 적 인지과정의 수행 수준이 중학생과 고등학생 집단에 비해 높다는 것을 의미한다. 그러나 Figure 5에서 수준 2에 해당하는 문항별 곤란도 와 수준 3에 해당하는 문항별 곤란도의 로지트 분포는 그 차이가 크지 않으며, 수준 3의 중간 이상에 해당하는 문항별 곤란도의 로지트 분포 는 수준 4에 해당하는 문항별 곤란도와 겹쳐진다. 즉, 이 검사지의 문항들이 대학생들의 판구조론에 대한 지구적 인지과정의 하위 수준, 중간 수준 및 상위 수준은 구별할 수 있지만, 중간 수준(수준 2와 수준 3)을 세분하지 못하는 것이다. 이런 결과는 다음 섹션의 학년별 DIF
분석과 종합하여 볼 때 대학생들의 경우, 판 경계의 유형을 구분하고 이것을 인식할 때 적용되는 지구적 인지과정이 주제에 따라 그리고 학년에 따라 그 차이가 뚜렷한 경우와 미미한 경우가 혼재되어 있음을 보여준다. 대학생 집단의 문항 반응 분석에서 특이하게 화산과 지진의 분포에 대한 시스템 사고를 평가하는 문항 7번과 지구 내부구조의 공간적 추론 능력을 평가하는 문항 5번의 곤란도가 네 수준에 모두 가장 높게 나타났다. 이와 같은 경향은 대학생 집단에서 중고등학생 집단에 비해 화산과 지진의 분포 및 지구 내부구조에 대하여 판 구조론 의 관점에서 파악하지 못하는 수준 1의 응답 반응이 많았던 데서 기인 한 것이었다. 문항 7번과 5번에 대한 대학생들의 반응 결과는 판구조 론에 대한 내용지식 수준의 영향을 고려할 수 있는데 이에 대한 분석은 이후 DIF 분석에서 좀 더 자세히 논의한다. 반면에 중학생과 고등학생 집단에서 문항 곤란도가 가장 높았던 문항 6번은 대학생 집단에게는 다소 낮은 로지트 값(로지트 1 ~ 2)을 보여 충분히 해결 가능한 과제가 되었다. 이 연구의 대학생 집단이 모두 사범대학 지구과학교육과 학생 들인 것을 감안할 때 대학에서 지구과학의 내용학 전공 강좌를 수강하 면서 과거역산적 추론에 대한 이해와 수행 능력이 갖추어진 것임을 예측할 수 있다. 이런 결과는 중학교와 고등학교에서 과학 수업에서 과거역산적 추론 능력의 교수활동이 보완될 경우 학생들의 지구적 인 지과정의 수행 수준을 높일 수 있음을 암시한다. 한편, 대학생 집단에 게도 해양 지각의 암석의 나이에 대한 시간적 추론을 평가하는 문항 8번은 고등학생 집단의 경우와 유사하게 다른 문항과 비교하여 상대적 으로 낮은 문항 곤란도를 보였다. 대학생들 역시 지질시대에 대한 충분 한 내용적 이해가 시간적 추론의 수행을 촉진시킬 수 있음을 알 수 있다. 중학생 및 고등학생 집단과 비교할 때 대학생 집단은 판의 발산 경계에 대한 공간적 추론을 평가하는 문항 3번과 4번을 판의 수렴 경계에서 공간적 추론을 평가하는 문항 2번에 비해 상대적으로 조금 더 어려워하였다. 그러나 문항 3번과 문항 4번의 곤란도는 모두 학생 들의 평균적인 지구적 인지과정 수준과 유사하거나 그 이하였다. 이것 은 대학생 집단의 경우 판의 수렴 경계나 발산 경계에 대한 공간적 추론은 충분히 갖추고 있음을 보여준다.
라. 전체 학생 집단의 문항 반응 분석
중학생, 고등학생, 및 대학생을 모두 하나의 집단으로 설정하여 이 연구의 검사 문항에 대한 응답 반응을 분석한 Wright map을 Figure 6에 제시하였다. Figure 6을 보면, 전체 학생들의 지구적 인지과정 수 행 능력의 평균 로지트값은 .63으로 문항 곤란도 평균( .0)보다 다소 높은 편이다. 이 평균값은 지구적 인지과정의 수준 2의 상위 부분, 수준 3의 중간 정도, 수준 4의 하위 부분에 해당하는 곤란도 로지트 값이다. 즉, 이 연구의 대상인 중학생, 고등학생 및 대학생 집단은 평균 적으로 판 경계의 유형 및 관련된 지질 현상에 대하여 지구적 인지과정 에 근거하여 인식하지만, 그 현상에 대한 과학적 이해는 충분하지 않다 고 할 수 있다. 전체 집단의 학생들이 지구 내부구조에 대한 공간적 추론(문항 5번), 변환단층에 대한 과거역산적 추론(문항 6번), 화산과 지진의 분포에 대한 시스템 사고(문항 7번)는 대체로 어려워하여 높은 문항 곤란도를 보이고 있으며, 이 과제에서 높은 점수를 받은 학생들은 높은 지구적 인지과정 수행 능력을 나타내었다. 공간적 추론 능력과 관련하여 판의 수렴 경계보다 발산 경계에 대해 조금 더 어려워하는
Table 5. Differential Item Functioning (DIF) measures for each item and each grade DIF측정값
문항
학년
7 8 9 11 13 14 15 16 * (Total)
1_SPATIAL -0.3495 -0.4446 -0.8174 -0.1108 -0.0879 0.2918 0.1317 -0.0600 -0.2426
2_SPA+CON -0.5825 -0.8405 -0.8174 -0.6248 -1.0748 -1.5444 -1.2365 -1.2687 -0.8405
3_SPA+DIV -0.0772 -0.3152 -0.2083 0.0689 -0.1970 -0.2919 -0.2770 -0.1690 -0.1690
4_SPA+DIV -0.3704 -0.3981 -0.3838 -0.0073 -0.6618 -0.9113 -0.7153 -1.4546 -0.4393
5_SPA+INT 0.7081 1.1727 1.7722 0.7460 0.8937 0.9089 0.8945 1.0904 0.9437
6_RETRO+TRANS 1.0060 1.2787 1.8859 0.9244 0.5112 0.4879 0.6419 0.7662 0.8388
7_SYS+QUKVOL -0.1095 -0.1075 -0.3331 -0.2033 1.0049 1.2165 1.1408 1.1897 0.4177
8_TEMP+DIV 0.0257 -0.1849 0.0489 -0.5329 -0.4707 -1.0255 -1.0195 -1.2687 -0.3192
9_SYS+DIV -0.1896 0.0445 -0.1587 -0.1027 -0.2278 -0.4147 -0.4275 -0.7044 -0.1896
Figure 7. Differential Item Functioning (DIF) plots: Item difficulty measures for each item and each grade
것을 알 수 있으며, 시간적 추론 능력은 대체로 낮은 곤란도 수준을 보였다. 비록 이 연구의 검사지 문항 수가 작아서 충분히 일반화하기는 어렵지만, 판구조론에 대하여 학생들의 지구적 인지과정은 대체로 공 간적 추론과 시간적 추론이 낮은 과제 곤란도를 보이고, 시스템 사고와 과거역산적 추론은 상대적으로 높은 과제 곤란도를 보인다. 즉, 판구조 론에 대한 지구적 인지과정을 함양시키기 위해서는 중등 과학교육과 정에서 공간적 추론과 시간적 추론에 기반하여 과거역산적 추론과 시 스템 사고를 적절한 맥락에서 도입하는 것이 유의미할 수 있음을 제안 할 수 있겠다.
2. 문항들의 DIF 분석
이 연구의 검사 문항들에서 측정하고자 하는 판구조론의 개념과 지구적 인지과정이 중학생, 고등학생, 및 대학생들에게 학년별로 상대 적 곤란도 차이가 어떻게 나타나는지 알아보기 위하여 Winsteps의
Rasch 모델 분석에서 제공하는 DIF 측정값(Table 5, Figure 7)을 분석 하였다. Table 5와 Figure 7에서 문항 곤란도의 DIF 측정값은 그 문항 에 대한 반응이 서로 다른 피험자 집단에서 달라지는 정도를 말하며, 각 학년 학생들을 피험자 집단으로 하여 그 문항의 곤란도 측정값을 나타낸 것이다. Figure 7에서 세로축은 문항 곤란도의 로지트 값이, 가로축은 각 문항이 표시되어 있다. 그래프에 표시된 점들은 전체 학생 들의 문항 반응 분석 결과에 근거하여 각 학년별로 각 문항 곤란도의 로지트 값을 나타낸 것이다. 파선(- - - -)은 중학생과 고등학생, 실선 ( )은 대학생에 해당한다. 굵은 일점쇄선(- · - )으로 표시된 것은 전체 학생들에 대한 각 문항 곤란도의 평균값(Table 5에서 *(Total))을 나타낸 것이다.
Table 5와 Figure 7을 보면 각 학년별로 그 값이 클수록 해당하는 문항이 그 학년 학생들에게 더 어려웠음을 의미한다. 따라서 Figure 7의 각 문항에 해당하는 학년별 점들의 간격이 클수록 그 문항에 대한 학생들의 반응이 각 학년에 따라 차이가 많다는 것을 알 수 있다. 예를
