본 연구의 효과를 알아보기 위해 아래와 같이 과학 탐구 능력 , 창의적 문제 해결력, 과학적 태도, 학업 성취도를 측정할 수 있는 검사 도구를 사용하였다.
가. 과학 탐구 능력 검사 도구
과학 탐구 능력의 변화 정도를 살펴보기 위해 권재술과 김범기(1994)에 의해 개발된 TSPS 검사지를 사용하였다. 권재술과 김범기(1994)는 초등학교 5학년 학생부터 중학교 3학년 학생까지 적용 가능한 검사지로 과학 탐구 능력을 관찰, 분류, 측정, 추리, 예상 등의 기초 탐구 능력과 자료 변환, 자료 해석, 가설 설 정, 변인 통제, 일반화 등의 통합 탐구 능력으로 구분하여 측정하고자 하였다.
그러나 본 연구자는 개발한 프로그램의 성격에 맞게 기초 탐구 능력을 검증할 수 있는 부분만 활용하였다. TSPS 검사지의 평균 신뢰도 Cronbach α는 .076이 다<부록 2>. 과학 탐구 능력 검사지의 문항 구성은 <표 Ⅲ-2>와 같다.
<표 Ⅲ-2> TSPS 검사지의 기초 탐구 능력 하위 요소별 문항 구성
나. 창의적 문제해결력 검사 도구
창의적 문제해결력을 측정하기 위해 정은영(2008)이 개발한 창의적 문제해결 력 검사 도구를 이용하였다. 이 검사 도구는 한국교육개발원(2001)의 ‘간편 창의 적 문제해결력 검사 개발 연구(Ⅰ)’를 토대로 만들어졌으며, 창의적 문제해결력 을 특정 영역의 지식․사고기능․기술의 이해 및 숙달여부, 확산적 사고, 비판 적․논리적 사고, 동기적 요소 등 4개 하위 영역의 창의적 문제해결력을 측정할 수 있도록 제작되었다<부록 3>. 그리고 각 영역의 성취 수준을 평가하기 위해 영역별 5문항, 총 20문항으로 이루어져 있으며, 각 문항별 점수는 Likert 척도에 따라 배점하였다<표 Ⅲ-3>.
<표 Ⅲ-3> 창의적 문제해결력 검사지의 문항 구성
하위 요소 관련 문항 문항수 문항유형
관찰 1, 4, 7 3
선다형
분류 2, 5, 8 3
측정 3, 6, 9 3
추리 10, 12, 14 3
예상 11, 13, 15 3
총 문항수 15
하위 요소 관련 문항 문항수 문항유형
특정 영역의 지식, 사고기능
기술의 이해 숙달 여부 1, 2, 3, 4, 5 5
Likert 척도5점 확산적 사고 6, 7, 8, 9, 10 5
비판적, 논리적 사고 11, 12, 13, 14, 15 5 동기적 요소 16, 17, 18, 19, 20 5
총 문항수 20
다. 과학적 태도 검사 도구
과학적 태도의 사전․사후 변화 정도를 알아보기 위해 김효남 등(1998)이 개 발한 과학적 태도 검사 도구를 사용하였으며, 검사지의 신뢰도는 Cronbach α는 .87이다. 이 검사 도구는 호기심, 개방성, 비판성, 협동성, 자진성, 끈기성, 창의 성 등 7개 하위 영역의 과학적 태도를 학생들 스스로 측정할 수 있도록 제작되 었다<부록 4>. 그리고 각 영역의 성취 수준을 평가하기 위해 영역별 3개의 문 항, 총 21개의 문항으로 이루어져 있다. 21개의 문항 중 긍정 문항은 18개, 부정 문항은 3개의 구성되었으며, 긍정 문항의 경우 Likert 척도에 따라 5～1점으로 배점하였고, 부정 문항은 긍정 문항과 반대로 배점하였다. 과학적 태도 검사지 의 문항 구성은 <표 Ⅲ-4>와 같다.
<표 Ⅲ-4> 과학적 태도 검사지의 문항 구성
(문항 뒤 *표시는 부정문항)
라. 학업 성취도 검사 도구
학업 성취도의 사전․사후 변화 정도를 알아보기 위해 고은혁과 홍승호(2015) 가 개발한 “생물과 환경” 단원의 학업 성취도 문항을 본 연구자의 연구 목적 및 프로그램의 개발 방향에 따라 문항의 내용을 수정․보완하여 활용하였다<부 록 5>.
하위 요소 관련 문항 문항수 문항유형
호기심 1, 8, 15 3
5점 Likert 척도
개방성 2, 9, 16* 3
비판성 3, 10, 17 3
협동성 4, 11, 18 3
자진성 5*, 12, 19 3 끈기성 6, 13*, 20 3
창의성 7, 14, 21 3
총 문항수 (긍정형/부정형) 21(18/3)
본 연구자가 학업 성취도 문항을 수정․보완한 후에는 제주대학교 교육대학원 초등과학교육과의 석사 학위 재학 중인 전문가 집단에 의해 Likert 척도에 의한 문항타당도 검사를 실시하였으며, 개발한 모든 문항이 4점 이상의 높은 점수를 받았다.
마. 프로그램 만족도 조사
실험 집단 학생들에게 적용된 STEAM 프로그램의 수업 만족도를 측정하기 위해 5단계 Likert 척도로 구성된 15 문항과 3개의 서술형 문항에 대한 응답 결 과를 분석하였다. Likert 척도로 구성된 문항은 ‘매우 그렇다’부터 ‘전혀 그렇지 않다’까지 5～1점으로 평가하였다. 이 외에 STEAM 프로그램에 대한 학생들의 다양한 반응을 살펴보기 위하여 개방형 문항을 제시하여 구체적인 의견을 제시 할 수 있도록 하였다<부록 6>.