기존 문헌 및 연구와 2015개정 정보교과 교육과정 분석을 통해 개발한 ‘컴퓨팅 사고력 기반 문제 해결 과정’, ‘문제 해결 과정 성취기준’, ‘평가 요소’, ‘평가 기준’
의 결과물에 대한 내용 타당도를 산출하기 위하여 델파이 설문 통계가 이루어졌다.
전문가 설문의 내용은 ‘문제 해결 과정’, ‘문제 해결 과정 각 단계별 정의’, ‘문제
구분 직책 전공 학위 경력
전문가 1 교수 컴퓨터 과학 박사 15~20년
전문가 2 교수 컴퓨터 과학 박사 10~15년
전문가 3 교수 컴퓨터 교육 박사 10~15년
전문가 4 조교수 컴퓨터 과학 박사 10~15년
전문가 5 조교수 컴퓨터 교육 박사 10~15년
전문가 6 고등학교 교사 컴퓨터 교육 석사 15~20년
전문가 7 고등학교 교사 컴퓨터 교육 석사 10~15년
전문가 8 중학교 교사 컴퓨터 교육 석사 10~15년
전문가 9 중학교 교사 컴퓨터 교육 석사 10~15년
전문가 10 중학교 교사 컴퓨터 교육 석사 10~15년
<표 Ⅲ-10> 델파이 조사에 참여한 전문가 집단
준거 비 고
Ÿ 적은 수의 기준이 설정되어 숙달이 이루어질 수 있게 되어있는가?
Ÿ 발달 단계에 적합하고 노력하면 달성이 가능한 것인가?
Ÿ 명확하고 구체적인가?
Ÿ 성취기준에 직접 관련이 있는가?
Ÿ 학년별 수준에 따라 강조되는 내용과 일치하는가?
<표 Ⅲ-9> 현장 적용 시 평가기준을 검토하는 준거(교육과정평가연구, 2009)
해결 과정 컴퓨팅 사고력 핵심 요소’, ‘문제 해결 과정 성취기준’, ‘성취기준 기반 의 평가 요소’, ‘평가 기준 위계’, ‘평가 기준 행동 기술’ 에 대한 질문으로 이루어 졌으며, 전문가 델파이 조사를 통한 자료 통계 분석은 기본적으로 평균(
), 중앙값 (
), 표준편차(
), 1사분위수(
), 3사분위수(
)를 산출하고 수렴도, 합의도, 안 정도와 내용 타당도 비율(Content Validity Ratio : CVR)를 계산하여 산출하였다.수렴도는 전문가의 의견이 한 점으로 수렴하였을 때 0의 값을 가진다. 즉, 수렴 도는 0에 가까울수록 타당함을 의미하는 것이다. 수렴도를 구하는 공식은 다음과 같다(이종성, 2001)
수렴도 =
합의도는 3사분위수와 1사분위수가 일치하여 완전의 합의 되었을 때 1의 값을 가지고, 의견의 편차가 클수록 감소한다. 즉, 합의도는 1에 가까울수록 타당함을 의미하는 것이다. 합의도를 구하는 공식은 다음과 같다(이종성, 2001).
합의도 =
안정도는 설문과정에서 응답자의 응답 결과 차이가 적어 응답의 일치성이 높은 경우 안정도가 확보되었다고 본다. 안정도를 측정하기 위한 방법으로 변이계수 (Coefficient of Variation)가 사용되며 이를 구하는 공식은 다음과 같다(노승 용,2006).
안정도 =
안정도는 0에 가까울수록 일치성이 높아 안정도가 확보되었다고 보며, 안정도가 0.5 이하인 경우 추가적인 설문이 필요 없고, 0.5~0.8인 경우 비교적 안정적이라고 판단, 0.8 이상인 경우 안정적이지 못한 수준으로 추가적인 설문이 필요한 것으로 판단한다(노승용,2006).
내용 타당도를 측정하는 방법 중 가장 널리 사용되는 방법은 Lawshe(1975)가 개발한 내용 타당도 비율(CVR)이다. CVR은 다음과 같은 공식으로 구할 수 있다.
CVR =
여기서
은 전체 평정자수 이며,
는 타당하다고 응답한 평정자의 수이다.CVR은 설문에 응답한 응답자 수에 따라 최솟값을 제시하고 있다.
본 연구에서는 설문 응답을 ‘전혀 그렇지 않다’는 1점, ‘그렇지 않다’는 2점, ‘보 통이다’는 3점, ‘그렇다’는 4점, ‘매우 그렇다’는 5점으로, 5점 척도 응답을 받았다.
타당하다고 응답하는 기준은 ‘그렇다’, ‘매우 그렇다’로, 2가지 응답 경우를 기준으 로 잡았다. 또한 응답자는 10명의 전문가가 응답하였으며, CVR 최솟값 0.62로 기 준을 잡았다.
응답자 수 CVR 최솟값
5 .99
6 .99
7 .99
8 .75
9 .78
10 .62
11 .59
12 .56
13 .54
14 .51
15 .49
20 .42
25 .37
30 .33
35 .31
40 .29
<표 Ⅲ-11> 응답자 수에 따른 내용타당도 비율(CVR)의 최솟값(Lawshe,1975)
2) 1차 델파이
1차 델파이 조사에서는 CVR값 0.62 이하인 부분과 의견의 합의가 이루어지지 않은 곳을 중점으로 피드백이 이루어졌다. 전문가 집단의 의견을 수렴을 수렴하고 수정 및 보완하였으며, 1차 전문가 집단의 주된 피드백은 다음과 같다.
첫째, 문제 인식과 문제 분석을 구분해야 한다. 문제를 발견하고 현재 상태와 목표 상태의 차이를 인식하는 과정은 중요하다. 문제의 원인을 파악하고 문제 분석 을 통해 문제와 관련한 자료를 수집, 분석하여 문제를 분해하고 해야 할 작업들을 파악하여야 한다.
둘째, 알고리즘을 설계하기 전에 모델링 작업이 필요하다. 모델링은 현실의 문제 를 컴퓨터 세계로 가져가는 핵심 절차로, 알고리즘은 모델링을 통해 설계된 모델에 따라 완전히 달라진다. 따라서 해결책이 탐색되었으면 모델링 과정을 거쳐 해당 문 제를 어떻게 컴퓨터 세계로 가져가고 표현할 것인지를 결정해야한다.
셋째, 문제 해결 단계별 컴퓨팅 사고력 핵심 요소를 세분화 하여 표기할 필요가 있다. 교육부가 제시한 컴퓨팅 사고력 핵심 요소로 평가, 공유의 개념을 담기 어려 운 부분이 있으며, 문제 상황을 이해하고 원인 파악을 위한 추상화 과정에서 추상 화(모델링)라 표기하는 것은 모델링 이라는 단어로 혼돈을 불러올 수 있다.
[그림 Ⅲ-3] 1차 델파이를 통해 수정된 문제 해결 과정
1차 델파이 과정을 통해 수정된 문제 해결 과정은 [그림 Ⅲ-3]과 같다. 문제를
‘공유된 이해의 확립 및 유지’ 역량은 학생들이 각자 문제에 대해 어떤 지식을
3) 2차 델파이 및 결과
Q.1-2.1 4.70 5.00 0.46 4.25 5.00 0.38 0.85 1.00 0.10 Q.1-2.2 4.60 5.00 0.66 4.25 5.00 0.38 0.85 0.80 0.14 Q.1-2.3 4.80 5.00 0.40 5.00 5.00 0.00 1.00 1.00 0.08 Q.1-2.4 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.1-2.5 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.1-2.6 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00
문제 해결 과정 컴퓨팅 사고력 핵심
요소
Q.1-3.1 4.30 4.00 0.64 4.00 5.00 0.50 0.75 0.80 0.15 Q.1-3.2 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.1-3.3 4.80 5.00 0.40 5.00 5.00 0.00 1.00 1.00 0.08 Q.1-3.4 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.1-3.5 4.60 5.00 0.66 4.25 5.00 0.38 0.85 0.80 0.14 Q.1-3.6 4.70 5.00 0.46 4.25 5.00 0.38 0.85 1.00 0.10 Q.1-3.7 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.1-3.8 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.1-3.9 4.80 5.00 0.60 5.00 5.00 0.00 1.00 0.80 0.13 Q.1-3.10 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.1-3.11 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00
문제 해결 과정 성취기준
Q.2-1.1 4.70 5.00 0.46 4.25 5.00 0.38 0.85 1.00 0.10 Q.2-1.2 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.2-1.3 4.60 5.00 0.66 4.25 5.00 0.38 0.85 0.80 0.14 Q.2-1.4 4.60 5.00 0.49 4.00 5.00 0.50 0.80 1.00 0.11 Q.2-1.5 4.60 5.00 0.49 4.00 5.00 0.50 0.80 1.00 0.11 Q.2-1.6 4.70 5.00 0.64 5.00 5.00 0.00 1.00 0.80 0.14 Q.2-1.7 4.80 5.00 0.60 5.00 5.00 0.00 1.00 0.80 0.13 Q.2-1.8 4.60 5.00 0.66 4.25 5.00 0.38 0.85 0.80 0.14 Q.2-1.9 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.2-1.10 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.2-1.11 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.2-1.12 4.80 5.00 0.40 5.00 5.00 0.00 1.00 1.00 0.08 Q.3-1.1 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.3-1.2 4.60 5.00 0.66 4.25 5.00 0.38 0.85 0.80 0.14
<표 Ⅲ-14> 전문가 델파이 결과
성취기준 기반 평가
요소
Q.3-1.3 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.3-1.4 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.3-1.5 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.3-1.6 4.60 5.00 0.66 4.25 5.00 0.38 0.85 0.80 0.14 Q.3-1.7 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.3-1.8 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.3-1.9 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.3-1.10 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.3-1.11 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.3-1.12 4.80 5.00 0.60 5.00 5.00 0.00 1.00 0.80 0.13 Q.3-1.13 4.70 5.00 0.46 4.25 5.00 0.38 0.85 1.00 0.10 Q.3-1.14 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.3-1.15 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.3-1.16 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.3-1.17 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.3-1.18 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.3-1.19 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.3-1.20 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.3-1.21 4.80 5.00 0.40 5.00 5.00 0.00 1.00 1.00 0.08
성취기준 기반 평가 기준 위계
Q.4-1.1 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.4-1.2 4.60 5.00 0.66 4.25 5.00 0.38 0.85 0.80 0.14 Q.4-1.3 4.80 5.00 0.40 5.00 5.00 0.00 1.00 1.00 0.08 Q.4-1.4 4.80 5.00 0.60 5.00 5.00 0.00 1.00 0.80 0.13 Q.4-1.5 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.4-1.6 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.4-1.7 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.4-1.8 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.4-1.9 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.4-1.10 4.80 5.00 0.40 5.00 5.00 0.00 1.00 1.00 0.08 Q.4-1.11 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.4-1.12 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06
성취기준 기반 평가 기준 행동
기술
Q.4-2.1 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.4-2.2 4.80 5.00 0.40 5.00 5.00 0.00 1.00 1.00 0.08 Q.4-2.3 4.80 5.00 0.40 5.00 5.00 0.00 1.00 1.00 0.08 Q.4-2.4 4.80 5.00 0.60 5.00 5.00 0.00 1.00 0.80 0.13 Q.4-2.5 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.4-2.6 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.4-2.7 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.4-2.8 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.4-2.9 4.80 5.00 0.40 5.00 5.00 0.00 1.00 1.00 0.08 Q.4-2.10 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.4-2.11 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.4-2.12 4.80 5.00 0.40 5.00 5.00 0.00 1.00 1.00 0.08 Q.4-2.13 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.4-2.14 4.80 5.00 0.40 5.00 5.00 0.00 1.00 1.00 0.08 Q.4-2.15 4.80 5.00 0.40 5.00 5.00 0.00 1.00 1.00 0.08 Q.4-2.16 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.4-2.17 5.00 5.00 0.00 5.00 5.00 0.00 1.00 1.00 0.00 Q.4-2.18 4.80 5.00 0.40 5.00 5.00 0.00 1.00 1.00 0.08 Q.4-2.19 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.4-2.20 4.90 5.00 0.30 5.00 5.00 0.00 1.00 1.00 0.06 Q.4-2.21 4.80 5.00 0.40 5.00 5.00 0.00 1.00 1.00 0.08
수렴도는 0.5를 넘지 않았으며 0.5로 산출된 응답을 살펴보면 평균 응답이 4.3과 4.6으로, 4점 또는 5점 응답으로 의견이 갈린 것을 알 수 있다. 합의도 또한 최솟 값 0.75로 안정권에 든 것을 알 수 있다. 내용 타당도 비율인 CVR을 살펴보면, 기 준치인 0.62를 모두 넘는 결과가 산출 되었으며, 안정도 또한 최댓값 0.15로 더 이상 설문을 진행하지 않아도 되는 수준으로 산출되었다.