가. 조사개요
델파이 조사는 한 자리에 모이기 힘든 전문가들의 의견과 판단을 추출하여 합의점을 도출해내는 기법으로 전문가 패널의 의견을 수렴하는데 있어 널리 활 용되고 있다(현영섭, 권대봉, 2007). 본 연구에서는 전문가 32명을 선정하여 3차 에 걸쳐 델파이 조사가 진행되었다. 전문가 32명은 연구주제 관련 학술연구 경 험자, 관련 분야 학위소지자, 관련 전문가 추천을 통하여 후보자 명단을 구성하 고, 본인의 델파이 참여 동의 여부를 고려하여 선정하였다.
나. 분석방법
1차 조사는 전문가가 생각하는 정책대안이나 중요요소를 자유롭게 기술하도 록 하였다. 델파이 조사 문항은 개방형으로 개발되었다. 1차 조사결과와 연구진 의 이론적 검토 결과를 결합하여 2차 조사 문항을 구성하였다. 조사 기간은 2016년 7월 1일부터 7월 20일까지 20일 동안 진행되었다. 조사방법은 e-mail 조 사, 오프라인 조사를 병행하였다.
2차 조사는 1차 조사결과를 활용하여 제시된 조사항목에 대한 양적 의견 조 사이다. 정책요소에 대한 중요도를 Liker식 7점 척도로 응답하도록 하였다. 조사 기간은 2016년 9월 1일부터 9월 20일까지 20일 동안 진행되었다. 조사방법은 e-mail 조사, 오프라인 조사를 병행하였다.
3차 조사는 2차 조사결과를 반영하여 2차 조사결과 나타난 정책요소별 평균 과 응답자의 응답을 함께 제시하여 3차 응답에서 의견을 조율할 수 있도록 하 였다. 2차 조사와 동일하게 정책요소에 대한 중요도를 Liker식 7점 척도로 응답 하도록 하였다. 조사 기간은 2016년 10월 1일부터 10월 20일까지 20일 동안 진 행되었다. 조사방법은 e-mail 조사, 오프라인 조사를 병행하였다.
1차 조사 결과 분석은 질적 방법을 활용하였다. 개방형 설문이라는 점에서 응답내용을 수차례 정독하고 본 연구의 이론적 분석틀을 고려하여 정책요소를 추출하였다. 더불어 추출과정의 신뢰성을 높이기 위하여 응답의견의 10%를 다 른 연구자에게 의뢰하여 동일한 분석을 실시한 결과, 분류의 일치도가 80% 이 상으로 나타나서 동의비율(agreement ratio) 기준을 충족한 것으로 판단되었다.
즉, 연구진의 1차 조사 분석 결과의 신뢰성이 최소한의 기준을 충족하였다.
또한 2차와 3차 조사의 신뢰도를 판단하기 위하여 Cronbach의 α계수 분석을 실시하였다. 그 결과, 2차 조사 정책요소군 1(국가수준의 교육과정인 누리과정) 의 평균 Cronbach의 α계수가 .706, 정책요소군 2(교육과정 운영 및 지침)는 .804, 정책요소군 3(행·재정 지원)은 .711, 정책요소군 4(법/제도)는 .902, 정책요 소군 5(인사/연수/장학/평가)는 .906, 정책요소군 6(조직/경영/연구)은 .636, 정 책요소군 7(문화적 다양성을 위한 누리과정 개선방향)은 .861로 나타났다. 따라 서 2차 조사의 응답의 신뢰도가 낮은 경우는 발견되지 않았으며, 상대적으로 정 책요소군 6의 신뢰도 평균이 낮은 것으로 나타났다.
3차 조사의 경우에는 정책요소군 1(국가수준의 교육과정인 누리과정)의 평균 Cronbach의 α계수가 .552, 정책요소군 2(교육과정 운영 및 지침)는 .834, 정책요
소군 3(행·재정 지원)은 .720, 정책요소군 4(법/제도)는 .786, 정책요소군 5(인사/
연수/장학/평가)는 .868, 정책요소군 6(조직/경영/연구)은 .690, 정책요소군 7(문 화적 다양성을 위한 누리과정 개선방향)은 .784로 나타났다. 따라서 3차 조사 분 석결과 1 정책요소군은 신뢰도가 .552로 낮아졌다. 그러나 델파이 3차 조사 응 답자의 수가 32명이라는 점, 델파이 문항에 대하여 중요도 응답이 서로 상이하 게 나타나는 것이 정상적인 응답이라는 점을 고려하여 신뢰도를 판단하였다. 이 에 본 연구에서 실시한 1차, 2차, 3차 조사의 신뢰성은 최소한의 기준을 충족한 것으로 판단되었다.
〈표 Ⅲ-3-1〉정책요소군별 신뢰도 평균
정책요소군 Cronbach의 α계수 평균
2차 조사 3차 조사 1. 국가수준의 교육과정인 누리과정 0.706 0.552
2. 교육과정 운영 및 지침 0.804 0.834
3. 행·재정 지원 0.711 0.720
4. 법/제도 0.902 0.786
5.인사/연수/장학/평가 0.906 0.868
6. 조직/경영/연구 0.636 0.690
7. 문화적 다양성을 위한 누리과정 개선방향 0.861 0.784
2차 조사와 3차 조사는 양적 응답 자료를 활용하여 통계분석을 실시하였다. 통 계량으로 평균, 표준편차, 내용타당성비율(Content Validity Ratio: CVR), 변이계 수(Coefficient of Variance: CV)를 사용하였다. 평균과 표준편차는 정책요소에 대 한 응답자의 응답분포 및 중요도 수준을 파악하기 위한 통계량이다. 즉, 평균이 높으면 델파이 조사 문항에 대한 중요도 평가가 높은 것으로 해석된다. CVR은 델파이 조사 문항이 타당한지를 판단하기 위한 통계량이다. 공식은 아래와 같다.
CVR은 델파이 조사에 참여한 전문가의 수에 따라 최소값이 결정된다(이경진 외, 2013). 본 연구에서는 2차 델파이 조사에 참여한 전문가가 32명이고, 3차 델
Ne-N/2 N/2
CVR = N : 응답 빈도수
Ne : Likert 5 이상 응답한 빈도수
구분 빈도 및 백분율
빈도(명) 비율(%)
소속기관 대학 24 75.0
공공기관 등 8 25.0
학위 박사 32 100.0
전공 유아교육 20 62.5
기타전공 12 37.5
퍼이 조사에 참여한 전문가도 32명이었다. CVR의 판단기준을 표본수에 따라 제 시한 Lawshe(1975)의 기준에 따라 0.334의 기준을 적용하였다. 다만 2차 델파이 조사 결과의 경우 3차 조사를 위한 중간조사 과정이라는 점에서, CVR 기준 (0.334) 보다 낮은 조사항목을 탈락시키지는 않고 3차 조사에 포함하였다. 3차 조사 결과 분석에서는 CVR 기준 0.334를 적용하여 이 보다 높은 CVR 값을 보 인 항목은 타당성이 높은 것으로 판단하였다. 다음으로 변이계수인 CV는 표준 편차(σ)를 산술평균(μ)로 나눈 것이다. 즉, 평균에 대비한 산포도를 계산 것으로 CV값이 0.5보다 낮을 경우 의견을 효과적으로 수렴되어 더 이상 조사를 실시할 필요가 없음을 의미한다. CV 산출공식은 아래와 같다.
수량적 분석을 보다 종합적으로 고려하여 정책요소에 대한 의사결정을 위한 LFF(Locus for Focus) 분석을 실시하였다. 즉, 델파이 조사의 중요도와 CVR을 교차하여 각각의 평균과 기준값을 초과하는 경우 정책요소로서의 중요도와 타 당도가 높은 것으로 판단하였다.
다. 분석결과
2016년 8월부터 10월 사이에 32명의 델파이 조사대상자에게 세 차례의 델파 이 조사가 실시되었다. 새로운 정책요소와 대안에 대한 아이디어를 수집하기 위 하여 1차 델파이는 개방형 설문으로 실시하였고, 2차와 3차는 폐쇄형 설문으로 의견을 종합하는 설계를 적용하였다. 2차와 3차 모두 32명이 응답하였다. 32명 응답자의 개인 특성은 다음과 같다.
〈표 Ⅲ-3-2〉델파이 조사 응답자 특성
σ
CV =
μ σ
: 표준편차μ
: 산술평균구분 빈도 및 백분율
빈도(명) 비율(%)
성별 여자 25 78.1
남자 7 21.9
연령 (평균: 50.7)
30대 1 3.1
40대 13 40.6
50대 15 46.9
60대 이상 3 9.4
응답자 32명의 경우 대학에 근무하는 경우가 24명(75.0%), 공공기관이나 유아 교육기관에 근무하는 경우가 8명(25.0%)이었다. 학위는 32명 전원이 박사학위 소지자였다. 전공은 유아교육이 20명(62.5%), 그 외 아동가족학, 교육학 등의 전 공이 12명(37.5%)이었다. 성별은 여자가 25명(78.1%)으로 대다수였고, 남자는 7 명(21.9%)이었다. 연령의 경우 평균은 50.7세였고, 50대가 15명(46.9%), 40대가 13명(40.6%)으로 대다수였다. 그리고 60대 이상과 30대가 각각 3명과 1명으로 소수였다.
1) 정책요소군간 델파이 분석결과
우선 본 연구에서 7개의 정책요소군으로 구분한 범주간의 델파이 조사결과를 분석하였다. 7개의 정책요소군은 국가수준의 교육과정인 누리과정, 교육과정 운 영 및 지침, 행·재정 지원, 법/제도, 인사/연수/장학/평가, 조직/경영/연구, 문 화적 다양성을 위한 누리과정 개선방향이었다. 정책요소군 각각의 델파이 통계 량 및 LFF 분석결과는 다음과 같다. 2차 델파이 조사에서는 7개의 정책요소군 의 중요도 평균이 모두 5.0이상이었고, CVR도 .334를 넘고 있어서 중요성이 중 간 이상으로 평가되고 타당성도 인정되는 것으로 나타났다. CV도 0.5를 넘는 경우가 없어서 추가적인 조사가 필요한 것은 아니었다. 그러나 3차 조사를 실시 하기로 사전에 설계되어 3차 조사를 실시하였다.
3차 조사를 실시한 결과, 중요도 평균은 2차 조사보다는 약간 내려갔으나 모 두 5.0 이상이었고, CVR은 더 향상되어 7개 군의 설정이 타당한 것으로 나타났 다. CV도 더욱 낮아져서 더 이상의 조사가 필요하지 않은 것으로 판단되었다.
LFF 분석결과에서는 중요도와 CVR을 교차한 결과, 2(교육과정 운영 및 지침), 3(행·재정 지원), 4(법/제도), 6(조직/경영/연구) 정책요소군이 1사분면에 위치하 였고, 1(국가수준의 교육과정인 누리과정), 5(인사/연수/장학/평가), 7(문화적 다 양성을 위한 누리과정 개선방향) 정책요소군이 3사분면에 위치하였다. 따라서 정책요소군의 타당성은 모두 기준을 넘어서 정책으로서 내용적 타당성이 인정
정책요소군 2차 3차 평균 표준
편차 CVR CV 평균 표준
편차 CVR CV LFF 1. 국가수준의 교육과정인 누리과정 5.4 1.51 0.56 0.28 5.4 1.13 0.61 0.22 Ⅲ
2. 교육과정 운영 및 지침 5.6 1.27 0.68 0.23 5.6 1.00 0.72 0.18 Ⅰ 3. 행·재정 지원 5.7 1.38 0.63 0.24 5.7 1.07 0.70 0.20 Ⅰ 4. 법/제도 5.8 1.37 0.70 0.24 5.7 1.18 0.70 0.22 Ⅰ 5.인사/연수/장학/평가 5.6 1.36 0.62 0.24 5.5 1.10 0.72 0.20 Ⅲ 6. 조직/경영/연구 5.7 1.12 0.72 0.19 5.7 0.99 0.78 0.19 Ⅰ 7. 문화적 다양성을 위한 누리과정
개선방향 5.4 1.40 0.57 0.26 5.4 1.12 0.63 0.21 Ⅲ 전체 평균 5.6 1.34 0.64 0.24 5.6 1.08 0.70 0.20 되었으나 중요도에서는 차이가 존재하는 것으로 나타났다. 즉, 2, 3, 4, 6 정책요 소군이 1, 5, 7 정책요소군에 비해 정책적 중요도는 높았다. 2, 3, 4, 6 정책요소 군의 정책적 우선순위가 더 높은 것으로 판단되었다.
〈표 Ⅲ-3-3〉정책요소군의 델파이 통계량 및 LFF 위치
[그림 Ⅲ-3-1] 정책요소군 3차 조사 LFF 분석결과
2) 정책요소군별 델파이 분석결과
가) 1 정책요소군(국가수준의 교육과정인 누리과정) 델파이 분석결과 우선 본 연구에서 7개의 정책요소군으로 구분한 범주 중 1 정책요소군(국가 수준의 교육과정인 누리과정)의 델파이 조사결과를 분석하였다. 1 정책요소군은 12개 정책항목으로 구성되었다. 델파이 통계량 및 LFF 분석결과는 다음과 같다.
1 정책요소군에 포함된 12개의 정책요소에 대한 2차 델파이 조사 분석결과에서 중요도 평균은 5.43이었으나 4번 항목의 경우 4점대로 상대적으로 낮은 수준이 었다. CVR에서도 0.332보다 낮은 경우가 4번과 7번으로 타당성이 기준을 통과 하기 못하였다.
3차 델파이 조사에서는 12개 항목 정책의 평균이 5.44로 2차 조사와 비슷하였다.
그리고 4번 항목의 경우 평균이 4점대로 역시 상대적으로 낮은 중요도를 보였다.
CVR에서 기준인 0.332보다 낮은 경우도 4번 항목이었다. 따라서 4번 항목의 경우 지속적으로 정책요소로서의 타당성이 부족하고 중요도도 낮은 것으로 파악되었다.
CVR에서 기준인 0.332보다 낮은 경우도 4번 항목이었다. 따라서 4번 항목의 경우 지속적으로 정책요소로서의 타당성이 부족하고 중요도도 낮은 것으로 파악되었다.