III. 유아발달 국제비교 평가도구 분석
1. EDI(Early Development Instrument)
가. 개요
EDI(Early Devlopment Instrument; 이하 EDI)는 취학 직전 아동의 건강과 발 달 상황에 대하여 측정하며, 전반적인 학교 준비도(School readiness)를 측정하 는 도구로 교사가 검사자로 역할 한다(Janus & Offord, 2007). EDI는 캐나다 British Columbia주의 초등 및 유치원 교사들, 유아를 위한 행동단체(Ealry Years Action Group)와 부모와 가정 문해 센터(Parenting and Family Literacy Centres)의 자문을 받아 개발되었으며, 1998년도에 예비조사 이후, 문항의 적합 도와 타당도 및 신뢰도 확인 작업을 거쳐서 2000년도에 검사의 최종버전이 출 시되었다. 이후, 검사 대상자를 캐나다 전역으로 확대하여 2007년도에는 캐나다 내에서만 520,000명의 취학 전 아동들이 검사를 받았으며, 2011년도에는 캐나다, 호주, 미국, 자메이카 4개국의 자료로 검사도구의 타당도와 일반화 가능성에 대 해서 연구를 진행하였다(Janus, et. al., 2011).
나. 평가영역 및 문항 구성
EDI는 5개의 발달영역, 총 104개 문항으로 구성되어 있다. 5개의 영역은 각각 신체적 건강(Physical Health and Well-being), 사회적 역량(Social Competence),
정서적 성숙도(Emotional Maturity), 언어와 인지발달(Language and Cognitive Development), 의사소통 능력(Communication Skills), 일반적 지식(General Knowledge)으로 구성되어 있으며 이는 다시 16개의 세부 발달영역으로 구분되 준비도 (Physical readiness for school day)
배고픈 상태로 학교 도착한다.
(arrives at school hungry) 신체적 독립 (Overall social competence)
다른 아동과 잘 어울릴 수 있다 (Is able to get along with other children)
책임감과 존경심
(Responsibility and respect)
행동에 대한 책임을 진다 (accepts responsibility for actions)
학습에 대한 접근/학습방법 (Approaches to learning)
독립적으로 공부한다.
(works independently) 새로운 사물 탐색을 위한
준비도 (Readiness to explore new things)
새로운 사물을 탐색하고
(Prosocial and helping behaviour)
곤경에 처한 다른 아동을 돕는다 (help other children in distress) 불안하고 두려운 행동
(gets into physical fights) 활동과잉과 무관심
(Hyperactivity and inattention)
가만히 있지 못한다.
(is restless)
(표 Ⅲ-1-1 계속) literacy/numeracy, and use memory) knowledge about the world) 자료: Janus et al(2007). Table 3.1 Domains, Sub-domains, and Sample Questions on the
기반한 것이므로 참여하는 각 나라의 사정에 따라 문항을 바꿀 수 있는 것이 특징이다. 때문에 하나의 개발된 도구를 단순히 다른 나라에 번안하여 적용한 것이 아닌 참여국의 전문가들과 함께 문항 수정작업을 거친 대단위 검사이다.
요약하면, EDI는 유아의 주요 발달영역과 관련된 학교준비도를 평가하기 위 해 고안된 교사평정용 검사도구이다(Janus, Brinkman, & Duku, 2011; Janus &
Offord, 2007). EDI는 전인적 발달평가를 목적으로 하는 도구로 유치원 학급에 속한 아동들에게 개별적으로 적용할 수 있도록 구성되었지만, 이를 통해 수집된 자료는 학교나 지역, 국가단위로 합산하여서 결과의 해석에 있어서는 모든 유아 의 점수 분포를 기준으로 집단수준을 파악하는 데만 사용하고 개인적 발달평가 를 목적하고 있지는 않는다(Janus et al. 2011).
다. 국제수준의 타당화 과정
캐나다에서 EDI가 개발된 이후 캐나다와 호주의 유아를 대상으로 신뢰도 및 타당도에 대한 검토가 이루어졌다(예: Janus & Offord, 2007; Forget-Dubois, Lemelin, Boivin, & Dionne, 2007). 캐나다에서 조사한 EDI의 구성타당도 및 동 시타당도는 Janus와 Offord(2007)에 의해 보고되었다. Forget-Dubois 외(2007)는 아동의 유아기 EDI 점수와 초등학교 1학년 인지 검사에서의 성취도를 비교하여 EDI의 예측타당도를 조사하였다. Guhn과 Zumbo(2007)는 캐나다의 아동을 대 상으로 조사한 EDI 자료를 통해 아동의 성별, 영어를 모국어로 하지 않는 경우, 원주민인지의 여부에 따라 문항 수준의 편향이 없음을 밝혔다.
호주에서는 EDI의 내용타당도(Hart, Brinkman, Blackmore 2003), 동시타당도 와 구성타당도(Janus et al. 2011), 예측타당도(Brinkman et al., 2007)에 대한 연 구가 이루어졌으며, 호주 원주민 적응에 대한 연구도 수행되었다(Goldfeld et al.
2009). EDI 영역은 미국 아동 표본을 대상으로 했을 때에도 타당한 심리측정도 구이며, 자메이카 아동의 평가와도 연관되어 있음이 확인되었다(Janus et al.
2011; Janus & Offord, 2007).
영어권 국가들인 캐나다, 호주, 미국, 자메이카의 유아를 대상으로 EDI의 결 과를 살펴보고 비교한 Janus et al.(2011)의 연구는 EDI가 각 국가에서 유아의 학습준비도를 측정하기에 적절한 도구인지 그 타당도를 검증하였다. 본 연구에 참여한 국가의 경제적 발달 수준은 1인당 국민총소득(GNI)을 기준으로 세계은 행이 분류한 기준에 따라, 캐나다, 호주, 미국은 선진국으로, 자메이카는 개발도
상국으로 구분되었다.
이를 위해 연구자들은 EDI의 발달 영역이 4개 국가에서 유사한 심리측정의 특성을 나타내는지를 검증하고, 발달영역 중 특히 언어 및 인지발달 영역과 수 용언어 검사 간의 관련성에 있어서 국가 간의 차이가 있는지를 확인하고자 하 였다. 수용언어 검사로는 개정판 Peabody 그림 어휘 검사(Peabody Picture Vocabulary Test-Revised; PPVT-R, Dunn, Dunn & Price. 1989)가 활용되었다.
PPVT-R 자료는 캐나다와 호주, 자메이카의 유아로부터 수집되었다.
캐나다에서 사용되는 EDI의 원본을 중심으로 하되, 국가에 따라 약간의 수정 이 이루어졌다. 원래 EDI는 총 5개의 발달영역, 104개의 문항으로 구성되었으 나, 미국에서 시행된 조사에서는 하나의 문항을 제거하였고, 호주의 경우에는 척도의 정확성을 저해하지 않는 것으로 확인된 9개의 문항을 조사에서 제외하 였다. 각 국가별로 문항의 단어를 수정하여 조사에 활용하였다.
라. 타당화 주요결과
1) EDI의 심리측정 특성에 대한 국가 간 비교 분석
Janus et al.(2011)에서는 각 국가에서 수집된 EDI 자료를 비교해 본 결과를 통해 대부분의 발달영역에서 측정한 심리 특성이 유사하다고 보고하였다. 다만 신뢰도를 산출한 결과, 신체적 건강 및 웰빙(Physical Health and Well-being) 영역의 경우에는 가장 낮은 수준의 내적일관성이 나타났다. 특히 신체적 독립 (Physical Independence)의 세부영역에서는 Cronbach의 α가 .09에서 .40에 머무 르면서, 현저히 낮은 신뢰도를 나타냈다. 연구자들은 이처럼 낮은 일관성이 나 타난 이유에 대해, 신체적 건강 및 웰빙의 세부영역과 관련된 문항의 응답에 편 차가 거의 없기 때문으로 설명했다. 그러나 일부 항목에서 낮은 요인 부하량으 로 인한 한계가 있음에도, 신체적 건강 및 웰빙 영역은 그 내용에 있어서 여전 히 중요성을 가지고 있다고 강조하였다.
이후 타당도 검증을 위한 분석에서는 다른 세 나라에 비해 표본 크기가 작은 자메이카가 분석 대상에서 제외되었다. 타당도 검증을 위해 먼저 선행연구와 동 일한 요인 수를 지정하여 탐색적 요인분석을 시행함으로써 요인 부하량을 검토 하고, 이후 구조방정식 모형을 이용하여 확인적 요인분석을 실시하였다. 자료 분석의 결과, EDI의 세부영역에서는 항목에 따라 근소한 차이가 있었으나, 전체
적인 발달영역에서는 각 국가 간에 유사한 요인 부하량을 가지는 것으로 나타 났다. 이를 통해 세 나라에서 모두 EDI 요인 구조의 일관성과 유사성이 유지됨 이 확인되었다.
모형의 적합도 분석을 위해 카이제곱(χ2) 값 외에도 CFI(comparative fit in-dex), TLI(Tucker-Kewis Inin-dex), RMSEA(Root Mean Square Error of Approximation)의 세 지수를 산출하여 비교하였다. 모든 모형에 대한 χ2값은 통계적으로 유의했으나, 표본의 크기를 고려할 때 이를 통해 얻을 수 있는 정보 는 제한적이다. 이를 보완하기 위해 함께 살펴본 CFI 및 TLI 지수는 모형이 통 계적으로 적합함을 보여주었다. 그러나 RMSEA 지수(0.063-0.228)를 고려할 때 EDI 발달영역의 항목들은 개념적으로 조합이 이루어지기는 하였으나 적합도가 높은 편은 아니라는 사실이 확인되었다. 한편, 각 국가별 적합도 분석 결과를 비교했을 때 모두 유사한 양상을 나타냈다. 즉 5개의 발달영역 가운데 언어 및 인지발달에서 가장 좋은 수준의 적합도가 확인된 반면, 정서적 성숙은 적합도가 가장 낮은 영역으로 밝혀졌다.
2) EDI의 언어 및 인지발달 영역와 PPVT-R의 관련성
Janus 외(2011)는 EDI의 발달영역 중 언어와 관련된 영역의 점수를 어휘 검 사 결과와 비교함으로써 관련 양상을 밝히고자 하였다. 이를 위해 캐나다, 호주, 자메이카에서 수집된 EDI와 PPVT-R 결과를 분석하였다. 그 결과, 두 검사 간에 유의한 상관관계가 있으며 이러한 양상은 세 나라에서 공통적으로 나타났다 (r=.19-.38, p<.001).
이와 더불어 선별 검사도구로서의 특성을 조사하기 위해서 두 검사 결과를 비교하여 민감성(sensitivity), 특수성(specificity), 정적 예측도(positive predictive value), 부적 예측도(negative predictive value)를 분석하였다. 그 결과 캐나다, 호주, 자메이카에서 모두 민감성은 낮고(37.1%-50%), 특이성은 높게 나타났다 (85.5%-88.1%). 또한 이러한 국가들에서는 공통적으로 정적 예측도가 낮고 (0.22-0.30) 부적 예측도가 높은 것(0.92-0.94)으로 밝혀졌다. 이는 낮은 EDI 점수 가 수용언어 능력이 결여되었음을 의미한다고 보기는 어려우나, EDI에서 낮은 점수를 받지 않은 아동은 수용언어에 문제가 없을 가능성이 높다는 사실을 의 미한다.
EDI팀은 PPVT-R이 국제적으로 통용되는 도구라는 점에서 EDI와 비교 평가
할 수 있는 척도로 선정하였다. 그러나 EDI는 아동 발달에 대한 총체적인 측정 (holistic measure)을 위해 고안된 도구라는 점에서 EDI팀은 PPVT-R과 같이 특 정 영역의 능력을 평가하는 척도와는 근본적으로 성격이 다르다는 점을 한계로 지적하였다.
마. 시사점
4개의 영어권 국가들을 대상으로 자료를 수집하여 분석하는 국제비교를 시도 한 Janus et al.(2011)의 연구는 캐나다와 호주, 미국에서는 모집단을 대표할만한 수준에서 연구가 이루어졌다는 사실에 의의가 있다. 이 연구의 대상이 된 4개국 에서 EDI는 취학하는 데 필요한 아동의 발달 관련 정보를 제공하였다.
실질적으로 EDI가 훨씬 더 많은 국가에서 사용되고 있다는 사실을 감안할 때 더 많은 지역의 아동을 대상으로 한 타당도 및 신뢰도의 추가적인 조사가 이루 어질 필요가 있다. 특히 비영어권 국가와 개발도상국을 대상으로 한 자료가 구 축되어야 할 것이다.
이와 더불어 후속연구에서는 대상 아동에 대해 보다 구체적인 배경 정보를
이와 더불어 후속연구에서는 대상 아동에 대해 보다 구체적인 배경 정보를