평가준거 개발을 위한 연구 방법의 제안

<그림 4> AHP 절차

법과 수치통합방법으로 나뉜다. 집단평가방법은 전문가들의 의견을 토의와 투표를 통해 결집하여 이를 토대로 단일 이원비교행렬을 작성하는 방법이며, 수치통합방 법은 전문가 각각의 응답을 이원비교행렬에 수집하고 전문가 응답 전체의 평균치 를 기하평균으로 통합하여 단일 이원비교행렬을 구성하는 방법이다(고재성, 정철 영, 2006; 이윤조, 2009).

이러한 장점을 가지는 AHP는 일반적으로 <그림 4>과 같은 4단계의 과정을 통해 수행된다.

준거 초안을 개발한다. 교양교육 평가준거들에 대한 정보는 비교적 충분하므로 평 가준거의 객관성을 확보하기 위하여 바텀-업 방식의 접근법을 적용하기 위한 것이 다. 이러한 방법은 대다수 교육과정 평가준거 개발 연구에서 활용하는 방법이며(M edley et al., 1984), 이미 연구되고 활용되고 있는 평가준거들을 활용하여 최하위 단계의 평가준거들을 선정한 후 전문가 의견조사 또는 기존 평가결과 자료를 바탕 으로 요인분석에 의해 상위평가준거를 설정할 수 있다. 또 바텀-업 방식의 접근법 에 의해 평가준거를 개발할 경우 요인타당도가 확보되며, 통계분석을 통하여 각 평가준거들의 중요성을 검토한다면 내용타당도도 확보될 수 있다. 평가준거는 무 엇보다도 측정하고자 하는 것을 제대로 측정하는 타당성 확보가 중요하며, 바텀- 업 방식의 평가준거모형 구안은 타당성 확보를 위한 좋은 대안이 될 수 있다.

2단계는 예비조사는 문헌연구를 통해 도출된 교양교육과정 평가준거 초안의 타 당성을 확보하고, 대학의 특성이나 요구에 따른 의견을 수렴하기 위하여 전문가 협의회를 구성하거나, 가능한 경우 국내의 대학의 특성에 따른 전국단위 모집단 을 선정하여 조사할 수 있다. 전문가 협의는 교양교육 관련 분야에 종사하는 전문 가로 구성하고 평가준거들간의 개념적 대등성, 내용 중복 여부, 용어 및 표현의 적절성, 정확성, 평가준거에 미반영된 부분에 대한 추가 의견을 검토한다. 이를 토 대로 최종적인 교양교육과정 평가준거 안을 도출한다. 대학 특성에 따른 평가준거 를 별도로 개발하는 것을 목적으로 한다면 대학별 특성에 따른 모집단을 선정하여 그에 대한 의견을 수렴할 필요가 있다.

3단계는 평가준거 타당화를 위하여 델파이 기법을 적용한다. 델파이 기법은 교 육학 연구에서 많이 활용되고 있는 연구방법이며, 교육발전의 미래 예측, 교육목 적 및 목표 설정, 교육과정 개발, 교육문제 해결, 교수방법 개발 등 다양한 연구목 적으로 전문가의 의견을 수집하고 종합하여 집단적 판단으로 결과를 도출해내는데 활용된다. 문헌연구와 전문가 협의를 거쳐 마련된 평가준거 안을 기반으로 각각의 평가항목 및 평가지표에 대한 중요도, 타당성, 상대적 중요도 등을 측정 및 산정 하는 델파이 조사 도구를 작성한다. 1차, 2차 델파이 조사 도구는 평가준거 요소 (평가영역, 평가항목, 평가지표)의 타당성을 검토하기 위한 것이며, 3차조사도구는 각 요소별 상대적 중요도를 산정하기 위하여 제작한다.

4단계는 평가준거의 가중치를 선정하기 위한 것으로 1차와 2차에 걸친 조사 결 과를 종합한 평가준거를 제시한다. 3차 도구는 최종적으로 확정된 평가영역, 평가 항목, 평가지표들의 상대적 중요도를 산정하기 위하여 AHP 방법을 적용하여 제작 하며, 이를 위하여 평가영역, 평가항목, 평가지표들을 각각 일련의 계층으로 구성

단계 목적 연구방법 연구대상 또는 전문가 집단 1단계 평가준거(안) 개발 문헌연구

본 연구에서 도출된 평가준거 산출을 위한 고려사항, 선행연 구 및 조사의 평가준거 분석 2단계 타당성 분석 및 대학

특성 의견 수렴 설문조사 전문가 협의

3단계 평가준거 타당화 델파이기법(2라운드)

전문성과 대학 특성을 반영할 수 있는 전문가 집단

4단계 평가준거 가중치 선정 델파이기법(3라운드), AHP

<표 25> 연구 절차

한다. 본 연구에서는 각 분야의 전문가들이 한 자리에 모여 결론을 도출하기 어려 울 수 있으므로 수치통합방법을 활용하여(송달용 & 이용환, 2008) 최종적으로 확 정된 교양교육과정 평가항목, 평가영역, 평가지표 각각 의 상대적 중요도를 산정 할 수 있다.