가. 행동기술 평정척도의 타당도 분석
평가도구의 타당도(validity)는 평가를 통해 확인하고자 의도했던 구체적 인 목표나 내용을 제대로 측정하고 있는가를 나타내는 정도를 의미한다.
평가도구의 타당도를 알아보기 위한 방법으로는 안면타당도, 내용타당도, 구인타당도, 공인타당도, 결과타당도 등 다양한 방법들이 있는데, 타당도를 제대로 파악하기 위해서는 가능한 다양한 방법으로 통합적이면서 전체적인 정보를 수집하는 것이 바람직하다(백순근, 2004). 이 연구에서는 예비교사 의 실천적 교수역량을 평가하고자 행동기술 평정척도를 활용한 평가도구를 개발하였는데, 평가도구의 타당도를 분석하기 위해서는 행동기술 평정척도 가 예비교사의 실천적 교수역량을 평가하기에 적절한 내용으로 구성되었는 지 검토해 볼 필요가 있다.
행동기술 평정척도가 예비교사의 실천적 교수역량을 제대로 평가하기에 적절한 요소로 구성되었는지 파악하기 위해 내용타당도(content validity)를 확인하였다. 행동기술 평정척도는 실천적 교수역량의 5가지 구성요인별 각 하위 항목에 대하여 예비교사의 수행 수준을 보다 정확하게 구분하여 평가 할 수 있도록, ①수준(매우 미흡)에서 ⑤수준(매우 우수)에 이르는 각 단계 별로 가장 대표적인 행동지표를 투입하여 개발되었다. 따라서 행동기술 평 정척도가 실천적 교수역량을 제대로 평가하기 위해서는 선정된 행동지표가 실천적 교수역량의 하위 항목별 특성을 제대로 드러내기에 적합한 내용을 갖추고 있어야 한다.
따라서 전문가협의회에서는 수집된 총 225개의 행동지표에 대한 내용타 당도 검증을 실시하였으며, 13명의 전문가가 행동지표 각각의 내용타당성 보유 여부를 판단하여 ‘예/아니오’ 형태로 평정하였다. 일반적으로 내용타 당도를 보고할 때, 전문가가 ①점(매우 타당하지 않음)에서 ④점(매우 타당 함)의 범위로 타당도를 평정하고 3점과 4점을 보고한 전문가의 비율을 지
수로 산출한 CVI(content validity index)를 많이 활용하고 있다. 하지만 이 연구에서는 내용타당성을 판단해야 할 행동지표의 수가 많고 내용타당성 뿐만 아니라 행동지표의 수행 수준도 평정하는 과정에서 발생할 수 있는 혼란을 최소화하고자, 행동지표가 하위 항목을 드러내기에 적합한지 여부 를 판단하여 가부를 제시하도록 평정을 실시하였다. 그리고 내용타당도를 보고하기 위해 각 지표별로 타당하다고 판단한 전문가의 비율을 통해 산출 한 FVI(factorial validity index)를 내용타당도 지수로 활용하였다(Rubio, et al., 2003).
행동기술 평정척도를 구성하기 위해 최종 선정된 65개 행동지표의 내용 타당도 평정 결과를 정리하면 <표 Ⅳ-2>와 같다. 투입된 각 행동지표의 FVI는 .69에서 1.00의 범위로 나타나고 있고, 하위 항목별 평균 FVI는 .77 에서 .90으로 보고되었다. Rubio, et al. (2003)은 FVI가 .80 이상일 때 높은 타당도를 보이는 것으로 제시하고 있는데, 이러한 측면에서 행동기술 평정 척도는 비교적 양호한 내용타당도를 보고하고 있음을 알 수 있다.
구성
요인 하위 항목 행동지표 평정 결과
빈도 FVI
수업 계획 및 조직
내용 간의 상호연계
수업 내용과 일상 상황을 연결하여 제시한다 13 1.00 관련 부가자료를 제시하여 이해를 돕는다 13 1.00 책에 없는 질문을 통해 참여를 유도한다 12 0.92 평소 접하기 어려운 예시나 자료를 제시한다 9 0.69 학생이 알고 있다고 가정하고 진도를 나간다 9 0.69
항목 평균 0.86
학습내용 의 분량과
난이도
이해하기 쉽도록 예시나 힌트를 사용한다 13 1.00 설명이 끝나면 정리하고 다음으로 넘어간다 10 0.77 학생들이 어려워해도 계속 수업을 이어간다 10 0.77 준비한 내용이 많아 바쁘게 전달한다 9 0.69
항목 평균 0.81
시간 배분의 적절성
도입과 마무리가 구분되어 수업이 진행된다 13 1.00 중간중간에 수업 내용을 정리하고 넘어간다 12 0.92 지나간 내용의 이해를 돕기 위해 다시 설명한다 10 0.77 수업이 끝날 때까지 내용 설명만 계속된다 10 0.77 많은 내용을 전달하고자 빠르게 설명한다 11 0.85
항목 평균 0.86
의사 소통 능력
언어적 의사소통
능력
목소리의 크기와 속도를 수시로 조절한다 13 1.00 수업 중간에 다양한 주제로 소통한다 9 0.69 주의를 환기시키고자 학생들의 언어를 사용한다 11 0.85 설명이나 응답을 바쁘게 이어간다 10 0.77
항목 평균 0.83
비언어적 의사소통
능력
학생들과 시선을 마주하기 위해 노력한다 13 1.00 중간에 미소나 손짓을 섞어 긴장을 푼다 13 1.00 수업 중 학생 개인에 대한 행동을 보인다 11 0.85 머리 넘기기 등 자연스러운 행동을 보인다 9 0.69
항목 평균 0.89
수업 보조자료
활용
시각화된 자료를 활용하여 수업을 진행한다 13 1.00 자세히 설명하진 않아도 다양한 자료를 보여준다 9 0.69 준비한 자료에 호응이 없어도 계속 진행한다 9 0.69 자료 배포에 문제가 있어도 끝까지 진행한다 9 0.69
항목 평균 0.77
<표 Ⅳ-2> 선정된 행동지표의 내용타당도 평정 결과 (N=13)
구성
요인 하위 항목 행동지표 평정 결과
빈도 FVI
학생 과의 상호 작용
적절한 질문과 대답 유도
질문에 응답할 수 있는 시간을 제공한다 13 1.00 수업 내용을 점검하는 질문을 수시로 던진다 13 1.00 한 질문을 해결해야만 다음으로 넘어간다 12 0.92 질문이 많아 질의응답이 빠르게 진행된다 10 0.77 어려운 내용에 대해서는 질문을 최소화한다 9 0.69
항목 평균 0.88
학습 동기 유발
학생의 경험이나 사례와 관련지어 설명한다 13 1.00 선생님의 설명에 질문할 기회를 제공한다 12 0.92 시험과의 관련성을 강조하여 집중하게 한다 12 0.92 학생들이 어려워해도 설명을 이어간다 9 0.69
항목 평균 0.88
적절한 피드백
수업 내용과 관련된 질문을 하도록 유도한다 12 0.92 학생의 질문에 즉각적으로 대답한다 12 0.92 질문이 없으면 신속하게 다음으로 넘어간다 10 0.77 학생의 필기나 이해는 자율에 맡긴다 10 0.77
항목 평균 0.85
교수- 학습 환경 조성
주의 집중
시선을 좌우로 고르게 배분한다 13 1.00 소란스러운 상황에 대처하는 방법을 사용한다 12 0.92 학생의 개별적 행동에 큰 영향을 받지 않는다 13 1.00 판서나 자료 제시에 많은 시간을 들인다 9 0.69
항목 평균 0.90
교육적 분위기 조성
설명 중간에 질문을 섞어 참여를 유도한다 13 1.00 전체가 집중하도록 일정 시간 기다려준다 12 0.92 수업에 따라오는 학생에게 많은 기회를 준다 11 0.85 질의응답보다는 설명에 집중한다 10 0.77
항목 평균 0.89
물리적 환경 조성
수업에 필요한 자료를 미리 준비해 둔다 13 1.00 학생을 관찰하기 위해 다양한 동선을 보인다 12 0.92 자리나 조명을 자주 바꾸며 수업을 진행한다 10 0.77 자료나 교구 활용보다는 구두로 설명한다 10 0.77 학생의 관심과 상관없이 준비한 것은 모두 활용한다 9 0.69
항목 평균 0.83
나. 행동기술 평정척도의 신뢰도 분석
평가도구의 신뢰도(reliability)는 그 도구를 적용하여 산출한 점수가 얼마 나 정확하고 일관성이 있는가 하는 정도를 의미한다. 평가도구의 신뢰도를 알아보기 위한 방법으로는 평가자간 일치도, 재검사 신뢰도, 반분신뢰도, Cronbach의 알파계수 등으로 구분할 수 있는데, 신뢰도를 제대로 파악하기 위해서는 가능한 통합적이면서 전체적인 정보를 수집하는 것이 바람직하고 증거의 양도 중요하지만 질이 더욱 중요하다는 것을 인식할 필요가 있다 (백순근, 2004). 이 연구에서는 전문가 5명이 참여하여 예비교사의 실천적 교수역량에 대한 비디오 포트폴리오 평가를 실시하였는데, 평가도구의 신
구성
요인 하위 항목 행동지표 평정 결과
빈도 FVI
성의 와 열의
수업 준비도
관련된 내용을 풍부하게 설명한다 13 1.00 수업의 계획이나 내용을 지속적으로 전달한다 12 0.92 많은 양의 자료나 판서를 제공한다 10 0.77 편집하지 않은 동영상이나 자료를 제공한다 10 0.77
항목 평균 0.87
수업에 대한 몰입
수업시간 동안 흐트러지지 않고 고르게 집중한다 13 1.00 주요 내용은 많은 시간을 할애하며 강조한다 12 0.92 참여 유도를 위해 강하게 의사를 전달한다 12 0.92 원활한 진행을 위해 교사 중심으로 수업한다 9 0.69 정리할 시간이 부족할 정도로 많은 것을 설명한다 9 0.69
항목 평균 0.84
학생에 대한 관심과
애정
참여하지 않은 학생에게도 관심을 보인다 13 1.00 전체를 대상으로 질문하고 설명한다 12 0.92 교과서 내용 위주로 객관적으로 전달한다 9 0.69 학생과의 개별적인 상호작용을 최소화한다 9 0.69
항목 평균 0.83
뢰도를 분석하기 위해서는 평가자간 일치도를 확인하여 평가자의 판단에 차이가 발생하지 않는지 검토해야 한다.
평가자간 일치도는 2명 이상의 평가자가 채점을 하였을 때 결과가 어느 정도 일치하는가를 확인하는 것이다. 이때, 2명의 평가자가 평가를 실시할 경우에는 단순 상관계수를 계산하여 확인할 수 있으며, 3명 이상이 참여할 경우에는 2명씩 쌍을 이루어 단순 상관계수를 계산하거나 변량분석을 통한 급내상관계수(intra-class correlation coefficient)를 계산하여 확인할 수 있 다. 이 연구에서 실시한 예비교사의 실천적 교수역량에 대한 비디오 포트 폴리오 평가 결과를 분석하여 산출한 급내상관계수는 <표 Ⅳ-3>과 같다.
5명의 평가자에 의해 실시된 행동기술 평정척도를 활용한 비디오 포트폴 리오 평가에서 나타난 급내상관계수를 확인한 결과, 평가자간 일치도는 .88 이었으며 통계적으로 유의한 것으로 확인되었다(p<.01). 일반적으로 신뢰도 계수가 .80 이상이면 평가도구가 안정적인 결과를 보이는 것으로 해석할 수 있으므로, 행동기술 평정척도의 신뢰도는 비교적 높은 것으로 나타났다.
한편 리커트형 평정척도의 급내상관계수는 .87이었으며 역시 통계적으로 유의한 것으로 나타났는데(p<.01), 실천적 교수역량 전체 및 구성요인별로 평가자간 일치도를 살펴보면 행동기술 평정척도가 상대적으로 좀 더 높은 신뢰도를 보고하고 있는 것으로 확인되었다.