이 연구의 목적은 예비교사의 실천적 교수역량 평가에 적용하고자 행동 기술 평정척도를 활용한 평가도구를 개발하고, 비디오 포트폴리오 평가를 실시하여, 행동기술 평정척도가 예비교사의 실천적 교수역량을 평가하기에 타당하고 신뢰로우며 적합하고 실용적인지 확인하는 것이다.
이 연구에서 확인하고자 한 주요 연구문제는 다음과 같다.
1. 행동기술 평정척도를 활용한 예비교사의 실천적 교수역량 평가도구를 개발하기 위해 적합한 행동지표는 무엇인가?
2. 행동기술 평정척도를 활용한 예비교사의 실천적 교수역량 평가도구는 타당한가?
2-1. 행동기술 평정척도의 타당도는 어떠한가?
2-2. 행동기술 평정척도의 신뢰도는 어떠한가?
2-3. 행동기술 평정척도의 적합도는 어떠한가?
2-4. 행동기술 평정척도의 실용도는 어떠한가?
위의 연구문제를 검증하기 위하여 이 연구에서는 행동기술 평정척도를 활용한 실천적 교수역량 평가도구를 개발하였다. 이를 위해 선행연구에서 제안한 실천적 교수역량의 5개 구성요인(수업 계획 및 조직, 의사소통능력, 학생과의 상호작용, 교수-학습 환경 조성, 성의와 열의)에 대한 15개 하위 항목을 평가 영역으로 설정하였다. 그리고 실천적 교수역량 평가와 관련된 선행연구 및 현직교사의 수업비디오 분석을 실시하여 대표적인 행동지표를 각 하위 항목별로 15개씩 총 225개를 수집하였다. 행동지표를 수집한 이후 전문가협의회를 두 차례 실시하여, 225개 행동지표의 내용타당성과 수행
수준을 평정한 후 평정척도에 투입할 행동지표를 선정하였다. 최종적으로 실천적 교수역량의 5개 구성요인에 대하여 총 65개의 대표적인 행동지표로 구성된 행동기술 평정척도가 개발되었다.
한편 예비교사의 실천적 교수역량에 대한 행동기술 평정척도를 개발한 이후에는, 서울 소재 대학에서 교사양성과정을 이수하고 있는 예비교사를 모집하여 수업시연에 대한 비디오를 수집한 후 비디오 포트폴리오 평가를 실시하였다. 총 29명의 예비교사는 20분 내외 분량의 수업시연을 녹화한 비디오를 제공하였으며, 수집된 29개의 비디오 포트폴리오는 예비교사의 자기평가와 평가전문가에 의한 전문가평가 방식으로 평가에 투입되었다.
한편 예비교사의 실천적 교수역량에 대한 비디오 포트폴리오 평가는 일반 적인 리커트형 평정척도와 이 연구에서 개발한 행동기술 평정척도를 모두 활용하여 실시하였으며, 두 차례의 평가가 상호 간에 미칠 영향력을 최소 화하기 위해 일주일 정도 기간을 두고 평가를 시행하였다. 한편, 자기평가 및 전문가평가 결과는 상관분석, 차이분석 등의 방법으로 분석하였고, 사후 설문 응답 및 반구조화된 인터뷰를 통해 평가자들의 의견을 수렴하여 추가 적으로 평가도구의 적합도와 실용도 분석에 활용하였다.
주요 연구 결과를 요약하면 다음과 같다.
첫째, 행동기술 평정척도는 예비교사의 실천적 교수역량을 평가하기에 적합한 행동지표를 투입하여 구성되었으며, 이를 위해 실천적 교수역량의 5개 구성요인별 각 3개의 하위 항목에서 각각 4개 또는 5개씩 총 65개의 대표적인 행동지표를 선정하였다. 이때 행동지표의 선정은 하위 항목별로
①수준(매우 미흡)부터 ⑤수준(매우 우수)까지의 각 평정 수준과 거리가 가 장 가까운 것을 우선하되 거리가 동일한 경우 표준편차가 작은 것을 우선 하였다. 이와 같은 연구 결과는 행동기술 평정척도에 투입된 행동지표가 실천적 교수역량의 평정에 적합한 대표성을 갖추고 있음을 시사한다.
둘째, 행동기술 평정척도는 예비교사의 실천적 교수역량을 평가하기에 적절한 내용으로 구성되었고, 비교적 양호한 내용타당도를 보고하고 있는
것으로 나타났다. 이 연구에서 개발한 행동기술 평정척도에 투입된 65개 행동지표의 내용타당도 지수(FVI)는 .69에서 1.00으로 나타났으며, 실천적 교수역량의 항목별 평균 FVI는 .77에서 .90으로 보고되었다. 이와 같은 연 구 결과는 행동기술 평정척도가 실천적 교수역량의 항목별 특성을 제대로 평가하기에 적절한 내용을 가진 행동지표로 구성되었음을 시사한다.
셋째, 행동기술 평정척도는 다수의 전문가가 참여한 비디오 포트폴리오 평가 결과에 양호한 평가자간 일치도를 보고하였고, 리커트형 평정척도에 비해 상대적으로 높은 신뢰도를 보이는 것으로 나타났다. 행동기술 평정척 도를 활용한 평가에서 전문가 5명의 평가자간 일치도는 .88이었으며, 2명의 평가자에 대한 단순 상관계수도 .51에서 .83으로 나타나 양호한 일치도를 보였다(p<.01). 한편 리커트형 평정척도의 경우 5명의 평가자간 일치도는 .87이었고, 단순 상관계수는 .43에서 .80으로 나타나 상대적으로 다소 낮은 일치도를 보였다. 이와 같은 연구 결과는 행동기술 평정척도를 활용할 때 비디오 포트폴리오 평가와 같이 다수의 전문가가 참여하는 관찰평가에서 보다 정확하고 일관성 있는 평가 결과를 산출할 수 있음을 시사한다.
넷째, 행동기술 평정척도는 예비교사의 실천적 교수역량을 평가하기에 적합한 평가 기준을 제공하여 다양한 평정 오류를 완화시키고, 예비교사의 수행에 대한 직접적인 관찰을 통해 보다 정확한 판단이 가능하도록 돕는 것으로 나타났다. 예비교사의 자기평가 점수를 분석한 결과, 행동기술 평정 척도를 활용한 자기평가 평균은 3.63점으로 리커트형 평정척도의 3.41점에 비해 통계적으로 유의하게 상승하였다(t=-3.434, p<.01). 이러한 결과는 리 커트형 평정척도를 활용할 때 예비교사들이 전반적으로 자기 수행에 대해 인색하게 판단한 반면 행동기술 평정척도를 활용할 때 상대적으로 인색한 평가가 완화된 것으로 볼 수 있으며, 리커트형 평정척도와 행동기술 평정 척도를 이해하고 적용하는 양상에 차이가 있음을 의미한다. 이와 관련하여 예비교사의 설문 응답 및 인터뷰 내용을 추가 분석한 결과, 행동기술 평정 척도는 구체적인 행동지표를 제시하므로 평가의 경험이나 숙련도가 부족한 예비교사도 평정의 수준에 대한 정확한 이해가 가능하였고, 그래서 객관적
으로 자기 자신을 평가할 수 있었던 것으로 보고되었다. 그 결과, 행동기술 평정척도에 의해 인색함의 오류나 평정 기준의 오류 등 평정 오류가 완화 되어 보다 정확한 평가가 이루어질 수 있는 것으로 확인되었다. 또한 자기 평가와 전문가평가의 상관을 분석하여 자기평가의 정확성을 분석한 결과, 행동기술 평정척도(r=.55)와 리커트형 평정척도(r=.45)의 자기평가와 전문가 평가 상관에 통계적으로 유의한 차이가 확인되지 않았지만 행동기술 평정 척도에 의한 상관이 상대적으로 더 높은 것으로 나타나 정확한 자기평가를 실시하기에 더 적합한 것으로 확인되었다. 그리고 전문가의 의견을 분석한 결과에서도 행동기술 평정척도가 구체적인 가이드를 제시하고 있어 다수의 비디오에 대한 관찰과 평가를 실시하기에 적합한 것으로 확인되었다. 이와 같은 연구 결과는 행동기술 평정척도를 활용함으로써 구체적으로 제시된 기준에 따라 객관적이고 정확한 평가를 실시할 수 있음을 시사한다.
다섯째, 행동기술 평정척도는 관찰하고 평가해야 하는 수행을 대표하는 구체적인 행동지표가 기준으로 제시되어 있어, 평가자의 관찰의 편리함과 판단의 수월성을 제공하고 실천적 교수역량을 평가하기에 유용한 것으로 나타났다. 행동기술 평정척도의 유용성에 대한 설문 및 인터뷰를 분석한 결과, 자기평가에 참여한 다수의 예비교사들은 구체적인 기준이 추가되어 리커트형 평정척도에 비해 수행 수준의 판단이 수월해졌다고 응답하였다.
또한 평가에 참여한 전문가들도 고정된 행동지표를 활용하여 다수의 비디 오에 대한 평가를 실시하므로, 임의적 판단이 줄어들고 점수를 평정하기도 편리하다는 의견을 제시하였다. 또한 몇몇 전문가들은 비디오의 수가 늘어 날수록 일관된 기준을 적용하여 평정하기에 유용하므로, 행동기술 평정척 도의 실용도가 높을 것이라는 의견을 제시하였다. 이와 같은 연구 결과는 행동기술 평정척도를 활용함으로써 편리한 수행의 관찰과 신속한 수준의 판단이 가능하고, 다수의 평가대상자들을 대상으로 수월한 평가를 실시할 수 있음을 시사한다.