영향은 리커트형 평정척도를 활용한 자기평가에서 전문가평가보다 점수가 낮게 나타난 양상을 통해서 확인할 수 있다. 하지만 행동기술 평정척도는 구체적인 행동지표를 고정된 수준 값과 함께 제시하므로, 예비교사가 자기 역량에 대한 선입견이나 과소평가의 영향을 받지 않고 주어진 기준에 근거 하여 객관적으로 관찰하고 평가하였음을 살펴볼 수 있었다. 즉, 자기평가가 평가자의 주관적 판단의 영향에서 벗어나 더욱 객관적으로 실시될 수 있다 는 점에서, 행동기술 평정척도는 예비교사에 대한 실천적 교수역량 평가에 활용하기에 타당하고 적합한 평가도구의 하나이다.
둘째, 행동기술 평정척도는 비디오 포트폴리오 평가와 같이 다수의 전문 가가 참여하여 동시다발적으로 실시되는 관찰평가에 활용하기에 안정성이 높은 것으로 확인되었다. 평가대상자의 수행을 관찰하여 평가를 실시해야 하는 수행평가는 정답을 기준으로 맞고 틀리거나 옳고 그른 것을 판단하기 보다는, 수행을 판단하기 위해 설정된 기준과 관찰하는 평가자의 전문성에 의거하여 실제 나타나는 수행의 수준을 판단하게 된다. 따라서 관찰평가를 실시할 때 평가자의 임의적인 판단에 의해 평가 결과가 치우치는 경향을 억제하여 일관되고 안정적인 결과를 산출하는 것이 중요하고, 이를 위해 평가 기준을 최대한 상세하게 작성하거나 평가자의 수를 늘리는 등 다양한 방법을 적용하고 있다. 그런데 평가자의 특성이나 경험에 따라 전문성의 수준이나 평가의 관점이 달라질 수 있으므로, 평가자의 수가 늘어날수록 평가의 신뢰도를 확보하기가 어려워지게 된다. 이 연구에서도 5명의 전문 가가 평가자로 참여하여 다수의 비디오에 대한 평가를 실시하였는데, 평가 자간 일치도가 비교적 높게 나타났지만 평가자 특성에 따라 다소 편차가 발생하는 것을 확인할 수 있었다. 다만 행동기술 평정척도를 활용한 평가 자간 일치도가 리커트형 평정척도에 비해 상대적으로 높은 것으로 나타나, 행동기술 평정척도는 다수의 평가자가 참여하는 관찰평가의 신뢰도를 높이 기에 적절한 평가도구라고 볼 수 있다.
대부분의 교사양성기관에서는 많은 수의 예비교사들을 대상으로 평가를 실시하여 역량의 수준을 진단하게 된다. 그런데 평가대상자의 수가 많은
만큼, 평가에 참여하는 전문가의 수가 많아지게 되고 소요되는 시간 또한 길어지게 된다. 이러한 점을 고려할 때 다수의 전문가가 참여하여 동시다 발적으로 평가를 실시할 수 있는 비디오 포트폴리오 평가는 교사양성기관 에서 활용하기에 적합한 평가방식이다. 하지만 비디오 포트폴리오 평가를 제대로 실시하기 위해서는 평가에 적용하는 평가도구의 안정성과 신뢰성이 무엇보다도 중요하며, 특히 평가자 수가 많은 대규모 평가일수록 평가자의 임의적 판단을 최소화할 수 있는 방법을 적용하는 것이 필요하다. 그리고 예비교사 평가에 참여하는 평가자 집단이 교수, 강사, 평가전문가 등으로 다양하게 구성될 수 있으므로, 이들에게 공통적으로 제공할 수 있는 구체 적인 기준을 마련하는 것이 필요하다. 이와 같은 평가 환경을 고려할 때, 다수의 평가자가 참여한 평가 결과를 통해 높은 신뢰도를 보고한 행동기술 평정척도는 평가의 일관성을 높이기에 적절한 평가도구로 활용될 수 있다.
행동기술 평정척도는 구체적으로 기술된 행동지표를 모든 평가자에게 공통 기준으로 제시하므로, 평가자의 임의적 판단을 줄이고 일관성 높은 평가 결과를 산출하기 때문이다. 따라서 다수의 평가자가 참여하는 비디오 포트 폴리오 평가를 제대로 실시하기 위해서는 평가역량에 대한 행동기술 평정 척도의 활용이 좋은 대안의 하나가 될 수 있다.
셋째, 행동기술 평정척도는 실천적 교수역량 평가에 상세한 행동지표를 투입하므로, 평가자의 판단을 수월하게 도와줄 뿐만 아니라 개선의 방향을 이해하기에도 유용한 것으로 확인되었다. 실천적 교수역량의 구성요인별로 수업에서 확인할 수 있는 수행의 종류가 다를 수 있고, 관찰되는 수행이 나타내는 역량의 수준도 제각각 다를 수 있다. 따라서 구체적이고 상세한 평가 기준이나 지표가 설정되지 않으면, 수행의 수준을 쉽게 판단하기도 어렵고 다양한 종류의 수행을 비교하거나 위계를 설정하기도 많은 혼란이 발생할 수 있다. 그런데 행동기술 평정척도는 평가를 실시하기 전에 미리 실천적 교수역량의 정의에 따라 수준을 가늠하기에 적합하도록 행동지표를 구체적으로 기술하여 제시하므로, 평가를 실시하는 전문가 및 예비교사의 판단이 수월해지고 상위의 수행을 참고하여 개선점을 제시하거나 이해하기
편리해질 수 있다. 즉, 직접적인 관찰과 수준의 판단이 용이하도록 구성된 행동기술 평정척도는 실천적 교수역량 평가를 시행하기에 유용한 평가도구 라고 볼 수 있다.
예비교사의 실천적 교수역량 평가를 실시하는 중요한 목적은 자기평가나 전문가평가를 통해 역량의 수준을 정확하게 진단하고 개선점을 발견하는 것이다. 그런데 일반적인 리커트형 평정척도를 활용하는 평가는 서열화된 결과를 내기에는 용이하였지만, 과정과 결과를 살펴보고 구체적인 개선점 이나 피드백을 제공하기 위한 충고형 평가를 실시하기에 제한점이 있었다.
하지만 행동기술 평정척도는 구체적인 행동지표를 투입하여 개발하기까지 다소 많은 시간과 노력이 투입되는 반면, 평가자들이 수월하게 수행을 관 찰하고 평가할 수 있도록 도와주므로 충고형 평가를 실시하기에 적합하고 유용한 특성을 보이고 있다. 따라서 교사양성과정에서 예비교사의 실천적 교수역량 평가와 피드백을 연계하여, 지도·조언이 가능한 충고형 평가를 실시하기 위한 하나의 방법으로 실용도가 높은 행동기술 평정척도를 활용 하는 것을 고려해 볼 수 있다.
이 연구가 지니는 의의는 다음과 같다.
첫째, 이 연구에서는 행동기술 평정척도를 활용한 실천적 교수역량 평가 도구를 개발하고 실제로 비디오 포트폴리오 평가에 활용함으로써, 예비교 사의 실천적 교수역량을 제대로 평가할 수 있는 기준을 제시하였다. 특히 행동기술 평정척도가 일반적인 리커트형 평정척도보다 양호한 결과를 보고 하는 것으로 나타나, 행동기술 평정척도의 활용을 확대할 수 있는 기반을 마련하였다.
둘째, 이 연구에서는 예비교사의 실천적 교수역량 평가를 전문가평가와 자기평가로 구분하여 실시하고 상호관련성을 확인함으로써, 행동기술 평정 척도를 활용한 예비교사의 자기평가가 제대로 이루어질 수 있음을 밝혔다.
행동기술 평정척도를 활용할 경우, 평가의 숙련도가 낮은 예비교사도 전문 가와 유사한 관점에서 평가 기준과 행동지표를 이해하고 객관적인 판단을
실시할 수 있는 것으로 확인되어 예비교사의 자기평가를 확대 실시할 수 있는 가능성을 제시하였다.
셋째, 이 연구에서는 예비교사의 수업시연에 대하여 비디오 포트폴리오 평가를 실시함으로써, 교사양성과정에서 실천적 교수역량을 원활하게 평가 할 수 있는 방법을 제시하였다. 현재 교사양성과정에서 예비교사가 실천적 교수역량을 드러내고 평가받을 수 있는 기회는 제한적이어서, 짧은 기간 동안 이루어지는 교육실습을 제외하고서는 수업을 시연하고 실천적 교수역 량을 평가받기가 어려운 실정이다. 이는 평가를 실시하기 위한 환경이나 여건이 미흡한 이유도 있었고, 실천적 교수역량의 평가 방법이나 도구에 관한 연구가 부족한 이유도 있었다. 이 연구를 통해 행동기술 평정척도를 활용한 비디오 포트폴리오 평가의 활용가능성을 확인하였으므로, 정확하고 원활한 예비교사의 실천적 교수역량 평가를 위해 교사양성기관에서 수업시 연을 녹화할 수 있는 환경을 더욱 확충하고 행동기술 평정척도를 개발 및 활용할 수 있는 전문가를 확보해야 할 필요성을 제시하였다.
한편, 이 연구의 제한점 및 제언은 다음과 같다.
첫째, 이 연구는 실천적 교수역량 평가를 위해 29명의 예비교사와 5명의 전문가가 참여하였는데, 보다 많은 평가대상자와 평가자가 참여하여 행동 기술 평정척도의 활용의 결과를 확인해야 할 필요가 있다. 비디오 포트폴 리오 평가를 실시하기 위해서는 수행을 관찰하기 위한 비디오를 녹화해야 하는데, 그 과정에서 많은 수의 예비교사를 섭외하여 평가를 실시하기에는 한계가 있었다. 비록 통계적인 분석이나 설문 및 인터뷰를 실시하기 위해 필요한 최소한의 인원을 모집하여 행동기술 평정척도의 타당화를 실시하였 지만, 예비교사의 다양한 수행을 반영하기 어려운 제한점에 따라 구성요인 별로 타당도나 신뢰도 분석 결과에 차이가 나타나는 것을 볼 수 있었다.
따라서 행동기술 평정척도의 타당성과 신뢰성의 근거를 폭넓게 확인하여 일반화하기 위해, 더 많은 예비교사를 대상으로 행동기술 평정척도를 활용 하여 평가를 실시하고 그 결과를 확인하는 것이 필요하다.