4. 평가에 대한 평가, 메타평가
박 소 연
1. 메타평가의 목적
2. 메타평가의 기준과 모형
3. 메타평가의 활용
메타평가(meta evaluation)란 평가에 대한 평가(evaluation of evaluation)
- 좁은 의미: 평가결과 종합(evaluation synthesis) 또는 평가결과를 종합하 여 재분석(meta analysis), 평가 자체에 대한 평가, 개별평가를 다시 평가 하는 상위 평가
- 넓은 의미: 평가체제에 대한 평가
평가의 목적
- 평가대상의 개선
- 평가대상에 대한 판단
메타평가의 목적
- 평가의 질 관리 및 개선 - 평가에 대한 판단
⇒ 평가결과의 활용도 제고
평가체제에 대한 메타평가
- 평가의 투입, 과정, 산출물, 피드백 등을 평가
- 평가체제의 전 구성요소를 분석하고 기능의 효율성을 평가
평가 자체에 대한 메타평가
- 평가자료의 재분석
- 주로 평가 활동의 적합성 여부 검토
Joint Committee의 메타평가 기준
기준 내용
유용성(utility) 이해관계자의 정보 요구를 충족시켜주는가?
실행가능성(feasibility) 현실적이고 경제적인가?
정당성(propriety) 합법적, 윤리적인가?
정확성(accuracy) 믿을만한 정보를 산출하였는가?
김병철의 메타평가 모형
영역 평가항목
평가환경 평가근거, 평가목적, 평가주기 평가투입 평가역량, 평가자료, 평가시간 평가수행 평가내용, 평가절차, 평가보고서
평가활용 평가결과 확정, 평가결과보고, 평가결과 활용, 평가시스템개선
영역 평가환경
평가투입
평가수행
평가활용
기준 유용성(utility)
실행가능성(feasibility)
정당성(propriety)
정확성(accuracy)
My Best 5 소개
- 평가대상 및 목적 - 평가절차 및 준거 - 평가결과
My Best 5 메타평가
- 평가에 대한 의견
(단, 평가결과가 아닌 평가 전반에 대해 평가하도록 주의) - 평가개선을 위한 조언
형성적 사용
- 평가계획을 평가하기: 평가자, 측정전문가, 내용전문가와 같은 조언자 고용, 반론 집단과 같은 패널 검토, 설계, 계획과 같은 평가계획의 검토 - 진행중인 평가를 평가하기: 메타평가자, 평가팀, 검토패널과 같은 독립
관찰자, 자료, 중간보고서, 재정의 추가, 경영계획, 계획표의 수집과 같 은 진행 보고의 검토
총괄적 사용
- 평가를 끝낸 후에 평가하기: 평가자와 조언가, 변론집단에게 보고서를 보내는 것을 포함한 최종 보고서의 검토, 후원자 혹은 기급회사, 변론 패널, 전문 평가자와 같은 메타평가자에 의한 평가
타당도
- 검사도구가 측정하고자 하는 것을 얼마나 충실히 측정하였는가?
신뢰도
- 측정이 얼마나 일관성 있으며, 오차로부터 얼마나 벗어나 있는가?
객관도
- 평정 또는 채점 과정에 평가자의 주관이 개입될 여지가 배제되어 어떤 평가자가 평가해도 동일한 평가 등급 또는 점수가 나올 수 있는가?
메타평가(meta evaluation)
- 평가 안에 있으면 평가가 보이지 않는다!
- 잘 하는 것보다 중요한 것은 해야 할 것을 하는 것!
- 평가가 제대로 되었는지를 확인하는 것이 평가결과 적용보다 중요!
