제13주차
청소년 프로그램 평가
1. 청소년지도 프로그램 평가자의 능력과 역할
평가의 주체는 청소년지도자, 외부 전문가, 참여자(청소년), 기타 프 로그램에 관계되는 사람들이다. 이들 모두들 평가자라 명명하고자 한 다. 특히 청소년지도자는 그 전문적 능력 중 평가를 합리적이고 객관적 으로 진행할 수 있는 자질을 갖추고 있어야만 한다.
평가자의 자질은 평가의 성패를 좌우하는 가장 중요한 요인이다. 왜 냐하면, 평가자는 본질적으로 매우 다양하면서도 전문적인 지도를 수행 해야 하기 때문이다. 평가 계획을 수립하는 일에서부터 평가결과를 보 고서로 정리하는 것에 이르기까지 모든 과정이 전문가적인 소양과 자질 을 요구하고 있다. 무엇보다도 평가는 그 결과를 이해 당사자들이 인정 하고 수용할 때 의미가 있는데, 이 경우 평가자에 대한 관련 집단 구성 원들의 신뢰가 중요하며, 이 신뢰는 바로 평가자의 전문적인 자질과 능 력에 의해 결정된다.
1) 평가자의 능력
평가자가 평가지도 과정에서 수행해야 하는 업무로는 평가 모형의 선 정, 평가 계획 수립(평가 기준 설정 포함), 관련 자료 수집을 위한 도구 제작이나 선정, 자료 및 정보 수집, 자료의 처리 및 분석, 수집된 자료에
근거한 판단, 보고서 작성, 평가 결과 보고, 평가 관계자와의 협의 등이 다. 이러한 다양한 업무를 수행하기 위해서 평가자는 관리 및 운영 기 술, 평가 전문적인 기술, 개념적 기술, 관련 내용 영역의 전문적 지식 등의 능력을 갖추어야 한다.
첫째, 관리 및 운영기술은 의사소통, 감독, 대인관계, 체제분석, 계약 수립, 예산책정, 목표수립, 전문적 윤리, 정치적 임기웅변 등을 포함한 다.
둘째, 전문적인 기술에는 도구 개발 및 선정, 검사 실시, 통계적 분석, 조사 방법, 관찰기법, 심리측정론, 실험설계법, 자료의 질 관리, 컴퓨터 의 적용, 사례연구법, 비용-효과분석, 보고서 작성 등의 기술이 포함된 다.
셋째, 개념적 기술은 대안을 강구할 수 있는 능력, 계획을 구상할 수 있는 능력, 문제점을 분류하고 분석하는 능력, 관계를 파악하고 표현할 수 있는 능력 등을 말한다.
넷째, 전문적 지식에는 평가 대상 영역과 관련된 업무의 경험, 주된 관련연구에 관한 지식, 관련 분야의 주요 구조를 이해하기, 관련 분야의 전문가와의 친교 등이 포함된다.
이와 같은 기능과 자질은 평가 목적과 대상의 성격에 따라서 그리고 그에 따른 접근 방식에 따라 그 강조점이 달라질 수 있다. 또한 평가 설 계 및 그 지도의 양상에 따라 어느 기능과 자질이 더욱 강조되는가가 결정될 수 있다. 말하자면, 평가자의 업무내용과 평가자에게 요구되는 기본자질과 능력은 평가 목적과 평가지도의 양상에 따라 그 강조점이 달라질 수 있기 때문에 특정업무나 특정능력만을 강조할 수 없게 된다.
2) 평가자의 역할
평가자는 평가의 상황과 여건에 따라, 그리고 평가 목적과 그 강조점 에 따라 각기 다른 역할을 수행해야만 한다. 즉, 평가자의 역할이 사전
에 미리 고정되어 있지 않고 평가의 목적과 여건에 따라 유동적으로 달 라지기 때문에 특정 역할만을 일방적으로 요구하기보다는 평가 상황에 따라 어떤 역할이 요구되는가를 파악할 수 있는 자질을 함양하도록 하 는 것이 보다 바람직하다.
평가자의 역할은 크게 네 가지로 분류할 수 있다. 그것들은 전문적인 역할, 대인관계적인 역할, 행정적인 역할, 그리고 사회적 및 정치적 역 할 등이다.
첫째, 전문적 역할이란 평가자가 평가 수행에 필요한 전문적인 지식 과 기능을 바탕으로 독자적으로 평가계획을 수립하고 평가준거를 설정 하며, 자료를 수행하고 그를 분석, 처리하며 그로부터 평가지표를 추출 하며 평가기준을 결정하는 등의 평가 방법론을 중심으로 한 전문적인 기능을 말한다.
둘째, 대인관계적인 역할은 평가자가 평가 의뢰자와 의사결정권자를 대상으로 인간관계를 유지하는 등 평가를 수행하기 위한 제반 인간관계 유지 역할을 의미한다. 이것은 평가를 수행하기 위해서 필수적으로 요 청되는 평가구성 지도로서 평가 요구자 및 평가 관련자와의 의사소통, 대중과의 관계유지, 상황적 지도력, 평가 팀의 형성 및 그 운영 능력, 갈등상태의 해결, 평가 요구자 및 평가 관련자와의 적절한 인간관계 유 지 능력 등을 포괄하고 있다.
셋째, 행정적인 역할은 평가의 수행 및 관리에 관한 기능을 의미하는 데, 평가 수행 상 필수적으로 요청되는 평가 과정지도를 중심으로 하여 평가 지도를 계약하고, 계획을 수립하고, 협상하고, 예산을 책정하고 그 를 집행하며, 제반 평가지도를 기획, 집행 및 관리하는 역할을 의미한 다.
넷째, 사회·정치적 역할은 평가를 발주하고 기획하며 수행하기 위해 서 필요한 의사결정을 내리고 평가 자체를 전개하고 수행하는 데에 초 점을 둔 평가자의 역할을 의미한다. 구체적으로는 평가의 사회적 정치 적 맥락과 조직적 상황을 고려하여 그에 적합하도록 평가를 수행하는
평가자의 역할을 말한다. 이 역할에는 관련 평가지도를 지원하고 발주 하는 개인 또는 기관(집단)과의 관계 형성 및 유지, 평가 내용과 관련된 분야의 정책 방향 타진, 대상 프로그램이 개발되고 실행되는 사회적·정 치적 맥락의 파악, 프로그램과의 관련된 개인과 기관과의 관계 형성 및 유지 등에 관련된 지도가 포함된다.
2. 청소년지도 프로그램 평가의 절차
모든 평가가 그러하듯 프로그램 평가도 실시되기 전부터 계획되고, 실시되는 과정에서 지속되는 계속적인 과정이다. 물론, 보다 중요한 것 은 계획은 미리 세우되 실제 평가는 진행하는 중간이나 끝 무렵 또는 끝낸 후 얼마간의 시간이 지난 다음에 실시하게 되는 것이 보통이다. 따 라서 여기에서는 청소년지도 프로그램 평가의 과정을 ① 평가의 세부목 표설정, ② 평가내용과 방법의 결정, ③ 평가도구의 제작, ④ 평가의 실 시, ⑤ 평가결과의 처리와 분석 및 활용 등으로 제시하고 구체적으로 살 펴보고자 한다.
1) 평가의 세부목표 설정
보통 평가의 목표는 수립된 청소년지도의 목표를 얼마나 달성하였는 지, 또는 그 목표를 달성하기 위하여 작성된 청소년지도의 계획이나 프 로그램이 얼마나 효율적으로 수행되었는지 등을 측정하여 보다 나은 다 음의 프로그램을 개발·실시하고자 하는 데 있다. 이러한 평가의 근본적 목표를 달성하기 위해서는 보다 세분화된 평가 목표가 마련되어야 한 다. 이를 테면 평가될 내용과 행동, 그리고 그 대상과 방법에 대한 윤곽 이 평가 목표에 포함되거나 암시되어야 하며, 평가 후의 활용에 대한 지 침이 포함되어야 할 것이다.
간단한 프로그램에 대한 자체평가의 경우라면 그 목표도 “교육 참여 자의 교육 프로그램에 대한 평가치와 계속 강화해야 할 점, 그리고 앞으 로 개선해야 할 점을 알아내어 보다 나은 다음 프로그램 작성을 위한 시사점을 얻는다”는 정도로 간단히 설정할 수 있을 것이다. 그러나 좀 더 전문적이고 세밀한 평가를 하고자 한다면 그 목표도 많은 항목으로
나누어 제시하여야 한다. 그러한 목표에 따라 수행될 평가의 내용과 방 법의 결정 및 평가의 도구는 뒤에서 계속 자세히 다루게 될 것이다. 단 지 그 목표가 지식을 측정할 것인지 태도를 잴 것인지 또는 실기상의 학습사항을 알아보는 것인지, 그 가운데 어디에 역점을 두느냐에 따라 평가의 형태는 많은 차이를 보이게 된다. 대체로 청소년지도 평가에서 는 태도형성에 많은 비중을 두기 때문에 그 평가의 방법도 관찰이나 설 문형 반응조사를 통하는 경우가 많다. 그러나 내용의 특성에 따라서 지 식이나 실기를 중요시하여 고사 또는 검사 및 진단조사를 사용하거나 이들을 모두 종합하는 종합평가가 있을 수 있다.
2) 평가내용과 방법의 결정
세부목표에는 이미 상당한 정도로 평가될 내용과 평가 방법이 암시되 어 있기도 할 것이다. 평가 내용은 프로그램에서 다룬 내용으로서 행동 의 변화, 지식과 기능의 습득, 태도의 변화 등을 포함하게 된다. 예를 들어, 청소년지도 목표가 새로운 사항을 전달하는 것이라면 평가 내용 은 그 새로운 사항을 항목별로 나열하고 그것이 얼마나 잘 이해 또는 전달되었는지를 알아보는 형태로 구성되어야 할 것이다.
많은 경우, 청소년지도나 교육의 목표가 태도의 변화, 자세 및 의식의 변화, 또는 가치관의 정립 등이기 때문에 평가 방법으로 태도나 의견을 묻는 태도 조사(attitudes test)나 의견조사(opinion poll)가 많이 활용 되고 있다. 물론, 문항의 내용은 당연히 프로그램에서 다루어진 내용과 연관성(타당성에 속함)이 있어야 할 것이다. 그런가 하면 프로그램의 목표가 어떤 기술을 습득시키게 하는 것이라면, 이에 대한 평가는 얼마 간의 실습 또는 연습이 있은 후에 실제적인 기술을 직접 감정하거나 평 정하는 평가방법이 적용되어야 할 것이다.
또한, 평가의 대상이 프로그램이나 기관 또는 지역사회일 때는 그 목 표에 따라 다르기는 하겠지만 위와 같은 내용과 함께 평가기준을 작성
하여 이를 평가의 내용으로 삼을 수 있을 것이다. 어쨌든 이들 평가의 내용에 대한 문항이나 기준 설정은 다음 항의 ‘평가도구의 작성’에서 자 세히 다루어 질 것이다.
평가내용이 결정되면 이들 내용을 어떤 방법으로 평가할 것인가를 미 리 결정해야 할 것이다. 앞에서도 암시한 바와 같이 그 내용이 지식이나 정보의 전달이 주가 되면 그 방법도 고사(필답 또는 구술), 또는 통신충 실검사(communication fidelity inquiry)를 적용할 수 있을 것이며, 그 내용이 태도의 변화나 정신 및 의식을 다루는 것이면 평가의 방법도 설 문형 반응이나 교육 전후의 태도 및 의식조사, 의견청취, 관찰 등의 형 태가 되어야 할 것이다. 그리고 실기검사의 경우는 학습자들이 스스로 어떤 감정진단의 문항에 응답하게 하는 방법과 평가자 또는 심사위원이 실제로 학습자가 만들어 낸 작품이나 작업과정을 지켜보면서 이미 만들 어진 척도에 따라 평정(rating)을 하는 방법을 쓰게 될 것이다.
또 평가의 내용이 주로 어떤 프로그램이나 기관 및 지역사회의 지도 에 관련된 것이면 전문가들로 구성된 심사위원들이 이미 만들어진 평가 기준에 따라 집단적으로 평가를 하는 방법이 적용될 수 있을 것이다. 그 리고 평가의 내용에 따라서는 한 가지 방법만이 아닌 두 가지 이상의 방법이 동시에 적용될 경우도 있을 것이다. 예컨대 농촌 청소년들에게 어떤 새로운 기술을 교육시키고 이를 평가할 때 궁극적인 목표는 그 기 술을 수용하였는지를 평가하면 되는 것이지만, 그러한 수용이 되기까지 는 그 기술에 대한 정확한 지식과 태도가 습득·형성되어야 하기 때문에, 평가방법도 지식을 물어보는 고사와 태도를 물어보는 면접, 그리고 실 제 수용여부를 확인하는 현지조사 등이 함께 이루어져야 할 것이다.
3) 평가도구의 제작
모든 평가는 평가목표를 달성하기 위한 프로그램이나 교육 내용을 적 절한 방법으로써 측정, 평정할 척도(scale) 또는 도구(instrument)를
필요로 하며, 이러한 도구를 얼마나 정확하게, 정밀하게 만드느냐가 평 가의 신뢰성과 타당성을 좌우하게 된다. 마치 길이를 재는 자가 있듯이 청소년지도를 실시할 때 얼마나 목표하는 바대로 잘 이루어졌느냐 하는 것을 측정할 수 있는 정확한 도구가 있어야 한다. 길이는 국제적으로 규 격화된 자(미터)가 있지만, 청소년지도는 그 목표, 내용, 방법, 대상 등 이 다양하기 때문에 필요할 때마다 도구를 따라 제작하여 계량화해야 하기 때문에 청소년지도자에게는 평가도구 제작과 관련된 보다 전문적 인 소양과 기능이 요구되는 것이다.
좋은 평가도구란 무엇보다도 그 도구가 평가하고자 하는 내용과 일치 되는 타당성을 갖추어야 하며, 응답자가 도구의 질문에 응답할 때 평가 목표에 알맞은 응답을 정확히 할 수 있도록 신뢰성이 있어야 하며, 누가 평가해도 서로 어긋나지 않는 결과(점수)를 얻을 수 있는 객관성을 지 녀야 하며, 그리고 누구나 쉽게 적용할 수 있는 실용성을 함께 갖추어야 한다. 다시 말해 타당성, 신뢰성, 객관성, 실용성은 평가를 위해 사용할 도구가 갖추어야 할 중요한 요건인 것이다.
4) 프로그램 평가의 실시
평가목표를 달성하기 위한 평가의 내용 및 도구가 제작되면 정해진 방법에 따라 평가를 실시하게 될 것이다. 평가의 방법은 고사 또는 시험 (필답 또는 구술), 설문응답(면접 또는 질문지법), 심사분석(평가기준 의 적용), 관찰, 집단협의 등을 생각할 수 있다. 일반적으로 청소년지도 에 대한 평가는 자체 평가의 형태를 많이 취하기 때문에 간단한 설문에 대한 응답이나 집단협의의 방법을 적용하는 경우가 많다.
그런데 이러한 평가의 결과를 앞으로의 프로그램 개정이나 지속여부 를 결정하기 위한 기초 자료로 쓰는데 그치지 않고 어떤 포상이나 진급 을 위한 기초 자료로 쓴다면 평가 과정에 과장이나 허구성이 따를 수 있을 뿐만 아니라, 그러한 평가로 인하여 프로그램 자체가 왜곡되거나
변질될 수 있음을 간과해서는 안 될 것이다.
5) 평가결과의 처리와 분석
평가를 실시하여 수집된 자료는 마치 조사나 다른 연구 자료를 처리 또는 분석하는 방법과 똑같이 다음과 같은 절차에 따라·분석하는 것이 보통이다.
① 데이터의 편집(editing) : 이는 수집된 평가 자료를 하나하나 검토 하면서 보충할 점이나 잘못된 것을 점검하여 보완, 수정하는 과정 이다.
② 부호붙이기(coding) : 평가의 내용을 일정한 범주로 나누어 번호 를 붙이거나 일정한 점수를 주어 자료 전체를 부호화 또는 계량화 하는 과정이다.
③ 표만들기(tabulating) : 각 범주별로 평가된 점수를 해석이 가능하 도록 단순하게 또는 두 가지 이상의 변인으로 나누어 단순집계표 (cross table)를 작성하는 과정이다.
④ 통계분석(computing) : 평가 자료의 표가 작성되면 각 집단의 특 성을 파악하고 견주어 보기 위하여 여러 거지 통계 분석을 한다.
여기에는 빈도분포나 백분비, 집중경향(평균, 중위수, 최빈치), 벽 산도(표준편차, 사분편차, 범위), 상관관계, 변인 간 유의차 검증 등이 있다.
이러한 분석이 끝나면 어떤 평가 결과에 대한 해석이나 판정이 가능 하게 될 것이며, 특히 어떤 집단의 어떤 부문 및 어떤 과정의 교육이나 프로그램이 효과가 컸는지, 문제가 있었는지 등이 드러나게 될 것이다.
6) 프로그램 평가의 활용 : 프로그램 개정
평가 자료의 분석과 해석이 끝나면 그 결과를 어떻게 활용할 것인가 가 무엇보다 중요하다. 평가 자료는 프로그램 개정이나 마케팅에 활용
될 수 있는데, 다음과 같은 점을 고려할 필요가 있다.
① 프로그램 및 교육의 목표가 잘못 세워진 점은 없었는가? 앞으로의 교육목표는 어떻게 설정하면 좋겠는가?
② 목표를 달성하기 위한 교육기획에서 너무 무리한 점은 없었는가?
너무 쉽게 또는 막연한 계획을 세우지는 않았는가?
③ 교육의 내용에서 개선되어야 할 것은 무엇인가? 새롭게 추가되어 야 할 내용은 무엇이며 빼도 좋은 내용은 무엇인가?
④ 교육의 방법 면에서 어떤 점을 고쳐야 하겠는가? 보다 즐겁게 그 리고 모두가 열성적으로 참여하고 스스로 그 교육의 내용을 쉽게 터득하게 하는 방법은 없겠는가?
⑤ 교육에 대한 평가를 위해서는 어떤 방법이 좋겠는가? 앞으로 효율 적인 교육을 계속 실시하는데 대한 좋은 방안은 무엇인가?
한 마디로 말하여 평가는 평가를 위한 평가가 되어서는 안 될 것이며, 교육 및 프로그램을 개선하는데 기여해야 함이 무엇보다 중요시되어야 한다.
