제12주차
청소년 프로그램 평가
1. 청소년지도 프로그램 평가의 개념
평가(evaluation)란 문자가 암시하는 것과 같이 가치(value)를 부여 하며 비평(criticizing)을 가하는 것이라 할 수 있다. 또한 이 개념은 일 상적으로 점검(checking)이나 검토(monitoring)하는 것으로 보다 간단 한 의미로 규정할 수도 있다. 보다 복잡하고 전문적으로 파고들면, 평가 대상의 각 부분의 과거나 현재 상황이나 변화와 진행 과정 및 변화 결과 등을 심층적으로 분석하는 종합적인 평가의 의미를 함축하고 있다.
Random House의 대사전(1987)은 평가를 (1) 대상의 가치나 금액을 결정하는 일, (2) 대상의 중요성, 가치 또는 질을 판단하거나 결정하는 일이라고 정의하고 있다. 그리고 평가와의 유사어로 사정하기(assess), 감사 및 분석하기(assay), 추정하기(estimate), 숙고하기(weigh), 측 정 및 조사하기(gauge), 가치를 부여하기(value) 등을 들고 있다. 그런 가 하면, Oxford 영어사전(1969)에 의하면, 평가는 수량적으로 표시할 수 있는 가치를 산정하는 일, 수량적 사실이나 관계를 수치로 표현하는 방법을 강구하는 일, 금액을 결정하고 계상하는 일, 이미 알려진 모종의 관점에서 표현하는 일이라고 정의하고 있다. 이러한 사전적 정의를 종 합해 보면, 평가는 대상의 가치를 판단하고 결정하는 매우 광범위한 일 이라고 볼 수 있다.
일상생활에서는 평가의 개념의 사전적으로 언급된 의미로 많이 활용
되고 있지만, 이러한 사전식 정의만으로는 평가의 본질적인 의미를 제 대로 표현할 수 없는 경우가 많다. 특히, 요즘처럼 평가가 국가정책에서 부터 개인 능력에 이르기까지 인간의 다양한 삶 속에서 중요한 활동으 로 인정받아 다양한 측면에서 활용되고 있기 때문에 평가의 의미는 활 용되는 관점에 따라 다를 수밖에 없다. 이를테면 평가는 개개 대상에 대 하여 가치나 변화치를 부여하는 경우도 있고, 두 개 이상의 대상이나 행 위에 대하여 상대적 우열을 가리는 경우도 있다. 신기록을 가진 육상선 수가 엄연히 있지만 그 선수와 다른 선수들의 빠른 정도를 직접 대결시 켜 육상대회를 여는 것처럼 길고 짧은 것을 자로 재어 판단하기도 한다.
그런가 하면, 개별 육상선수의 가치나 장점을 파악하는 것도 평가이며, 개별 선수가 특정한 훈련을 통해 얼마나 능력이 향상되었는가를 알아보 는 것도 평가이다.
평가는 가능한 한 수치로 즉, 수량적으로 나타내도록 하는 것이 일반 적이지만 인간의 삶 가운데 수량이나 수치로 표현할 수 없는 경우도 많 기 때문에 최근에는 의미나 가치를 간주관적으로 찾아내고 표현하는 질 적인 평가가 강조되고 있다.
이와 같이 평가는 여러 의미를 내포한 비교적 복합적인 개념이다. 그 러므로 어떤 필요성과 목적에 의해 평가개념이 적용되는 가에 따라 본 질적인 의미가 다르지만, 교육활동이나 프로그램과 관련해서는 대개 4 가지 방식으로 평가가 정의되고 있다(배호순, 1994: 246-249). 첫째 프로그램의 가치나 장점을 판단하거나 결정하는 일, 둘째 프로그램의 효과 및 영향을 파악하고 판단하는 일, 셋째 프로그램의 목적달성 정도 를 확인하는 일, 넷째 프로그램에 대한 의사결정을 보조하는 일 등이다.
1) 프로그램의 가치나 장점을 판단하거나 결정하는 일
이는 비교적 기본적이고 핵심적인 평가의 의미를 나타내는 것으로서 평가대상의 장점이나 가치를 체계적으로 판단하는 일을 평가라고 보는
관점이다. 실행된 특정 청소년지도 프로그램을 확대 보급할 것인지, 그 에 대하여 추가로 투자할 것인지, 그를 특정 목적 및 상황에 적용할 것 인지 등을 결정하기 위한 경우에 평가하는 접근 방식이다.
2) 프로그램의 효과 및 영향을 파악하고 판단하는 일
이 정의는 프로그램 실시로 인한 효과나 영향을 사정 및 판단하는 일 에 초점을 두는데, 이 경우에는 프로그램을 일종의 독립변인(처치변인) 으로 간주한다는 점이 주된 특징이라고 할 수 있다. 프로그램 실시로 인 하여 발생한 변화를 측정 및 사정해야만 프로그램의 타당성을 인정할 수 있으며 이를 토대로 프로그램과 관련된 의사결정을 내릴 수 있게 된 다. 국가적 수준에서 연구·개발되어 시범적으로 실천되고 있는 다양한 청소년지도 프로그램을 전국적으로 확산시키기 전에 그 효과 및 영향을 파악하기 위해 실시하는 평가과정이나, 특정 청소년들을 대상으로 일정 기간 진행한 진로탐색 프로그램이 정말로 효과적이었는가를 사전, 사후 에 평가하여 비교하는 과정 등이 이에 해당한다고 볼 수 있다.
3) 프로그램의 목적 달성 정도를 확인하는 일
프로그램이라는 개념 자체가 모종의 바람직한 목적을 추구하기 위한 활동을 체계화한 것이라는 관점에서 볼 때, 프로그램이 의도하고 있는 바를 어느 정도 달성했는가를 확인 및 점검하는 평가 관점이다. 이는 전 통적인 평가 모형으로 Tyler의 주장에 근원을 두고 있다. 그에 의하면 교육평가는 교육목표 달성 정도를 알아내는 일이다. 모든 청소년교육활 동은 추구하는 목표가 있으므로 교육활동이 끝나면 목표가 얼마나 성취 되었는가를 필연적으로 판단해야 하는데 이 과정이 바로 평가이다. 오 늘날 수많은 청소년지도 프로그램이 개발되어, 실천되고 있지만 딱히 청소년들이나 그들의 부모들로부터 매력적인 활동으로 인정받는 프로
그램이 많지 않은 것은 바로 프로그램의 목표 달성 정도를 확인하는 과 정이 상대적으로 소홀하게 다루어졌기 때문이라고 본다.
4) 프로그램에 대한 의사결정을 보조하는 일
프로그램에 관한 중대한 의사결정을 내려야 하는 상황에서 평가 결과 를 합리적인 의사결정을 보조하기 위한 목적으로 활용할 필요가 있는 바, 기존 프로그램을 계속해서 실시할 것인지, 확대 또는 축소하여 재실 시할 것인지, 수정하여 실시할 것인지, 아니면 폐지할 것인지 등을 결정 하기 위한 목적으로 평가를 하는 경우가 이에 해당된다. 이 경우 프로그 램에 대한 상황 평가나 투입 평가, 과정 평가, 결과 평가 등을 통해 의사 결정에 도움이 되는 자료를 제공하게 된다. 무엇보다도 청소년들을 위 한 프로그램을 평가할 때 지나치게 결과 평가만을 가지고 프로그램의 지속 여부를 결정한다면 오류를 범할 가능성이 매우 높기 마련이다. 프 로그램을 개발하고 실천하는 과정에서 필요한 요소들이 제대로 투입되 었는지, 프로그램 운영 과정은 합리적으로 이루어졌는지, 그리고 프로 그램 운영 결과는 투입과 과정에 비해 의미가 있었는지 등을 종합적으 로 평가한 후 프로그램의 존폐 여부를 결정해야 할 것이다.
2. 청소년지도 프로그램 평가의 기능과 원리
1) 청소년지도 평가의 기능
청소년지도 과정에서 행해지는 평가는 다양한 기능들을 가지고 있다.
첫째, 평가는 대상에 대한 이해, 진단, 치료의 기능을 가진다. 학습자 개개인의 성취정도를 정확히 이해한다는 것은 마치 의사가 환자를 진단 하는 것과 같다. 의사는 환자의 병의 원인을 정확히 진단해야만 바르게 치료를 할 수 있다. 교육지도 평가는 참여자의 성취 정도를 정확히 이해 하는 것이 목적이다.
둘째, 청소년지도의 구성요소들을 개선시켜 주는 기능이 있다. 일반 적으로 평가란 청소년 개인의 학습행위나 결과만의 평가가 아니며, 평 가로 얻어진 자료는 청소년지도자, 청소년지도법, 청소년지도 프로그램 등을 평가하는데 유효한 증거가 될 수 있다. 즉, 청소년지도 과정을 평 가하여 얻은 결과는 청소년교육이나 지도의 질적 개선을 위한 생생한 증거가 된다. 평가결과가 청소년지도자 자신이 반성하고 비판하여 새로 운 자아의 성취나 개선이 이루어지도록 할 때 그 효능적 가치는 더 크다 할 것이다.
셋째, 평가는 청소년들의 지도 및 학습 행위를 촉진시키기 위해 필요 한 학습동기를 유발해 주는 심리학적 기능을 가진다. 다시 말하면 지도 를 통해 습득한 학습결과에 대한 정기적 또는 수시로 실시하는 평가는 청소년들의 지도 참여 동기를 유발시키며 평가결과의 확인으로 학습 의 욕을 촉진시키게 된다.
넷째, 평가결과를 청소년의 행동변화 및 학습효과의 판정에만 한정시 키지 않고 생활지도나 상담의 자료로 활용할 수도 있다. 생활지도 역시 학습지도와 마찬가지로 교육의 중요한 기능이기 때문이다. 청소년의 적 성, 흥미, 성격, 지능, 건강, 가치관, 태도, 개인적 문제 등과 같은 일련 의 특성에 대한 정확한 진단과 평가 자료는 청소년을 있는 그대로 정확 히 이해할 수 있는 좋은 근거가 된다.
다섯째, 주기적으로든 불규칙적이든 평가가 실시됨으로써 청소년지 도의 질적 수준이 유지될 수 있도록 하는 기능을 가지게 된다.
2) 청소년지도 평가의 원리
청소년지도 프로그램 평가의 기본적 목적은 지도의 목적과 목표가 제 대로 수행되었는지 여부를 판단·결정하는데 있으며, 프로그램을 평가하 기 위해서는 몇 가지 기본적인 원리들을 생각해 볼 필요가 있다.
첫째, 평가는 청소년지도의 과정 속에서 여러 가지 다양한 사상, 조건
또는 상태들에 대한 바람직성을 필연적으로 평가하게 된다. 일반적으로 평가는 상상, 조건, 상태에 관련된 정보를 수집하고 조직하고, 분석하 고, 해석하는 경험적 및 해석적 접근에 의해 이루어진다. 그러나 이러한 바람직성에 대한 평가는 필수적으로 가치체계와 연결되어 있기 때문에 평가자의 가치화 또는 가치적 판단행동이 중요한 요인으로 작용하게 마 련이다.
둘째, 평가는 실험실의 제한된 상태, 또는 이론적으로 가설화된 상태 에서 이루어지는 평가가 아니고, 지도가 전개되고 있는 실제 상황 속에 서 이루어지는 지도다. 동시에 단순히 가설에 대한 검증을 위해 의도적 으로 꾸며진 실험실이 아니다. 지금 막 실천되고 있는 상황 속에서 문제 를 발견하고, 진단하고, 치유책을 강구하고, 또 문제를 예방하는 종합적 인 지도인 것이다. 그러므로 프로그램 평가는 결코 결과를 측정하거나 어떤 사실만을 발견하는 데에서 멈추어서는 안 된다.
셋째, 평가는 항상 의사결정 또는 정책수립을 촉진하기 위한 필수불 가결의 지도다. 프로그램 평가가 그 목적과 목표를 달성해 가는 과정에 관심이 있는 한, 그것은 곧 차후의 의사결정과 정책수립을 위한 귀중한 출발점이 된다. 이를 위해서 평가는 프로그램이 추구하는 목표가 언제, 어떻게, 어느 방향으로 성취되어가고 있는지를 분명히 밝혀내야 할 것 이다.
넷째, 프로그램 평가는 계속해서 종합적으로 전개되는 가운데 본래의 평가 목적을 성취할 수 있다. 프로그램 평가는 순환적, 재생적, 계속적 인 지도며, 모든 순간마다 다소의 차이는 있지만 평가는 언제나 필요한 계속적인 과정이다. 더불어 평가는 종합성을 띤 지도다. 프로그램의 목 적과 목표에 관련된 모든 각양각색의 지도들을 통합시키는 종합적인 지 도인 것이다.
3. 청소년지도 프로그램 평가의 기준 및 모형
1) 프로그램 평가의 기준
평가의 과정은 언제나 잘못 행해질 수 있다. 잘못된 정보, 잘못된 해 석, 편견 등으로 인해 오류를 범할 수 있으며, 아울러 비윤리적으로 동 기화되어 평가가 실행될 수도 있다. 그리하여 평가가 단지 시간과 자원 을 낭비할 수도 있다. 그러므로 평가는 분명히 필요할 때 적절한 정보와 윤리적 서비스를 통해 이루어져야 하며, 명확한 목표의식과 함께 실행 기준을 꼼꼼히 검토한 후 진행되어야 한다. 다시 말해 프로그램 평가가 정확하고, 실제적이며, 유용하고 윤리적인 것이 되기 위해서는 평가 기 준의 적절성이 사전에 조사되고, 진단되어야 한다.
일반적으로 프로그램 평가를 실행하기 위한 기준으로는 크게 유용성, 실행가능성, 적합성, 정확성을 기준으로 약 30가지가 개발되어 있다.
(1) 유용성
유용성은 평가가 정보적이고, 시기적절하고, 영향을 줄 수 있어야 할 것임을 의미한다. 이 기준은 평가자가 평가와 관련한 이해당사자들이 누구인지를 알고, 이해 당사자들의 정보욕구를 인식하며, 이 요구에 반 응하는 평가를 기획하고, 관련된 정보를 분명하게 보고하는 것이다. 다 시 말해 평가가 관련된 이해 관계자의 실제적인 정보욕구를 만족시켜 줄 수 있는가와 관련되어 있다.
(2) 실행 가능성
평가 실행 기준으로서 실행 가능성은 평가가 현실적이고, 신중하고, 외교적이며, 경제적일 것을 보장하는 것이다.
(3) 정당성
평가 실행여부를 결정하는 기준으로서 정당성은 평가결과에 의해 영 향 받게 될 사람뿐만 아니라 평가에 포함된 사람들의 복지에 관한 합법
적, 윤리적 책임 수행을 의미한다. 평가로 인해 관련된 당사자들의 인권 이 침해된다거나 법적인 침해가 발생해서는 안 되기 때문이다.
(4) 정확성
평가의 실행 기준으로서 정확성은 가치나 장점을 결정하려는 연구대 상의 특성에 대해 기술적으로 충분한 정보를 찾아내고, 전달할 수 있도 록 수행되어야 함을 의미한다. 평가를 통해 얻어지는 정보가 통계적으 로 정확해야 하며, 또한 타당하고 신뢰로운 방법에 의해 수집되어야 함 을 뜻한다.
2) 프로그램 평가의 모형
프로그램 평가의 모형은 평가의 목적을 어디에 초점을 두느냐에 따라 다르게 분류될 수 있다. 대체적으로 청소년지도 프로그램 평가에 적용 할 수 있는 모형으로는 목표중심 평가모형과 의사결정중심 평가모형, 판단중심 평가모형, 전문성중심 평가모형, 참여-반응 중심 평가 모형 등으로 논의될 수 있다.
(1) 목표중심 평가
목표중심 평가(objective oriented evaluation)는 인간 행동 변화에 대한 행동주의 철학에 기초하고 있는 것으로 프로그램 평가 중에서 가 장 오래되고 가장 널리 사용되는 평가모형이라 할 수 있다. 이것은 평가 의 기능이 프로그램의 목표나 목적을 어느 정도 성취했느냐를 판단하는 것에 초점을 맞추고 있다. 즉, 프로그램을 실시하기 이전에 미리 세워 두었던 프로그램 목표에 청소년들이 얼마나 도달하였는가를 판단하는 접근이다.
(2) 의사결정중심 평가
의사결정중심 평가는 평가를 의사결정자게 필요한 정보를 제공하여 의사결정을 돕는 과정으로 이해하는 것이다. 다시 말하자면, 프로그램 운영자의 입장에서 평가하는 것으로 그 프로그램을 계속 시행할 것인가 중단할 것인가에 대해 결정하기 위한 평가라 할 수 있다. 구체적으로 이 모형은 프로그램의 요구분석, 계획, 시행, 평가 등 모든 국면을 평가하 여 의사결정자에게 유용한 정보를 제공한다하여 정보처리모형 혹은 과 정 모형이라 부르기도 한다.
의사결정중심 평가 모형은 프로그램 계획 단계에서 추구할 목표를 설 정하고 구성하는 결정과 관련된 상황평가, 설정된 목표와 요구를 성취 하는데 필요한 수단을 구체화하기 위한 구조적 결정과 관련된 투입평 가, 설계한대로 실천하기 위한 결정과 관련된 과정평가, 프로그램을 존 속시킬지의 여부와 관련된 산출평가를 고루 포함하고 있다. 그러므로 청소년지도에서도 프로그램을 계획, 시행, 평가를 포함하는 모든 의사 결정의 국면을 평가하는데 초점을 두는 것으로 프로그램 참여자에게 유 용한 정보를 제공해 준다는 장점이 있다. 하지만 평가 자료가 사장될 우 려가 있고 실제의 교육상황 개선에 활용될 소지가 적다는 단점도 있다.
평가자는 단지 프로그램에 관해 정해진 정보와 자료만을 수집할 뿐이 며, 자료에 의한 프로그램의 가치판단 및 프로그램 결정권은 의사결정 자에게 주어지게 된다. 따라서 현장의 개선이나 혁신을 위한 평가에 초 점을 두기보다는 현상 유지를 위한 평가, 의사결정자의 결정을 합리화 해 주는 평가가 되기 쉽다는 문제가 있다.
(3) 판단중심 평가
평가를 프로그램이 지닌 장점이나 가치를 판단하거나 결정하는 일로 정의하고 프로그램의 목표나 관련인사의 의사결정과는 무관하게 프로 그램이 지닌 장점과 가치를 파악하는 평가 모형이다. 그렇기 때문에 프 로그램의 단기 효과 뿐 아니라 장기 효과도, 의도한 효과 뿐 아니라 의 도하지 않은 효과도, 수단적 가치 뿐 아니라 목적적 가치도 함께 중시하
면서 프로그램의 진가를 평가요구자의 입장에서 판단하는 모형이다.
이를 위해서는 판단의 근거가 되는 평가기준 설정이 매우 중요한데, 이는 각 프로그램이 고유하게 지니고 있는 속성과 기능을 고려하되, 유 사한 프로그램으로부터 얻은 자료를 근거로 설정한다. 이 경우 프로그 램 판단 기준은 성대적인 기준과 절대적인 기준으로 나누어 질 수 있을 것이다. 설정된 평가기준에 따라 프로그램을 평가하기 위해서는 프로그 램에 관한 다양한 국면에서의 기술적, 판단적 자료를 충분히 확보하는 일이 매우 중요하다. 판단에 적용될 자료의 충실성, 정확성, 타당성이 중요하기 때문에 실제로 자료를 확보하기 어렵다. 그러나 보다 중요한 것은 평가자의 능력과 경험이다. 평가자의 능력과 경험은 평가결과의 신뢰성에 직접적인 영향을 주는 요인이다.
(4) 전문성중심 평가
평가 대상 프로그램과 관련된 분야의 전문가들이 전문성을 이용하여 프로그램의 진가를 평가하는 모형인데, 전통적으로 인정평가모형 (accreditation model)과 전문가 심의모형(professional review)이 이 에 해당한다. 인정평가모형은 주로 프로그램과 관련된 분야의 전문가들 이 하나의 팀을 이루어 사전에 체계적인 평가기준 및 평가원칙을 개발 하고, 그에 입각하여 일정기간 동안 자체 연구를 한 후 프로그램이 운영 되고 있는 현장을 방문하여 프로그램의 수행과정을 인증하고자 할 때 적용하는 모형으로서 우리나라에서는 대학종합평가나 학교종합평가, 그리고 최근에 청소년분야의 관심거리인 청소년프로그램인증제가 바로 이에 해당된다.
(5) 참여-반응중심 평가
프로그램에 참여하거나 그로 인해 영향을 받은 관련 인사들의 다양한 반응에 입각하여 프로그램의 역동적인 측면을 중시하여 그 장점과 가치 를 파악하려는 모형이다. 프로그램과 관련된 복합적인 인간성 문제를
이해하고 가치의 다원성을 인정 및 수용하며 프로그램이 실시되는 현장 을 중시하는 평가 모형이다. 전통적인 평가 모형이 평가대상을 기계적 이고, 무감각하게 기술하고 분류하는 일, 평가 방안을 정교하게 설계하 는 일, 반론을 방어할 수 있는 객관적 도구를 기술적으로 개발하는 일, 평가의 절차 방법에 관한 보고서(technical report)를 작성하는 일 등에 지나치게 매달려 교육이나 프로그램 실천 현장에서 실제로 발생하는 사 상을 놓치고 있다는 지적에서 배태된 모형이다.
