6) 평가후의 수정조치
전술한 단계를 거치면 그 결과를 다시금 차기의 정책이나 목표의 수립에 환류시켜 반영시켜야 한다. 어떤 경우에는 정책적용의 평가를 통하여 현 정 책으로는 해결할 수 없는 다른 문제가 도출될 수도 있다. 이런 경우 우리는 초기의 문제확인 및 정책형성과정으로 돌아가지 않으면 안 된다.
임은 평가대상인 구성원들의 다양한 평가에 주요 초점을 두고 있다는 점에 서 참여 지향적, 다원주의적 접근이라 할 수 있다. 이 접근에서는 전형적으 로 기술적인 묘사의 방법을 통해서 실제에 접근하려고 하며, 광범위한 맥락 하에서 그 실체를 이해하려고 한다.
한편 정책평가 방법은 정책을 보는 관점에 따라서 질적 평가방법과 양적 평가방법으로 구분할 수 있는데, 질적 시각을 견지하는 질적 방법에는 참여 관찰법과 심층면접법 같은 연구전략이 포함된다. 이러한 질적 방법들은 연구 자로 하여금 연구대상인 경험적 사회세계에 관한 직접적인 지식을 몸소 획 득할 수 있게 해 준다. 질적 방법들은 선정된 문제의 폭보다는 깊이에 주안 점을 두기 때문에 선정된 문제를 아주 자세하게 연구한다. 적은 수의 사람이 나 사례에 대하여 풍부한 자료를 산출해 낼 수 있다는 것이 질적 방법들의 장점인 것이다.
한편, 양적 시각에 입각한 양적 방법에는 실험적 방법과 그의 변형들 및 비참여조직적 관찰법, 표준화 면접법 등이 포함되는데, 이들은 모두 표준화 된 자극을 사용하여 사람들의 모든 경험을 특정한 반응범주에 국한시킨다는 데 특징이 있다. 이러한 방법을 이용하면 한정된 수의 문제에 대하여 많은 응답자들의 반응을 측정하는 것이 가능하기 때문에 자료의 비교와 통계적 통합이 용이하다는 장점이 있다.
이와 같이 양 시각과 방법들은 서로 각각의 단점을 보완해 줄 수 있는 장 점들을 가지고 있기 때문에 다음 단계에서 고려해 볼 수 있는 것은 질적 방 법들과 양적 방법들을 혼용하는 것이다. 필스테드(Filstead)는 양적 시각이나 질적 시각 모두 한정된 양의 현실만을 설명해 줄뿐이라고 이야기하면서, 평 가연구에서 질적 방법과 양적 방법을 함께 사용할 것을 권고하고 있다.
질적시각과 양적시각의 특성을 구분하여 보면 다음의 표와 같이 나타나게 된다.
<표 Ⅱ-7> 질적 시각과 양적 시각의 특성
질적 시각 양적 시각
1. 질적 방법의 사용을 옹호함
2. 행위자 자신의 준거의 틀에 입각하여 인간의 행태를 이해하는 데 관심을 가 지는 현상학적 입장을 취함
3. 자연주의적・비통제적 관찰을 이용함 4. 주관적임
5. 자료에 가까움 : 내부자의 시각
6. 자료에서 파생한 발전지향적・탐 색적・서술적・귀납적
7. 과정지향적
8. 타당성 있는, 실질적인, 풍부한, 깊이 있는 자료
9. 일반화할 수 없음: 단일사례 연구 10. 총체론적
11. 동태적 현상을 가정함
1. 양적 방법의 사용을 옹호함
2. 개인들의 주관적 상태에는 관심을 두 지 않고, 사회현상의 사실이나 원인들 을 탐구하는 논리실증주의적 입장을 취 함
3. 강제된 측정과 통제된 측정을 이용 4. 객관적임
5. 자료와 거리가 있음 : 외부자의 시각 6. 자료에서 파생하지 않는 확인지향적・
확증적・축소주의적・추론적・가설 연 역적
7. 결과지향적
8. 신뢰성 있는 : 경성의 반복가능한 자료 9. 일반화할 수 있음: 복수사례 연구 10. 특정적
11. 안정적 현실을 가정함.
출처: 장기원(2001), 직업교육 정책의 평가연구
또한 앞에서 살펴본 평가의 유형에 따라 평가방법을 달리할 수 있다. 이를 요약 정리하면 다음 표<Ⅱ-8>과 같다.
<표 Ⅱ-8> 평가유형별 평가방법
평가유형 평가방법
효과평가
효과성평가
- 양적목표 : 실적 대 계획의 비교 - 질적목표 :
ｏ정책실시전후의 비교 ｏ추세치와 실제치의 비교
ｏ정책이 실시되지 않은 지역이나 집단과 의 비교
ｏ통제된 실험 총합효과평가 - 전문가에 의한 평가
- 여론조사
능률성평가
내적능률성평가 - 전문가에 의한 평가 - 여론조사
외적능률성평가 - 비용・편익평가법 - 비용・효과평가법
집행평가
정확성평가
- 관찰법 - 문서조사법 - 조사연구법
요소효과성평가 - 편상관관계분석, 회귀분석, 경로분석 - 심층분석법, 일시관찰법
정책구조평가 - - 이론검토, 정책의 논리성검토 출처: 조이현(1994), 한국중앙정부의 정책평가제도에 관한 연구.
5. 정책평가 모형
하우스(House)는 평가관과 평가목적을 준거로 하여 8개의 범주로 평가모 형을 유형화하였으며, 와슨과 센더스(Worthen & Sanders)는 기존의 평가모 형들을 연속선상에서 계량적, 단일적 접근방법에 기초하여 분류하였다. 즉,
① 목표 지향적 평가접근 ② 관리 지향적 평가접근 ③ 소비자 중심적 평가 접근 ④전문가 중심적 평가접근 ⑤ 상반접근(반대심문) 지향적 평가접근 ⑥
자연주의적-참여자 지향적 평가접근 등의 6가지로 분류하였다(Worthen, B.
R. & T. R. San ders, 1987).
이를 그림으로 제시하면 아래의 그림 〔Ⅱ-2〕와 같다.
직관적- 다 원적평가
소비자 지향
전문가 지향
상반 지향 목표지향
관리지향
자연주의적 참여지향 공리주의
평가
〔그림 Ⅱ-2〕정책평가 접근 모형 출처: Worthen & Sanders(1987: 61)
이러한 여섯 가지 정책평가접근들은 각기 구체적인 평가모형을 가지고 있 다. 특히, 그동안 교육행정이나 정책평가에 있어서 많이 논의되고 활용되었 던 접근방법들은 목표 지향적, 관리 지향적 평가 접근들이라고 할 수 있다.
예를 들어, 스터페베른(Stuffebearn0의 CIPP 평가모형이나 알킨(Alkin)이 주 축이 되어 개발한 UCLA 평가모형, 그리고 프로베스(Provus)의 불일치 평가 모형 등은 교육정책이나 프로그램을 평가하는 데 주로 적용되었다고 할 수 있다.