평가에 대한 주요 관심사는 효과성 측정의 신뢰성과 타당성, 그리고 사업 의 성패요인들을 이해하는데 있다. 이것은 바로 평가에 본질적인 6가지 단계 를 구성하게 된다(Edward A. Suchman, 1967). 즉 ① 평가할 목표의 확인,
② 사업이 직면할 제문제의 분석, ③ 사업에 관한 기술과 표준화, ④ 야기된 변화의 정도 측정, ⑤ 야기된 변화가 사업 때문인지 아니면 다른 원인 때문 인지에 관한 판단, ⑥ 효과의 지속성에 관한 징후 등이다. 한편 평가는 항상 명시적이거나 묵시적이거나 가치와 함께 시작된다. 그래서 이 가치에서 파생 된 목표가 형성되고, 목표달성을 위한 활동이 운영된다. 평가를 하기 위해서 거치게 되는 과정을 달리 기술해 보면, ① 가치형성, ② 목표설정(목표), ③ 목표측정(기준), ④ 목표활동의 확인(사업계획), ⑤ 목표활동의 동작화(사업운 영). ⑥ 목표운영의 효과조정(사업평가) 등으로 나누어 볼 수 있다.
또한 정책평가는 그 유형이나 결과의 활용, 목적, 사용되어지는 평가방법 등에 따라 그 평가의 과정이 각기 달라질 수 있다.
여기서는 Carol H Weiss의 정책평가절차에 관한 주장을 채용하여 만든 이효연(1979)의 정책성과의 평가모형을 중심으로 논한다. 이것은 정책결과의 평가모형인 만큼 사후평가에 치중하여 만든 것으로 다음과 같다.
1) 목표의 파악・형성
목표의 파악・형성은 정책수립시에 설정된 목표를 평가시에 다시금 주의 를 기울이는 것으로서 다음과 같은 이유로 이 단계를 거치게 된다(오양홍, 1978: 14-16).
첫째, 공식적 목표와 실제목표의 상이 가능성
둘째, 목표에 대한 완전한 합의는 있을 수 없다는 점
셋째, 조직의 목표는 복수이며 이들 사이에 상호 충돌하며, 그 중 어느 한
목표의 달성은 타 목표의 희생을 의미한다는 점
넷째, 조직의 목표와 다른 변수들 사이의 영향관계는 상호적이라는 것을 인지해야 한다는 점
다섯째, 조직은 단일목표만이 아니라 복수의 목표를 동시에 추구한다는 점 여섯째, 목표는 항상 변화하고 있으며 조직은 주어진 목표를 위한 수단에 불과하다는 점 등이 그것이다.
2) 성과지표의 설정과 활용
정책결정과정에서 성과지표는 새로운 프로그램을 위한 우선순위와 목표를 설정하는데 활용할 수 있으며 여러 가지 새로운 프로그램 대안들 가운데 특 정대안을 선정하는데 이용되며 또한 과거에 수행한 프로그램들의 효과성 및 정책목표와 프로그램간의 연계성의 분석과 평가에도 이용될 수 있다(노화준, 1977).
지표를 활용하는 방법으로는, 첫째, 동일업무에는 동일지표가 적용되어야 하며 둘째, 지표에 의한 측정은 연속적으로 해야 하며 셋째, 성과측정을 위 한 지표의 활용은 등간격적으로 해야하며 넷째, 목표산정을 위해 투입되는 자료는 정확한 것이어야 하며 다섯째, 지시활용에 있어서는 언제나 내적 및 외적 여건의 변화를 함께 고려해야 하며 여섯째, 성과지표는 기획 및 사업계 획의 수립과 밀접히 연계되어 있어야 한다(국방부, 1976).
3) 성과정보의 수집과 활용
정책의 목표가 파악・형성되고 성과지표가 설정되면 다음 단계로서 정책 이 집행된 후에 집행 결과에 관한 정보를 수집해야 한다. 성과정보는 어떤 체계가 일정기간 동안에 이루어 놓은 활동의 결과를 그 체계의 목표와 관련 하여 구성된 자료 라고 할 수 있다. 또한 성과정보는 내용상으로 정확한 것 이어야 하며, 대표성이 높아야 하고 종합적이어야 한다. 시간상으로는 측정 의 적시성, 사용의 적시성을 가져야 한다.
4) 성과지표와 성과정보의 비교 평가
이 단계에서는 이미 설정된 성과지표를 통하여 성과정보를 평가하는 단계 로서 평가방법으로는 절대평가법과 상대평가법이 있다(국방부, 1977). 절대평 가법은 활용의 결과만으로서 평가하는데, 이 방법은 비교의 지표(indicator)가 없어 성과를 평가하기가 어렵다는 약점이 있다. 반면 상대평가법은 활용의 결과 또는 프로그램의 측정치를 다른 표준치와 비교하여 평가하는 것이다.
5) 문제간의 분석평가
성과지표와 성과정보를 비교・평가한 후에는 문제점을 분석・평가하게 된 다.
여기서 쓰이는 전통적 접근방법이 단위평가모형(Goal-attainment Model)과 종합평가모형(System Model)이다(김광웅, 1976). 단위평가모형은 어떤 사업의 성과를 예정한 목표(predetermined goal)라는 제한된 의미 내에서 성공 또는 실패를 측정하는 것이다. 그러나 이 모형은 한 목표에 지나치게 집착함으로 써 다른 목표를 소홀히 하여 결과적으로 조직의 종합적인 발전에 지장을 준 다는 약점이 있다. 종합평가모형은 어느 특정목표만을 기준으로 해서 평가가 이루어지는 것이 아니라 정체조직의 종합적 발전이라는 측면에서 이루어지 는 평가이다. 정책분석・평가에 활용되는 모형들을 요약・정리한 것을 소개 하면 다음 <표 Ⅱ-6>과 같다.
<표 Ⅱ-6> 분석평가 모형의 분류(노화준, 1979) 모 형
상 황 전략산출모형 전략평가모형
확정상황
ｏ선형계획모형 ｏ네트웍 모형
ｏ정수 및 혼합정수계획모형 ｏ비선형계획모형
ｏ통제이론(control theory)
ｏ결정론적 씨물레이션 ｏ에코노메트릭모형 ｏ투입산출모형 ｏ사익비용분석
불확정상황
ｏ의사결정분석 ｏ다차원결정분석 ｏ동적계획 ｏ재고관리모형 ｏ추계계획모형 ｏ추계통제모형
ｏ시물레이션모형 ｏ에코노메트릭모형 ｏ추계과정모형 ｏ기대이론 ｏ인과분석 ｏ분산분석
6) 평가후의 수정조치
전술한 단계를 거치면 그 결과를 다시금 차기의 정책이나 목표의 수립에 환류시켜 반영시켜야 한다. 어떤 경우에는 정책적용의 평가를 통하여 현 정 책으로는 해결할 수 없는 다른 문제가 도출될 수도 있다. 이런 경우 우리는 초기의 문제확인 및 정책형성과정으로 돌아가지 않으면 안 된다.