가. 정책평가의 유형
3) 정책평가의 목적에 따른 분류
정책평가는 그 목적에 따라서 여러 가지 종류로 구분되는데, 일반적으로 총괄평가와 과정평가로 나누어진다.5)
5) 스크리빈(Scrivin)은 정책평가를 평가의 목적에 따라 형성적 평가와 총괄적 평가로 나 누고 있다. 형성적 평가는 교육에서 예를 들자면, 교과과정을 개발하는 과정에서 그것 을 개선하는 데 도움이 되는 피드백 정보를 산출하기 위한 평가로서, 일반적으로는 개입(intervention)의 성공을 극대화하기 위한 설계와 개발을 위한 검증을 지칭한다.
그러므로 새로운 프로그램 개발자의 정보수요를 충족시키기 위한 것이라고 할 수 있 다. 이에 비해서 총괄적 평가는 교과과정의 개발이 끝난 뒤에 행해진 것으로서, 개발 된 교과과정을 채택하고자 하는 학교의 의사결정자들에게 그의 효과성에 대한 정보를 제공하기 위하여 이루어진 평가이다. 이렇게 볼 때 총괄적 평가는 어떤 프로그램이 집행되고 난 후에 그의 효과성을 평가하는 것이라 할 수 있다. 스크리빈이 제시한 형 성적 평가와 총괄적 평가는 위의 논의를 통해서도 알 수 있는 바와 같이 프로그램의 설계와 개발, 수정 및 채택과정에서 프로그램에 대한 의사결정자들을 도와줄 수 있는 정보를 산출하자는 데 그 목적이 있다(조이현, 1994: 25).
가) 총괄평가
총괄평가(Summative evaluation)는 정책이 집행되고 난 후에 정책이 사회 에 미친 영향을 추정하는 판단활동이다. 총괄평가에서는 정책이 아닌 다른 요인이 미친 영향과 정책이 미친 영향을 분리해 내는 것이 가장 중요하다.
이 평가는 그 대상과 목적에 따라 효과성평가, 능률성평가, 공평성평가 등으 로 나뉜다.
첫째, 효과성평가 : 정책의 효과성(effectiveness)은 정책목표의 달성정도를 의미하는데 효과성을 판단하는 것이 총괄평가의 가장 핵심적 사업이다. 경제 안정정책의 실시로 과연 물가가 안정되었는지 교통정책의 실시로 출퇴근시 의 교통문제가 완화되었는지를 판단하는 것이다. 그러므로 효과성평가는 단 순하게 의도했던 효과가 어느 정도 발생했는지를 판단하는 것에만 그치지 않고 해결하고자 했던 정책문제가 어느 정도 해결되었는지, 그리고 문제가 유화 또는 악화되었는지 등의 정책문제의 파악과 분석도 이루어져야 한다.
그래서 효과성평가는 대강 다음과 같은 내용을 포함한다.
a) 의도했던 정책효과가 과연 그 정책 때문에 나왔는지의 여부
b) 발생한 정책효과의 크기가 정책목표와 대비하여 어느 정도인지의 판단 c) 정책효과의 크기는 해결하고자 했던 원래의 정책문제의 해결에 충분할 정도인지의 판단6) 등이다.
이중에서 가장 중요하면서 어려운 판단은 a)의 것이며, 이것이 효과성 판 단의 핵심이다. 이상과 같은 판단은 의도했던 정책효과뿐만 아니라 의도하지 않았던 부수 효과에 대해서도 판단할 수 있다.
둘째, 능률성 판단 및 정책 영향평가 : 능률성은 흔히 투입과 산출의 비율 로서 표현되는데 투입을 정책이나 사업의 비용으로, 그리고 산출은 효과로 삼게 되므로 능률성을 기준으로 하는 것은 효과성만이 아니라 사업이나 정 책추진의 비용까지 고려하는 것을 의미한다. 정책이나 사업의 능률성을 평가 하는 것은 투입과 산출이 다같이 동일한 척도인 화폐가치로 측정이 가능한 투자사업이나 경제사업평가로서 발전된 것이다. 그러므로 이 능률성평가는 주로 경제학자들이 중심이 되어 개발한 비용-편익분석에 의존하게 된다. 능
6) 이것은 효과의 적절성(adequ acy) 판단에 해당된다.
률성평가는 흔히 효과성평가를 전제로 하는 경우가 많다. 바로 능률성을 효 과성으로 보는 경우이다. 효과와 비용을 비교하려면 먼저 정책효과가 얼마만 큼 발생했는지 판단해야 하기 때문이다. 정책 비용부분과 효과 부분을 합쳐 서 정책영향 또는 정책균형이라고 부르고, 이의 추정을 위해서 효과성평가와 같은 논리로 진행하는 평가를 정책영향평가라고 부른다.
한편 정책의 능률성평가와 정책의 영향평가는 효과성평가에서의 내용을 제외하면 다음과 같은 내용을 포함한다.
a) 정책의 직접적 비용은 얼마 만큼인가?
b) 부작용이나 사회적 충격을 포함한 사회적 비용은 얼마 만큼인가?
c) 정책효과는 비용을 상쇄시킬 만큼 큰 것인가?
그래서 이상과 같은 평가는 현재 평가되는 정책의 추진여부만이 아니라 정책내용의 수정에도 필요한 정보를 제공한다.
셋째, 공평성평가 : 논리적으로 보면 정책의 집행 후에 나타난 정책결과의 평가 속에는 정책효과와 비용의 사회집단간의 배분이나 지역간의 배분 등이 공평한지를 평가하는 공평성평가도 있어야 할 것이다.7)
나) 과정평가
과정평가는 정책집행 및 활동을 분석하여 이를 근거로 보다 효율적인 집 행전략을 수립하거나 정책내용을 수정・변경하며, 정책의 중단, 축소, 유지, 확대여부의 결정에 도움을 준다. 또 정책효과나 부작용 등이 발생한 경로를 밝혀서 총괄평가를 보조하는 기능을 수행한다. 이러한 목적을 달성하기 위한 과정평가는 두 가지로 나눌 수 있는데 좁은 의미의 과정평가와 집행평가이 다.
① 협의의 과정평가
좁은 의미의 과정평가는 총괄평가, 보다 정확하게는 주로 효과성평가의 완 성을 위해서 이루어진다. 정책수단이 구체적으로 어떠한 경로를 거쳐서 정책 효과를 발생시켰는지 파악하려는 것이다. 환언하면 정책효과를 결과로 하고
7) 이 부분은 사실 정책학자, 행정학자들이 공헌할 수 있는 분야이기도 하다. 효과성평가 가 주로 사회심리학자들에 의해서, 능률성평가가 경제학자들에 의해서 발전되고 개발 된 것이라면 이 부분의 평가야말로 행정학, 정책학자들이 기여할 수 있는 부분이다.
정책수단을 원인으로 하여 인과관계를 파악하되 도중에 개입되는 매개변수 도 확인함으로써 인과관계의 경로를 검증 확인하는 것이다.
정책수단에서 최종목표까지의 과정을 인과관계의 측면에서 확인하는 것이 좁은 의미의 과정평가인데 이것은 효과성평가를 보완한다. 정책의 집행이 이 루어졌는데도 효과가 나타나지 않는 것은 정책수단에서 목표에 이르는 인과 관계에 대해서 정책결정자들이 잘못 판단했기 때문이다. 이런 경우에는 효과 발생 여부만이 아니라 어디에서 인과관계가 잘못되었는지를 판단하는 것이 중요하다. 어떤 의미에서는 이 판단이 더욱 중요하다. 마찬가지로 정책효과 가 나왔을 때에도 그 과정을 밝히는 것은 극히 중요한데 특정한 상황에서만 이 아니라 다른 상황에서도 효과가 나올 것인지를 아는데 큰 도움이 되기 때문이다.
효과발생의 인과경로를 밝히는 좁은 의미의 과정평가는 다음과 같은 질문 에 답하고자 한다.
a) 정책효과는 어떠한 경로를 거쳐서 발생하게 되었는가?
b) 정책효과가 발생하지 않은 경우에 어떤 경로에 잘못이 있었는가?
c) 보다 강한 영향을 미치는 경로는 없는가?
이러한 질문에 답하는 내용을 지닌 과정평가는 앞에서 본 바와 같이 효과 발생의 경로를 밝혀서 총괄평가를 보완하고 다른 상황에 대한 정책의 적용 여부와 정책실패의 중요한 하나의 원인인 인과경로의 잘못을 밝힌다. 이를 통해서 정책의 내용이나 구조를 수정・변경하고 정책의 중단・확대 등의 결 정에 도움을 준다.
② 집행분석 또는 집행과정평가
집행분석 또는 집행과정평가는 정책이 의도했던 대로 집행이 되었는지를 확인 점검하는 것이다. 집행과정평가 또는 집행분석은 정책의 집행이나 사업 의 운영이 원래의 집행계획이나 집행설계에 따라 이루어졌는지를 확인하여 이에서 벗어난 부분을 파악하는 것이다. 구체적으로 정책집행활동을 그 계획 에 비추어 점검하되 그 활동에 치명적인 영향을 주는 집행절차와 자원, 정책 대상자에의 서비스전달, 정책의 대상영역 등을 계획에 대비하여 점검하는 것 이다. 그래서 다음과 같은 질문을 하게 된다.
a) 원래 집행계획에서의 활동들이 이루어졌는가?
b) 계획된 양・질의 자원이 계획된 시간에 투입되었는가?
c) 원래 의도한 정책대상집단에 실시되었는가?
d) 관련된 법률이나 규정에 순응하고 있는가?
위와 같은 질문에 답변함으로써 집행과정평가는 다음과 같은 목적을 위해 이용된다. 첫째, 집행활동의 설계상의 약점을 파악・보완하고 활동을 위한 보다 바람직한 절차・방법 등을 제시하여 효율적 집행전략을 수립하게 한다.
둘째, 정책집행상의 여러 가지 상황을 점검하여 정책수단의 수정・변경을 도 모하고 이를 통해서 바람직한 정책내용을 위한 정보를 제공한다. 셋째, 이 집행과정분석은 앞에서 보지 않았던 새로운 평가목적으로 책임성 (accountability)확보에 기여한다. 집행과정에서의 책임성은 주로 합법성이 문 제가 되는데 위의 d)에서 본 바와 같이 법률이나 규정에의 적합성을 점검하 게 된다. 이것은 주로 감사가 담당하는 일이다.
한편, 위에서 논의한 여러 학자들의 견해에 대해서 그 개념들을 포괄함과 동시에 공공정책평가가 지향하는 다양한 목적을 추구할 수 있는 평가유형을 나름대로 재구성한 견해는 다음과 같다(김명수, 1993).
① 효과평가
효과평가란 정책이나 사업계획의 실시결과로 얻어진 산출이 국민생활에 미친 모든 영향을 측정하는 것이다. 그러므로 정책효과평가에 있어서는 정책 효과에 대한 체계적인 이해가 가장 중요한 과제가 아닐 수 없다. 또한 효과 평가는 효과전체에 대한 평가인 종합효과평가와 부분적 효과에 대한 평가인 효과성평가로 나눌 수 있다.
a) 효과성평가 : 효과성평가란 정책이나 사업이 원래 의도했던 직접적 목 표의 달성정도를 측정하는 것을 말한다. 즉 정책이나 사업이 산출을 통하여 그 상태를 개선시키고자 의도했던 대상상황이나 집단에 대한 영향의 측정에 초점을 맞춘다.
b) 총합효과평가 : 총합효과평가란 정책이 야기한 모든 효과의 소망스러 움 여부를 결정하는 것이다. 그러므로 논리적으로 볼 때 효과성평가를 포괄 한다.