1. 평가의 방법론
재정사업의 평가는 크게 세 가지 방식으로 구분할 수 있다(고영선, 2006: 33-34). 먼저 평가의 목적에 따라 운영평가와 효과평가로 구분할 수 있다. 운영평가는 사업의 관리와 집행을 개선하기 위한 방안을 찾는 데 목적이 있으며, 대개 사업관리 주체들을 위해 실시되고, 적절성 및 효율성 에 초점을 맞춘다. 반면에 효과평가는 사업의 본질적인 효과성을 검증하 는 데 목적이 있어 외부 이해관계자를 위해 실시하는 경우가 많다. 즉 집 행자의 책임성을 확보하거나 예산배정에 필요한 정보를 취득하기 위해 실 시한다. 효과평가는 적절성 및 효율성 뿐만 아니라 효과성․효용성․지속
가능성까지 포함한다.
이 때 적절성(relevance)이란 사업의 목표들이 사업의 수요를 잘 충족시 키는지와 정부정책의 우선순위와 잘 부합하는가를 보는 것이다. 효율성 (efficiency)은 투입이 얼마나 경제적으로 사용되어 산출 및 결과(results)로 전환되었는가를 파악하는 것이다. 효과분석에서 주로 이용되는 효과성 (effectiveness)은 사업의 결과가 사업의 특정목표 및 일반목표를 달성하는 데 얼마나 기여했는지 분석하는 것이다. 반면에 효용성(utility)은 사업의 결과 실제로 수요가 얼마나 충족되었는지를 살펴보는 것이다. 마지막으로 지속가능성(sustainability)은 사업이 중단되었을 때 사업으로 인한 긍정적인 변화가 얼마나 오랫동안 지속되는가를 판단하는 것이다.
〔그림 2-1〕 사업평가의 주요 요소
자료: European Commission, Evaluating EU Expenditure Programes, 1997.
다음으로 평가의 시점에 따라 중간평가와 사후평가로 구분할 수 있다.
중간평가는 사업집행 도중에 실시되는 평가를 의미하며, 사후평가는 사업 완료 후에 실시되는 평가를 의미한다. 따라서 중간평가는 사업의 산출에 초점을 맞추게 되며 사업의 전달체계를 개선하기 위한 운영평가의 성격이 강하다. 이에 반해 사후평가는 효과평가의 성격이 강하나 사업의 결과를 평가하려는 데 목적이 있다.
마지막으로 평가의 주체에 따라 내부평가와 외부평가로 구분할 수 있 다. 내부평가는 평가대상 사업을 집행하고 있는 기구의 내부 인력에 의해 수행되는 평가를 의미한다. 반면에 외부평가는 외부 인력에 의해 수행되 는 평가이다. 외부평가는 사업평가의 독립성․객관성․전문성을 제고하는 데 유용하다.
일반적으로 재정사업에 대한 평가는 운영평가와 효과평가의 성격을 모 두 가지며, 종종 사업시행 도중에 실시되므로 중간평가의 성격을 갖는다.
또한 기획예산처가 주도한다는 점에서 외부평가라고 할 수 있다. 아래에 서는 운영평가의 대표적인 요소인 효율성을 측정하는 방법으로써 자료포 락분석에 대해서 살펴볼 것이다. 그리고 효과평가의 주요 요소인 효과성과 효용성 등을 측정하는 방법으로써 비용편익분석에 대해서 기술할 것이다.
1) 자료포락분석(DEA)
기관평가에서는 효율성을 중요한 평가요소로 전제한다. 그러나 효율성 을 평가하는 방법에 대해서는 풍부한 연구 결과들이 아직 산출되지 못하 고 있는 실정이다. 일반적으로 기관, 특히 비영리 기관에 대해 효율성을 분석한 선행연구들은 자료포락분석(DEA)을 이용하고 있다.
DEA는 Farrell(1957)의 변경효율성 측정개념에 입각하여 각 의사결정단 위의 상대적 효율성은 효율적인 의사결정단위들이 경험적으로 형성하는
효율변경화의 관계에서 측정될 수 있다고 보고, 이러한 변경 또는 표면을 토대로 효율성 측정지표들을 상대적으로 계산하는 방법론이다. 이를 토대 로 DEA는 자료집합내의 유사한 투입과 산출관계를 갖는 모든 의사결정단 위를 직접적으로 비교할 수 있어 병원, 간호서비스, 교육 등 비영리조직의 효율성을 측정하는 도구로 최근 널리 활용되고 있다(문상호․김윤수, 2006: 273; 문신용․윤기찬, 2004: 204-206; 김용민, 2004: 134).
최근에는 공공조직의 효율성 측정을 위해 DEA에 대한 관심이 더 높아 지고 있다. 미국의 경우 장애인 의료보험정책, 법원의 행정관리, 공공교육 기관, 교정기관, 주정부내 정보서비스담당부서 등과 같은 부문에서 연구가 이루어지고 있다(김용민, 2004).
조직 성과측정에 관심을 갖고 있는 많은 연구자들은 비교 가능한 의사 결정단위에 대하여 상대적 효율성이나 생산성을 측정하고자 할 것이다.
실제적으로 이들 DMU4)는 상이한 다수 산출물을 생산하기 위하여 상이한 다수 투입물을 사용한다. 개별 DMU들이 생산한 다수 산출물에 대해 다 수 투입물을 동시에 대응시키는 측정기법이 현실의 성과측정을 위해 보다 합리적일 수 있을 것이다.
DEA는 각 DMU의 다투입․다산출과 관련된 관찰 값을 이용하여 상대 적 효율성을 평가하는데 사용할 수 있다. 한 DMU의 상대적 효율성 평가 를 위해 효율적 DMU의 부분집합을 선정하기 위한 최적화 원칙을 사용한 다. 피평가(被評價) DMU는 이 최적화 원칙에 의해서 평가된 효율치를 얻 게 됨으로서 효율적인지 여부를 평가받게 된다.
기술적으로 비효율적인 조직은 동일한 산출물을 생산하는데 있어 다른 조직체보다 더 많은 투입물을 소비하는 조직체이다. 피평가조직체가 다른 조직체에 비해 일정 산출물을 얻는데 더 많은 투입물을 소비하거나 동일
4) DMU는 의사결정단위(Decision Making Unit)로 투입과 산출이 있는 분석의 대상이 되는 프로그램, 기관, 혹은 산업체를 뜻함(Charnes, Cooper, and Rhodes, 1978).
량의 투입물을 이용해 생산된 산출물이 상대적으로 부족할 경우 비효율적 인 것으로 평가된다. 비효율적인 DMU는 자신이 평가받은 평점을 갖게 되며 평가에 이용된 준거집단을 통해서 관리적 개선방안을 모색할 수 있 다. DEA의 장점을 다섯 가지로 논의하고 있다.
첫째, 관리적 감사도구로서의 이점이 있다. 비영리조직체의 활동과 관련 하여 효율적 생산을 위해 필요한 투입량이나 생산된 산출물의 가격은 거 의 알려져 있지 않다. DEA는 이용한 물리적 단위만으로 성과측정이 가능 하다는 장점이 있다. 따라서 DEA는 효율성에 대한 수치와 함께 개선할 필요가 있는 요소의 수정 값도 제시되며 이 값의 크기가 상대적으로 과다 한 경우 집중감사를 필요로 하는 대상을 파악하는데 유용하다. 또한 DEA 을 적용할 경우 영리조직의 성과측정에도 동일한 이점을 갖기 때문에 적 용 대상에 대해 유연성을 갖는다.
둘째, 모수적 함수형태로 규정된 생산함수를 요구하지 않는다. 모수적 모형은 생산함수에 대한 여러 가지 제약을 수반하거나 잔차항의 분포 및 변수의 독립성에 대한 가정을 필요로 한다. 그러나 DEA는 생산가능집합 에 대한 소수의 기본가정만으로 실증적 생산함수를 포괄할 수 있다. 다투 입물․다산출물에 대한 변수를 모형 내에서 동시에 고려할 수 있으며 극 점기법에 의한 단일의 효율치를 얻을 수 있다.
셋째, 평가척도가 용이하다. DEA에 의해 효율성을 평가하기 위한 투 입․산출물의 척도는 화폐단위로 표시된 것은 물론, 물리적 단위로도 가 능하기 때문에 측정척도의 취급이 비교적 자유롭다. 넷째, 추가적 정보를 제공한다. DEA는 비효율성을 측정하고 기술적 요인의 과다 투입에 따른 비효율이 존재하면 감소시켜야 할 투입기준을 제공하고 산출 부족에 따른 비효율이 존재하면 개선 가능한 증가기준을 제공한다. 다섯째, 성과의 추 세변동과 최적생산규모 식별이 가능하다. DEA을 적용할 경우 개별조직의 성과개선 여부와 최적생산규모점을 식별할 수 있으므로 장․단기계획수립
에 유용하다.
반면, DEA가 갖는 단점은 다음과 같다. 첫째, DEA는 기술적 관계를 나 타내지 못하므로 투입자원을 보다 싼 가격에 구입하였는지의 여부나 동일 산출물이라도 보다 좋은 서비스를 제공했는지는 알 수 없다. 둘째, 효율성 평가시 전체를 비교집단으로 사용하지 못하고 산출과 투입의 비슷한 규모 를 갖는 DMU들을 비교대상으로 하기 때문에 모든 집단을 대상으로 한 일률적인 평가에는 한계가 있다. 셋째, DEA는 다른 평가방법들과 마찬가 지로 투입과 산출요소에 대한 측정이 가능하여야 하며, 자료간의 동질성 이 특히 중요하게 요구된다. 자료간의 동질성은 DMU간의 동질성을 의미 하는 것으로서, 자료의 내용이 서로 다른 병원과 학교를 동시에 비교하는 것은 자료의 동질성이 없는 것을 의미한다.
넷째, DEA는 분석대상이 내재적으로 안고 있는 비효율성을 밝혀내지 못한다. 극단적으로 모든 분석대상이 동일한 비효율성을 가진다면 이 방 법으로는 어느 것이 비효율적인지 알아낼 수가 없다. 다섯째, DEA에서는 경영에서의 실수나 행운에 의한 결과를 구별하지 않는다. 이렇게 될 경우 효율이 높은 것으로 평가되는 프론티어 상의 기업이 경영상의 실수나 행 운에 의해 영향을 받은 경우 그것이 다른 모든 기업에 영향을 가져올 가 능성이 크다. 여섯째, DEA는 변수의 선정과 평가대상의 선정에 따라 그 결과가 어느 정도 변화할 수 있다. 그것은 DEA가 극점들에 의존하는 방 법이기 때문에 변수의 선정에 매우 민감하게 반응할 수 있으며, 상대평가 이기 때문에 평가대상의 선정범위가 효율성 측정 자체를 크게 좌우할 수
넷째, DEA는 분석대상이 내재적으로 안고 있는 비효율성을 밝혀내지 못한다. 극단적으로 모든 분석대상이 동일한 비효율성을 가진다면 이 방 법으로는 어느 것이 비효율적인지 알아낼 수가 없다. 다섯째, DEA에서는 경영에서의 실수나 행운에 의한 결과를 구별하지 않는다. 이렇게 될 경우 효율이 높은 것으로 평가되는 프론티어 상의 기업이 경영상의 실수나 행 운에 의해 영향을 받은 경우 그것이 다른 모든 기업에 영향을 가져올 가 능성이 크다. 여섯째, DEA는 변수의 선정과 평가대상의 선정에 따라 그 결과가 어느 정도 변화할 수 있다. 그것은 DEA가 극점들에 의존하는 방 법이기 때문에 변수의 선정에 매우 민감하게 반응할 수 있으며, 상대평가 이기 때문에 평가대상의 선정범위가 효율성 측정 자체를 크게 좌우할 수