가. 성과중심 정책평가의 목적과 배경
1) 정책평가 및 성과중심 평가의 중요성의 배경
◦ 조직내부의 전략적 측면 (민간과 공공부문 모두 해당)
조직의 전략적 의사결정을 위한 지침과 평가기준을 제공 : 전략의 평가, 전략적 의사결정의 영향 평가 및 피드백
자원배분 의사결정에 대해 유용하고 체계적인 근거를 제공, 투자의 근거
10) 이와 관련한 대표적인 예로 개방형 임용제도를 들 수 있으나, 이 역시 역기능을 방지할 수 있는 제도적 장치 를 마련하지 않은 상태에서의 무리한 적용은 엽관제에 따른 비난과 함께 행정조직에 대한 통합과 통제력에 심각한 방해요인으로 작용할 가능성이 높음.
◦ 조직외부의 환경적(요구) 측면(특히 공공부문)
경제위기 → 재정적자의 확대 → 재정적자 축소를 위한 효율성 증대
한정된 자원이 더욱 강조됨에 따라 한정된 자원의 효율적 투입을 위한 정보가 중요
시민사회의 성장에 따른 정부의 책임성, 투명성 및 공공서비스(질) 확대
정부의 내재적 한계인 정부실패의 축소를 위한 민간의 성과중심 관리기법 도입
☜ 정부의 특성인 목표와 성과의 불명확성 한계 극복 : 사업의 효율성 제고를 위한 관리 수단, 평가라기보다는 성과관리, 전략기획
- 환류 및 책임성 미흡, 국민들에 대한 호소력/민감성 미흡으로 새롭고 효율적인 성과평가가 강조
2) 정책평가의 목적
ㅇ 평가의 직접적인 목적
① 정책(프로그램/조직)의 집행을 결정하기 위해 필요한 정보 제공 - 정책결정 및 집행 이전에 수행되고 본질적으로 탐구적(예비적)임.
② 미래에 관한 의사결정을 위해 필요한 투입 제공(환류)
ㅇ 평가의 궁극적 목적
정책의 목적인 정책(서비스)에 의한 사회와 서비스의 질을 향상
정책(프로그램)이 필요한지, 필요로 하는 요구를 충분히 충족시킬 수 있는지, 서비스가 계 획대로 제공되고 있는지, 또는 서비스가 바람직한 효과를 거두면서 합리적인 비용으로 서 비스 수혜자의 요구에 실제로 부응하는지를 결정하는데 필요한 방법, 기법, 반응의 집합
따라서 평가는 심리학, 사회학, 행정학 및 정책학, 경제학, 교육학 등 다양한 학문으로부 터 개념과 방법을 활용
평가는 기본적으로 해당 정책(프로그램)에 관한 ① 체계적 정보(목표, 핵심성공요인, 집행/
산출결과), ② 성과의 측정, ③ 책임성, ④ 환류(환류/개선을 위한 유용한 정보와 함의) 등 이 있어야 함.
가장 중요한 것은 정책결정자/참여자들에게 체계적인 정보를 제공하여 더 나은 선택을 하도록 하는 것임. 즉, 해당 정책이 시행할 가치가 있는지를 평가, 시행할 가치가 있다고 하더라도 어떠한 목적으로 어떻게 어느 정도 수준으로 수행하여야 하는지
ㅇ 정책평가의 방향
전통적으로 공공부문의 성과를 평가하는 지표는 산출 지향적(output-oriented)이거나 과 정 지향적(process-oriented)인 성향이 강한 반면, 결과 지향적(result-oriented or outcome-oriented)임.
즉, ‘일을 얼마나 했느냐’가 아니라 ‘무엇을 궁극적으로 달성하고자 했느냐’, “정책대상에 어 떤 영향이나 변화를 가져왔느냐”가 중요하며, 이에 대한 목표를 설정하고 측정하는 것임.
나. 성과평가의 주요 방법과 개념
1) 성과지표
ㅇ 성과지표(Performance Indicator)의 개념
성과목표의 달성여부를 판별하기 위한 척도로서 측정가능한 지표
원칙적으로 결과지표를 중심으로 하되 불가능할 경우 산출․과정 지표 등을 사용
성과지표와 추진실적과의 비교를 통하여 성과목표의 달성정도를 정확하게 측정하는 것이 요구됨. 따라서 성과지표는 목표와의 연관성, 왜곡유인 지양, 인과관계의 파악 가능성, 명 확성, 시의성, 신뢰성, 비교가능성, 검증가능성 등을 확보해야 함.
성과의 객관적인 비교가 가능하도록 계량화된 지표를 사용하도록 하며, 부득이한 경우에 정성적인 지표를 사용함.
ㅇ 성과지표의 구분 및 개념
투입(input)지표 : 사업추진에 투입된 재원 및 인력 등을 말하며, 사업이 계획대로 집행되 는지 평가(효율성 기준)
예) 예산액, 문화재발굴(보존) 투입인원, 콜렉션 구입예산 등
과정(process)지표 : 아직 미완성인 사업 중간단계의 목표달성여부 평가 예) 박물관 전시실 확충공사 진척도, 보존처리 진척도 등
산출(output)지표 : 사업이 목표한 최종산출과 서비스를 말하며, 가장 기본적인 재정사업 평가지표 기준이 되지만 궁극적인 성과지표가 되지는 못함.
예) 문화기반시설 확충(수), 문화재 보수건수, 교육프로그램수료자수
결과(outcome)지표 : 재정사업을 통하여 달성하려는 궁극적이면서도 측정가능한 중기의 목표로서 정책대상의 변화를 뜻함.
예) 문화향수율/시설이용율 제고, 박물관관람인원 증가, 만족도 증가, 취업율 등
영향(impact)지표 : 재정(정책)사업으로 인하여 궁극적으로 사회 및 인간의 행동에 미치는 변화 예) 삶의 질 제고, 창의성제고 (측정이 어려우므로 실제 행정적․학문적 평가영역이 아닌
정치(정치적 평가)의 영역임).
각 지표는 일부 중복이 발생하지만 시간상 흐름에 따라 투입 또는 효과가 나타남(즉, 산 출에서 결과까지는 일정한 시간 필요)
ㅇ 성과지표의 기준 : 학자마다 다르므로 대표적인 University of California 접근방법 (SMART 항목)의 기준을 소개함.
① 명확한(specific): 오해여지가 없도록 분명하고 초점이 맞추어져야 한다. 척도에 대한 가 정과 정의가 쉽게 해석될 수 있어야 한다.
② 측정가능(measurable): 계량화해서 다른 자료와 비교할 수 있어야 한다. 의미 있는 통계 적 분석이 가능해야 한다.
③ 달성가능(arraignable): 예상했던 조건에서 합리적이고 신뢰할 수 있어야 한다.
④ 현실적(realistic): 조직의 제약조건 내에서 측정할 수 있어야 하고, 또한 비용 효과적이어야 한다.
⑤ 적시(timely): 주어진 시간 내에 측정할 수 있어야 한다.
ㅇ 성과지표의 개발방식
성과지표의 개발방식은 Top-down과 Backward방식이 있음.
적합한 성과지표를 개발하기 위해서는 이를 조합하여 비교하는 방식으로 접근하는 것이 가장 좋음.
특히 Backward 방식에서는 프로그램 이론에 따른 결과선을 작성해 보고, 이를 계속 보완 하는 방식으로 접근
성과지표 개발시 다음과 같은 체크리스트와 질문을 검토하는 것도 도움이 됨.
대외적인 책임성 등이 가능하게 됨.
[성과측정치를 개발하기 위한 질문들]
․ 우리들 활동의 결과(산출)는 무엇인가?
․ 우리가 고객의 요구사항을 달성했는지를 어떻게 알 수 있는가?
․ 우리가 주요 이해 관계자(stakeholder)의 요구사항을 달성했는지 어떻게 알 수 있는가?
․ 시스템은 어떻게 사용되는가?
․ 어떤 목적으로 그 시스템을 사용하려고 하는가?
․ 어떤 정보를 생산하고, 공유하고 혹은 교환할 것인가?
․ 누가 결과들을 이용하려 하는가?
․ 어떤 목적에 결과들이 이용되는가?
․ 왜 산출과 결과들이 중요한가?
․ 결과들이 주요 성공요인에 어떻게 기여하는가?
2) 프로그램이론
◦ 프로그램 이론의 개념
정책의 개입에 따른 투입에 따라 정책과정이 일정한 흐름과 인과관계를 가지고 발생하는 특정한 활동에 따른 특정한 결과의 인과관계의 과정을 기술하는 것
즉, 정책이나 프로그램이 어떤 대상이나 현상에 영향을 미치는 과정을 기술하는 모형을 말하는 것으로 인과모형, 결과선(outcome line) 등의 다양한 명칭으로 불림.
◦ 프로그램 이론의 중요성
정책은 정책의 개입(투입, 수단)에 따라 이에 상응하는 결과가 발생하여야 가치가 있음.
즉, 결과가 우연 또는 다른 요인에 의하지 않고 정책의 개입에 의하여 발생하였다는 것을 증명하여야 정책의 가치를 평가하고, 정책의 개선·유지·확대·축소 등의 환류가 가능하고,
◦ 결과선에 따라 프로그램의 인과모형을 파악하게 되면, 이 과정에서 새로운 결과가 발생 하기 위해서는 다른 활동이나 개입이 필요하다는 논거에 기초하여 ① 효과적 프로그램 에 필요한 핵심요인 및 기능, ② 상호관계 파악, ③ 프로그램의 집행으로 나타나는 결과 의 예측과 성과를 파악하는데 유용함.
다. 최근 평가의 패러다임 변화
◦ 최근 평가의 패러다임은 궁극적으로 정책대상 및 사회에 변화를 가져오는 효과성, 근본
적인 프로세스 혁신, 문제점 보다는 문제점의 모니터링과 대응체계(대응결과), 사업수행
자(단체)의 자체역량(관리평가 역량), 실질적인 환류방안 제시 등을 강조하고 있음.
◦ 성과지표의 설정기준인 outcome은 정책대상에 궁극적·바람직·의도하고 실질적인 변화 를 가져왔는지를 기준으로 설명할 수 있음.
◦ 최근 평가의 패러다임 변화 경향을 요약하여 보면 다음과 같음.
① 효과성 강화
정책대상의 질적/양적 변화를 가져오는 효과성 중심 평가
평가대상의 평가부담 및 평가비용의 완화
② 환경변화 대응역량 강화
- 급변하는 환경여건에 따른 문제점 자체 보다는 문제점에 대한 대응역량
③ 대응실적 강조
- 주어진 목표에 대한 기술적 달성여부 보다는 환경변화 고려 잠재역량/대응강조
④ 통제위주에서 컨설팅 위주의 평가로 전환
평가를 통해 실제 변화를 가져오는 프로세스의 혁신과 환류의 강조
평가점수 산정 자체 보다는 구체적인 진단과 대안 제시
다년간 사업인 경우 반복적/공통적 평가 보다는 심층적/특정 요인 중심 평가
평가대상자의 수용성과 환류 연계성
⑤ 정책대상 전체 파급효과와 가치
- 직접적인 정책의 성과 이외에 이로 인한 파급효과와 가치(특히 문화)
⑥ 체감성 및 현장의 성과 강화
- 수요자의 역량, 서비스 전달체계 등 정책의 실제 효과와 체감성 강조
라. 정책평가의 한계
◦ 평가시기와 사업기간의 괴리로 인한 문제
중장기사업의 경우 도중에는 과정지표 중심의 평가 수행
사업종료 이후에 결과중심 평가가 이루어지나, 평가가능 단계에는 사업이 완료되어 평가 의 환류가 불가능(평가대상 제외)
◦ 가치가 내재된 문화(재정) 사업 평가의 한계
질적 지표가 사업목표에서 매우 중요시되나, 비계량지표를 강조하는 외부평가와의 논란
특히 목표설정, 성과지표 자체가 합리적 과정이 아니라 정치적 과정이며, 다양한 이해관 계자간의 합의가 어려움. 오히려 갈등 해소를 위해 의도적으로 모호하게 설정
◦ 사업의결과가정책대상에영향을미치기위해서는다른사업보다더많은시간이소요(time-lag)
◦ 전형적인 보완적 시장으로서 다른 사업/요인과 결합하여 효과가 발생하여 인과성 논란이 제기
목표(성과)미달시 원인이 집행이 잘못된 것인지, 목표자체가 잘못된 것인지, 환경요인인지 에 대한 판단이 어려움.
정책 자체가 다수가 관련되어 있어 정책투입에 의한 직접비용/간접비용과 직접성과/의도 하지 않은 성과(외재변수)를 분리하기 어려움.
◦ 효과를 발생시키기 위한 적절한 재정투자 규모의 논란
정책대상 보편적으로 접근하지 않고 선택적으로 접근하는 구조적 한계
최적이 아닌 정책 이해관계자가 다수를 만족시키기 위한 나누어주기식 지원정책의 관행
◦ 평가의 역기능
평가가 좋다면 평가는 번잡한 절차, 평가가 나쁘면 개선할 자원이 미흡
사업계획은 이미 주어진 것으로 작성요령에 따라 달라짐. 잘못된 결정을 해당 담당자나 기관에 책임을 귀책시키는 것은 맞지 않음.
계획과 집행이 잘못되면 이를 개선하여야 하지 예산 삭감, 책임성이 아님, 오히려 환류가 아닌 책임성에 초점
◦ 일부 평가항목이나 성과지표는 현실과 맞지 않다는 의견이 제기
지원기관의 책임성 문제(특히 보조사업, 지자체 여건, 재위탁기관 주관)
목표와 수단의 괴리 및 불충분(인과성의 한계)
◦ 단기적인 목표에 치중하고 장기적인 목표 설정을 어렵게 함.
1년 단위, 1회 사업단위를 기준으로 한 평가
◦ 기술적인 문제
도입시 야기되는 실무자와 이해관계자의 저항과 성과정보가 불리하게 작용될 수 있음(이 를 위한 실패보상 제도) : 업무부담. 익숙하지 않음. 새로운 제도는 정부교체에 따라 변화 될 것이라 관심 부족
성과측정에서 비용의 한계와 다수 관련된 간접비용, 통합 사업평가의 한계(칸막이와 책임성)
◦ 환류의 한계
- 평가결과의 반영 제도화 미흡, 결정권자의 인식 미흡 - 환류와 예산반영은 합리적 결정이 아닌 정치적 과정
- 평가결과의 반영 제도화 미흡, 결정권자의 인식 미흡 - 환류와 예산반영은 합리적 결정이 아닌 정치적 과정