평가기획,시행 및 결과보고
2. 평가의 기획
2.2. 평가 대상
2.2.1.대상의 범위
□ 평가지침의 적용 대상
ㅇ 농식품부의 평가지침은 농식품부 본부와 소속기관(국립종자원,농림축산 검역본부,국립농산물품질관리원 등)에서 시행하는 국제협력사업에 대하 여 적용하는 것으로 함.
-농촌진흥청과 산림청 등에서 별도의 예산을 확보하여 시행되는 사업은 제외
ㅇ 아울러 평가 대상 사업에서 사전조사 실시사업,타당성 조사사업 등 협력 사업의 발굴과 형성을 위한 활동은 제외
2.2.2.사업의 분류 및 대상사업 선정방법
가.평가 대상 사업 선정의 원칙
□ 사업선정 원칙
ㅇ 통합평가 매뉴얼에서는 다음과 같은 원칙을 제시하고 있어서 참고로 할 필요가 있음.
-기존의 평가 결과와 국가적,기관별 전략 등을 고려하여 선정하도록 권유
-농업분야에서는 이러한 선정기준의 원칙을 그대로 적용할 수 있을 것 임.
표 2-1. 평가 대상 선정기준(통합평가 매뉴얼)
ㅇ ① 전년도의 사업수행 및 평가 결과,② 국별 지원전략 및 분야별 지원전략 등 개발협력 관련 전략을 검토하고 ③ 우선지원 분야,기관별 중기 또는 연 도별 전략 또는 정책,④ 국제개발협력 동향 등 종합적 고려
ㅇ 평가 대상 선정 기준
-정책연관성 :평가실시기관 및 상위기관의 전략,정책,사업목표와의 연관성 -개혁성 :평가실시기관의 사업수행방식을 변화시킬 혁신적 가치를 갖고 있
는지 여부
-확대적용 가능성 :평가 결과가 다른 환경에서 확대 적용될 가능성 정도 -유용성 :평가실시기관 또는 협력 대상국의 관심분야 및 계획‧우선순위와
의 연관성,평가제언 및 결과를 활용할 사용자의 유무
-평가 가능성 :평가에 필요한 지표나 데이터 보유 여부(확실한 판단이 어 려울 경우 평가예비조사 수행)
-비용대비 타당성 :평가 결과가 평가에 필요한 비용대비 평가실시기관에 더 나은 가치를 도출할 가능성
나.평가의 종류별 대상사업 선정
□ 평가 대상의 성격에 따른 구분
ㅇ 통합평가 매뉴얼에서는 평가 대상의 성격에 따라 개별사업(project),국별, 분야별,형태별,주제별,정책(혹은 전략)등으로 그 종류를 구분함.
표 2-2. 평가의 종류(통합평가 매뉴얼)
① 정책 및 전략 평가(Policy& StrategyEvaluation)
-ODA기본계획 등 관련한 정책 및 전략의 적절성,효율성,효과성 등을 평가 -정책 및 전략의 ⅰ)국제개발협력 동향 및 협력 대상지역 개발정책 및 과제
반영 여부,ⅱ)목표의 명확성,ⅲ)목표달성 여부,ⅳ)향후 정책 및 전략과 의 연관성 및 지속가능성 등을 평가
② 국별 평가(CountryProgrammeEvaluation)
-특정 협력대상국에 대한 국제개발협력사업 전반을 평가
-국별지원전략 등 해당 국가에 대한 전략이 있는 경우 동 전략 평가 -그렇지 않은 경우에는 해당 국가에 수행된 협력사업을 종합 진단
③ 분야별 평가(SectorEvaluation)
-특정 분야의 국제개발협력사업 전반을 평가
④ 주제별 평가(ThematicEvaluation)
-양성평등,환경,인권,제도개선 등 특정 주제와 관련된 사업에 대한 평가 로,정형화된 형식 없이 다양한 방식으로 진행
⑤ 형태별 평가(ModalityEvaluation)
-사업수행 방식(가령 프로젝트,국내초청연수,전문가 파견,해외봉사단파 견,지식공유사업,개발조사 사업 등)별 평가
⑥ 프로젝트/프로그램 평가(Project/ProgrammeEvaluation) -국제개발협력 개별 프로젝트 또는 특정 프로그램을 평가
ㅇ 이를 참고로 하여 농업분야에 대해서는 이 분야의 특징을 고려하여 평가 종류별로 다음과 같이 시행 방향을 마련하는 것이 바람직함.
평가
다.평가시기별 대상사업의 선정
□ 평가시기별 평가의 구분
ㅇ 일반적으로 평가시기에 따라 중간평가,종료평가,사후평가로 구분함.
-평가에 대한 평가인 ‘메타평가’를 별도로 구분하기도 함.
표 2-4. 평가시기별 평가의 종류(통합평가 매뉴얼)및 메타평가
ㅇ 사전평가(Ex-anteEvaluation)
-협력사업 기획 단계에서부터 평가에 대한 상황을 염두에 두고 성과평가지 표 개발 등 평가계획을 포함하여 사업계획을 수립하는 것
ㅇ 중간평가(Interim Evaluation)
-협력사업 진행 중에 수행되는 평가
-사업기간이 일정 기간 이상인 사업에 대해 점검 등의 형식으로 선별적 실시 ㅇ 종료평가(End-of-projectEvaluation)
-협력사업 종료시점에서 이루어지는 평가
-사업종료보고서 등에 대한 서면 점검 형식으로 이루어질 수도 있으며,현 지조사를 통해 보다 면밀한 조사를 실시할 수도 있음.
ㅇ 사후평가(Ex-postEvaluation)
-협력사업 종료 후 일정 기간 뒤에 수행하는 평가
-주로 사업의 효과성,영향력,지속가능성 등을 측정하여 유사사업에 대한 제언이나 전략적 교훈을 얻기 위해 사용됨.
ㅇ 메타평가(ODA EvaluationDivision2012,2)
-여러 평가들로부터의 평가 결과를 평가하거나 평가자의 수행 혹은 평가 자체의 품질에 대한 평가로,평가에 대한 평가임.
□ 사전평가
ㅇ 사전평가는 사업성과지표,기초선 자료(baselinedata)작성 등을 위해 중 요한 과정임.
-기준조사 혹은 기초선 조사(baselinesurvey)를 통해 성과지표를 구성하 는 것이 사업평가를 위한 첫 단계라고 할 수 있음(이상준 2013).
■ 기초선 조사(baselinesurvey)의 필요성(임정빈 등 2012,41에서 재인용) -개발사업 실시 전 기획단계에서 해당 지역이나 사업 대상 지역의 상황을 조
사하여 기준치 정보를 파악하는 연구.파악된 기준치 정보는 향후 평가 시 에 개발사업의 성취도를 판단하는 근거로 활용된다.따라서 기준치 정보가 없는 경우에는 효과성과 영향력 판단에 한계가 크다.
■ 기준조사 혹은 타당성 조사 단계에서 해야 할 일(KusekandRist2004,23)
① 조사목표와 조사의 결과물이 무엇인지를 설정
② 모니터링을 할 결과지표를 선정
③ 현황에 관한 기초 정보를 수집
④ 달성하여야 할 특정 목표치들과 목표치별로 달성기한을 설정
⑤ 그 목표치들이 달성되었는지를 평가할 수 있도록 정기적으로 자료수집
⑥ 분석 및 결과보고
ㅇ 사전평가는 성과지표 작성을 위한 기준치 자료의 수집 목적으로 타당성조 사 혹은 기초선 구상 조사(BaselineDesignSurvey:BDS)단계에서 시행 하는 것이 바람직함.
-따라서 사전평가는 사업발굴 및 형성단계를 수행하는 주체(가령 사업관 리기관 혹은 타당성 조사를 수행할 전문가)가 담당하면 효과적일 것임.
□ 모니터링과 중간평가
ㅇ 사후평가의 시기와 관련하여 EDCF는 완공(종료)후 2년 이상 경과한 사업 에 대하여 사후평가 실시(국무조정실 등 2013,98,100)
□ 종료 및 사후평가 관련 타 기관의 사례(국무조정실 등 2013,93,116) ㅇ EDCF는 2013년까지 총 202건의 완공(종료)평가와 사후평가를 실시하였
는데,주로 완공평가 위주로 시행되었음.
-2006년까지는 사후평가가 83건 중 9건으로 전체의 10.8%에 불과하여 평가가 주로 완공(종료)평가 위주로 시행된 것을 알 수 있음.
-이후 2013년까지 사후평가 건수가 꾸준히 늘어나 사업(프로젝트)사후 평가는 40건으로 19.8%,국별‧주제별‧분야별 평가는 10건으로 5.0%이 어서 전체 평가 중 사후평가가 24.8%를 차지할 정도로 늘어났음.
-평가종류별로 보면 국별 평가,분야별 평가,주제별 평가는 각각 2010 년,2011년,2012년도 이후에야 시행되기 시작함.
표 2-6. EDCF완공(종료)평가와 사후평가 실적(2006～2013) 종 류 ～’06 ’07 ’08 ’09 ’10 ’11 ’12 ’13 합계 완공평가 74 5 1 2 16 12 19 23 152
사후평가 9 2 6 2 4 8 9 10 50
사업 9 2 6 2 3 6 6 6 40
국별 - - - - 1 1 1 1 4
분야 - - - 1 1 1 3
주제 - - - 1 2 3
합 계 83 7 7 4 20 20 28 33 202 자료:국무조정실 등(2013,93).
ㅇ KOICA는 2008〜2013년 기간에 총 743건의 평가를 실시(중간평가 포함) 하였는데 마찬가지로 사후평가는 최근에야 늘어나고 있는 추세임.
-국별‧주제별‧형태별 정책평가는 40건으로 5.4%,프로젝트 사후평가는 58건으로 7.8%를 차지함.이 58건 가운데 45건은 2011년 이후에 수행 되었음.
-중간평가 건수를 제외한 총 403건의 평가 중 국별‧주제별‧형태별 정책 평가와 프로젝트 사후평가를 합하면 98건,24.3%로 EDCF와 비슷함.
표 2-7. KOICA평가종류별 실적(2008～2013) 연도 국별‧주제별‧
형태별 정책평가
프로젝트 사후평가
프로젝트 종료평가
프로젝트
중간평가 계
2013 7 19 91 77 194
2012 6 13 44 54 117
2011 4 13 32 35 84
2010 7 0 52 54 113
2009 9 0 49 67 125
2008 7 13 37 53 110
계 40 58 305 340 743
자료:국무조정실 등(2013,116).
ㅇ 결과 정리
-EDCF와 KOICA모두 종료(완공)평가 위주로 평가를 하였고,최근 들어 프로젝트(사업)사후평가가 늘어나는 추세임.
-국별‧주제별‧분야별 형태별 평가 등이 활발하게 추진되지는 않았는데, KOICA는 적은 숫자이지만 꾸준히 시행해 왔고 EDCF는 최근에야 해 마다 1~4건 정도씩 시행하기 시작함.
2.2.3.평가종류별,시기별 선정
□ 평가종류별,시기별 평가 대상 사업 선정의 원칙
ㅇ 중간평가는 사업시행기관인 농식품부(농어촌공사가 사업자인 경우)혹은
사업관리기관인 농어촌공사(농어촌공사가 사업자가 아닌 경우)가 필요하
ㅇ 농식품부에서의 종료평가는 사업종료 시기에 수행하도록 하며,사후평가 는 종료 후 3년이 적절할 것으로 판단함.
-농업분야의 특성상 결과(outcome)이외에도 영향(impact)의 정도를 파 악하는 데는 시일이 더 소요될 수 있음(가령,농산물 생산성의 변화 등). -아울러 종료 후 2년으로 할 경우 잠재적인 평가 대상 사업 수가 연도별
로 크게 차이가 날 수 있음(<표 2-9>참조).
표 2-9. 연도별 종료사업 및 2,3년 경과 사업 수(2014～2018) 구 분 2014 2015 2016 2017 2018
종료사업(A) 3 5 2 5 2
종료 후 2년 경과사업(B) 3 6 3 5 2 종료 후 3년 경과사업(C) 0 3 6 3 5 종료 및 사후평가
대상사업 수
계(A+B) 6 11 5 10 4
계(A+C) 3 8 8 8 4
주:농식품부 2014 예산(안)기준이며,프로젝트 사업만 포함하였음(즉,개발컨설팅, 기술협력,초청연수,행정비용과 프로젝트 사업 중 타당성조사,사후관리 및 평 가는 제외).
2.2.4.연간 대상사업의 선정
가.평가예산,기간을 고려한 사업 선정의 방향
□ 기존 부처별 자체평가 사례
ㅇ 구체적으로 평가 대상 사업을 선정하는 경우 기존 부처별 사례를 고려해 볼 필요가 있음.
ㅇ 2013년에 7개 시행기관이 제출한 총 41개 사업에 대한 자체평가 계획을 분석하면 다음과 같음.
-평가예산은 평가 건당 평균 4,654만 원,평가기간은 평가 건당 평균 6.7 개월임.
구 분 분석결과
-2012년도에 발간된 「KOICA 평가 소요 용역비 산정기준」에 따름 (KOICA 2012,11).
□ 기타 사례
ㅇ 사업의 규모(사업비)를 고려한 평가 대상 사업 선정기준 사례
-미국 USAID :각 대형사업마다 1개 이상의 성과평가(performanceeval -uation)를 시행하며,‘대형’사업이란 평균 사업비 이상의 사업을 말함
-미국 USAID :각 대형사업마다 1개 이상의 성과평가(performanceeval -uation)를 시행하며,‘대형’사업이란 평균 사업비 이상의 사업을 말함