2.1. 세계은행(World Bank)의 역량개발 성과 프레임워크(CDRF)
세계은행 연구소(World Bank Institute: WBI)는 기존의 모니터링 및 평가 (M&E) 시스템이 역량개발의 효과(impact)를 파악하는 데 한계가 있음을 인 식하였으며, 이에 따라 2011년 역량개발 성과 프레임워크(Capacitiy Develop-ment and Results Framework: CDRF)를 개발하였다. CDRF에서는 역량개 발을 ‘과정’으로 인식하고, 이 과정의 변화에 초점을 두고 있다. 세계은행은 기술협력사업의 기획, 추진 및 평가 전 과정에서 전략적인 M&E 틀로 CDRF 모형을 활용하고 있다. CDRF는 기술협력을 통한 역량개발의 변화 과정을 구성하는 요소와 이에 대한 분석틀을 제시하고 있다(<그림 5-1> 참조).
CDRF는 중간 역량성과 지표(Intermediate Capacity Outcome Indicators) 와 제도적 역량성과 지표(Institutional Capacity Outcome Indicators)로 구분
20
이 절은 2016년 사전 기초 연구 결과 (조성주 외 2016)의 ‘KAPEX사업 평가
지표 개발을 위한 사전 연구 ’(김종선 외 2016: 15-51)의 일부를 발췌해 요약·정
리하였음 .
주요 공여국의 기술협력사업 추진 및 평가 사례 89
하여 성과를 측정한다. 중간 역량성과 지표는 사업으로 인한 개인(또는 그 룹)의 역량을 측정하는 지표이다. 중간 역량성과 지표의 예로는 인식 개선, 지식이나 기술의 개선, 팀워크 향상, 협력 강화, 네트워크 강화, 실행 노하우 (Implementation Know-how) 향상 등이 있다.
<그림 5-1> CDRF의 역량개발 변화 과정에 대한 분석틀
평가 과정 평가 방법
역량개발을 위한 사업 투입 요소
교육 및 훈련 프로그램, 기술 지원(Technical Assistance), 정책자문 등
중간 역량개발 성과물
* 중간 역량성과 지표(Intermediate Capacity Outcome Indicators) 구성
- 인식 개선, 지식이나 기술의 개선, 팀워크의 향상, 협력 강화, 네트워크 강화, 실행 노하우(Implementation Know-how) 향상
변화 주도자 (Change agents)
* 변화 주도자: 사업 목표를 달성하기 위해 필요한 변화를 수행하거나 관리하는 주요 역할을 담당하는 개인 또는 그룹
* 변화 주도자를 통해 제도적 역량 변화에 어떻게 기여하는지를 추적
제도적 역량개발 성과물
* 제도적 역량성과 지표(Institutional Capacity Outcome Indicators) 구성
- 이해관계자의 주인 의식 강화, 정책 수단의 효율성, 조직 운영의 효과성 등 개발 목표 달성과 관련된 요소
개발 목표 기술협력과 역량개발을 통해 달성할 수 있는 가장 높은 단계의 성과물
자료: World Bank Institute(2012) 및 김종선 외(2016)를 재구성.
제도적 역량성과 지표는 중간 역량성과가 제도적/조직적 역량성과에 얼 마나 기여하는지를 파악하며, 이러한 결과가 개발 목표 달성에 어떻게 기 여하는지를 파악하는 지표이다. 제도적 역량성과 지표의 예로는, 이해관계 자의 주인 의식 강화, 정책 수단의 효율성 향상, 조직 운영의 효과성 등 개
90 주요 공여국의 기술협력사업 추진 및 평가 사례
발 목표 달성과 관련된 요소를 포함한다. CDRF를 활용한 성과 평가의 방 법 및 절차는 <그림 5-2>와 같다.
<그림 5-2> CDRF의 역량 성과 평가 방법 및 과정
평가 과정 평가 방법
자료 및 정보 수집
프로그램 관련 보고서, 평가 보고서, 수요 조사서, 수원국 참여자들이 작성한 각종 발표 자료, 설문결과, 활동 보고서 수집
자료 및 정보 검토
수원국의 최초 개발 목표, 프로그램의 배경, 목적 및 경과, 주요 성과에 대한 분석을 실시하고, 결과를 템플릿에 작성
추가적인 정보
수집 추가 파악이 필요한 사항을 프로그램 참여자 및 핵심 이해관계자 인터뷰를 통해 파악
정보 분석 및
팔로우 업 수집된 자료와 정보를 분석하고, 분석 결과를 토대로 현지 재검증
성과에 대한
이해 중간 역량 성과 및 제도 역량 성과 최종 파악을 통해 프로그램 성과에 대한 이해
자료: World Bank Institute(2012) 및 김종선 외(2016)를 재구성.
2.2. 영국 해외개발연구소(ODI)의 ROMA모형
영국의 해외개발연구소(ODI)는 기술협력을 통한 개도국의 정책 역량 강 화를 위해 ROMA(Rapid Outcome Mapping Approach) 시스템을 도입하였 다. ROMA는 ODI가 수행해온 정책연구 사례(100여 개)를 대상으로 한 연 구를 바탕으로 정책 역량의 변화 과정을 분석한 결과를 기반으로 수립된 것이다.
주요 공여국의 기술협력사업 추진 및 평가 사례 91
<그림 5-3> 기술협력(정책연구 사업)을 통한 기대 효과 도면화(mapping)
자료: Tiina Pasanen and Louise Shaxson(2016) 및 김종선 외(2016) 재인용.
ROMA는 기술협력(정책 역량 강화를 위한 정책연구 사업)의 모니터링 및 평가(M&E) 영역을 1) 전략 및 방향(strategy and direction), 2) 관리 및 거버넌스(management and governance), 3) 산출물(outputs), 4) 활용(uptake), 5) 결과 및 성과(outcomes and impacts), 6) 정책 환경(context)으로 구분하 고 있다. ROMA는 Outcome Mapping(OM) 기법을 활용하여 변화 이론 (Theory of Change, ToC)을 적용하고 있으며, OM을 바탕으로 ‘기대되는 변화(Expect to see), 일어나길 원하는 변화(Like to see), 정말 일어나길 원 하는 변화(Love to see)를 도면화하고 있다.
ROAM의 M&E 6개 영역별 평가 지표와 평가 방법은 <표 5-5>와 같다.
92 주요 공여국의 기술협력사업 추진 및 평가 사례
주요 공여국의 기술협력사업 추진 및 평가 사례 93
2.3. 네덜란드 외교부 개발협력평가조사원(IOB)의 기술협력 평가 사례
IOB는 네덜란드 역량개발 지원 사업의 효과성 제고 요인을 파악하기 위 해 7개 기관에서 17개국을 대상으로 수행한 사업에 대해 역량개발 분석 프 레임워크(5 Core Capabilities Framework, 5CC 프레임워크)를 활용하여 종 합 평가를 실시하였다. 5CC 프레임워크는 평가 대상 역량을 적응 및 자생 능력, 행동 및 이행 능력, 외부 이해관계자 소통 능력, 조화 능력, 개발목표 달성 능력 등 다섯 가지 핵심 능력으로 구분하고 있다(<그림 5-4 참조).
<그림 5-4> IOB의 역량개발 분석 프레임워크(5CC Framework)
지역 수준 국가 수준 세계 수준
자료: Ministry of Foreign Affairs of the Netherlands(2011); 김종선 외(2016) 재인용.
M&E 영역 내용 지표 방법
정책 환경
추구하는 정책 관련 환경의 변화에 따른 수요의 변화 및 새로운 기회 또는 위험 요소 발생 여부를 평가
∙ 연구 분야 관련 법, 규정 등의 개정
∙ 주요 정책 입안 단계의 투명성 또 는 참여율 변화
∙ 연구 관련 추진 중인 정부 정책, 규정 등에 대한 상세 설명
∙ 관련 분야에 대한 공공 지출 금액, 비율의 변화
∙ 연구 분야 관련 정책적 변화(긍정 또는 부정적)의 수
∙ 정치 및 경제 분석
∙ 이해관계자 분석
∙ 변화 요인
∙ 국가 정책 및 조직 평가
자료: Tiina Pasanen and Louise Shaxson(2016); 김종선 외(2016) 재구성.
(계속)
94 주요 공여국의 기술협력사업 추진 및 평가 사례
주요 공여국의 기술협력사업 추진 및 평가 사례 95
2.4. 스웨덴 국제개발협력청(SIDA)의 기술협력사업 평가 사례
스웨덴의 SIDA, 노르웨이의 Norad, 덴마크의 Danida는 역량개발을 위한 기술협력사업의 효과적인 평가 방안을 마련하기 위해 공동으로 평가 (parallel evaluation)를 수행하였다. SIDA는 평가를 위해 기관의 역량 변화 정도를 6가지 부문으로 나누어 분석하고 있는데, 이 6개 부문은 1) 시스템 (방법론, 과정, 절차), 2) 구조(권한, 권리, 의무, 의사소통), 3) 구성원의 지 식 및 기술, 4) 도구 및 인프라(하드웨어 및 소프트웨어), 5) 작업 환경(물 리적, 사회적 환경), 6) 외부적 요인으로 이뤄진다. 실제 분석에서는 포트폴 리오 검토, 문서 검토, 대상 국가 연구 등과 병행하여 평가를 진행하였다.
기획 단계에 대한 평가 내용을 보면, 역량개발을 위한 기술협력사업의 효 과적인 기획 여부, 기술협력사업의 사업 대상 국가의 전략이나 이니셔브와의 연관성, 기술협력사업 추진 과정에서 변화 대처 방식, 인센티브, 사업 과정, 지도, 운영 방법 등이 공여 기관 및 파트너 기관에게 적절한 방식으로 활용되 었는지 여부 등을 평가하고 있다. 또한 지원 전략 및 개입(Intervention)이 기 관의 특징, 사회적·문화적·정치적·법적 환경 등의 특수 맥락에 맞추어 설 계되었는지, 해당 전략이 증거에 기반하여 수립되었는지 여부, 사업 대상 기관의 대표 및 이해관계자가 역량개발을위한 공여 기관의 참여와 역할에 대해서 어떻게 받아들이는지, 그리고 향후 역량개발을 위한 공여 기관의 역할은 무엇인지에 대한 의견 등이 함께 평가되었다.
진행 단계에 대한 평가 내용을 보면, 성과 중심 M&E 방식이 기술협력 사업에 어떻게 적용되었고, 효과성 및 교육 측면에서 어떻게 기여하였는지 여부, 기술협력사업의 성과 달성 정도, 기술협력사업의 예상하지 못한 긍 정적 혹은 부정적 효과, 다른 대안과 비교 시 해당 사업의 효과성과 자원 활용의 적절성이 평가되고 있었다. 또한 어떠한 상황이나 관점, 투입 요소 가 역량개발에 적절하고 효과적이었는지, 비효과적인 접근 방식이나 행동 양식이 있었는지 여부, SIDA가 가이드라인에 따라 역량개발사업을 추진하 였는지 여부, 현재의 역량개발 접근 방식이 빈곤층에 효과적인지에 대한 의견, 새로운 파트너와 사업 추진 시 SIDA가 참고할 만한 사항이 있는지
96 주요 공여국의 기술협력사업 추진 및 평가 사례
여부, 성과 중심 M&E 방식과 관련하여 SIDA가 사업의 성과를 제고할 수 있는 방법이 있는지에 대한 의견을 기록하여 평가하고 있다.
SIDA의 평가 사례는 기술협력 M&E 평가에 있어 3개국이 공동으로 활 용할 수 있는 평가 틀을 설계하고 실제로 적용했다는 점에서 그 의미가 있 다고 할 수 있다.
2.5. 영국(DFID)의 개발컨설팅사업(ELLA 프로그램) 평가 사례
ELLA(Evidence and Lessons from Latin America)는 영국의 원조 기관 인 DFID(Department for International Development)가 라틴아메리카의 개발 경험과 지식을 아프리카 및 아시아의 개도국과 공유하기 위한 개발컨설팅사 업으로 진행하였다. 민간 컨설팅 회사인 PAC(Practical Action Consulting)가 사업을 평가 및 관리하였으며, 평가의 설계 및 방법론 등은 영국 서섹스 (Sussex) 대학교의 개발학연구소(Institute of Development Studies, IDS)에 서 담당하였다.
평가 방법을 보면, 개발컨설팅사업인 ELLA 프로그램은 사업의 중기 성과 (outcome)와 장기 성과(impact)를 측정하기가 어렵기 때문에 별도의 평가모 형은 없었으며, 접근 가능한(accessible) 자료를 활용하여 평가를 실시하고 있었다(Practical Action Consulting 2014: 51). 즉 관련 연구와 사업 수혜자 (known beneficiaries)로부터 수집한 자료를 통해 사업의 성과 평가를 실시하 였다. 또한 온라인 강좌(online learning alliances)와 현장학습(study tour) 프 로그램의 참여자들로부터 받은 피드백, 인터뷰 및 조사 결과와 ELLA 프로 그램으로 인한 성과 사례를 수집·분석하여 성과를 유형화하고 있다.
ELLA 프로그램의 성과를 8개의 유형으로 구분하고 있는데, 1) 개인적 역량 강화(영감, 새로운 비전, 새로운 아이디어의 창출, 2) 조직적 역량 강 화( 관념, 정책, 전략, 행동 양식의 재정비), 3) 참고 자료로 활용(사업 기획 및 문의 사항에 대한 답변, 교육 관련 자료로 활용), 4) 연구 기획 및 제안 시 활용, 5) 동료 및 관련 기관과의 공유를 통한 토론 활성화, 6) 지지율 제
주요 공여국의 기술협력사업 추진 및 평가 사례 97
고를 위해 증거에 기반한 정보 자료로 제시, 7) 공공 정책 토론 활성화 매 개로 활용, 8) 국내 및 국가/지역 간 네트워크 및 파트너십 구축 등으로 이
고를 위해 증거에 기반한 정보 자료로 제시, 7) 공공 정책 토론 활성화 매 개로 활용, 8) 국내 및 국가/지역 간 네트워크 및 파트너십 구축 등으로 이