성과 측정과 방법의 선택

WHO의 보건시스템 성과 평가 사업은 보건의료시스템의 질 향상을 유 도하는 개념적 틀과 지표를 구성하여 주기적으로 모니터링하고 변화를 분석하여 결과를 공개함으로써 이해관계자의 참여와 정부의 책무성을 높 여 시스템 개혁을 유도하고 있다고 평가되고 있다(Smith, 2014, pp.5-9)

Council of Canadian Academies(2013, p.22)는 성과평가 방법을 결정하는 방법으로 방법들 간의 주요한 교환 관계(trade-off) 즉, 추정치 의 안정성과 데이터 수집 요건들 간의 조정을 확인하는 것이 중요하다고 제안했다. 통계적으로 안정적이고 신뢰할 수 있는 영향을 평가하기 위해 서는 인과성(casuality)을 확인하기에 충분한 기간의 데이터 수집이 필요 하기 때문이다. 일반적으로, 측정 가능성의 문제를 고려한 후에 어떤 측 정 방법론을 적용할지를 결정하기 위해 5개의 기준이 제안되고 있다.

5개의 선택 기준에는 ①추정의 강건성(robustness of estimation),

②데이터 수집 요건(data requirements), ③기간(time period), ④사회 경제적 영향의 탐색 역량(ability to explore a plurality of impacts, both economic and social), ⑤혁신 특성을 반영하는 역량[ability to capture the nature of innovation(non-linear and dynamic)]이 해 당된다.

〔그림 2-12〕 측정 방법론의 교환관계

추정의강건성(Robustness of Estimation)

데이터 수집 충족 조건(Data Collection Requirements) 사례연구(case studies)

지표기반 설계, 성과 지표 비교(Indicators based Frameworks) 일반 경제학적 접근법(General Econometric Approach)

불연속 회귀분석 설계(General Econometric Approach) 매칭 비교(Matching Estimation)

이중차이 분석(Difference-in-difference Estimation) 무작위 현장 실험(Random Field Experiments)

자료: Council of Canadian Academies(2013). p.23.

Council of Canadian Academies(2013, p.41)는 측정방법론을 데 이터 수집 조건과 추정의 강건성 간의 교환관계를 통해 비교하였다. 비교 된 성과 측정 방법에는 사례 연구, 지표기반 성과표 작성 및 비교, 경제학 적 계량 분석(불연속 회귀, 짝짓기 비교, 이중차이), 무작위 현장 실험이 포함되어 있다.

〈표 2-4〉 측정방법론의 비교

방법론 인과성 데이터 수집 요건 시간 기간 영향의 복수성 기반혁신모델

사례 연구 낮음 변동적 ✔

성과표 작성 및 비교 보통 단기 ✔

지표기반 설계 보통 단기 ✔ ✔

일반 경제적 접근 ✔ 높음 장기 ✔

이중 차이 분석 ✔ 높음 장기 ✔

매칭 비교 ✔ 높음 장기 ✔

불연속 회귀 분석 ✔ 높음 장기 ✔

무작위 현장 실험 ✔ 매우 높음 장기 ✔

자료: Council of Canadian Academies(2013). p.41.

Council of Canadian Academies(CCA)(2013)에서 제시한 성과 측 정 방법별 특징은 다음과 같다.

사례 연구는 혁신의 특성과 혁신적 활동들에 영향을 미칠 수 있는 조건 이나 요인들의 상황을 세부적으로 파악함으로써 혁신 환경에 미치는 영 향을 파악하는 데 도움을 준다(CCA, 2013, p.26).

지표 방식(Indicator Approach)은 혁신의 투입, 활동, 산출, 영향을 측정하기 위한 성과지표를 사용하는 것으로 보편적인 접근방식이다. 다 만, 지표는 광범위하게 수집되어야 하고, 해석이 용이해야 하며, 정보가 명확히 전달되어야 하고, 비교 대상 간 직접 비교가 가능해야 한다. 혁신

에 대해 많은 지표들이 개발되고 있지만, 아직까지 어떤 지표가 혁신에 대해 가장 중요한 정보를 제공하는지에 대한 합의는 이루어지지 못하고 있다(CCA, 2013, p.27).

성과표 작성과 비교는 조직의 가장 중요한 전략적 방향에 맞추어 혁신 의 투입, 산출, 영향을 분류하는 것이다. 혁신 측정 사례에서 가장 보편적 으로 사용되는 방식은 정부의 우선순위 및 목적과 연계된 혁신 활동들에 따라 성과 지표를 분류하고 가능한 지표들에 대해 관련 조직과 비교하는 것이다. 캐나다 연방 및 주정부는 160개 이상의 지표들을 가지고 비교하 고 있으며, 미국도 STAR METRICS를 통해 연방정부가 조정 관리자 역 할을 하면서 지속적으로 혁신지표 개발 프로젝트를 진행하고 있다. 영국 에서는 Nesta가 OECD와 EU의 연구에 기초하여 혁신의 가치를 측정하 고자 무형자산에 대한 투자를 대상으로 혁신지수를 개발해 오고 있다 (CCA, 2013, pp.28-29).

지표 기반 설계의 대표적 사례는 호주의 Innovation Metrics Frame- work Project를 들 수 있다. 호주의 Innovation Metrics Framework Project는 여러 주준의 측정 단위 간 관련성을 포함하여 가장 지속적인 혁신 데이터를 수집하는 단계를 수행하고 있다. 경제단위, 프로그램 단 위, 기업단위를 하나의 논리적 틀로 통합하는 작업을 수행하고 있는데, 이것은 지표들로 구성된 성과표를 이용하여 투입-산출-영향의 논리 모형 을 구축하는 사례가 될 수 있다(CCA, 2013, p.29).

혁신 투자의 광범위한 영향을 측정하기 위하여 일반적으로 접근되는 경제학적 모형은 기업의 혁신 활동에 대한 영향을 평가하고자 하는 것이 다. 이러한 모델들은 기업이 투입(물리적 자본, 재정적 자본, 연구개발 자 본, 노동력)을 활용해 잠재적 시장을 갖는 상품을 생산하여 이윤을 추구 한다는 전제에서 출발한다. 기업은 새로운 상품과 시장을 개발함으로써

경제적 영향을 주고 GDP와 조세수입에 기여한다. 이러한 경제적 활동은 직접적으로 생활수준, 고용, 새로운 건강 및 환경 상품을 통해, 간접적으 로 공적 서비스를 통해 사회 복지에 기여한다. 혁신의 경제학적 모형은 기본적으로 투입함수로 산출물을 표현하는 단순 수식에 기초한다. 이 생 산 함수는 다음과 같이 표현될 수 있다(CCA, 2013, pp.31-33).

_^^^^^^

_: 기업 i의 최종 산물, : 고용인력의 질, :물리적, 재정적 자본,

^: 내부지식자본, ^: 외부지식자본, :조직자체의 정교성 또는 기술 발전

혁신 투자의 영향을 추정하기 위하여, 이론적 모형들은 투입에서 변화 가 생산에 미치는 영향을 검증하기 위해 투입, 활동, 산출의 성과 지표들 을 독립변수로 사용한다(CCA, 2013, p.33). 경제학적 측정 모형들은 관 심변수와 독립변수 집합 간의 통계적 관련성을 규정하고 여러 가지 통계 적 기법을 사용하여 종속변수에 대한 각각의 독립변수의 상대적 효과를 추정한다. 혁신 영향을 측정하는 많은 문헌들은 투입부터 영향에 이르는 광범위한 독립변수를 고려하고 있다. 하지만 경제학적 모형의 단점은 영 향을 추정하기 위하여 모형이 기업 혁신과 생산의 투입과 산출에 대한 포 괄적 데이터를 요구한다는 것이다. 이러한 데이터들은 충분히 긴 시간의 기간과 범위를 포괄해야 한다(CCA, 2013, p.33). 둘째는 모델을 구성하 고 추정하는 것이 전문적인 통계기법을 필요로 하고 해석에 상당한 시간 투입이 필요하다. 셋째는 모형들이 항상 실행되지 않을 수 있다는 가정에 기초한다는 것이다. 경제학적 접근법들은 사용된 데이터의 질과 결과를 추정하고 해석하는 개인의 기술에 따라 달라질 수 있다(CCA, 2013, p.33).

3. 소결

평가시기 -형성(formative)평가 or 종합(summative) 평가 -사례연구

-지표기반설계, 성과 비교

모든 사후 평가는 정책이 우선 실행되어야 한다는 전제가 있다. 반면, 마이크로시뮬레이션이나 구조적 모델링과 같은 사전 실험 방법들은 종속 변수(또는 결과변수)를 모의실험함으로써 실행 후 자료를 수집해야 하는 절대적 조건을 극복할 수 있다.