정책을 평가하는 과정은 다차원적인(multi-dimensional) 성격을 갖고 있으며, 서로 상충될 가능성이 있는 평가 지표에 대한 중요도를 정성적인 평가 방법이나 정량적인 평가 방법 하나만을 적용하는 것은 적절치 못하다. 특히 평가체계에서 우선순위를 도출 하는 과정은 이해당사자 혹은 평가자들의 견해가 잘 반영되어야 하므로, 통계적 방법론 보다는 설문조사 결과에 의존하는 다기준 의사결정 방법론이나 통계적 방법론과 의사결 정 방법론의 통합한 방법이 적절하다.
정량적 평가 방법은 결과가 객관적이며 수치화될 수 있어 비교적 명확한 평가로 신뢰 도는 높일 수 있다. 그러나 평가 대상이 매우 다차원적인 성격을 지니며 정성적인 가치판 단을 요구하는 경우에는 정량적 평가방법을 적용하기 어렵다. 이런 경우에는 서로 상충 될 가능성이 있는 다양한 평가 지표에 대한 중요도를 결정하기 위해서 관련 분야의 전문 가들이 내린 주관적인 판단을 종합하여 하나의 체계적인 형태로 구성할 수 있는 의사결정 방법론이 필요하다.
정성적 평가의 한계점은 이 기법을 운용할 때, 전문가와 이해당사자를 최대한 객관적 인 방법으로 섭외하고 설문지의 작성을 의뢰해야 하는데 현실적으로 객관성을 완벽하게 유지하기란 쉽지 않다. 따라서 평가지수의 객관성 및 공정성에 대해 공격을 받기가 쉽다.
또한 비용-편익 분석, 비용-효과 분석 등은 독립적인 기능을 가지고 있으며, 다른 분석 도구들은 서로 연결되어 있어 서로간에 연계하여 활용되어야 한다.
세계은행 가이드(2004)는 평가 방법에 대한 유용한 개요를 제공하고 있으며, 평가 방법론과 특징에 대한 주요 요점은 <표 4-1>과 같다.
방법 평가 목적 및 대상
자료: World Bank(2004), “Monitoring and Evaluation. Some methods, tools and approaches”.
<표 4-1> 평가 방법의 목적 및 대상
방법 평가 목적 및 대상
자료: World Bank(2004), “Monitoring and Evaluation. Some methods, tools and approaches”.
<표 계속>
수학적으로 결합하는 가중치 또는 개별 지표의 중요도를 유도한다면, 통계적인 방법론은
둘째, 다수의 세부 평가 지표간의 응답자의 인식상의 부담 및 수용도를 고려해야 한다.
MAUT, 계층화분석, 퍼지이론과 같은 의사결정 방법론은 잘 만들어진 구조화된 설문지 를 이용하여 이해당사자를 대상으로 설문조사를 하는 과정을 요구한다. 질문의 양과 응답자에게 요구하는 인식상의 부담(cognitive burden) 면에서 본다면, MAUT의 경우 가 계층화 분석법이나 퍼지이론보다 훨씬 적다. 응답자들은 계층화 분석법이나 퍼지이론 을 적용할 때에 비해 비교적 수월하게 응답을 할 수 있어 설문조사에 따른 피로를 덜 느끼면서 보다 합리적으로 가치판단을 할 수 있다.
셋째, 분석가 입장에서도 여러 기법 중에서 분석이 용이한 방법론을 택하는 것이 바람 직하다. 물론 분석이 어렵다고 해서 바람직하지 않은 기법은 아니지만, 특정 기법의 선택과 무관하게 유사한 결과를 가져올 수 있다면 분석이 보다 용이한 기법을 선정하는 것이 바람직할 수 있다. MAUT는 속성의 정량화, 함수형태 및 위험 선호도 설정 과정 등을 거쳐 MUF 계산해야 하며, 계층화 분석법의 경우 이원비교 결과로부터 가중치를 도출하기 위해 기하평균, 고유치(eigen value), 일치성지수 등을 계산하는 과정이 요구 된다.
비용편익분석은 사업의 비용과 효과를 모두 화폐적 가치로 추정하여 현재가치로 전환 한 후 사업의 순현재가치 또는 비용편익비율(B/C ratio)을 산정하여 사업의 타당성 여부 를 결정하는 평가기법이다. 반면에 사업의 효과에 대한 화폐적 가치평가가 어려운 경우 다른 대안적인 평가기법들이 적용된다. 이 때 사업이나 정책의 효과가 단일할 경우 비용 효과분석의 적용이 가능하지만 사업의 다양한 목표를 종합적으로 평가하고자 할 경우에 는 다기준분석(Multi-criteria analysis)의 적용이 필요하며, 실제로 다양한 정책효과 를 사업이나 정책들의 대안평가에 도입하고자 하는 목적으로 최근에 다기준분석이 활용 되고 있다. 따라서 정성적 평가 방법과 정량적 평가 방법을 모두 검토할 필요가 있다.
기후변화 적응대책 우선순위 평가에 활용 가능한 방법론은 <그림 4-1>과 같다.
기후변화 적응대책 우선순위 평가
정량적 평가 방법 정성적 평가 방법
￭ 다속성 효용이론 ￭ 계층화 분석법 ￭ 퍼지이론
￭ 퍼지-계층화이론
￭ 기후변화 영향 평가 ￭ 기후변화 취약성 평가 ￭ 비용-편익분석
￭ 비용-효과분석 ￭ 주성분 분석(PCA)
<그림 4-1> 적응대책 평가방법론의 구분