IV 타당성조사의 다기준분석 적용방안
1
평가항목의 가중치
이 연구는 서울시 재정사업의 타당성조사를 위한 다기준분석의 적용방안으로서 AHP 기법의 도입을 통해 종합적인 평가의 틀을 제시하고자 한다. 앞서 살펴보았던 서울시 재정사업의 AHP 계층구조는 경제성 분석과 더불어 정책적 분석의 결과를 종 합하여 최종 의사결정을 도출하는 데 도움을 주고자 한다.
AHP 기법을 적용한 의사결정과정에서 중요한 점은 개별 의사결정자가 지닌 전문성 과 특수성을 사업판단의 보편적인 기준과 어떻게 조화시킬 수 있는가 하는 문제이다.
만약 정책적 분석의 개별 평가항목에 대한 판단에서 평가자들이 가진 성향의 편차가 안정적인 분포를 보인다면 이는 개별 평가항목에 대한 보편적 기준으로 제시될 수 있 을 것이다.
이 연구에서 제시한 AHP 계층구조를 적용하여 타당성조사 분석을 수행할 경우 평가 자들의 평가 성향이 어떤 경향성을 보이는지 파악해보기 위해 지난 2013년에 서울 공공투자관리센터가 수행한 6건의 타당성조사에 대한 AHP 설문조사를 실시하였 다. 설문대상은 해당 타당성조사를 수행한 서울공공투자관리센터 연구책임자 및 외 부연구진을 포함하여 사업별 총 4명으로 구성하였다.42
설문조사 결과를 통해 세부 평가항목의 가중치를 분석해 보고, 나아가 경제성 분석과 정책적 분석 항목 간의 가중치 설정과 관련된 논의를 이어가고자 한다.
1 1 정책적 분석 평가항목 간 가중치
이 연구에서 제시한 AHP 계층구조는 Level 1(경제성 분석/정책적 분석), Level 2 (기본평가항목, 사업추진상의 위험요인, 특수평가항목), Level 3(Level 2의 항목별 세부항목)로 나뉜다.43
42 AHP 평가를 위한 설문대상의 선정과 관련, 이 연구의 3장에서는 사업관련 서울공공투자관리센터 연구책임자, 서울공공투자관리센터, 관련분야 교수, 민간 기업체 연구진 등을 고려하는 설문대상을 제시한 바 있음. 그러나 이 설문의 목적은 AHP 계층구조를 형성하는 각 항목에 대한 경향성을 파악하는 것이므로 해당 설문사업의 내부 및 외부 연구진만을 대상으로 설문조사를 수행하였음을 밝혀둠
43 Level 2의 특수평가항목은 사업별 특수성을 반영하여 평가에 포함할 내용으로서 개별사업별로 존재하지 않을
AHP 계층구조에서 경제성 분석을 제외한 정책적 분석의 평가항목 간 가중치는 Level 2를 구성하는 3개 항목 간의 상대적 중요도, Level 3를 구성하는 하위항목 간 의 상대적 중요도 분석을 통해 경향성을 파악할 수 있다. 이 같은 경향성을 파악하는 것은 개별사업의 분석에서 정책적 분석이 얼마나 중요한 위치를 차지하는지, 정책적 분석의 특정항목이 얼마나 중요하게 판단되고 있는지를 살펴보기 위해 필요하다.
먼저 Level 2에서 나타나고 있는 항목 간 상대적 중요도를 살펴보면, 6개 사업의 평 균 수치로서 ‘기본평가항목’이 28.5%, ‘사업추진상의 위험요인’이 16.5%의 중요도 를 보였다. 이를 통해 경제성 분석을 제외한 정책적 분석을 구성하는 Level 2의 두 가 지 항목 가운데 기본평가항목이 사업추진상의 위험요인보다 다소 높은 중요도를 갖 는 것을 알 수 있다. 6개의 설문대상사업 모두 기본평가항목이 더 높은 중요도를 보 였다.
계층 항목 항목별 상대적 중요도 산출결과
Level 2
기본평가항목 사업 1 사업 2 사업 3 사업 4 사업 5 사업 6 평균 22.8% 27.6% 24.6% 25.6% 36.6% 34.1% 28.5%
사업추진상의 위험요인 사업 1 사업 2 사업 3 사업 4 사업 5 사업 6 평균 19.7% 12.4% 18.8% 21.9% 12.4% 13.9% 16.5%
표 4-1 AHP 계층구조 Level 2의 상대적 중요도 분석
다음으로 Level 3에서 나타나고 있는 항목 간 상대적 중요도를 살펴보기로 한다. ‘기 본평가항목’의 하위항목에는 관련계획 및 정책 부합성/사업의 필요성 및 입지타당성 /사업의 시급성/지역 간 균형/주민수혜 및 민원해소 등 5개 항목이 존재하며, 평균 적으로 사업의 필요성 및 입지타당성(8%)이 가장 높은 중요도를 보였다. 사업의 시 급성(6.9%), 주민수혜 및 민원해소(5.3%) 항목이 그 뒤를 이었으며, 관련 계획 및 정 책 부합성(4.6%)과 지역 간 균형(3.6%)은 상대적으로 낮은 중요도를 보였다. 그러나 이 같은 수치는 개별사업의 평균치를 의미하며, 사업별로는 항목별 중요도가 상이하 게 나타날 수도 있음을 고려해야 한다.
수도 있으며, 이 설문대상인 5개 사업은 모두 특수평가항목이 존재하지 않아 평가항목에서 제외하였음을 밝혀둠
계층 항목 기본평가항목의 하위항목 상대적 중요도 산출결과
일종인 AHP 기법의 도입을 제시하고 있다.
AHP 기법을 통해 사업의 추진여부를 판단하는 과정에서 경제성 분석 결과와 정책적 분석 결과를 적절하게 조화하는 것은 사업의 최종평가에 중요한 영향을 미친다. 즉, AHP의 최종적인 의사결정 목표가 ‘사업타당성 평가’임을 감안할 때, 차하위 계층에 위치한 경제성 분석과 정책적 분석의 상대적 가중치가 사업의 최종평가에 반영된다.
따라서 B/C 비율이 표준 점수화되어 특정 수치로 도출되는 경제성 분석과 정책적 분 석 사이의 상대적 가중치를 적절하게 설정하기 위한 연구가 필요하다. 이를 위해 본 연구는 우선적으로 설문대상 6개 사업의 경제성 분석 및 정책적 분석 가중치를 파악 해 본 후, 향후 서울시 재정사업에 적용할 수 있는 경제성 분석 및 정책적 분석 간 상 대적 가중치의 범위를 설정하고자 한다.
1 2 1 설문대상사업의 사례
설문대상사업의 경제성 분석 및 정책적 분석 간 상대적 가중치를 파악하기 위해서는 설문응답결과를 상수합법 척도로 측정할 필요가 있다.
경제성 분석의 상대적 중요도 경제성 분석 중요도
× 100(%) 경제성 분석 중요도 + 정책적 분석 중요도
사업타당성 평가를 최상위 계층으로 하는 AHP 분석에서 차하위 계층(Level 1)은 경 제성 분석과 정책적 분석으로 나뉜다. 즉, 사업타당성 평가(100%)에서 경제성 분석 의 중요도가 50%를 초과할 경우, 경제성 분석을 정책적 분석보다 더 중시한다고 볼 수 있다. 설문대상인 6개 사업의 설문조사결과를 통해 경제성 분석의 중요도를 파악 한 결과는 다음과 같다.44
타당성조사에 참여한 내부 및 외부 연구진이 평가한 경제성 분석의 평균 가중치는 54.9%이다. 사업별로 최소 51%에서 최대 60%까지 경제성 분석을 중시하는 경향이 드러났다.
44 선행연구인 「예비타당성조사 수행을 위한 다기준분석 방안연구｣(한국개발연구원 공공투자관리센터, 2000.
12)는 경제성 분석 및 정책적 분석의 상대적 가중치를 파악하기 위해 설문조사를 실시한 바 있음. 설문조사는 일반적인 공공투자사업의 평가에서 경제성 분석 및 정책적 분석의 상대적 중요도 측정, 사업부문별 경제성 분석 및 정책적 분석의 상대적 중요도 측정, 특정 사업의 경제성 분석 및 정책적 분석의 상대적 중요도 측정 등 3가지에 대한 질문으로 구성되었으며, 이를 통해 사업부문별·개별사업별 상대적 가중치를 산정한 바 있음.
서울공공투자관리센터는 누적된 타당성조사의 건수가 상대적으로 부족하여 유의미한 통계수치를 확보하는 데 어려움이 있어 세부적인 조사를 실시하지 않았으며, 설문조사 대상인 6개 사업의 가중치 산정결과만을 정리하여 제시하고자 함
계층 항목 경제성 분석 가중치산정 결과
Level 1 경제성 분석 사업 1 사업 2 사업 3 사업 4 사업 5 사업 6 평균 57.5% 60.0% 56.7% 52.5% 51.0% 52.0% 54.9%
표 4-4 설문대상 6개 사업의 경제성 분석 가중치산정 결과
위와 같이 경제성 분석의 가중치는 평균 54.9%로 도출되었으며, 앞서 살펴본 Level 2와 Level 3의 산정결과를 통해 정책적 분석의 가중치는 45.1%임을 파악할 수 있다.
이와 같은 수치는 선행연구인 「예비타당성조사 수행을 위한 다기준분석 방안연구 (Ⅱ)｣(한국개발연구원 공공투자관리센터, 2001. 12)의 결과와 비교할 때, 다소 차이 가 있음이 드러난다. 전국단위의 예비타당성조사 관련 설문에서는 일반적인 공공투 자사업의 경제성 분석 평균 가중치가 59.2%로 도출되어 이 연구의 대상인 서울시 재 정사업에 비해 경제성 분석을 보다 중시하는 것으로 판단된다.45
다만, 이 연구의 설문조사는 표본수(6개 사업)가 적어 경제성 분석 가중치 수치를 일 반화하는 것에는 한계가 있음을 밝혀둔다.
1 2 2 경제성 분석 및 정책적 분석의 가중치 산정범위 설정
경제성 분석 및 정책적 분석에 적용되는 가중치는 해당 타당성조사 사업에 대한 AHP 설문결과를 토대로 산출된다. 즉, 개별 설문대상자의 판단을 종합적으로 고려 하여 최종적인 가중치를 산정하게 된다. 다만, 설문응답자에게 경제성 분석과 정책 적 분석 간의 중요도를 설문할 때, 개별 가중치에 대한 산정범위를 제시하여 응답결 과의 편차가 크게 나타나지 않도록 조절할 필요가 있다. 개별 가중치에 대한 산정범 위가 제시되지 않을 경우, 예를 들어 항목 간 중요도의 설문응답수치가 경제성 분석 (90)∶정책적 분석(10) 등으로 나타난다면 평가결과의 정밀성이 떨어질 수 있기 때 문이다. 이 같은 현상은 Level 1에 해당하는 경제성 분석 및 정책적 분석의 가중치가 종합평점에 미치는 영향이 매우 큰 것에 기인한다.
따라서 경제성 분석 및 정책적 분석의 가중치 범위설정과 관련한 논의가 필요하다.
앞서 살펴본 바와 같이 서울시 재정사업을 대상으로 한 AHP 설문조사 결과에서는 경제성 분석의 평균 가중치가 54.9%로 도출된 바 있으며, 이 같은 수치는 KDI 예비
45 해당 수치는 2001년 12월에 작성된 보고서에 제시된 수치로서 당시에는 예비타당성조사의 AHP 분석과정에
45 해당 수치는 2001년 12월에 작성된 보고서에 제시된 수치로서 당시에는 예비타당성조사의 AHP 분석과정에