1. 서론
1.1 연구 배경 및 목적
민간투자사업은 사회기반시설에 대한 민간의 투자를 통하 여 창의적이고 효율적인 사회기반시설을 확충, 운영하기 위 한 목적으로 추진되는 사업이다. 한국은 1994년 ‘사회간접자 본시설에 대한 민간자본유치촉진법’을 제정한 이후 2016년 12월 말 현재 총 699개(총투자비 106조 원)의 민간투자사업 을 추진하였다(공공투자관리센터, 2017).
민간투자사업의 양적인 성장에도 불구하고, 그 성과에 대 해서는 긍정적 평가와 부정적 평가가 공존한다. 긍정적 평가 는 민간투자를 통해 예산제약을 극복하고 필요한 사회기반시 설을 적기에 공급하여 국민후생을 증가시키는 동시에 정부의 재정 절감에도 기여하였다는 것이다(박동규 외, 2017). 김정 욱 외(2015)의 연구에서 14개 도로 민간투자사업의 성과를 분 석한 결과, 민간투자사업 추진 시 재정 도로사업에 비하여 1 년 이상 공기가 단축되고, 그에 따른 사회 후생 효과가 약 1조 4,500억 원에 달하는 것으로 추산되었다.
민간투자사업에 대한 부정적 평가는 주로 민간투자사업 건 설 이후 운영단계에서 발생하는 재정부담과 높은 요금에 기 인한다. 2012년 기준 78개 민간투자사업 중 39개 사업에서 최소운영수입보장(MRG) 조항에 의하여 정부재정이 지출되
민간투자사업 성과평가 모델 개발 및 적용
- 도로 부문 사업을 중심으로 -
박현1·박인석1·이신*
1서울시립대학교 국제도시과학대학원
Performance Evaluation Model for Public-Private Partnership Projects - with Reference to BTO (Build-Transfer-Operate) Road Projects -
Park, Hyeon
1, Park, Inseok
1, Lee, Shin
*1International School of Urban Sciences, University of Seoul
Abstract :
The aim of this paper is to develop a performance evaluation model for PPP (Public-Private Partnership) projects that appropriately reflects the important traits that are unique to PPP projects. To this end, 1) it defines a set of distinct perspectives involved in the PPP projects and their associated success factors that might differ amongst the perspectives; 2) it identifies the key performance indicators and suggests the performance evaluation criteria for each indicator; and 3) it builds a performance evaluation model by matching the success factors from each perspective with performance measure criteria as well as applies the model to the two selected BTO road projects in Korea. The process of model construction and its application confirms significant differences between the main stakeholder perspectives typically involved in PPP projects, which highlights the need for an evaluation model tailored for PPP projects by taking into account the distinct perspectives. The results from the PPP evaluation model developed in the study is compared against the results from the existing ex-post evaluation model for construction projects in general. The former shows a closer match with the results from the user satisfaction survey conducted. This new evaluation framework and the performance indicators entailed in it permits a balanced evaluation of PPP projects as it takes into account different perspectives involved in PPP projects as well as an understanding of the factors affecting the success of PPP projects.
While the construction of the model is based on transport projects, it is applicable to different types of PPP projects through variation with the weight allocation amongst different success factors and/or additions or other adjustments to the performance evaluation criteria as required.
Keywords :
PPP Projects, Performance Evaluation Model, Evaluation Perspectives, Key Performance Indicators, Performance Evaluation Criteria, Performance Measures
* Corresponding author: Lee, Shin, International School of Urban Sciences, University of Seoul, Seoul 02504, Korea
E-mail: [email protected] Received December 22, 2017: revised - accepted January 15, 2018
고 있다. 또한, 민자도로의 통행료는 재정도로의 통행료보다 평균 1.65배 높은 것으로 조사되어 이용자들의 불만이 존재 한다(채연태, 2012).
이처럼 민간투자사업에 대한 긍정적 부정적 평가가 공존하 는 이유는 민간투자사업의 특수성에서 기인한다. 민간투자사 업 방식은 계약기간이 장기간이며, 정부의 재정을 절감하는 동시에 민간사업자의 적정 수익률을 보장하되 이용자에게 과 도한 부담을 부과하지 않아야 하는 등 다양한 이해관계자의 요구를 충족할 때 실행 가능한 사업방식이다.
따라서 민간투자사업의 성과를 평가하기 위해서는 민간투 자사업의 특성을 반영하여 다양한 관점을 고려한 평가체계의 구축이 필요하다. 현재 국내에 건설공사 사후평가제도가 도 입되어 있으나, 재정사업 평가를 대상으로 한 평가체계로서 위에서 언급한 민간투자사업의 특수성을 반영한 평가로서는 한계가 존재한다. 따라서 민간투자사업의 장기간에 걸친 계 약 특성과 다양한 이해관계자의 관점을 반영할 수 있는 평가 체계의 개발이 필요하다. 본 연구는 민간투자사업의 핵심성 과요인에 대한 문헌조사를 기초로 하여 민간투자사업의 특성 을 반영한 성과평가 지표를 포함하는 민간투자사업 평가모델 의 개발을 목적으로 한다.
1.2 연구 범위 및 방법
본 연구에서는 도로부문 BTO 방식 민간투자사업을 대상으 로 성과지표를 개발한다. 도로 민간투자는 투자비 비중이 가 장 높을 뿐만 아니라, 그 성과에 대한 긍정적 평가와 부정적 평가가 가장 첨예하게 공존하는 분야이다. 도로부문 성과평 가를 위한 대부분의 성과지표는 약간의 수정을 통하여 다른 부문에도 적용될 수 있을 것이다. 본 연구의 절차는 다음과 같다.
① 민간투자사업의 주요 관점과 관점별 평가항목을 정의하 여 성과지표의 프레임워크를 구성한다.
② AHP분석을 통해 주요 관점 및 관점 별 성공항목의 가 중치를 산정한다.
③ 선행연구를 통해 민간투자사업의 성과에 영향을 미치 는 핵심 성과요인과 세부 평가항목을 도출한다.
④ 델파이 기법을 통해 주요 관점 및 관점 별 성공항목과 세부 평가항목을 매칭한다.
⑤ 위 과정을 종합하여, 민간투자사업 통합 성과지표를 개 발하고, 파일럿 테스트를 실시하여 성과지표의 유효성 을 검증한다.
2. 예비적 고찰 2.1 민간투자사업
통상 민간투자사업 방식은 사회기반시설을 민간이 설
계, 건설, 재원 조달, 운영(DBFO: Design, Build, Finance, Operate)을 담당하고 그 과정에서 민간이 상당한 사업위험 을 부담한다. 한국의 민간투자사업 계약방식은 BTO (Build- Transfer-Operate)와 BTL (Build-Transfer-Lease) 방식이 대표적이다. 수익형인 BTO 방식은 사업시행자가 관리운영권 을 기반으로 자신의 책임 하에 사업시설을 운영하고, 그 사용 자로부터 사용료를 징수함으로써 투자비를 회수하는 방식이 다. 대체로 도로 및 도시철도 등 수익 창출이 용이한 시설을 대상으로 한다. 임대형 BTL 방식은 사업시행자가 관리운영 권을 기반으로 사업시설을 주무관청에게 임대하고, 임대료를 수취함으로써 투자비를 회수하는 방식이다. 주로 학교 및 문 화시설 등 수요자에의 사용료 부과로 투자비 회수가 어려운 시설을 대상으로 시행된다.
추진방식 별 민간투자사업 현황을 살펴보면, BTL 방식이 466건, BTO 방식이 222건, BOO방식이 7건, BOT 방식이 4 건 순으로, BTL 방식이 66.7%로 다수를 차지하고 있다. 반면 투자비 기준으로 살펴보면, BTO 방식이 73.3조 원, BTL 방 식이 30.6조 원 순으로 BTO 방식이 69.3%로 가장 큰 비중을 차지한다(공공투자관리센터, 2017).
시설유형별 민간투자사업의 분포를 보면 <Table 1>과 같으 며, 도로시설 비중은 사업 건수 기준으로 12.9%, 총투자비 기 준으로 42.5%이다.
민간투자사업의 이해관계자는 크게 주무관청, 사업시행자, 이용자로 구분할 수 있다. 주무관청은 당해 사회기반시설의 업무를 관장하는 공공 행정기관을 말하며, 중앙부처 및 지방 자치단체가 해당된다. 이들은 사업계획 수립, 타당성조사, 중 장기계획 부합 여부 및 사업의 우선순위 등을 고려하여 민간 투자사업을 선정하며, 실시계획 승인 및 운영 등 민간투자사
Table 1. Status of PPP projects by facilities
(Unit: case, 100 million won) Division Num. of
Proj. % Investment % Ad,
Investment
Education 232 33.2% 100,706 9.5% 434
Environment 185 26.5% 140,360 13.3% 759
Transport 90 12.9% 449,959 42.5% 5,000
National defense 78 11.2% 62,765 5.9% 805 Cultural tourism 42 6.0% 18,435 1.7% 439
Harbor 17 2.4% 61,588 5.8% 3,623
Welfare 15 2.1% 5,079 0.5% 339
Railway 15 2.1% 197,923 18.7% 13,195
Airport 14 2.0% 8,151 0.8% 582
Distribution 6 0.9% 12,585 1.2% 2,092
Communication 5 0.7% 1,126 0.1% 456
Total 699 100% 1,058,713 100% 1,495
Fig. 1. Structure of PPP
(PPIAF, 2017, PPP Reference Guide Version 3, p. 41)
업의 전반적인 사항을 관리한다. 사업시행자는 민간투자사업 을 시행하는 법인을 말하며, 통상적으로 투자자, 건설회사, 설계회사, 금융사, 운영회사 등으로 구성하여 프로젝트의 전 반적인 시행을 담당한다. 이용자는 민간투자사업으로 건설 및 운영되고 있는 시설물을 직접 사용하는 주체로서, BTO 사 업의 경우 이용자의 사용료 수준이 민간투자사업의 사업성을 결정하는 중요한 요소이기 때문에 중요한 이해관계자라고 할 수 있다. 민간투자사업 이해관계자로서 사용자의 중요성이 높아지면서 세계은행의 The Public-Private Infrastructure Advisory Facility (PPIAF)가 2017년 발간한 PPP Reference Guide 제3판에서는 <Fig. 1>과 같이 민간투자사업 구조에 이 용자를 명시적으로 추가한 바 있다.
민간투자사업은 재정사업 등 다른 발주 방식과 비교하여 여러 특수성을 지니고 있다. 첫째, 계약의 중요성이 타 프로 젝트에 비해 강하다는 것이다. 민간투자사업 방식의 영문 명 칭인 PPP (Public Private Partnerships)는 SOC 공급에서 공 공부문과 민간부문간 역할과 책임에 대한 장기계약을 의미한 다. 계약에 따라 사업내용, 서비스 수준, 사업 추진절차 등이 결정된다. 또한 민간투자사업은 운영을 포함한 장기사업이므 로, 계약변경이 발생할 확률이 크기 때문에 이를 관리하는 것 은 매우 중요하다.
둘째, 민간투자사업에는 이해관계자들의 첨예한 이해관계 가 존재한다. 공공의 관점에서는 사업비 절감 등을 통하여 재 정의 효율성을 극대화하는 것이 매우 중요한 과제인 데 비하 여, 민간사업자의 관점에서는 수익률을 극대화할 유인을 갖 는다. 한편, 이용자 관점에서는 낮은 수준의 요금으로, 적기/
조기에 시설물을 이용하고자 한다. 이와 같이, 타 사업에 비 해 민간투자사업에 참여하는 이해관계자들의 복잡한 이해구 조가 첨예하게 나타나기 때문에 민간투자사업에서는 이해관 계자의 이해를 반영하는 것이 중요하다.
셋째, 리스크 관리/분배의 중요성이다. 민간투자사업 방식 은 장기계약이며 먼 장래에 발생할 리스크를 예측하고 이를 분배하여야한다. 원칙적으로 민간투자사업의 효율성을 극대 화하기 위해서는 최소의 비용으로 리스크를 관리할 수 있는
주체가 해당 리스크를 부담하는 것이 바람직하다. 그러나 이 를 실제 계약에 반영하는 것은 용이하지 않다. 특히, 국내 도 로 민간투자사업에서는 수요위험의 상당부분을 공공부분이 담당하는 소위 ‘MRG 조항’에 대한 비판이 높은 상황에서, 민 간투자사업의 성과를 평가하는 데 있어서 리스크의 관리/분 배는 중요한 고려사항이다.
2.2 성과지표
사회기반시설을 비롯한 건설공사의 성과평가 제도로서 현 재 한국, 미국, 영국에서 사용되고 있는 주요 평가제도 및 성 과지표는 다음과 같다.
2.2.1 건설공사 사후평가
건설공사 사후평가는 「건설공사 사후평가 시행지침」에 따 라 타당성 조사 등 건설공사 계획과 공사완료 후의 비용, 기 간, 수요, 효과 등을 분석 및 평가하는 것을 말한다. 사후평가 는 공공건설사업 수행 후 그 성과를 평가함으로써, 향후 유사 사업 추진 시 이를 활용하여 공공건설사업의 효율성을 도모 할 목적으로 수행된다. 사후평가의 대상은 총공사비 300억 원 이상의 프로젝트이며, 공사 준공 후 5년 이내에 시행해야 한다(건설기술진흥법 제52조).
사후평가 보고서는 프로젝트 이용자 만족도 조사와 사업수 행성과 종합평가로 구성된다. 프로젝트 이용자 만족도 조사 의 대상은 시설물 이용자, 시설물 관리자, 지역주민으로 구성 된다. 이용자 만족도 조사는 시설물의 사용자를 대상으로 시 설물의 만족도를 조사하기 때문에 직접적으로 사업수행성과 를 가늠할 수 있는 지표로 작용할 수 있다. 다만, 만족도를 평 가하는 지표가 포괄적이고 매우 정성적이기 때문에 만족도 조사 결과는 향후 프로젝트 운영을 위한 지식으로 활용하는 데 있어 한계가 존재한다.
사업수행성과 종합평가는 6개의 상위 평가항목을 기본으 로 하고 12개의 하위 평가항목으로 분류하여 프로젝트의 성 과를 측정한다. 따라서 종합평가 결과분석을 통해 향후 유사 프로젝트를 계획하고 운영할 때 유용한 정보를 제공할 수 있 다. 그러나 이 종합평가의 평가항목은 상이한 프로젝트 발주 성격을 고려하지 못하는 한계를 지니고 있다. 즉, 민간투자사 업의 특수성을 고려하지 못하기 때문에 민간투자사업의 성과 를 측정하는데 어려움이 있다. 건설공사 사후평가 제도를 통 하여 조사한 15개 민간투자사업의 종합평가 점수와 이용자 만족도 조사 점수를 산점도 그래프를 통해 살펴보면, <Fig.
2>에서 볼 수 있듯이 만족도와 종합평가 점수 간 음의 상관관 계에 가까운 분포를 보인다. 따라서 현재의 건설공사 사후평 가를 민간투자사업 성과평가에 적용하기 위해서는 새로운 평 가체계 구축이 필요하다.
Fig. 2. Scatter diagram between user satisfaction and evaluation score of PPP projects
2.2.2 BenchMarking & Metrics (BM&M)
BM&M은 1995년 미국 CII (Construction Industry Institute)에 의해 구축된 성과측정 방안으로, Best Practice 발굴과 적용 확대를 통해 건설산업의 가치를 향상시키고 프 로젝트 수행능력을 지속적으로 제고하는 것을 목적으로 한 다. BM&M의 운영을 위해 CII는 발주자, 계약자 등으로 구성 된 회원사들로부터 온라인을 통해 프로젝트 정보를 수집하 고 있으며, 이를 기반으로 구축한 데이터베이스는 2011년 기 준 총 1,947개 프로젝트로 구성되어 있다(차희성 외, 2008).
BM&M에 활용되는 성과측정 지표는 도입 당시에 개발되어 현재까지 사용되고 있는 일반적인 지표와 그 이후 각 전문분 야 회원사의 요구에 따라 개발된 전문영역 지표로 구분된다 (이유섭 외, 2007). 이 중 건설산업 측면에서 주요하게 평가 되는 지표들은 주로 일반적인 지표에 포함되어 있으며, 세부 적으로는 비용, 공기, 설계변경, 재시공, 안전 항목으로 구성 된다. CII는 BM&M 운영을 통해 발주자 측면에서 공기 및 비 용의 효율성 제고가 발생하였으며, 계약자 관점에서는 비용 적인 면에서 긍정적인 효과가 있었다고 보고하였다(김선규 외, 2009). 하지만 BM&M 역시 설계시공일괄방식, 민간투자 사업 등과 같은 상이한 발주방식에 따른 별도의 지표가 존재 하지 않는 등 앞서 논의한 민간투자사업의 특수성이 고려되 지 않는다는 한계를 지니고 있다.
2.2.3 Key Performance Index (KPI)
KPI는 영국 건설산업의 효율성 및 생산성 향상을 통한 대 내외 경쟁력 향상을 목적으로 1998년 도입되었다. KPI에서 정의하고 있는 성공항목은 크게 경제, 사회, 환경으로 나뉘며 각각은 10개의 세부 평가항목으로 분류된다(김창원, 2017).
영국은 KPI의 운영을 통해 건설산업의 성과에 대한 지속적 인 모니터링 및 Best Practice의 보급 확대를 기하고 있으며, 그 결과 고객 만족도, 원가 준수율, 공기 준수율 등의 측면에 서 성과 향상을 이룬 것으로 평가되었다(김한수, 2014). 다만 KPI 역시 프로젝트 발주방식에 따른 성과측정 지표가 차별이 없어, 상이한 발주방식의 특수성을 반영하지 못한다는 한계 를 지니고 있다.
국내외 성과지표 고찰을 통해 건설산업 효율성 증대와 발 전을 위해, 프로젝트의 성과 측정과 그 결과의 활용을 가능하 게 해주는 사업성과지표가 각국에서 중요하게 인식되어 제도 로서 자리잡고 있음을 볼 수 있었다. 다만 발주방식의 차이를 고려하고 있는 성과지표는 존재하지 않았다. 따라서 타 발주 방식에 비해 성과평가와 밀접하게 관련된 특수성을 다수 지 닌 민간투자사업을 위한 성과지표의 개발이 필요한 것으로 판단된다.
2.3 선행연구 고찰
국내에서는 성과지표 개발연구가 건설 프로젝트 전반에 대 한 성과지표를 중심으로 진행되어 왔고 민간투자사업에 주안 점을 두고 성과지표를 개발한 사례는 미비한 것으로 판단된 다. 따라서 본 연구에서는 국외 민간투자사업 대상 성과지표 개발에 대한 선행연구를 위주로 고찰하였다.
Xueqing (2005)은 민간투자사업의 성능향상을 위해 Critical Sucess Factor (CSFs)를 도출하였는데, 민간투자사 업의 특수성으로 인해 많은 요인들이 결합하여 사업의 성공 에 영향을 미친다고 주장하였다. 이 연구에서는 프로젝트 성 공요인을 도출하기 위하여 선행연구를 고찰하고 이를 분류 하여 도출된 성공요인(CSF)에 대해 각 분야 전문가 인터뷰 와 면담을 통해 그 중요도를 선정하였다. 위 연구에서 제시 한 CSFs별 중요도 순서는 ‘경제성’, ‘위험 분담’, ‘금융 패키지’,
‘기술력’, ‘투자환경’ 등이다.
Jinfeng et al. (2009)은 민간투자사업의 Value for Money (VfM)를 달성하기 위해 필요한 성과목표(Performance Objectives)와 KPIs (Key Performance Indicators)를 도출하 는 연구를 수행하였다. 이 연구는 민간투자사업 프로젝트의 성과에 영향을 주는 요인들의 다양성을 강조하고 있다. 특히, 사업의 특성상 프로세스 측면이 중요한 반면, 기존 선행연구 들은 프로세스 측면의 요인들에 집중하지 못했음을 지적하면 서 민간투자사업의 프로세스와 프로젝트 관리 향상을 목적으 로 주요 성과요인을 도출하고자 하였다. 이들은 설문을 통해 15개 성과요인을 도출하였는데 이 가운데 프로젝트의 품질, 비용, 공정, 서비스가 공통적인 주요 성과요인으로 나타났다.
특히 ‘위험관리’, ‘자금관리’, ‘자원관리’, ‘계약관리’, ‘이해관계 자관리’, ‘좋은 정부’ 등이 프로세스 측면에서 VfM을 달성하 기 위한 핵심 성과요인으로 도출되었다.
Liyangage et al. (2015)은 민간투자사업에 다양한 관점과 이해관계가 존재하기 때문에 이를 고려한 성과지표개발이 필 요함을 특별히 강조하였다. 민간투자사업의 주요 관점을 프 로젝트 관리 관점, 이해관계자 관점, 계약관리 관점으로 정 의, 분류하고 각 관점 별 성공항목을 도출하였다. 또한 선행 연구 고찰을 통해 도출된 성과지표를 이용해서 기 정의된 주 요 관점과 성공항목의 각 측면에서 프로젝트를 평가하였는데
5개 실제 프로젝트에 이를 적용하고, 그 결과를 비교분석함 으로써 성과지표의 유용성을 보여주고 있다.
선행 평가지표를 고찰한 결과, 본 연구에서는 Liyangage et al. (2015)이 제시한 평가의 틀이 민간투자사업의 특수성을 적절하게 반영할 수 있는 도구라 판단하여, 이를 준용하였다.
3. 민간투자사업 주요 관점 및 성공항목 3.1 주요 관점 및 관점 별 성공항목 정의
Liyangage et al. (2015)가 제시한 바와 같이 본 연구에서 는 민간투자사업 성과평가 Framework를 아래의 <Fig. 3>에 서 보이는 바와 같이 3개의 평가관점과 각 평가관점 별 3개의 성공항목으로 구성하였다.
Fig. 3. Sucess items by evaluation perspective of PPP
첫 번째 민간투자사업 평가관점은 프로젝트 관리(Project Management)이다. 전통적으로 많은 선행연구들은 프로젝 트의 성공을 우수한 품질의 건설품을, 계획된 시간 내에, 정 해진 비용으로 생산하는 것으로 정의한다. 따라서 사업관리 의 주안점을 품질, 시간, 비용에 두고 효율성을 제고할 수 있 는 방안을 찾고자 노력하였다. 본 연구에서는 이와 같은 관점 을 프로젝트 관리라 분류하고, 그 성공항목을 ① 품질, ② 시 간, ③ 비용으로 정의하였다.
두 번째 민간투자사업의 평가관점은 이해관계자 (Stakeholder)이다. 민간투자사업의 특성에 집중한 선행연구 들에서 공통적으로, 이해관계자의 만족도를 성공으로 정의하 고 있다. 민간투자사업은 타 산업에 비해 다양한 이해관계자 가 참여하고 있으며, 결국 프로젝트를 수행하는 이들의 만족 도가 성공이라는 것을 의미한다. 본 연구에서도 이해관계자 관점에서의 성공항목을 ① 주무관청의 만족도, ② 사업시행 자의 만족도, ③ 이용자의 만족도로 정의하였다.
세 번째 민간투자사업 평가관점은 계약관리(Contract Management)이다. 민간투자사업 방식을 한 마디로 요약하 면, 사회기반 시설에 대한 공공과 민간 간의 장기계약이다.
따라서 계약관리는 민간투자사업의 성공에 직접적인 영향을 미친다고 할 수 있다. 이와 같은 관점을 계약관리라 분류하 고, 본 연구에서는 계약관리의 관점에서 프로젝트의 흐름을
시간대 별로 ① 계약(목표설정~계약), ② 과정(입찰~시공),
③ 결과(유지관리~사업환경)로 구분하여 프로젝트의 성과를 평가하였다.
3.2 주요 관점 및 성공항목 가중치 산정
앞서 정의한 민간투자사업 평가관점과 평가관점 별 성공 항목은 민간투자사업의 성과에 미치는 영향의 강도가 상이하 다. 따라서 이들 영향의 강도를 반영할 수 있는 가중치를 설 정하는 것이 필요하다. 이를 위해 본 연구에서는 민간투자사 업 전문가를 대상으로 AHP (Analytic Hierarchy Process) 설 문조사를 수행하였다. AHP 분석은 의사결정의 전 과정을 여 러 위계로 나눈 후 이를 단계별로 분석, 해결함으로써 합리적 으로 의사결정에 이르는 방법이다(이성근, 1994).
AHP 분석에서 첫 번째 작업은 계층 구조를 설정하는 것이 다. 즉, 해결해야 하는 문제를 구성하고 있는 요소를 파악하 고, 그 요소 간의 위계를 설정한다. 일반적으로 가장 상위 계 층에 목적을 두며, 판단기준이 되는 기준, 대안 순으로 위계 를 구성한다. 본 연구에서는 <Fig. 4>와 같이 AHP 설문의 목 적에 맞게 제1계층을 민간투자사업 평가관점, 제2계층을 평 가관점별 성공항목으로 설정하였다.
Fig. 4. AHP structure for developing evaluation model
위 계층 구조에 대하여 평가항목별 가중치를 설정하기 위 한 AHP 설문조사의 설문대상은 한국민간투자학회 종신회원 과 KDI 공공투자관리센터 소속 연구원으로 하였다. 한국민 간투자학회는 민간투자 분야에 대한 연구자뿐 아니라 민간투 자사업에 참여하는 업계종사자들로 구성된 국내 최대의 민 간투자사업 관련 전문가 집단이다. KDI 공공투자관리센터는 민간투자법에 의하여 민간투자사업에 대한 제도연구 및 사업 관리를 지원하는 국내 유일의 민간투자사업 단일목적 순수 전문가 집단이다.
설문을 위하여 구조화된 설문지를 작성하였으며, 설문지 에 본 연구에서 정의한 민간투자사업 평가관점 별 성공항목, AHP 구조, 민간투자사업 성공요인 등의 내용을 설명하였다.
AHP 설문은 2017년 6월 8일 ~ 6월 15일 기간에 KDI 소속 연구원을 대상으로, 2017년 8월 17일~ 8월 24일 기간에는 한 국민간투자학회 회원들을 대상으로 실시하였다. 설문에 응답
한 전문가들은 한국민간투자학회 회원 19명, KDI 연구원 10 명으로 총 29명이었다. AHP 설문에 참여한 전문가들의 소 속은 민간, 공공, 학계 등 다양하게 분포되었으며, 응답자의 41%가 민간투자사업의 경력이 10~15년 이상으로 나타났다.
따라서 민간투자사업의 다양한 분야에서 풍부한 경력을 보유 한 전문가를 대상으로 설문이 진행되었다.
분석의 객관성을 위해 총 29개의 AHP 설문응답 중 비일관 성 지수(CI: InConsistency Index)가 0.15 이상인 응답(10개) 에 대해서는 재설문을 실시하여, 설문의 일관성을 확보하였 다. <Table 2>는 AHP 설문결과를 보여주는데, 제1계층의 중 요도(평가관점)는 이해관계자(0.39), 프로젝트관리(0.39), 계 약관리(0.22) 순으로 산정되었다. 제2계층의 중요도(평가관 점 별 성공항목)는 이용자(0.20), 품질(0.19), 주무관청(0.12), 비용(0.12), 시간(0.08), 사업시행자(0.07), 결과(0.08), 계약 (0.08), 과정(0.06) 순으로 분석되었다.
프로젝트관리 중요도의 표준편차가 0.22이고, 다른 평가 관점 및 성공항목 중요도의 표준편차 역시 매우 큰 것으로 분 석되었다. 이에 비하여 공공부문 및 민간부문 종사자 응답자 별 집단 내부의 표준 편차는 각각 0.07로 전체 표준편차에 비 하여 현저하게 작아졌다. 이는 민간과 공공이라는 종사자 집 단 간 민간투자사업 평가에 대한 관점에 큰 차이가 있음을 보 여준다. 따라서 본 연구에서는 민간투자사업 전문가 집단을 크게 공공과 민간 부문으로 구별하여 평가관점과 성공항목의 가중치를 산정하고, 최종 평가시 집단별 가중치와 종합 가중 치를 각각 적용하여 평가점수를 제시하였다.
공공 전문가가 평가한 평가관점 별 가중치 순위는 이해관 계자(0.55), 계약관리(0.25), 프로젝트관리(0.20)로 분석되었 다. 즉, 공공부문 종사자는 이해관계자의 만족도를 프로젝트 성과에서 가장 중요한 요소로 판단한다. 성공항목 별 가중치 순위는 이용자(0.28), 주무관청(0.17), 계약(0.10), 사업시행 자(0.10), 품질(0.10), 결과(0.09), 과정(0.06), 비용(0.06), 시 간(0.04)로 분석되었다.
민간 전문가의 평가관점 별 가중치 순위는 프로젝트관리 (0.60), 이해관계자(0.22), 계약관리(0.18)로 분석되었다. 프 로젝트를 직접 수행하는 민간의 입장에서는 주어진 예산으로 (비용), 사업스케쥴에 따라 (시간), 양질 (품질)의 시설을 건설 하는 것이 가장 중요한 성공요소라고 판단하는 것이다. 성공 항목 별 가중치 순위는 품질(0.30), 비용(0.20), 이용자(0.11), 시간(0.10), 결과(0.07), 과정(0.06), 사업시행자(0.06), 주무 관청(0.05), 계약(0.05)로 분석되었다.
위와 같이 공공과 민간 부문 종사자들은 민간투자사업을 바라보는 관점이 상이함을 알 수 있다. 공공부문 입장에서는 프로젝트의 비용과 시간은 대부분 사업시행자가 책임을 지기 때문에 이에 대하여 높은 가중치를 부여하지 않는 대신 프로 젝트 운영 단계에서 이용자(국민)가 누리는 편익을 가장 중요
하게 평가하였다.
민간투자사업의 성과 평가 항목의 중요성에 대하여 공공과 민간 부문 사이에 커다란 차이가 존재한다는 사실은 동일한 민간투자사업에 대하여 관점에 따라서는 상이한 평가결과가 도출될 수 있음을 시사한다. 따라서 중립적이고 객관적인 민 간투자사업의 성과평가를 위해서는 공공과 민간부문 종사자 들 간 평가 결과의 차이를 분석하고 이를 합리적으로 종합하 는 것이 반드시 필요한 것으로 판단된다.
Table 2. Weights of evaluation perspectives and success items
Division Total Public Private
A.V. S.D. A.V. S.D. A.V. S.D.
Proj.
Manag.
0.39 0.22 0.20 0.07 0.60 0.07 Quality 0.19 0.14 0.10 0.05 0.30 0.12 Time 0.08 0.08 0.04 0.02 0.10 0.08 Cost 0.12 0.09 0.06 0.04 0.20 0.09
Stake holder
0.39 0.22 0.55 0.18 0.22 0.07 Public 0.12 0.11 0.17 0.12 0.05 0.03 Private 0.07 0.06 0.10 0.07 0.06 0.03 User 0.20 0.15 0.28 0.15 0.11 0.06
Contract Manag.
0.22 0.16 0.25 0.20 0.18 0.07 Contract 0.08 0.08 0.10 0.10 0.05 0.02 Process 0.06 0.06 0.06 0.07 0.06 0.04 Result 0.08 0.05 0.09 0.06 0.07 0.04 InConsistency Index 0.04 0.03 0.05 0.04 0.03 0.02
4. 민간투자사업 성과평가 모델 구축 및적용 4.1 핵심 성과요인 도출
본 연구는 선행연구 고찰을 통해 민간투자사업 성과요인을 도출하고, 요인분석을 통해 핵심 성과요인을 제시하고자 한 다. 민간투자사업 성과측정 관련 선행연구에서는 다양한 민 간투자사업 성과요인을 제시하고 있었다. 이 가운데 보다 중 요한 성과요인을 도출하기 위하여 공통적으로 제시하고 있 거나 일반적으로 중요하다고 여겨지는 항목들을 분류하였다
<Table 3>.
다수의 연구에서 제시된 성과요인을 살펴보면 ‘계약의 명 확성’, ‘SPC의 역량’, ‘B/C 분석의 정확성’, ‘소요기간’, ‘VfM 정 확성’, ‘리스크 분담’, ‘신기술 공법 적용’ 등이 있었다. ‘계약의 명확성’은 민간투자사업에서 일반적으로 계약단계에서 많은 갈등이 발생하고, 장기간이 소요되는 등 계약의 중요성이 강 조되는 관계로 인해 주요 성과요인으로 빈번히 제시된 것으 로 보인다. 또한 민간투자사업에서는 장기간 동안 설계, 시 공, 유지관리 등 다양한 서비스를 제공해야하기 때문에 SPC 의 역량이 중요하다. 이와 같은 이유로 ‘SPC의 역량’이 다수 의 연구에서 주요 성과요인으로 제시된 것으로 판단된다. ‘B/
C 분석의 정확성’의 경우, 비록 민간투자사업은 민간의 자본
Table 3. Performance indexes of PPP
Performance Indexes A B C D E F G H I J
Goal setting (I_1) ● ● ●
Clarity of Contract (I_2) ● ● ● ●
Bidding war (I_3) ● ● ●
Enough cash flow (I_4) ● ● ●
Marketability (I_5) ● ●
Cash flow forecast (I_6) ● ● ●
Capacity of SPC (I_7) ● ● ● ●
Accuracy of B/C (I_8) ● ● ● ● ●
Accuracy of demand (I_9) ● ● ● ●
Contract time (I_10) ● ● ● ●
Accuracy of VfM (I_11) ● ● ● ●
Risk allocation (I_12) ● ● ● ● ●
Capacity of Public (I_13) ●
Citizen participation (I_14) ●
Risk allocation in SPC
(I_15) ● ●
Interest rate (I_16) ● ● ● ●
Policy (I_17) ● ●
Reward (I_18) ● ● ● ●
Bidding competition (I_19) ●
Change project cost (I_20) ● ● ● ● ●
Change duration (I_21) ● ● ●
Similar experience (I_22) ● ●
Construction quality (I_23) ● ● ●
New tech. method (I_24) ● ● ● ●
Civil complaint (I_25) ● ●
Handling complaint (I_26) ● ●
Total profitability (I_27) ● ● ● ●
Operation profitability
(I_28) ● ● ●
Project quality (I_29) ● ● ● ●
Economic indicators(I_30) ● ● ●
Regional economy (I_31) ● ● ● ●
Environmental costs(I_32) ● ● ●
MRG(I_33) ●
User satisfaction (I_34) ● ● ●
Economic condition (I_35) ● ● ● ●
Institutional environment
(I_36) ● ● ●
A. Construction Technology Promotion Act, Post-Construction Evaluation
B. Mladenovic, et al. (2013). Use of key performance indicators for PPP transport projects
C. Yuan,, et al. (2009). Selection of performance objectives and key performance Indicators in public private partnerships projects to achieve value for money
D. Zhang. (2005). Critical success factors for public private partnerships in infrastructure development
E. Chan (2001). Framework for measuring success of construction projects
F. Songer, et al. (1997). Project characteristics for successful public- sector design-build
G. Hodge & Greve (2007). Public–private partnerships: An international performance review
H. Hardcastle et al. (2007) Critical success factors for PPP/PFI project in the UK construction industry
I. Champika et al. (2015). Measuring Success of PPP Transport Project: A Cross-Case Analysis of Toll Roads
J. This present study
이 소요되지만 공공의 인프라를 위한 사업이기 때문에 사회 편익에 부합되는 것이 매우 중요하므로 다수의 연구에서 성 과요인으로 꼽고 있다. ‘리스크 배분’ 역시 민간투자사업의 특 성이 잘 반영된 결과이다. 본 연구는 이 외에도 국내 민간투 자사업의 특수성을 반영하기 위하여‘입찰경쟁 정도’, ‘공공기 관의 역량’, ‘주민참여’, ‘MRG 적용 여부’ 등을 성과요인으로 제시하였다.
본 연구에서는 선행연구와 국내 민간투자사업의 특수성을 반영하여 36개의 성과요인을 도출할 수 있었다. 그러나 36개 의 성과요인 중 중복되는 성격의 요인도 존재하고, 이를 모두 반영하여 성과지표를 개발하는 데는 한계가 있으므로 유사 한 성과요인을 구분하고 묶기 위해 요인분석을 실시하였다.
요인분석(Factor Analysis)은 관측된 변수들에 근거하여 변 수 속에 내재하고 있는 공통적인 요인을 찾아냄으로써 여러 변수를 몇 개의 개념 또는 요인으로 그룹화 하여 변수의 수를 줄이고자 하는 통계기법이다(김렬 외, 2008). 요인분석은 변 수간의 인과관계를 파악하는 것이 아니며, 변수를 독립변수 와 종속변수로 구분하지 않고 변수 간의 상호연관성을 분석 할 수 있다.
요인분석을 위해, 앞서 도출된 성과요인의 민간투자사업 영향도 평가설문을 실시하였다. 설문조사의 대상자는 국내 민간투자사업에 참여한 경험이 있거나 관련 지식이 있는 발 주자, 사업시행자, 연구자, 학자 등을 대상으로 하였다. 설 문방식은 웹을 이용한 설문으로 총 46명이 설문에 응답하였 으며, 응답자의 소속 분포는 사업시행자가 16명(34.8%)으로 가장 많았으며, 뒤를 이어 발주자 13명(28.3%), 연구자 10명 (21.7%), 학자 7명(15.2%) 순이었다. 설문에 응답한 응답자의 소속 분포가 비교적 골고루 분포되어 있다.
요인분석을 통하여 36개의 성과요인 별 요인적재량과 고 유값을 산출하여 대표요인을 도출하였다. 고유값은 특정 요 인에 적재된 모든 변수의 요인적재량을 제곱하여 산출할 수 있으며, 이는 관련 변수에 대한 해당 요인의 설명력을 의미한 다. 일반적으로 고유값이 1 이상인 요인을 기준으로 요인의 수를 결정한다(차용운 외, 2013).
본 연구에서 고찰한 요인들을 토대로 고유값을 산출한 결 과는 <Table 4>와 같다. 36개 요인 가운데 9개 요인이 1이상 의 고유값을 갖는 것으로 산정되어 개별 성과요인 이상의 설 명력을 갖는 것으로 분석되었다. 따라서 본 연구에서는 핵심 성과요인을 9개로 정의하고, 이에 해당하는 요인들이 어떻게 결집되는 지 요인행렬 분석을 통해 파악하였다.
고유값 분석으로 도출된 9개의 핵심성과요인에 어떠한 변 수들이 결합되었는지 분석하는 것은 매우 중요하다. 결합된 변수들의 성격을 통해 9개 핵심성과요인의 성격을 결정할 수 있기 때문이다. 핵심성과요인 별 군집된 성과요인들을 가시 적으로 파악하기 위해서는 요인행렬 분석을 실시해야 한다.
Table 4. Total Variance Explained
I_s Initial Eigenvalues Extraction Sum of Squared Loadings Total % of Var. Cum. % Total % of Var. Cum. %
I_1 3.246 9.275 9.275 3.246 9.275 9.275
I_2 2.651 7.574 16.849 2.651 7.574 16.849 I_3 2.468 7.052 23.901 2.468 7.052 23.901 I_4 2.166 6.189 30.090 2.166 6.189 30.090 I_5 2.107 6.019 36.109 2.107 6.019 36.109 I_6 2.030 5.799 41.908 2.030 5.799 41.908 I_7 1.926 5.504 47.412 1.926 5.504 47.412 I_8 1.716 4.902 52.315 1.716 4.902 52.315 I_9 1.586 4.531 56.846 1.586 4.531 56.846
I_10 .975 4.498 61.343
I_11 .970 4.090 65.433
I_12 .933 3.938 69.371
I_13 .926 3.224 72.595
※ The rest is omitted
Table 5. Full load matrix
I_s 1 2 3 4 5 6 7 8 9
I_1 .353 .124 -.212 -.159 -.154 .105 -.304 .145 .205 I_11 .305 .051 .111 .229 -.260 .218 -.183 -.377 .201 I_12 .101 .401 .069 -.300 -.026 -.402 -.255 .221 .208 I_14 -.277 .443 .256 -.184 .271 -.298 -.047 -.428 -.371 I_17 -.530 .438 -.400 .140 .109 -.001 .248 -.328 .253 I_32 -.049 .414 .151 -.285 .214 .279 -.259 .080 -.114 I_2 .166 .239 .509 -.052 -.377 .199 -.232 .069 .091 I_10 .232 -.075 .489 -.443 -.451 .219 .105 -.040 -.130 I_3 -.049 .296 .027 .446 -.355 -.010 .212 .258 .174 I_18 -.342 .221 .134 .489 .128 -.486 -.172 -.318 -.116 I_7 .171 -.212 .232 .367 -.132 .115 -.077 .026 -.288 I_4 -.306 -.226 .069 .210 .389 .065 -.019 .218 .040 I_5 -.274 -.310 -.015 .203 .371 .052 -.268 -.072 -.509 I_19 -.255 .051 -.071 .298 -.081 .650 .065 .103 -.438 I_20 -.076 .148 -.254 -.016 -.050 .577 .236 -.130 .009 I_21 .229 -.202 .134 .149 -.389 .519 .112 .005 -.027 I_22 .258 .174 .163 .266 .139 .467 -.306 .284 -.183 I_23 -.325 -.223 .295 .264 .196 .438 .185 .169 -.102 I_24 -.678 -.167 .147 -.085 .065 .442 .142 .139 .273 I_25 .050 .166 -.616 .273 .091 .380 -.414 .081 -.103 I_28 -.134 .362 .381 -.096 .072 .301 -.467 -.003 .014 I_27 .350 -.333 .042 -.260 .152 .166 .440 .221 -.237 I_26 .147 .354 -.069 .295 .238 -.125 .390 .111 .211 I_18 .026 .239 .232 -.124 .259 .110 .012 .451 .201 I_19 -.213 .178 -.365 .246 -.329 -.088 .206 .424 -.167 I_30 .151 .043 -.040 -.027 -.340 .131 -.044 .367 -.170 I_29 .037 -.006 -.170 -.390 .211 .292 .264 .357 -.077 I_16 .282 -.414 -.077 .076 .278 -.024 -.252 .080 .745 I_35 .189 .290 -.385 .295 .283 3099 .210 .040 .515 I_34 -.345 -.373 -.260 -.050 .037 .109 -.049 .202 .489 I_33 .179 -.468 .066 -.261 -.020 -.24 -.056 -.340 .479 I_32 .289 .081 .215 -.416 -.156 .185 -.252 .087 .468 I_31 .216 -.212 .367 .127 -.132 .115 -.077 .026 .451 I_13 .287 .282 -.162 .288 .223 -.323 .007 .111 .346 I_15 .275 -.068 -.045 .021 -.159 -.165 .141 .006 .311
요인행렬 분석을 실시하면, 핵심성과요인에 어떠한 성과요 인들이 높은 요인적재량을 가지고 있는지 파악할 수 있다. 본 연구에서는 0.3 이상의 요인적재량을 유의미하다고 가정하 고 분석을 실시하였다. 도출된 요인행렬은 <Table 5>와 같다.
핵심성과요인 별 군집된 성과요인들을 살펴보면, 핵심성 과요인1에는 I_1, I_11이 핵심성과요인2에는 I_14, I_17, I_32 이, 핵심성과요인3에는 I_2, I10이, 핵심성과요인4에는 I_3, I_18, I_7이, 핵심성과요인5에는 I_4, I_5가, 핵심성과요인6 에는 I_19, I_20, I_21, I_22, I_23, I_24, I_25, I_28이, 핵심 성과요인7에는 I_27, I_26이 핵심성과요인8에는 I_18, I_19, I_30, I_29가 핵심성과요인9에는 I_16, I_35, I_34, I_33, I_32, I_31, I_13, I_15가 높게 적재되고 있음을 알 수 있다.
상기에서 분석한 요인행렬 분석의 결과를 토대로 본 연구 에서 사용할 핵심성과요인을 정의하였다. 첫 번째 핵심성과 요인(KPI)은 ‘목표’이며, 목표설정, VfM 달성 등이 군집되어 결정되었다. 두 번째 핵심성과요인은 ‘리스크/협상’이며, SPC 내 리스크 분담정도, 보상금 계약정도, MRG 지급정도 등을 대표할 수 있다. 세 번째 핵심성과요인은 ‘계약’이며, 계약의 정확성, 계약의 소요기간 등이 군집되어 결정되었다. 네 번 째 핵심성과요인은 ‘입찰’이며, 입찰분쟁 정도, 입찰경쟁 정 도, SPC 능력 등을 내포할 수 있다. 다섯 번째 핵심성과요인 은 ‘금융’이며, 원활한 현금흐름, 시장성 등을 의미할 수 있다.
여섯 번째 핵심성과요인은 ‘시공’이며, 비용의 변화, 기간의 변화, 공사의 품질, 신기술 공법적용 등의 성과요인을 대표할 수 있다. 일곱 번째 핵심성과요인은 ‘운영/유지관리’이며, 운 영 수익성, 프로젝트 수익성 등을 포함한다. 여덟 번째 핵심 성과요인은 ‘분석/평가’이며, 수요예측의 정확성, B/C분석의 정확성, 사회지표 및 경제지표의 변화 등을 의미할 수 있다.
마지막 아홉 번째 핵심성과요인은 ‘사업환경’이며, 이자율, 제도 적 상황, 정책적 지원, 공공기관의 역량 등을 대표할 수 있다.
4.2 핵심 성과요인 별 세부 평가항목 정의 다음으로는 위에서 정의된 민간투자사업 핵심 성공요인 별 설문항목을 도출하였다. 도출된 설문항목은 추후에 통합성과 지표를 측정할 수 있는 질문으로 사용된다. 본 연구에서는 핵 심성과요인 별 설문항목을 도출하기 위해 델파이(Delphi)기 법을 사용하였다.
델파이 기법은 통제된 피드백이 제공되는 3∼4차례의 설 문조사를 통하여 어떤 분야의 전문가들이 합의를 이루는데 유용한 의사결정 수단으로서 대상집단으로 하여금 개별적 차 원이 아닌 전체적 차원에서 복잡한 문제에 효율적으로 대응 하도록 하는 기법이다(안진성, 2011). 이러한 델파이 기법은 비정량적인 사항의 결정 및 구축을 위한 관련 전문가들의 의 견 수렴을 목적으로 고안된 조사방법이기 때문에 핵심성과요 인 별 설문항목을 도출하는데 적절하다고 판단된다.
델파이 기법 적용 단계는 크게 ‘전문가 집단의 구성’, ‘1차 개방형 질문’, ‘2차 폐쇄형 질문’, ‘3차 폐쇄형 질문’으로 이루 어진다. 일반적으로‘1차 개방형 질문’단계는 정해지지 않은 양식을 통해 연구진들이 자유롭게 정보 및 의견을 수렴하는 단계이다. 본 연구에서는 앞에서 도출된 9개의 핵심 성공요 인 별 민간투자사업의 성과를 측정할 수 있는 설문항목 리스 트를 수집하는 목적으로 ‘1차 개방형 질문’을 수행하였다.
‘2차 폐쇄형 질문’은 ‘1차 개방형 질문’의 결과를 토대로 연 구의 목적에 부합할 수 있는 질문 및 면담을 실시하고, 그 결 과를 연구진들이 공유함으로써, 모든 연구진들이 전반적인 찬반의 의견 등을 파악할 수 있는 단계이다. 본 연구에서는 ‘1 차 개방형 질문’을 통해 수집된 핵심 성공요인 별 세부 평가 항목 리스트 중 불필요한 사항을 제거하기 위해 ‘2차 폐쇄형 질문’을 실시하였다.
‘3차 폐쇄형 질문’은 ‘2차 폐쇄형 질문’에 대한 통계분석 결 과인 연구진들의 전반적인 의사방향에 대한 피드백을 포함한 다. 즉, 전반적으로 연구진들이 어떠한 의견을 제시하고 있는 지를 알 수 있으며, 이를 본인의 견해와 비교하여 최종적으로 의견을 결정하는 단계이다. 따라서 본 연구에서 ‘3차 폐쇄형 질문’을 통해 최종적으로 민간투자사업 핵심성과요인별 세부 평가항목을 구성할 수 있었다<Table 6>.
4.3 주요 관점 별 성공항목과 세부 평가항목 매칭 앞서 언급한 바와 같이 민간투자사업을 평가하는데 다양 한 관점이 존재하며 이에 따라 그 평가결과가 상이할 수 있 다. 따라서 본 연구에서는 민간투자사업의 주요 관점 별 성공 항목을 통해 사업의 성과를 측정하고자 한다. 이를 위해 3.1 에서 정의한 민간투자사업 주요 관점 별 성공항목과 4.2에서 정의한 세부 평가항목을 매칭하였다. 단, 본 연구에서는 성과 지표의 복잡성의 문제를 해결하기 위해 평가관점 별 성공항 목과 민간투자사업 평가요인을 1:1매칭하였다.
이를 위해 본 연구는 다수의 워크숍과 선행연구 고찰을 실 시하였다. 그 결과 프로젝트관리 관점의 성공항목 중 품질을 측정할 수 있는 평가항목은 19개, 시간을 측정할 수 있는 성 공요인은 3개, 비용을 측정할 수 있는 평가항목은 16개로 매 칭되었다. 이해관계자 관점의 성공항목 중 주무관청의 만족 도를 측정할 수 있는 평가항목은 20개, 사업시행자의 만족도 를 측정할 수 있는 평가항목은 16개, 이용자의 만족도를 평가 할 수 있는 평가항목은 2개로 매칭되었다. 계약관리 관점의 성공항목 중 계약의 적절성을 평가할 수 있는 성공요인은 11개, 과정의 적절성을 평가할 수 있는 평가항목은 13개, 결과의 적절 성을 평가할 수 있는 평가항목은 14개로 매칭되었다 <Table 7>.
Table 6. Performance evaluation criteria by KPIs KPIs Performance evaluation criteria
KPI1S1 Are the objectives specified in the contract?
S2 Are plans set up to reduce financial burden effectively?
KPI2
S3 No. of bidders (negotiation vs. final) S4 Time from tender notice to financial close S5 Legal challenges faced during the tendering process S6 Are the SPC’s configuration and experience appropriate?
KPI3
S7 How much risks have been transferred to the private sector?
S8 Was risk allocation agreed quickly?
S9 What is the allocation of risk within SPC?
KPI4
S10 Are there any performance targets?
S11 Are the roles and responsibilities of different parties involved in the contract clearly defined?
S12 Are minimum standards for condition of infrastructure and equipment specified in the contract?
S13 Is the method of measuring performance targets clearly defined?
S14 Are there penalties for non-compliance?
S15 Does the contract have procedures for amendments, dispute resolution or termination?
S16 Has the contract proceeded without renegotiations?
KPI5
S17 Was the financing conditions within plan?
S18 Was the project cash flow sufficient for expected payments to all parties?
KPI6
S19 Was the project completed on time?
S20 Was the project completed within budget?
S21 Was the project completed according to the specifications and design?
S22 Number of defects and civil complaints during construction S23 Number of new technologies and methods applied S24 Is project profitability of the construction stage appropriate?
KPI7 S25 What is the performance of the facility compared to planned?
S26 Is project profitability of the operation stage appropriate?
KPI8
S27 Is there a formal monitoring procedure in place?
S28 How ic the goal achieved?
S29 What is the effectiveness of reducing the financial burden?
S30 Traffic actual/forecast?
S31 What is the accuracy of B/C analysis?
S32 Did the project result in financial benefits to users (e.g. in terms of charges)?
S33 Revenue actual/forecast?
KPI9
S34 Is the interest rate of similar case appropriate?
S35 What is the domestic economic growth when undertaking project?
SS6 Is the policy of PPP appropriate when undertaking project?
S37 How many residents will participate when carrying out project?
S38 How experienced is the public
