한국보건의료기술평가학회 > 학회지 > 가감지급사업에 대한 학계 및 소비자단체와 보건의료관련단체의 인식도 조사

J Health Tech Assess 2014;2(1):10-18 ISSN 2288-5811

Copyright © 2014 The Korean Association for Health Technology Assessment

Awareness of Medical Academic Societies, Consumer Organizations and Others Including Special Interest Groups and Institutes in Healthcare Sector Concerning the Pay-for-Performance in Korea

Hyeon-Jeong Lee, MPH

¹

, Jin Yong Lee, PhD

²

, Sang-il Lee, PhD

¹

, Woo-Seung Son, MPH

¹

, Minsu Ock, MPH

¹

, and Min-Woo Jo, PhD

¹

1

Department of Preventive Medicine, University of Ulsan College of Medicine, Seoul, Korea

2

Public Health Medical Service, Seoul National University Boramae Medical Center, Seoul, Korea

가감지급사업에 대한 학계 및 소비자단체와 보건의료관련단체의 인식도 조사

울산대학교 의과대학 예방의학교실¹, 서울특별시 보라매병원 공공의료사업단²

이현정¹·이진용²·이상일¹·손우승¹·옥민수¹·조민우¹

Address for Correspondence:

Min-Woo Jo, PhD

Department of Preventive Medicine, University of Ulsan College of Medicine, 88 Olympic-ro 43-gil, Songpa-gu, Seoul 138-736, Korea Tel: +82-2-3010-4264 Fax: +82-2-477-2898

E-mail: mdjominwoo@gmail.com

Objectives:

To investigate and compare the awareness of medical academic societies, consumer or- ganizations and others including special interest groups and institutes in healthcare sector on the pay- for-performance (P4P) program of the Health Insurance Review & Assessment Service (HIRA) in Korea.

Methods:

A cross-sectional, self-administered, the internet based survey was conducted from September to November in 2010. The questionnaire consisted of 6 dimensions which contained awareness and agreement about the program, preferred design features and the possible effects and unintended consequences of the P4P program.

Results:

8 medical academic societies, 2 consumer organizations, 1 special interest group and 1 institute in healthcare sector participated in the survey. 6 medical academic societies and 1 consumer organization opposed the P4P program. The major reasons of objections to the P4P program were the possibility of strengthening government control by imple- menting P4P and the flawed standards of assessment that would fail to accurately evaluate the quality of care. Furthermore the medical academic societies which opposed the P4P answered that the pro- gram would not have a significant economic impact, lead to no change of the practice behaviors to fulfill the evaluation standard of the P4P, and fail to improve the quality of care. Not only medical ac- ademic societies but also the other organizations except one consumer organization had considerable concerns about unintended consequences of the P4P program.

Conclusion:

This is the first survey about the awareness of medical academic societies, consumer organizations and others including special interest groups and institutes in healthcare sector on the P4P in Korea. As P4P implementing agency such as HIRA continues to expand the P4P program, it is necessary to obtain their opinions and discuss ways to prepare for the expected problems.

Key Words

Pay for performance · Medical academic societies · Consumer organizations · Awareness.

Original Article

JoHTA

서 론

성과기반지불제도(pay for performance, 이하 P4P)는 의 료의 질을 향상하기 위하여 보건의료 제공에 따른 질과 재정 적 인센티브를 연계

¹⁾

하는 지불보상제도이다. P4P는 일반적

으로 보건의료기술평가를 통해 밝힌 양질의 진료 결과와 연

관이 있는 과정 혹은 결과와 관련한 질 측정치를 기반으로

한다. 이를 바탕으로 진료의 질 측면에서 성공적인 성과 달

성을 이룬 의료제공자에게 금전적인 인센티브 보상을 지불

함으로써 보험자와 의료제공자가 경제적인 인센티브와 질과

관련한 성과를 연계할 수 있도록 하는 프로그램이다.

²⁾

P4P 제도는 미국, 영국 및 호주 등 많은 Organization for Economic Cooperation and Development 국가에서 시행되 고 있다. 미국은 2005년 건강관리기구(Health Maintenance Organization)의 52%가 제공자와의 계약시 P4P 방식을 활용 하고 있다. 영국은 국가보건서비스(National Health Service) 에서 2004년에 일차의료 영역에 도입한 질 성과 체계(Quali - ty and Outcomes Framework)를 통해 질 지표를 이용하여 성과를 평가하고 있으며 그 결과를 바탕으로 인센티브를 지 불하고 있다. 호주 역시 일차의료 기관에 대해 진료 인센티 브 프로그램(Practice Incentive Program)이라는 성과급 제 도를 운영하고 있는데 3가지 범주(quality stream, capacity stream, rural support stream)에 포함된 22개 인센티브 제도 가 운영되고 있다.

³⁾

우리나라에서는 건강보험심사평가원에서 가감지급사업 이라는 이름으로 2007년부터 상급종합병원의 급성심근경색 증과 제왕절개분만을 대상으로 P4P 시범사업을 실시하였다.

이후 급성기 뇌졸중, 외래 약제적정성평가 및 수술의 예방적 항생제 사용으로 가감지급사업을 확대하였고, 향후 지속적 으로 적용 범위를 넓혀갈 계획을 가지고 있다. 가감지급 시범 사업에서는 건강보험청구자료를 바탕으로 평가를 하며 평가 결과에 따라 5등급으로 나누어 1등급에 1%의 인센티브를 지 급하고 감액기준선 이하의 5등급에는 -1%의 디스인센티브 를 적용한다. 2011년부터 실시된 가감지급 본 사업에서는 가 감률을 ±1%에서 ±2%까지 확대하였고 평가등급을 9등급으 로 세분화 하는 등 제도의 변화를 시도하였다.

⁴⁾

시범사업 결과 참여한 병원들의 급성심근경색 치료 성과 가 향상되고 제왕절개 분만율도 감소하였으며, 의료기관 간 성과의 편차가 감소하고 가장 낮은 성과를 보였던 집단에서 향상을 보였다는 보고가 있었다.

⁵⁾

또한 건강보험심사평가원 은 요양급여 적정성 평가를 실시하고 평가 결과를 공개만 할 때보다 가감지급사업을 시행하였을 때 디스인센티브를 받지 않기 위해 의료기관이 적극적으로 참여하여 질 향상이 효과 적으로 이루어졌다고 평가하고 있다.

⁴⁾

그러나 현재 우리나라에서 시행하고 있는 가감지급사업은 몇 가지 제한점을 안고 있다. 건강보험심사평가원에서 2013 년 하반기부터 의원을 대상으로 가감지급과 연계된 외래 약 제적정성평가를 실시하고 있으나

⁶⁾

여전히 평가 대상 기관이 병원급 위주로 한정되어 있다. 또한 평가에 사용되는 지표가 주로 임상 질 지표로 구성되어 있어 지표가 포괄적이지 않 다. 진료 행위 발생 시점과 보상까지의 기간이 길어 인센티 브로 인한 효과가 적을 수 있다. 가감지급사업 평가 결과 의 료의 질이 높다고 반드시 비용효과적인 진료를 제공한다고

보기 어려워 타당성 있는 평가 지표를 생산해내는 것이 필요 하다. 보험자부담금으로 인센티브 비용을 계산하므로 고비 용 기관에 많은 인센티브를 지불할 수 있고 해당 진료와 무 관한 진료비가 보험자부담금에 포함될 수 있어서 적절한 인 센티브 금액계산을 위한 방법을 강구해야 한다. 또한 어떤 평가항목에 대해 가감지급사업을 시행할 것인지에 대한 우 선순위를 고려할 필요가 있다.

향후 가감지급사업을 효과적으로 진행하여 보건의료의 질 적 수준을 높여 한정된 보건의료재원을 효율적으로 이용하 기 위해서는, 임상에서 사용되는 보건의료기술의 중재나 그 결과에 대한 정확한 평가를 통해 가감지급사업에 사용할 지 표를 생산해내는 것이 필요하다. 즉 보건의료기술평가를 근 거로 가감지급사업을 통해 환자에게 제공하는 보건의료의 질 향상을 유도할 수 있으므로 보건의료기술평가와 가감지 급사업은 밀접한 관계에 있다고 할 수 있다.

건강보험심사평가원은 향후 가감지급사업을 확대할 예정 이어서 공급자 관련 단체인 학회, 보건의료관련단체와 이용 자 관련 단체인 시민단체의 의견을 확인해보는 과정이 필요 하다. 이를 통해 해당 이해당사자가 가감지급사업에 대해 어 떤 의견을 가지고 있는지를 알아보고 향후 확대 시행될 사업 에 이러한 의견을 반영할 수 있다. 특히 건강보험심사평가원 은 가감지급사업 확대 시행을 위해 고려해야 할 사항을 파악 하여 원활한 정책 수행을 위한 설득 수단을 개발할 수 있을 것이다. 이 제도는 공급자들의 자발적인 질 향상 활동을 유 도한다는 측면에서 관계자들의 제도에 대한 올바른 인식과 협조가 가감지급사업의 성패에 매우 중요하다고 볼 수 있기 때문이다.

⁷⁾

이에 미국 및 영국,

⁸⁾

미국,

⁹⁾

캐나다

¹⁰⁾

에서는 P4P 제도에 대한 의료공급자들의 의견 수렴을 위한 설문조사를 시행하였다. 하지만, 우리나라에서는 개별 공급자에 대하여 의료기관을 대상으로 가감지급사업에 대한 인식도를 파악한 바 있으나,

¹¹⁾

아직 학회, 보건의료관련단체, 혹은 소비자단체 를 대상으로 가감지급사업에 대한 인식을 조사한 연구가 없 었다. 이 연구의 목적은 우리나라에서 수행하고 있는 가감지 급사업 시범사업에 대한 학회, 보건의료관련단체 및 소비자 단체의 인식을 파악하는 것이다.

방 법

학회 24개, 공급자 관련 이익단체를 포함한 보건의료관련

단체 15개, 소비자단체 9개를 대상으로 설문조사를 실시하

였다. 연구기간을 고려하여 단기간에 설문조사를 마치기 위

해 건강보험심사평가원의 도움을 받아 협조 공문을 작성한

후 이메일로 각 단체에 설문조사 협조 요청을 하였다. 설문

조사는 웹 서베이 프로그램을 이용하여 시행하였으며, 설문 조사 기간은 2010년 9월부터 11월까지 약 두 달간이었다.

설문내용은 응답자 일반사항, 현재 가감지급사업에 대한 인지도 및 찬반여부, 바람직한 가감지급사업의 방향, 가감지 급사업이 요양기관에 미칠 영향, 가감지급확대 우선순위, 의 도하지 않은 부작용 발생 가능성에 대한 내용으로 구성되었 다. 구체적인 설문항목은 표 1과 같다. 설문조사 결과는 빈 도분석과 같은 통계처리를 하지 않았고, 응답 결과를 전체적 으로 기술하였다.

결 과

불성실한 응답을 한 단체를 제외하면 학회는 8개, 보건의

료관련단체 2개, 소비자단체 2개가 응답하였다. 가감지급사 업에 대해 모르고 있던 1개의 학회와 2개의 보건의료관련단 체는 이후 모든 문항에 대해 답변하지 않아 연구 결과에는 포함시키지 않았다. 학회 및 보건의료관련단체, 소비자단체 의 가감지급사업에 대한 인식도 조사 결과는 다음과 같다(표 2, 3, and 4).

현재 시행하고 있는 가감지급사업에 대한 인지도 및 찬반 이유 건강보험심사평가원이 2007년부터 실시하는 가감지급사 업의 인지여부에 대해 질문하였는데, 설문에 응답한 단체들 중 학회의 경우는 6개가 가감지급사업을 인지하고 있었고, 보건의료관련단체는 2개가 인지하고 있었다. 시민단체의 경 우는 1개의 단체가 인지하고 있었다. 사업을 인지하고 있던

Table 1. 설문영역별 설문항목

설문영역 설문항목

응답자 일반사항 기관명칭, 주소, 응답자 연락처, 응답자 소속 등

인지도 및 찬반여부 인지도, 찬반여부

바람직한 가감지급사업의 방향 참여형태, 평가의 단위, 보상방식, 인센티브 지급대상, 의료기관 성과평가 방식, 중점 평가영역, 가장 중요한 평가영역, 필요재원 조달방식, 가감지급사업 시행단계, 평가대상 자료원, 참여비용 부담방식, 평가결과 공개 가감지급사업이 요양기관에 미칠 영향 재정적 영향, 합리적인 가감지급률, 의료기관 진료행태 변화여부, 진료행태 변화의 원인, 의료의 질에 대한 영향 가감지급사업 확대 우선순위 수술의 예방적 항생제 사용, 급성기 뇌졸중 평가, 혈액투석, 요양병원, 관상동맥우회로술, 약제 급여의 우선순위 의도하지 않은 부작용 발생 가능성 발생 가능한 4가지 부작용에 대한 발생 가능성

Table 2. 가감지급사업에 대한 인지 여부 및 찬성/반대 이유

A1 A2 A3 A4 A5 A6 A7 A8 B1 B2 C1 C2

인지여부 인지 인지 인지 인지 인지 인지 인지 인지 인지

찬성 찬성 찬성 찬성 찬성 찬성 NA

이유 ・ 의료기관

질 향상 유도

・ 의료기관 질 향상 유도

・ 경제적 인센티브

・ 의료기관 질 향상 유도

・ 경제적 인센티브

・ 의료기관 선택 도움 - 마케팅

효과

・ 의료기관 질 향상 유도

・ 경제적 인센티브

・ 의료기관 질 향상 유도

반대 반대 반대 반대 반대 반대 반대 반대 NA

이유 ・ 정부의 통제 수단

・ 불완전한 평가 기준

・ 질 향상 어려움

・ 불완전한 평가 기준

・ 질 향상 어려움

・ 정부의 통제 수단

・ 불완전한 평가 기준

・ 부작용 발 생 가능성

・ 추가 업무 의 부담

・ 평가 자료 부정확성

・ 정부의 통제 수단

・ 불완전한 평가 기준

・ 부작용 발 생 가능성

・ 질 향상 어려움

・ 추가 업무 의 부담

・ 정부의 통제 수단

・ 불완전한 평가 기준

・ 추가 업무의 부담

・ 정부의 통제 수단

・ 불완전한 평가 기준

・ 질 향상 어려움

・ 정부의 통제 수단

・ 부작용 발 생 가능성

・ 질 향상 어려움

・ 추가

업무의

부담

A: 학회, B: 보건의료관련단체, C: 소비자단체, NA: 응답 없음

학회 중 5개는 사업에 반대하였고 사업을 모르고 있던 학회 의 경우 1개의 학회가 반대하여 설문에 응답한 학회 중 6개 가 가감지급사업에 반대하고 있었다. 반면, 보건의료관련단 체는 응답한 단체 모두 찬성하였고 시민단체는 1개만 찬성 하였다. 설문에 응답한 단체들이 대표성을 띤다고 볼 수 없 고 찬반 의사에 대한 통계적 분석을 할 수는 없으나 보건의 료관련단체나 시민단체에 비해 학회에서 가감지급사업에 대 해 반대를 많이 하였다.

가감지급사업에 반대한 학회들이 가장 많이 선택한 반대 의 이유는 ‘현재 평가 기준이 완벽하지 않아 의료기관의 질 이나 질 향상 정도를 평가하기 미흡할 것’이었다. 이와 관련 하여 좀 더 세부적인 의견이 제시되었는데 특정한 수술의 시 행 여부에 따라 산출되는 평가 지표가 해당 진료과의 의료의 질을 대변할 수 없다는 의견이 있었다. 또한 가감지급사업에 서 사용하는 지표가 일정 규모 이상의 병원에 유리하고 작은 규모의 의료기관에 불리하여 의료기관의 질을 향상시키는 데에는 역부족이라는 의견도 있었다. 이러한 의견들은 모두 가감지급사업의 평가기준에 대한 것으로 사업의 평가 지표 를 개선할 경우 해결될 여지가 있는 부분이다.

한편 그 다음으로 많이 선택한 반대의 이유는 가감지급사 업의 제도 개선만으로는 해결하기 어려운 이유로서, ‘궁극적 으로 정부가 가감지급사업을 의료기관 통제를 위한 하나의 수단으로 사용할 가능성이 있기 때문’이었다. 이는 정부와의 관계에 해당되는 부분이기 때문에 관련 단체의 가감지급사 업에 대한 협력을 얻어내기 위해서는 다른 차원의 노력이 필 요할 것으로 보인다. 세 번째로 많이 선택한 반대의 이유는

‘현재 평가기준을 모두 따른다고 해도 궁극적인 의료의 질 향상이 이루어진다고 보기 어렵기 때문’이라고 하여, 의료의 질 향상의 방법으로서 가감지급사업의 효과를 신뢰하지 않 는 것으로 볼 수 있다.

반면, 가감지급사업에 대해 찬성한 학회나 보건의료관련 단체, 소비자단체들이 찬성한 이유를 살펴보면, ‘이 사업이 전체 의료기관의 향상을 유도하는 긍정적인 효과가 있기 때 문’이라고 하였다. 이는 사업에 반대하였던 학회들이 가감지 급사업의 효과를 신뢰하지 않았던 부분과는 대치되는 양상 을 나타냈다.

바람직한 가감지급사업의 방향

가감지급사업의 참여 형태에 대해 4개의 학회는 ‘자발적으 로 참여하겠다는 의료기관만 대상으로 시행해야 한다’고 하 였고, 2개의 학회는 ‘일정 요건을 갖춘 의료기관들은 모두 의 무적으로 참여하도록 해야 한다’는 안에 동의하였다. 보건의 료관련단체와 시민단체의 경우에도 자발적 참여와 의무적

참여에 대한 선호가 혼재하였다. 한 학회의 경우 해당 과는 가감지급사업에서 제외되어야 한다는 의견을 나타내 가감지 급사업 자체에 대해 부정적인 의견을 보였다. 또 다른 학회 는 이미 질 관리가 잘 되고 있는 대형 병원은 가산 지급 대상 에서 제외되어야 한다고 하여 병원의 규모에 따라 가감지급 사업의 시행에 차별성을 두어야 한다는 의견을 제시하였다.

가감지급사업의 평가단위에 대해서는 설문에 응답한 모든 단체가 ‘의사 개개인에 대한 평가를 하는 것이 아니라 의료 기관을 하나의 단위로 보고 그 성과를 평가해야 한다’고 하 였다.

가감지급사업 시행시 평가 결과에 따라 경제적 인센티브 또는 경제적 불이익을 주는 방안에 대해서 학회는 두 가지 방법을 병용해야 한다는 의견도 있었고 경제적 인센티브만 주고 경제적 불이익을 주면 안 된다는 의견도 나타났다. 보 건의료관련단체의 경우 경제적 인센티브만 지급해야 한다고 하였고, 소비자단체는 병용하는 방안만 찬성하였다. 일부 학 회의 경우 경제적인 인센티브와 패널티 모두 부정하는 응답 도 있었고 질 관리가 안 되었던 병원이 향상을 보였을 때에 만 인센티브를 주어야 한다는 의견도 있었다. 설문에 응답한 학회의 수가 많아 보건의료관련단체와 소비자단체에 비해 좀 더 다양한 의견을 제시한 점을 감안하더라도 학회의 경우 가감지급사업으로 인해 경제적 불이익을 받는 것을 선호하 지 않는 의견이 많았다.

경제적 인센티브 지급 대상에 대해서는 대부분의 단체들 이 ‘성과가 뛰어난 의료기관과 이전 연도에 비해 질 향상의 정도가 큰 기관에 대해 모두 경제적인 인센티브를 제공해야 한다.’는 방식에 동의하였다. 다만 학회의 경우 가장 우수한 기관과 질 향상의 정도가 큰 기관에 대해 상징적인 표창만 해도 충분하며 경제적인 인센티브를 제공할 필요가 없다는 의견도 있었고, 질 향상한 의료기관에만 경제적 인센티브를 제공해야 한다는 의견도 있었다.

경제적 인센티브를 제공할 경우 의료기관을 평가하는 방 법에 대해서는 다수의 단체들이 ‘상대평가 혹은 절대평가를 일률적으로 적용하는 것이 아니라 평가지표의 성격이나 평 가대상 질환의 특성을 반영하여 일정 부분에 대해서는 상대 평가를 실시하고 일정 부분에 대해서는 절대평가를 이용하 는 방식’을 선호하였다. 이 외의 방식으로서 ‘전체 의료기관 의 평가결과를 놓고 상위 의료기관에 대해서만 경제적 인센 티브를 주는 방식’을 선호한 학회가 1개, 소비자단체가 1개 있었고, ‘의료기관의 순위에 상관없이 일정 기준 이상을 충 족하는 모든 의료기관에 대해 경제적 인센티브를 주는 방식’

에 대해서는 학회 2개가 선호하였다.

의료기관 성과 평가에 포함시켜야 할 영역으로서 임상적

질, 환자중심 지표, 효율성에 대해 질문하였는데 임상적 질 에 대해서는 모든 단체가 동의하였다. 환자의 만족도와 같은 환자중심지표에 대해서는 소비자 단체는 모두 동의하였으 나, 학회와 보건의료관련단체는 동의 여부가 혼재하였다. 진 료 비용과 같은 효율성 지표에 대해서는 3개의 학회를 제외 한 모든 단체가 평가할 필요가 있다고 동의하였다. 또한 평 가 영역의 중요도에 대해서 설문에 응답한 대부분의 단체들 은 임상적 질 평가 영역이 가장 중요하다고 하였고, 학회 1개 와 보건의료관련단체 1개는 환자중심 지표가 가장 중요하다 고 답하였다.

가감지급사업의 시행 단계에 대해서는 많은 단체들이 ‘임 상적 질, 환자중심지표, 효율성 지표의 세 가지 영역의 주요 지표가 모두 생성될 때까지 기다렸다가 모든 지표가 생성되 는 시점에 평가를 시행하는 방식(delayed method)’에 대해 동의하였다. 학회 2개와 보건의료관련단체 1개, 시민단체 1 개는 효율성 지표는 생성하는 데 시간이 많이 걸리므로 ‘세 가지 영역의 주요 지표가 모두 생성되지 않았을지라도 우선 생성된 지표를 가지고 평가를 시행하고 향후에 생성되는 지 표를 추가하는 방식(phased method)’을 선호하는 것으로 나 타났다.

평가를 위해 사용해야 할 자료원에 대해서는 설문에 응답 한 대부분의 단체가 ‘의료기관이 진료비 청구를 위해 건강보 험심사평가원에 제출하는 행정 및 전산자료 외에 의무기록 등의 임상자료도 함께 이용해야 한다.’고 하였다. 그 외에 학 회 1개와 보건의료관련단체 1개는 ‘의료기관이 진료비 청구 를 위해 건강보험심사평가원에 제출하는 행정 및 전산자료 만을 이용해야 한다.’는 의견을 제시하기도 하였다.

경제적 인센티브 제공시 필요한 재원과 사업 진행에 소요 되는 비용에 대해서는 공통된 의견을 나타냈다. 대부분의 단 체는 가감지급사업시 경제적 인센티브 제공을 위해 필요한 재원을 추가로 확보해야 한다고 하였으며, 평가를 위해 의무 기록 조사나 현장 조사를 실시할 때 소요되는 비용의 부담은 건강보험심사평가원이 전적으로 부담해야 한다고 하였다.

조사에 소요되는 비용 부담에 관련한 나머지 의견으로는 1개 의 시민단체가 건강보험심사평가원과 의료기관이 비율을 정 해 놓고 공동으로 부담해야 한다고 하였고, 일부 학회는 의 료기관 내에서 임상 질 평가나 질 개선 활동을 이미 시행하 고 있으므로 건강보험심사평가원의 P4P 시행은 행정적으로 낭비를 초래한다는 의견을 제시하였다. 향후 가감지급사업 이 확대 될 때 이로 인해 추가적인 행정 비용이 소요된다면 관련 단체들의 반발이 생겨날 수 있다고 예상해 볼 수 있다.

가감지급사업의 평가 결과를 국민에게 공개하는 것에 대 해서는 3개의 학회를 제외한 단체들이 모두 동의하였는데

이 학회들은 가감지급사업에 반대의사를 표명한 단체들이 다. 가감지급사업에 반대했던 나머지 3개의 학회들은 사업 결과를 외부에 공개하는 것에 동의하였다.

가감지급사업이 미칠 영향 및 의도하지 않은 부작용 향후 가감지급사업이 확대될 경우 의료기관에 미칠 재정 적 영향에 대해서는 경제적으로 영향을 미치지 않을 것이라 는 의견이 제일 많았으나, 경제적으로 손해가 될 것이라는 의견은 3개의 학회가, 이익이 될 것이라는 의견은 1개의 학 회와 1개의 보건의료관련단체가 나타냈다.

가감지급사업이 경제적으로 영향을 미치지 않거나 또는 이 사업으로 인해 경제적으로 손해를 볼 것이라고 응답하였 던 학회들은 대부분 가감비율이 낮다고 보았다. 이러한 학회 들의 적정 가감비율에 대한 의견을 살펴보면, 향후 가산비율 의 수준을 3~5%로 인상하자는 의견이 1% 미만으로 낮추자 는 의견보다 더 많다. 반면 감산비율에 대해서는 1%나 1%

미만으로 하자는 의견이 감산비율을 증가시키자는 의견보다 더 많았다.

사업이 확대 시행될 경우 사업 이전과 비교하여 사업 이후 에 의료기관의 진료 행태가 바뀔 것인지에 대해서는 4개의 단체만이 의료기관의 진료 행태에 변화가 없을 것이라고 하 였는데 모두 가감지급사업에 반대의사를 표명하였던 학회들 이었다. 이 학회들은 가감지급사업이 환자에게 제공되는 의 료의 질에도 별다른 영향을 미치지 않거나 오히려 의료의 질 을 저하시킬 것이라고 보았다.

나머지 학회와 다른 단체들은 가감지급사업이 지향하는 방향으로 바뀔 것이라고 하였고, 환자에게 제공되는 의료의 질이 향상될 것이라는 의견이 대부분이었다. 이렇게 예상한 이유는 ‘평가결과가 국민에게 공개될 가능성이 많으므로 의 료기관의 이미지를 향상시키기 위해서’라는 답변이 주요했 고, 가감지급사업으로 ‘좋은 평가를 받게 되면 더 많은 경제 적 인센티브를 받을 수 있기 때문’, ‘평가문항이 의료의 질적 측면을 강조하고 있기 때문’이라는 의견도 있었다. 즉 가감 지급사업이 의료기관에 지급하는 경제적 인센티브나 의료의 질적 측면을 제대로 평가하는지 여부보다는, 가감지급사업 의 결과가 공개될 경우 의료기관에 이미지에 미칠 영향에 더 큰 의미를 두고 있었다.

가감지급사업으로 인해 의료기관의 진료 행태가 변화하지

않을 것이고 환자에게 제공되는 의료의 질에 변화가 없거나

질이 저하될 것이라고 응답한 단체는 4개의 학회 뿐이었으

나 가감지급사업 시행시 의도하지 않은 부작용에 대해서는

보건의료관련단체와 소비자단체를 포함하여 훨씬 더 많은

단체들이 우려하고 있었다. 1개의 소비자단체만이 부작용

Table 3.

바람직한 가감지급사업의 방향

A 1 A 2 A 3 A 4 A 5 A 6 A 7 A 8 B 1 B 2 C 1 C 2 참 여 형 태 의 무 적 참 여 해 당 과 참 여 제 외 자 발 적 참 여 이 미 질 관 리 가 되 는 병 원 은 참 여 제 외

자 발 적 참 여 자 발 적 참 여 의 무 적 참 여 자 발 적 참 여 의 무 적 참 여 자 발 적 참 여 의 무 적 참 여 자 발 적 참 여 평 가 단 위 의 료 기 관 의 료 기 관 의 료 기 관 의 료 기 관 의 료 기 관 의 료 기 관 의 료 기 관 의 료 기 관 의 료 기 관 의 료 기 관 의 료 기 관 의 료 기 관 인 센 티 브 /디 스 인 센 티 브 병 용 모 두 반 대 경 제 적 인 센 티 브 만 제 공

병 용 경 제 적 인 센 티 브 만 제 공

경 제 적 인 센 티 브 만 제 공

병 용 경 제 적 인 센 티 브 만 제 공

경 제 적 인 센 티 브 만 제 공

병 용 병 용 인 센 티 브 지 급 방 식 ・ 평 가 우 수 기 관 ・ 질 향 상 기 관

・ 경 제 적 인 센 티 브 반 대

・ 평 가 우 수 기 관 ・ 질 향 상 기 관

・ 질 향 상 기 관 ・ 평 가 우 수 기 관 ・ 질 향 상 기 관

・ 평 가 우 수 기 관 ・ 질 향 상 기 관

・ 평 가 우 수 기 관 ・ 질 향 상 기 관

・ 평 가 우 수 기 관 ・ 질 향 상 기 관

・ 평 가 우 수 기 관 ・ 질 향 상 기 관

・ 평 가 우 수 기 관 ・ 질 향 상 기 관

・ 평 가 우 수 기 관 ・ 질 향 상 기 관

・ 평 가 우 수 기 관 ・ 질 향 상 기 관 의 료 기 관 성 과 평 가 방 식 상 대 평 가 병 행 병 행 병 행 병 행 병 행 절 대 평 가 병 행 병 행 병 행 병 행 상 대 평 가 중 점 평 가 영 역 (* : 가 장 중 요 한 지 표 ) 임 상 적 절 ○ * ○ * ○ * ○ ○ * ○ * ○ * ○ * ○ ○ * ○ * ○ * 환 자 중 심 지 표 ○ ○ * ○ ○ ○ * ○ ○ 효 율 성 ○ ○ ○ ○ ○ ○ ○ ○ ○ 필 요 재 원 조 달 방 식 필 요 재 원 추 가 확 보

필 요 재 원 추 가 확 보 필 요 재 원 추 가 확 보 필 요 재 원 추 가 확 보 필 요 재 원 추 가 확 보 필 요 재 원 추 가 확 보 필 요 재 원 추 가 확 보 필 요 재 원 추 가 확 보 필 요 재 원 추 가 확 보 필 요 재 원 추 가 확 보 필 요 재 원 추 가 확 보 필 요 재 원 추 가 확 보 가 감 지 급 사 업 시 행 단 계 D el ay ed m et h od

D el ay ed m et h od D el ay ed m et h od D el ay ed m et h od D el ay ed m et h od D el ay ed m et h od P h as ed m et h od P h as ed m et h od P h as ed m et h od D el ay ed m et h od P h as ed m et h od

D el ay ed m et h od 평 가 대 상 자 료 원 ・ 건 강 보 험 심 사 평 가 원 자 료 ・ 의 무 기 록

・ 선 정 된 평 가 지 표 에 따 라 다 른 자 료 원 사 용

・ 건 강 보 험 심 사 평 가 원 자 료 ・ 의 무 기 록

・ 건 강 보 험 심 사 평 가 원 자 료 ・ 의 무 기 록

・ 건 강 보 험 심 사 평 가 원 자 료

・ 건 강 보 험 심 사 평 가 원 자 료 ・ 의 무 기 록

・ 건 강 보 험 심 사 평 가 원 자 료 ・ 의 무 기 록

・ 건 강 보 험 심 사 평 가 원 자 료 ・ 의 무 기 록

・ 건 강 보 험 심 사 평 가 원 자 료 ・ 의 무 기 록

・ 건 강 보 험 심 사 평 가 원 자 료

・ 건 강 보 험 심 사 평 가 원 자 료 ・ 의 무 기 록

・ 건 강 보 험 심 사 평 가 원 자 료 ・ 의 무 기 록 참 여 비 용 부 담 건 강 보 험 심 사 평 가 원

건 강 보 험 심 사 평 가 원

건 강 보 험 심 사 평 가 원

건 강 보 험 심 사 평 가 원

건 강 보 험 심 사 평 가 원

건 강 보 험 심 사 평 가 원

건 강 보 험 심 사 평 가 원

건 강 보 험 심 사 평 가 원

건 강 보 험 심 사 평 가 원

건 강 보 험 심 사 평 가 원 과 의 료 기 관 공 동 부 담

건 강 보 험 심 사 평 가 원 평 가 결 과 공 개 찬 성 반 대 찬 성 반 대 반 대 찬 성 찬 성 찬 성 찬 성 찬 성 찬 성 찬 성

발생 가능성에 동의하지 않았고, 그 외의 모든 단체들은 여 러 부작용이 발생할 가능성이 있다고 하였다. 가장 우려하는 부작용은 ‘좋은 평가를 받기 위해 고위험 환자를 기피할 가 능성’이 있다는 것이었으며, ‘임상적으로 중요하다고 판단되 는 처치 및 시술일지라도 가감지급사업의 평가문항에 포함 되어 있지 않으면 평가결과에 영향을 미치지 않으므로 그것 을 생략하거나 소홀히 할 가능성’, ‘경제적인 인센티브를 받 기 위해 환자에게 필수적인 의료서비스를 아예 제공하지 않 거나 생략할 가능성’에 대해서도 많은 단체들이 우려하고 있 었다. 그 외에 ‘좋은 평가를 받기 위해 전산자료나 환자자료 를 조작할 가능성’에 대한 의견 표명도 있었고, ‘가감지급사 업에서 좋은 결과를 얻기 위해 무리한 진료를 시행하여 환자 건강에 나쁜 영향을 끼칠 것’, ‘사업에 호응하는 과정에 들어 가는 비용이 인센티브보다 적어 기존의 적자폭이 확대될 경 우 포기하는 기관이 늘어날 것’, ‘의료기관 평가에서 나타나 는 각종 부작용이 모두 나타날 수 있을 것’, ‘결과에 대한 지 나친 광고나 홍보는 낮은 평가를 받은 병원에 가면 치료가 안 된다는 이미지를 줄 것’이라는 예상도 있었다.

고 찰

이 연구는 우리나라에서 수행하고 있는 가감지급사업 시 범사업에 대한 학회, 보건의료관련단체 및 소비자단체의 인 식을 파악하고자 수행되었다. 대한의학회 소속 학회 중 각 진료 전문 과목 대표 학회에 응답을 요청하였고, 공급자 관 련 단체를 포함한 보건의료관련단체 및 소비자단체에 가감 지급사업에 대한 인식 및 수행 과정과 관련한 여러 가지 사 항에 대한 의견을 구하였다. 가감지급사업을 잘 수행하면 의 료의 질 향상에 적절한 기여를 할 것이라는 측면에서의 찬성 도 있었지만, 아직 가감지급사업에 적용하기에는 준비가 부 족하다는 이유로 반대 의견을 표시한 경우가 더 많았다.

이 연구에서는 개별 응답자의 의견보다는 가능한 기관의 대표 의견을 받고자 하였다. 응답을 할 때에도 기관의 대표 의견을 보내줄 것을 요청하였다. 연구 결과를 일반화하거나 학회의 종류가 응답 결과에 미치는 영향을 살펴보기는 어렵 다. 하지만, 여러 차례 응답을 해주기를 요청하였음에도 불 구하고 당장 대상이 아니기 때문에 응답을 하지 않았다는 것 은 이 사업에 대한 인식이나 관심이 부족하다는 것을 반증해 주는 것이라고도 할 수 있다. 외국의 사례를 살펴볼 때에도 P4P에 대한 인식이 낮은 경우 제도에 대한 인식수준도 낮았 고

⁸⁾

P4P로 인해 받게 될 인센티브에 대한 지식도 결여되어 있다는 보고

⁹⁾

가 있었다. 이러한 인지도 저하나 인식 결여는 곧 사업의 실패로 연결되었다는 Medicare의 암 검진 P4P 사 Table 4.

가감지급사업이 미치는 영향

A 1 A 2 A 3 A 4 A 5 A 6 A 7 A 8 B 1 B 2 C 1 C 2 재 정 적 인 영 향 영 향 없 음 영 향 없 음 경 제 적 손 해 경 제 적 손 해 영 향 없 음 경 제 적 손 해 영 향 없 음 경 제 적 이 익 경 제 적 이 익 영 향 없 음 영 향 없 음 영 향 없 음 현 재 가 감 산 비 율 의 적 정 성 낮 다 낮 다 낮 다 높 다 낮 다 적 당 하 다 낮 다 적 당 하 다 적 당 하 다 적 당 하 다 낮 다 적 당 하 다 최 상 급 기 관 에 대 한 가 산 율 3% 1% 미 만 5% 1% 미 만 5% 3% 5% 1% 5% 1% 1% 2% 감 액 기 준 선 이 하 의 감 산 율 2% 1% 미 만 1% 미 만 1% 미 만 2% 1% 5% 1% 3% 1% 1% 2% 의 료 기 관 진 료 행 태 변 화 가 능 성 변 화 없 음 변 화 없 음 긍 정 적 변 화 긍 정 적 변 화 변 화 없 음 변 화 없 음 긍 정 적 변 화 긍 정 적 변 화 긍 정 적 변 화 긍 정 적 변 화 긍 정 적 변 화 긍 정 적 변 화 의 료 기 관 의 진 료 행 태 변 화 이 유 ・ 경 제 적 인 센 티 브 ・ 이 미 지 향 상

・ 경 제 적 인 센 티 브 ・ 의 료 의 질 측 면 강 조

・ 이 미 지 향 상

・ 이 미 지 향 상

・ 이 미 지 향 상

・ 경 제 적 인 센 티 브 ・ 이 미 지 향 상

・ 경 제 적 인 센 티 브 ・ 의 료 의 질 측 면 강 조

・ 이 미 지 향 상 ・ 의 료 의 질 측 면 강 조

・ 이 미 지 향 상

・ 이 미 지 향 상 의 료 질 의 변 화 가 능 성 변 화 없 음 변 화 없 음 질 향 상 질 향 상 질 저 하 변 화 없 음 질 향 상 질 향 상 질 향 상 변 화 없 음 질 향 상 질 향 상 의 도 하 지 않 은 부 작 용 고 위 험 환 자 기 피 ○ ○ ○ ○ ○ ○ ○ ○ × ○ × ○ 비 평 가 항 목 의 소 홀 함 및 생 략 ○ ○ ○ ○ × ○ ○ ○ ○ × × ○ 필 수 의 료 서 비 스 의 미 제 공 및 생 략 ○ ○ ○ ○ ○ ○ ○ × × ○ × ○ 자 료 조 작 가 능 성 × × ○ ○ × ○ ○ ○ × × × ○

례

¹²⁾

를 살펴볼 때 향후 건강보험심사평가원이 이 사업을 성 공적으로 확대해 나가기 위해서는 관련 학회에 적극적인 이 해와 협조를 구하고 사업 내용에 대한 효율적인 홍보를 하여 야 할 것으로 판단된다.

설문조사 결과 가감지급사업의 평가단위, 경제적 인센티 브 지급대상, 의료기관 평가 방식, 중점 평가 영역, 경제적 인 센티브에 필요한 재원 마련, 사업 시행 단계, 평가에 필요한 자료원, 사업 참여 비용 부담, 평가 결과 외부 공개에 대해서 는 대다수의 단체가 공통된 의견을 보이고 있다. 반면 사업 시행에 대한 찬반, 참여 대상 기관 선정, 경제적 인센티브나 불이익의 제공, 사업을 확대 시행할 경우 의료기관에 미치는 재정적인 영향, 적정한 가감비율, 사업 확대 시행시 의료기 관의 진료행태 변화나 환자에게 제공되는 의료의 질에 미치 는 영향에 대해서는 다양한 의견을 제시하였다.

이 설문조사에서 주목해야 할 부분은 각 진료 전문 과목의 여러 대표 학회가 가감지급사업에 대해 반대하였으며, 반대 이유는 가감지급사업의 구체적인 시행 내용과 함께 가감지 급사업에 대한 정부의 목적, 가감지급사업 자체의 효과에 대 한 신뢰성 저하가 가장 주요하였다는 것이다. 그러므로 향후 가감지급사업 확대 시행을 위해서는 사업을 좀 더 정교하게 보완하려는 노력과 함께 정부와의 신뢰관계 개선과 같은 다 양한 노력이 필요할 것으로 보인다.

가감지급사업에 대해 찬성 또는 반대를 한 단체들은 가감 지급사업의 방향에 대한 선호도 조사에서는 대부분의 항목 에서 의견이 일치되었으나 가감지급사업이 미치는 영향에 대해서는 찬반에 따라 답변 내용이 다른 양상을 보였다. 가 감지급사업에 대해 반대하였던 학회들은 가감지급사업의 확 대 시행으로 인해 의료기관에 미칠 경제적 영향, 의료기관의 진료행태나 환자에게 제공되는 의료의 질 변화에 대해 대체 적으로 공통된 답변을 하였다. 이 학회들은 사업이 확대 시 행될 경우 의료기관에 재정적인 영향을 미치지 않거나 손해 가 발생할 것이며, 사업 시행으로 인해 의료기관의 진료행태 가 변화하지 않고, 환자에게 제공되는 의료의 질에도 변화가 없거나 혹은 저하될 것이라는 의견을 형성하였다. 한편 가감 지급사업에 찬성하였던 학회, 보건의료관련단체, 소비자단 체는 사업이 의료기관에 미칠 재정적인 영향에 대해서 공통 된 의견을 보이지는 않았지만, 의료기관 진료행태가 긍정적 으로 변하고 환자에게 제공되는 의료의 질이 향상될 것이라 는 의견에는 모두 동의하였다. 찬반의 의견과 의료의 질 변 화 양상에 따라 다른 의견을 보였던 점은 요양병원을 대상 으로 실시하였던 가감지급사업의 인식도 조사 결과와 유사 하였다.

¹³⁾

가감지급사업에 대한 찬반에 따라 사업 결과에 대한 예상

이 나뉘는 이유는 단체들이 사업에 찬성 또는 반대했던 이유 와도 연관이 되어 있는 것으로 보인다. 사업에 찬성했던 단 체들은 사업이 의료기관 질 향상에 긍정적 영향을 미치기 때 문에 찬성한 경우가 많았고, 반대한 단체들은 사업이 의료의 질 향상을 평가하기 미흡하고 평가기준을 모두 충족해도 질 향상이 어렵기 때문에 반대한다고 하였다. 가감지급사업이 질 향상을 위한 책임감을 높이고,

¹⁴⁾

조직의 구조와 프로세스 의 변화를 유도할 수 있다

¹⁵⁾

는 연구가 있음에도 불구하고, 의 료 서비스 공급자들이 속한 학회는 우리나라의 P4P 사업이 원래 의도하고 있는 의료의 질 향상을 효과적으로 이루어내 는 것에 대해 동의하지 않고 있다. 이러한 우려를 해소하고 가감지급사업을 성공적으로 확대 시행하기 위해서는 가감지 급사업이 의료의 질을 타당성 있게 평가하고 이에 대해 적절 한 보상을 실시하여 실질적인 의료의 질 향상을 이룰 수 있 도록 해야 할 것이다. 또한 사업으로 인해 진료행태가 긍정 적으로 변화하고 이로 인해 환자에게 제공되는 의료의 서비 스 질이 향상되어 궁극적 의료의 질 향상이 이루어지는 일련 의 과정에 대해 실증적인 사례를 발굴하는 노력도 필요할 것 이다.

가감지급사업이 보건의료 제공에 따른 질과 재정적 인센 티브를 연계하는 사업임에도 불구하고 설문에 응답한 많은 단체들은 사업이 의료기관에 경제적으로 영향을 미치지 않 을 것이라고 보았고 가감지급 비율의 변화가 필요하다고 하 였다. 평가 결과에 따른 경제적 인센티브와 패널티의 제공에 대해 인센티브만 제공하는 것과 패널티를 함께 병용하는 것 에 대한 선호도가 비슷하였음에도 불구하고, 가산비율은 2%

이상으로 더욱 증가시키고 감산비율은 1%나 1% 미만으로 유지하자는 의견이 우세하였다. 이러한 응답 결과를 보면 평 가 결과에 따라 경제적 패널티를 적극적으로 시행하기 전에 많은 고려가 필요할 것으로 보인다.

설문 조사 결과 여러 단체들이 공통적인 의견을 보인 부분 은 사업으로 인한 의도하지 않은 부작용 발생에 대한 것이었 다. 1개의 소비자 단체를 제외한 모든 단체들은 여러 부작용 을 예상하고 있었다. P4P와 같은 지표관리시스템으로 인해 인센티브가 왜곡되고 의도하지 않은 결과가 발생할 가능성 은 언제나 존재한다.

^16,17)

고위험 환자 기피나 평가 이외의 항 목에 대해 소홀히 하는 것

⁷⁾

에 대한 부분은 이미 해외에서도 유사한 보고가 있다. 가감지급사업의 확대 시행시 예상되는 부작용에 대해서 공청회를 통해 사업 적용의 문제점을 함께 파악하면서 제도의 대비책을 마련해 놓아야 할 것이다. 특히 고위험 환자 기피 방지나 평가 항목에서 제외된 영역에 대한 관리 방법에 대해 심도 깊은 논의가 필요할 것이다.

소비자 단체의 답변 중 특이할 부분은 가감지급사업시 가

장 중요한 중점평가영역으로 환자중심지표가 아니라 임상적 질 지표를 꼽았다는 것이다. 이는 소비자 단체의 시각에서 환자의 만족보다는 환자에게 직접 제공되는 의료서비스의 질이 보장되는 것에 더 우선순위를 두는 것으로 볼 수 있으 며, 여전히 의료의 질에 대해 신뢰성이 높지 않은 것을 반증 하는 것이라고 할 수 있다.

결 론

이 연구는 학회, 보건의료관련단체, 소비자단체가 가감지 급사업에 대해 어떤 시각을 가지고 있는지 알아보기 위해서 실시한 것에 연구의 의의가 있다고 할 것이다.

가감지급사업에 대해 대부분의 학회는 반대하고 있었고 보건의료관련단체와 소비자단체 일부는 찬성하고 있었다.

학회의 반대 이유는 정부에 대한 불신과 제도 자체의 효과에 대한 낮은 신뢰성이 주요하였고, 가감지급사업으로 인한 여 러 부작용들의 발생을 우려하고 있었다. 이러한 응답 내용을 바탕으로 가감지급사업을 성공적으로 시행하여 한정된 자원 을 효과적으로 사용하고 의료의 질을 향상시키기 위해 정부 와 건강보험심사평가원은 관련단체의 의견을 심도 있게 살 펴보는 노력이 필요할 것이다. 향후 가감지급사업이 확대되 고 제도로 정착시 이 연구 결과가 도움이 될 것이라고 기대 한다.

Acknowledgments

건강보험심사평가원으로부터 연구비 지원을 받아 이 연구를 시 행하였음.

REFERENCES

1) Glickman SW, Peterson ED. Innovative health reform models: pay- for-performance initiatives. Am J Manag Care 2009;15(10 Suppl):

S300-S305.

2) Brown JA. The Healthcare Quality Handbook: A Professional Re- source and Study Guide. 24th Annual ed. Pasandena, Ca: JB Quality Solutions, Inc.;2009/2010.

3) Australian Government Department of Human Services. Practice In- centives Program (PIP) payments and calculations. Available from:

http://www.medicareaustralia.gov.au/provider/incentives/pip/pay- ment-formula/index.jsp.

4) Health Insurance Review & Assessment Service. Achievement and Future of Korean Value Incentive Programme. J Kor Soc Qual Assur Health Care 2011;17:5-20.

5) The Organization for Economic Co-operation and Development.

OECD Reviews of Health Care Quality: Korea Raising Standards;

2010.

6) 건강보험심사평가원. ‘13년 하반기 『외래 약제적정정평가 가감지 급 사업 계획』 안내. Available from: http://www.hira.or.kr/cms/no- tice/01/__icsFiles/afieldfile/2013/05/02/01_1.pdf.

7) Casalino LP, Alexander GC, Jin L, Konetzka RT. General internists’

views on pay-for-performance and public reporting of quality scores:

a national survey. Health Aff (Millwood) 2007;26:492-499.

8) McDonald R, Roland M. Pay for performance in primary care in England and California: comparison of unintended consequences.

Ann Fam Med 2009;7:121-127.

9) Young GJ, Burgess JF Jr, White B. Pioneering pay-for-quality: les- sons from the rewarding results demonstrations. Health Care Financ Rev 2007;29:59-70.

10) Kaczorowski J, Goldberg O, Mai V. Pay-for-performance incentives for preventive care: views of family physicians before and after par- ticipation in a reminder and recall project (P-PROMPT). Can Fam Physician 2011;57:690-6.

11) Lee JY, Lee SI, Kim NS, Kim SH, Son WS, Jo MW. Healthcare orga- nizations’ attitudes toward pay-for-performance in Korea. Health Pol- icy 2012;108:277-285.

12) Hillman AL, Ripley K, Goldfarb N, Nuamah I, Weiner J, Lusk E.

Physician financial incentives and feedback: failure to increase cancer screening in Medicaid managed care. Am J Public Health 1998;88:

1699-1701.

13) Lee JY, Lee SI, Son WS, Kim HJ, Ock MS, Jo MW. Awareness of long-term care hospital on pay-for-performance. Korean J Hosp Man- ag 2013;18:42-58.

14) Damberg CL, Raube K, Teleki SS, Dela Cruz E. Taking stock of pay- for-performance: a candid assessment from the front lines. Health Aff (Millwood) 2009;28:517-525.

15) Reiter KL, Nahra TA, Alexander JA, Wheeler JR. Hospital responses to pay-for-performance incentives. Health Serv Manage Res 2006;19:

123-134.

16) Roberts A. Integrating strategy with performance measures. Manage- ment Development Review 1994;7:13-15.

17) Smith P. On the unintended consequences of publishing performance

data in the public sector. Int J Public Adm 1995;18:277-310.