적정성 평가항목별 종합점수
산출방법 체계화 방안 연구
적정성 평가항목별 종합점수
산출방법 체계화 방안 연구
연 구 진 연구책임자 이현주 부연구위원 공동연구자 김기영 주임연구원 김묘정 주임연구원 조현민 주임연구원2000년 7월 국민건강보험법 개정에 따라 2001년부터 현재까지 요양급여 적정성 평가 를 시행하고 있으며, 2017년 현재 32개 항목에 대해 평가를 진행하고 있다. 적정성 평가 의 목적은 국민에게 평가결과 정보를 제공하여 의료기관 선택정보로 활용하도록 하고 의료 제공자에게는 평가결과를 제공하여 벤치마킹 자료로 활용하고 가치 평가 결과에 따른 인센 티브 제공 등을 통해 자율적으로 질 향상 개선 활동을 하도록 동기부여를 하는 것이다. 최근 요양급여 적정성 평가 항목별 종합점수 산출 방법과 공개에의 개선 필요성이 다양 한 입장에서 제기되고 있다. 항목별 종합점수 산출에 대한 대내외적으로 개선 요구가 있 는 상황에서, 타당한 개선 방안 또는 발전 방향을 토출하고 구체화하기 위해서는 항목별 종합점수 산출 현황과 전체 적정성 평가 사업의 맥락에서 기능과 역할을 이해하고, 가능 한 대안을 탐색적으로나마 모색하는 과정이 필요할 것이다. 본 연구에서는 현재의 요양급여 적정성 평가의 문제점과 개선안에 대해 내‧외부 의견을 수렴한 후, 이를 종합하여 적정성 평가 종합점수 산출 및 등급화 관련하여 방향성을 검토 하였고, 가중치 및 등급화 절차 개선안을 마련하였다. 본 연구의 결과가 적정성 평가 개선 을 위한 추후 연구에 기초자료로 활용되기를 바란다. 본 보고서의 연구 내용 및 결과는 연구자의 개인적인 의견으로, 건강보험심사평가 원의 공식적인 견해가 아님을 밝혀둔다. 2017년 9월 건강보험심사평가원 원장 김승택 개발상임이사 황의동
제1장 서론
1
1. 연구 배경 및 필요성 1 2. 연구 목적 3 3. 연구 내용 및 방법 4제2장 국내․외 문헌고찰
7
1. 종합점수 산출방법 및 공개에 대한 이론적 고찰 7 2. 외국의 의료기관 평가 방법 검토 17 3. 시사점 36제3장 적정성 평가항목별 종합점수 산출 현황
38
1. 적정성 평가에서 종합점수 산출관련 현황 및 문제점 38 2. 적정성평가에서 종합점수 산출방법 개선(안) 52 3. 소결 58제4장 종합점수 산출관련 의견조사 및 방향성 고찰
61
1. 종합점수 산출관련 내외부 의견조사 61 2. 종합점수 산출관련 방향성 고찰 69 3. 종합점수 산출방법 체계화 방안 검토 77 4. 소결 801. 연구결과 82 2. 제한점 및 고찰 87 3. 결론 및 제언사항 88
참고문헌
91
부록
95
부록 1. 현재 종합점수를 산출하고 있는 평가항목별 세부 평가지표(2017. 4. 기준) 97 부록 2. 일반적인 종합점수 산출 단계 102 부록 3. 종합병원평균과 표준편차를 이용한 모의시험 결과 103 부록 4. 포커스그룹 인터뷰 개요 104 부록 5. 포커스그룹 인터뷰 질문지 105<표 1> 평가항목별 종합점수 산출 및 결과공개 현황 개요 3 <표 2> 종합점수 산출의 장․단점 9 <표 3> Hospital compare 그룹별 가중치(2016년) 20 <표 4> Hospital compare 등급별 정의 20 <표 5> JCAHO의 평가기준 24 <표 6> JCAHO 평가결과 종합방법 25 <표 7> CMS의 평가관련 정보 제공 현황 26 <표 8> CQC의 평가기준(The Essential Standards) 29
<표 9> 평가결과 및 해당 내용 30 <표 10> NSQHS 기준의 항목 및 지표 수 33 <표 11> 호주 보건의료기관 평가기준 및 내용 35 <표 12> 호주 보건의료기관 평가 등급 35 <표 13> 호주 의료기관 평가결과 공개방법 36 <표 14> 요양급여 적정성 평가 개요(2017년) 39 <표 15> 종합점수 산출 평가항목별 평가결과 종합화 현황 41 <표 16> 적정성평가에서 이용하는 표준화 방법별 분류 42 <표 17> 종합점수 산출 평가항목별 평가지표별 점수부여 및 표준화 현황 44 <표 18> 종합점수 산출 평가항목별 가중치 부여 47 <표 19> 평가지표 영역과 종합화를 위한 가중치 영역(암) 48 <표 20> 평가항목별 결과공개 현황 50 <표 21> 평가항목별 등급화 현황 51 <표 22> CMS의 HVBP 프로그램 영역 54 <표 23> 등급화에 대한 단기적 및 중․장기적 개선방안 57 <표 24> 포커스그룹 인터뷰 참석자 63 <표 25> 소비자 단체 의견조사 질문지 구성 63 <표 26> 적정성 평가의 가중치 및 등급화 절차(안) 70
<표 29> 상급종합병원의 하위 퍼센타일을 이용한 모의시험 결과 74 <표 30> 상급종합병원+종합병원의 평균과 표준편차를 이용한 모의시험 결과 75 <표 31> CMS 목표치 기준을 이용한 모의시험 결과 76 <표 32> 평가 항목 분류 및 모의시험 적용 방법 79 <표 33> 유사한 항목으로 재분류 한 후 실시한 모의시험 결과 80 <표 34> 평가 항목 분류 및 모의시험 적용 방법 86 <표 35> 적정성 평가의 가중치 및 등급화 절차 개선안 89
[그림 1] 연구수행체계도 4 [그림 2] 종합점수 산출 과정 7 [그림 3] 최적의 종합점수 산출방법 선택을 위한 알고리즘 11 [그림 4] HVBP 달성 점수 및 향상 점수 산출 방법 22 [그림 5] 1999~2011년까지의 의료 질 성과 평가(영국 NHS) 28 [그림 6] 영국 CQC 홈페이지의 등급 공개 예시 31 [그림 7] 인구집단별 GP 평가 공개 예시 32 [그림 8] 호주 보건의료기관 평가 수행체계 34 [그림 9] 적정성 평가 등급 공개 화면(심평원 홈페이지) 38 [그림 10] 가중치 부여 절차 개선(안) 53 [그림 11] 관상동맥우회술 평가항목 종합점수 분포(위) 및 재척도화 후 분포 56 [그림 12] 평가항목 특성별 분류 기준 77
요 약
연구배경 및 목적
1
가. 연구배경
○ 2001년 현재까지 국민건강보험법에 제 56조에 의거 요양급여 적정성 평가(이하, 적 정성 평가)를 시행하고 있으며, 2017년 현재 32개 평가항목에 대해 요양급여 적정 성 평가를 진행하고 있음. - 2009년부터 요양급여 적정성 평가결과 분석 과정에서 평가항목별로 지표값을 산출 하고 평가지표가 다수인 경우에 가중치를 고려한‘의료기관 질 종합점수(이하 종합 점수, Health Care Composite Measure, HQCM)'를 산출하여 등급화하고 있음. - 현재 적정성 평가에서는 14개의 평가항목에서 종합점수를 산출하고 있으며 이를 5개 구간으로 구분하여 등급화하고 공개함으로써 평가결과의 이해도를 제고하고 있음. ○ 최근 적정성 평가항목별 지표의 종합점수 산출 방법과 결과 공개에 있어 이론적 근 거가 부족하다는 의견 및 일부 문제점이 제기되기도 하였음. - 황수희 등(2016)의 연구에서 현재의 종합점수 유형은 의료기관들의 점수를 세분화 하여 평가하는 데는 적합하나, 종합점수를 산출하지 않는 평가항목에서 일관성을 위해 생존지수를 사용하는 경우 평가등급과 역의 결과를 나타내는 등의 문제점을 언급하였음.1) - 새로운 평가시대로 도약 발전하기 위해서 적정성 평가 사업의 종합점수 산출과 활 용, 평가결과 피드백과 공개(publicity)의 효과 분석 및 개선방안 등과 같이 중요한 방법론에 대한 연구가 필요하다는 견해가 있었음(박춘선 등, 2016).2) - 이윤성과 김 윤(2015)의 연구에서는 적정성 평가결과 공개가 실제 소비자의 의료 기관 선택에 큰 영향을 미치지 못하고 있으며, 이는 국민에게 중요한 정보가 부족 1) 황수희 등, 상급종합병원 지정기준 관련 의료의 질 평가 방안 연구, 건강보험심사평가원, 2016 2) 박춘선 등, 요양급여 적정성 평가 방법론 연구, 건강보험심사평가원, 2016.하며 평가결과를 국민들이 쉽게 이해하지 못하기 때문이라고 언급하였음.3) 또한, 평가결과 지표 값의 종합화와 가중치를 주는 방법은 일관성을 가지고 있어야 한다 는 지적도 있었음. - 적정성 평가항목별 결과공개 및 정보 제공방식이 일률적인 체계를 갖추지 못하여 신뢰성을 저하시키고 있다는 시각도 있었음(송순영, 2012).4) ○ 실제 적정성 평가항목별로 종합점수 산출여부가 다르고, 등급구간의 점수 또한 평 가항목별로 상이하여 종합화 및 등급화 방법에 대한 이론적 검토가 필요한 실정임 (요약표 1). - 이에 본 연구에서는 현재 적정성 평가항목별 종합점수 산출 및 등급화 방법을 검토하여 체계화 방안을 모색함으로써 적정성 평가결과의 신뢰성 및 수용성 제고에 기여하고자 함. 평가항목 지표 종합화 비고 급성기뇌졸중, 급성심근경색증, 관상동맥우회술, 대장암, 유방암, 위암, 폐암, 만성폐쇄성폐질환, 폐렴, 수술의예방적항생제, 요양병원, 의료급여정신과, 혈액투석, 중환자실 다수지표 지표별 가중치 적용 종 합점수 산출 (14항목) 기관별 결과 등급 공개 고혈압, 당뇨병, 천식 종합화 안함 (별도 조건 설정 평가) 양호기관만 공개 DRG 종합화 안함 기관별 결과 비공개 약제평가(해상대평가) 단일지표 종합화 불필요 기관별 결과 등급 공개 진료량 간암진료결과, 병원표준화사망비, 위험도표준화재입원비 기관별 결과 비공개 * PCI 항목 제외 <요약표 1> 평가항목별 종합점수 산출 및 결과공개 현황 개요 3) 이윤성, 김윤, 요양급여 적정성평가의 중장기 발전방안 마련을 위한 연구, 대한의학회, 2015 4) 송순영, 의료서비스 비교정보제공 개선방안 연구, 한국소비자원, 2012
나. 연구목적
○ 요양급여 적정성 평가 결과의 공개 및 활용 측면에서 객관적 원칙 마련을 위해 종 합점수 및 등급 산출 과정에서의 체계화 방안을 제시하는 것임. - 적정성 평가항목별 종합점수 산출과정(표준화, 가중치부여, 종합화, 등급화) 및 적 용 현황 분석을 통해 문제점을 파악하고 개선안을 마련하는 것임. - 방법론적 측면에서 종합점수 산출 및 등급화 방법에 대해 이론적 근거를 바탕으로 일관성 있는 기준 적용 가능성을 검토하여, 유형화 방안을 제시하는 것임. - 종합점수 산출과정의 개선안을 적정성 평가결과에 적용 가능성을 검토하는 것임.연구내용 및 방법
2
○ 요양급여 적정성 평가결과 분석 및 국내‧외 문헌검토를 통해 종합점수 산출과정별 (표준화, 가중치부여, 종합화, 등급화)로 현황 및 문제점을 파악하고 종합점수 산출 과정에서 일관성 있는 기준 적용 가능성 여부를 검토하였음. ○ 외국의 평가결과 산출·공개 관련 문헌 및 이론적 종합점수 산출 방법론에 기반하여 종합점수 산출 목적, 산출 단계별 적용방법에 따른 장·단점을 검토하였고, 적정성 평가에서 종합점수 산출 및 등급화 방법에 대해 체계화 방안을 모색하였음. 또한 그 과정에서 의료소비자와 전문가의 의견을 청취하고 수렴함으로써 종합점수 산출 및 등급화에 대한 개념적 개선 방향성, 적정성 평가 적용 방안에 대해 논의하였음. ○ 종합점수 산출 및 등급화와 관련자료 분석, 방법론 및 외국사례에 대한 고찰, 전문 가 및 의료소비자 의견수렴 결과를 전반적으로 고려하여 종합점수 산출 및 등급화 방법에 대한 개선안을 제시하고자 하였음. 또한, 본 연구의 결과를 토대로 적정성 평가에 적용 가능성 검토하고자 모의시험을 수행하였음.적정성 평가에서 종합점수 산출 관련 현황 및 고찰
3
○ 2017년 기준 32개 항목에 대해 적정성 평가를 시행하고 있으며, 그 중 14개 항목이 종합점수를 이용하여 평가등급(1~5등급)을 산출․공개하고 있음. 일부 평가항목은 종합점수를 산출하지 않고 공개하는 항목도 있음. - 고혈압, 당뇨, 천식 평가는 종합점수를 이용하는 대신 각 평가지표가 일정 수준 이 상이면 양호등급을 부여하고 있음. 질병군포괄수가는 등급을 부여하지 않고 있고, 진료량 평가의 경우 평가지표인 진료량이 일정 수준 이상이면서 사망률이 낮은 기 관에 1등급, 그렇지 않은 기관에는 2등급을 부여하고 있음. ○ 현재 적정성 평가에서 종합점수는 4단계로 구분하여 산출되는데 ① 점수화, ② 표 준화, ③ 가중치 선정, ④ 종합화로 구성됨. 본 연구에서는 점수화 방법에 따라 표 준화 방법이 결정되기 때문에 점수화와 표준화를 표준화 단계로 포함시켰음. ○ (표준화) 요양급여 적정성 평가의 표준화 방법에는 표준점수(Z-score), 기준과의 거리, 점수배분, 기회모형의 방법을 사용하고 있음. - 과정지표로만 구성된 폐렴, 만성폐쇄성폐질환, 수술의 예방적 항생제 평가항목은 별도의 표준화 과정을 거치고 있지 않음. - 구조지표는 점수배분 또는 기회모형 방법을 이용, 과정지표는 대부분이 기회모형을 이용, 혈액투석, 요양병원, 의료급여 정신과, 중환자실은 점수배분을 이용하여 표 준화 한고 있음. - 적정성 평가지표 중, 생존지수, 수술 후 입원일수, 평균 입원일수는 지표의 분포를 예측하기 어려운 특성으로 이를 포함하여 종합점수 산출 시 100점이 넘는 현상이 발생할 가능성이 있음. - 이를 개선하기 위해서는 100점이 넘는 항목은 종합화 과정 후에 재척도화 (re-scaling)를 시행하여 100점 만점으로 전환은 가능함. ○ (가중치) 대부분의 지표가 평가지표별 가중치를 부여하고 있으며, 일부 변수는 평가 영역별 또는 평가지표의 그룹별 가중치를 부여하고 있음. - 대부분의 항목은 구조, 과정, 결과를 구분하여 가중치를 부여하고 있으며, 폐렴, 만성폐쇄성폐질환, 수술의 예방적 항생제 평가항목은 과정지표로만 구성되어 있어서 과정지표에서만 가중치를 부여하고 있음. 평가항목 가중치 부여 급성기뇌졸중 평가영역별 가중치 부여(구조 3.0, 과정 4.5, 과정지표 항목 수 2.5) 폐렴 평가지표별 가중치 부여(과정지표로만 구성) 관상동맥우회술 평가지표별 가중치 부여(구조 1, 과정 1, 결과 3) 급성심근경색증 평가지표별 가중치 부여(과정 7, 결과 3) 만성페쇄성폐질환 평가지표별 가중치 부여(과정지표로만 구성) 혈액투석 평가지표별 가중치 부여(구조 7.5, 과정 4, 결과 0.5) 대장암 평가지표별·그룹별 가중치 부여 (구조 5, 검사 및 교육 15, 수술 37, 보조요법 30, 결과 13) 유방암 평가지표별·그룹별 가중치 부여 (구조 12, 기록충실도 28, 수술 20, 보조요법 40) 폐암 평가지표별·그룹별 가중치 부여 (구조 21, 진단적 평가 및 기록충실도 18, 수술 10, 전신요법(항암치료) 32, 방사선치료 16, 결과 3) 위암 평가지표별·그룹별 가중치 부여 (구조 10, 진단적 평가 12, 수술 45, 보조요법 20, 결과 13) 수술의예방적항생제 평가지표별 가중치 부여(과정지표로만 구성) 요양병원 평가지표별 가중치 부여(구조 5, 진료(과정, 결과) 5) 의료급여정신과 평가지표별 가중치 부여(구조 40, 과정 27, 결과 33) 중환자실 평가지표별 가중치 부여(구조 60, 과정 30, 결과 10) <요약표 2> 종합점수 산출 평가항목별 가중치 부여 현황 - 현재의 적정성 평가는 각 영역별로 특성을 반영하여 지표를 우선 설정하고 가중치 를 선정하고 있음. 이러한 과정에서 가중치의 비중이 구조와 과정 지표에 치우처져 있고 결과 지표의 가중치 비중은 상대적으로 낮은 수준임. - 각 영역별로 특성을 평가 영역이 질환 중심으로 구성되어 있고 영역별 특성이 다르 기 때문에 상향식 가중치 선정 방식의 개선 없이 일관되게 가중치를 조정하는 것은 오히려 혼란을 야기할 가능성이 있음. - 하향식(Top-down)의 중․장기적 접근이 필요함. 우선 평가 영역을 설정한 후, 영역 의 중요성을 감안하여 가중치를 부여해야 함. 가중치 부여 후, 영역에 부합하는 지표 를 선정하고 지표의 영향력을 감안하여 지표별 가중치를 부여하는 것이 바람직함.
- 가중치를 정하는데 임상적 의사결정과 통계적 의사결적이 복합적으로 반영돼야 함. - 가중치 선정에서 임상적 의사결정은 외적타당성, 통계적 의사결정은 내적타당성을 반영함. 실제 외적타당성과 내적타당성이 적절히 균형을 이루어야만 가중치 선정 에 있어서 개념이나 속성을 정확하게 측정했다고 볼 수 있음. ○ (종합화) 적정성 평가에서 사용하고 있는 종합화 방법은 가중치를 부여한 지표별 점 수를 합하는 가중합의 방법을 사용함. - 종합점수가 100점을 넘는 항목은 종합화를 한 후, 재척도화를 실시하여 0~100점 범위로 전환해야 할 수 있음. - 재척도화 방안은 re-scaled index와 최대값을 이용한 방식을 활용할 수 있음. - 관상동맥우회술은 최대값이 104.2점으로 100점이 넘는 대표적인 항목임. Re-scaled index를 적용하여 재척도화 한다면 종합점수 범위가 26.7~100점으 로 전환되고 의료기관간 변별력도 커짐. ○ (등급화) 적정성 평가 항목별 등급구간은 상이하게 설정돼 있으며, 개별 평가항목 내에서도 등급구간이 일정하지 않음. 각 등급의 서열적 의미로 구분되어 있음. - 호주, 영국에서는 병원 평가 후 결과를 공개할 때, 각 등급에 대한 명확한 정의를 설정하여 분류함. 호주는 5개의 등급, 영국은 4개의 등급으로 분류하여 공개하고 있으며 서열적 등급이 아닌 명목적 등급을 사용함. - 현재 5등급 분류를 3등급 또는 2등급으로 변환하자는 의견이 제시되고 있음. 그러 나 외국 병원평가 결과 공개과정에서 5등급으로 분류하여 공개하고 있으며, 성과 의 결과를 정확히 반영하고 등급별 의료기관의 구분이 명확하며 의료기관의 성과 향상을 알아볼 수 있는 5단계 분류가 적합하다고 판단하였음. - 서열적 의미를 가지고 있는 등급에 대해서 해당 전문가 그룹의 견해를 반영한 임상적 의미를 부여하는 방안이 검토됨. 단기적 접근방안으로 등급의 조작적 정의를 설정하 고 정의에 맞는 등급 기준을 설정하는 것임. 중․장기적인 방안은 이해관계자들로 구 성된 위원회에서 합의된 정의를 도출하고 그에 맞춰 등급 기준을 설정하는 것임.
적정성 평가에서 종합점수 산출방법 체계화 방안 검토
4
○ 적정성 평가의 이해당사자 중 하나인 소비자의 의견을 조사하기 위해 FGI를 실시하였음. - 소비자들은 현재 시행되고 있는 적정성 평가의 영역을 중증과 경증으로 분류한 평 가결과 공개를 원했음. - 의료기관 선택 시 중요하게 고려되는 지표는 결과 지표임. 그러나 현재 적정성 평 가에서는 결과지표의 비중이 낮은 수준임. - 의료의 질을 평가하는데 있어서 현재의 구조, 과정, 결과의 영역은 부족할 수 있음. IOM의 6가지 기준 등 다른 나라에서 활용하고 있는 영역도 고려해 볼 수 있음. - 현재의 5등급 분류 체계는 환자에게 대안적인 의료기관 선택 기회를 제공하기 때문 에 유지하는 것이 바람직해 보임. ○ 소비자의 의견을 바탕으로 또 다른 이해당사자인 보건의료정책 및 임상 전문가의 의 견 및 적정성 평가의 문제점, 개선방안을 알아보기 위해 전문가 자문을 실시하였음. - 현재 표준화와 종합화의 방법에는 일부 평가항목을 제외하고는 전반적인 수정 및 보완할 필요하지 않는 것으로 보임. 다만 100점이 넘는 항목에 대해서만 재척도화 를 실시할 필요가 있음. - 가중치와 관련한 개선방안은 가중치 선정이 아닌 각 평가항목별 가중치 선정 절차 를 일관화 하는 것임. 현재 적정성 평가 항목들은 개별적인 방식으로 가중치를 선 정함. 이는 가중치에 대한 신뢰도를 하락시키며, 이를 개선하기 위해서는 일관성 있는 가중치 선정 절차가 필요함. - 등급화에 대한 문제로 등급에 대한 개념적 정의 부재와 기준 설정 근거 부족을 언급함. ○ 일관성 있는 기준 설정 및 적정목표 수준을 설정하기 위해 가중치와 등급화를 포괄 하여 하향식 방식의 적정성 평가 절차의 검토가 필요함. - 하향식 방식의 적정성 평가 절차는 이해당사자들로 구성된 위원회 설립, 평가 영역 설정, 평가 영역 및 지표별 가중치 선정, 평가 영역별 지표 설정, 영역별 등급 기준 및 구간 설정의 일관된 절차가 필요함(요약표 3).순서 제목 내용 1 위원회 설립 의료서비스 소비자 및 환자, 보건의료정책 및 임상 전 문가, 의료공급자를 포함한 위원회 설립 영역별 특성을 반영하여 위원회 설립 및 구성 2 평가 영역 설정 의료의 질 개선과 관련한 우선순위를 반영하여 평가 영역 설정 보건의료정책의 목적에 부합하는 평가 영역 설정 우선순위 설정과 관련한 방법론 사용(델파이, AHP 등) 3 평가 영역별 및 지표별 가중치 선정 평가 목적에 맞는 영역별 가중치 설정 영역별 특성과 영향력을 반영하여 지표 가중치 설정 가중치 선정 방법론(델파이 등)과 통계적 방식(타당도, 신뢰도) 병용 4 평가 영역별 지표 설정 각 영역별 특성과 평가 목적에 맞는 지표 선정 새로운 지표 추가 및 지표 퇴출에 대한 논의 5 영역별 등급의 정의 설정 평가 영역별 등급에 대한 명목적 정의 설정 6 영역별 등급 기준 및 구간 설정 영역별 등급 정의에 부합하는 기준점(목표치) 설정 및 합의 <요약표 3> 적정성 평가 가중치 및 등급화 절차(안) ○ 적정 목표 수준의 등급 기준을 설정하기 위해 조작적 정의를 실시하여 모의시험을 실시하였음. - 1등급의 기준점을 설정하기 위해 의료기관들이 달성해야 하는 목표 수준을 상급종 합병원과 종합병원을 이용하여 조작적으로 정의하였음. 상급종합병원은 의료전달 체계에서 최고 수준의 의료의 질을 가지고 있는 것으로 고려하여 목표치로 선정하 였음. - 종합병원도 지정 기준을 살펴본 결과, 의료의 질이 상급종합병원과 크게 차이가 나 지 않을 것이라 판단하여 목표치로 선정하였음.
○ 적정성 평가의 14개 항목에 각각의 조작적 정의를 반영한 등급 분포를 본 결과, 현재 적정성 평가 기준을 적용한 분포와 차이가 나타남을 확인할 수 있었음. ○ 단일 기준으로 모든 적정성 평가 항목의 등급을 정의하는 것은 부적합하다고 판단 하여 유사성 있는 항목을 세부 그룹으로 분류하여 각 그룹에 맞는 조작적 정의를 적용하였음. - 유사성 있는 항목을 그룹화 하기 위해 경증 혹은 중증 질환 분류, 진료 및 치료의 시급성, 현재의 적정성 평가 결과에서 의료기관 질적 변이 수준을 기준으로 분류하였음. [요약그림 1] 평가항목 특성별 분류 기준 등급 시나리오 1 시나리오 2 시나리오 3 시나리오 4 1등급 상급종합병원의 평 균과 표준편차를 이 용한 기준 상급종합병원의 최 하위 수준 및 하위 5%tile, 10%tile, 25%tile 기준 상급종합병원+종합 병원의 평균을 이용 한 기준 CMS 목표치 기준 (상위 10% 평균 또 는 상위 10% )
2등급 1등급 하한선(threshold)의 90%tile (혹은 85%tile) 이상
3등급 1등급 하한선(threshold)의 80%tile (혹은 70%tile) 이상
4등급 1등급 하한선(threshold)의 70%tile (혹은 55%tile) 이상
5등급 1등급 하한선(threshold)의 60%tile (혹은 55%tile) 미만
- 유사성 있는 평가항목의 특성별 분류 기준에 따라 요약표 5와 같이 적정성 평가 항 목을 세부 그룹으로 분류하였음. 그리고 앞선 모의시험 결과 각 그룹 분포에 적합 한 조작적 정의를 설정하여 모의시험을 실시하였음. - C 그룹에 포함되어 있는 만성폐쇄성폐질환과 혈액투석은 종합병원에서 종합점수 분포의 변이가 크고, 상급종합병원의 종합점수의 최하위 이상치가 존재하는 것을 확인할 수 있었음. 따라서 이를 보정하고 적절한 목표치를 선정할 수 있는 방법인 상급종합병원의 평균 - 1 S.D.(표준편차)를 적용하였음. 질환 중심의 평가항목 기관 중심의 평가항목 A1) B2) C3) D4) E5) 급성기 뇌졸중 관상동맥우회술 급성심근경색증 대장암 유방암 폐암 위암 폐렴 만성폐쇄성폐질환 혈액투석 요양병원 의료급여정신과 중환자실 수술의 예방적 항생제 모의시험 적용 방법 상급종합병원+종합병원 평균을 이용 한 기준 적용 상급종합병원 평균 - 1 S.D. 적용 CMS의 상위 10% 평균 적용 적용 안함 주 1. 중증질환, 진료 및 치료의 시급성이 상대적으로 높음, 의료기관 사이의 질적 수준의 변이가 작음 주 2. 중증질환, 진료 및 치료의 시급성이 상대적으로 높음, 의료기관 사이의 질적 수준의 변이가 큼 주 3. 경증질환, 진료 및 치료의 시급성이 상대적으로 낮음. 의료기관 사이의 질적 수준의 변이가 큼 주 4. 기관중심 평가 중, 의료의 질 향상과 관련한 중재활동이 없음 주 5. 기관중심 평가 중, 의료의 질 향상과 관련한 중재활동이 있음 주 6. 중재활동은 기관중심 평가항목 중 가감지급사업 여부로 구분하였음 <요약표 5> 질환 단위 및 기관 단위 항목 분류 및 모의시험 적용 방법 ○ 유사질환으로 세부 그룹으로 분류를 한 후 모의시험을 실시한 결과, 현재의 적정 성 평가 결과의 등급 분포와 유사하게 나타났음. 현재 등급 기준은 전문가 그룹의 합의로 이루어졌기 때문에 표면적 타당도는 검증된 것으로 전제하였음. 이에 모의 시험 결과가 현재 적정성 평가의 등급결과와 유사하게 나오면 적당한 것으로 판단 하였음.
구분 평가항목 전체 등급 1등급 2등급 3등급 4등급 5등급 A1) 대장암 134 ≥96.39 86.75-96.39 77.11-86.75 67.47-77.11 <67.47 100 24 6 2 2 위암 114 ≥95.72 86.15-95.72 76.58-86.15 67.00-76.58 <67.00 88 16 7 0 3 B2) 폐렴 530 ≥87.16 78.44-87.16 69.73-78.44 61.01-69.73 <61.01 235 36 24 28 207 C3) 만성폐쇄성폐질환 1,499 ≥82.23 74.00-82.23 65.78-74.00 57.56-65.78 <57.56 244 176 201 195 683 D4) 의료급여정신과 422 ≥93.90 84.51-93.90 75.12-84.51 65.73-75.12 <75.12 18 58 178 147 21 주 1. 중증질환, 진료 및 치료의 시급성이 상대적으로 높음, 의료기관 사이의 질적 수준의 변이가 작음 주 2. 중증질환, 진료 및 치료의 시급성이 상대적으로 높음, 의료기관 사이의 질적 수준의 변이가 큼 주 3. 경증질환, 진료 및 치료의 시급성이 상대적으로 낮음. 의료기관 사이의 질적 수준의 변이가 큼 주 4. 기관 중심 평가 중, 의료의 질 향상과 관련한 중재활동이 없음 <요약표 6> 유사한 항목으로 재분류 한 후 실시한 모의시험 결과
결론 및 제언
5
○ 본 연구에서는 현재 요양급여 적정성 평가에서 종합점수 산출 방법 및 등급화 방법 을 검토하고, 방법론적 측면에서 개선에 대한 요구나 필요성이 있는 부분에 대한 개 선방안을 마련하고자 하였음. ○ OECD 및 국외문헌에서 제시된 표준화 방법과 현재 적정성 평가에서 이용하고 있 는 표준화 방법을 비교해보았으나 특별한 문제점이 없는 것으로 판단하였음. 다만 일부 평가항목에서 표준점수 산출 방식을 변경한다면 좀 더 정확성 높은 평가결과를 산출하는 데 도움이 될 것으로 보임. ○ 적정성 평가지표 중, 생존지수 지표, 수술 후 입원일수 지표, 평균 입원일수 지표는 표준화를 기준과의 거리 방법을 사용하고 있지만, 지표 산출 과정에서 지표의 분포 를 예측하기 어려운 단점이 있어 종합점수가 100점이 넘는 경우가 발생할 수 있음. - 종합화 과정 후, 재척도화(re-scaling) 과정을 수행할 필요가 있어 보임.○ 현재 적정성 평가의 가중치 선정에 있어서 상향식 접근방법을 이용하고 있으므로 각 영역별로 명확한 gold standard를 제시할 수 없는 문제점이 있음. 각 영역별로 가중치를 부여하기 위한 합의 과정에서 일관된 절차가 없기 때문에 신뢰도에 문제가 발생할 수 있음. - 가중치 부여의‘절차적 합리성’확보를 위한 절차적 개선안을 제시하였음(요약표 3). - 적정성 평가영역별 중요성에 대한 사회적 합의에 근거하여 영역별 가중치는 설정되 어야 할 것임. ○ 대부분의 적정성 평가항목에서 구조, 과정, 결과의 영역으로 구분하여 가중치를 선 정하여 적용하고 있음. - 의료의 질을 설명할 수 있는 영역은 다양하기 때문에 구조, 과정, 결과로만 질 전반 을 설명하는 것은 한계가 있음. - 미국 CMS의 경우, 구조와 과정의 영역은 가중치 비중은 줄이고 있고 결과 지표 중 심이며 환자 경험과 효율성 영역은 증가시키고 있음. 향후 구조, 과정, 결과의 영 역 외에도 IOM의 6가지 영역 등 평가영역에 대해 복합적으로 고려해 볼 수 있음. - 시간의 흐름에 따른 보건의료 환경변화는 평가영역의 중요도가 변화시킬 수 있으므 로 요양급여 적정성 평가에서도 가중치의 영역과 수치를 주기적으로 조정할 필요 성이 있음. - 일정주기(약 3년) 마다 주기적으로 평가영역별 가중치를 조정하고 이를 기반으로 신규지표 개발 또는 기존 지표에 대한 조정이 이뤄져야 할 것임. ○ 등급화 개선과 관련해서는 우선적으로 각 등급의 개념적·명목적 정의를 설정이 우 선돼야 함. - 단기적인 접근방법은 기존의 적정성 평가 체계를 유지하고 등급의 조작적 정의를 설정해서 등급 사이의 이질성과 등급 분류의 신뢰성을 제고할 수 있음. - 장기적인 접근방안은 등급화에 관한 사항 뿐 만 아니라 가중치, 측정 지표를 같이 고려해야 하므로 통합적인 개선방안이 적용돼야 할 것임. ○ 본 연구에서는 현재의 적정성 평가의 문제점과 개선안에 대해 소비자 단체와 전문 가 의견을 수렴한 후, 이를 종합하여 적정성 평가 종합점수 산출 및 등급화 관련하 여 방향성을 검토하였음.
- 검토 결과 적정성 평가의 가중치 및 등급화 절차 개선안을 마련하였음.
- 추후 이를 토대로 한 구체적인 개선내용과 방법을 포함한 적정성 평가 개선을 위한 로드맵 연구가 필요할 것으로 보임.
- 적정성 평가에서 종합점수에 대한 개념적 정의 설정 및 각 평가영역에 적합한 지표를 핵심지표와 보조지표를 구분하여 선정하는 과정에 대한 논의가 이루어져야 할 것임.
제1장 서론
연구배경 및 필요성
1
2000년 7월 국민건강보험법 개정에 따라 요양급여 적정성 평가 업무를 건강보험심사 평가원(이하, 심평원)의 업무로 규정하였다. 2001년부터 현재까지 국민건강보험법에 제 56조에 의거 요양급여 적정성 평가(이하, 적정성 평가)를 시행하고 있으며, 2017년 현재 32개 항목에 대해 평가를 진행하고 있다. 적정성 평가의 목적은 첫째, 국민에게 평가결과 정보를 제공하여 의료기관 선택정보로 활용하는 것, 둘째, 의료제공자에게 평가결과를 제 공하여 벤치마킹 자료로 활용하고 가치 평가 결과에 따른 인센티브 제공 등을 통해 자율 적으로 질 향상 개선 활동을 하도록 동기부여 하는 것, 셋째, 정책결정자는 정책에 반영하 여 효율적인 재정 사용을 하는 데 있다(건강보험심사평가원, 2017).5) 심평원에서는 2009년부터 요양급여 적정성 평가결과 분석 과정에서 평가항목별로 지 표값을 산출하고 평가지표가 다수인 경우에 가중치를 고려한‘의료기관 질 종합점수(이하 종합점수, Health Care Composite Measure, HQCM)'를 산출하여 등급화하고 있다. 종합점수는 요양급여 적정성 평가의 질 평가지표의 측정값을 종합하여 단일 값으로 만든 지수(index)이다. 현재 적정성 평가에서는 14개의 평가항목에서 종합점수를 산출하고 있 으며 이를 5개 구간으로 구분하여 등급화하고 공개함으로써 평가결과의 이해도를 제고하 고 있다.미국 AHRQ에서 종합점수(score of composite measure)는 의료기관을 선택하고자 하는 소비자, 질의 영역과 동력(drivers)을 확인하려는 의료제공자, 인구집단의 건강 향상 을 위한 정책적 우선순위를 결정하는 정책결정자에게 유용한 요약된 정보를 제공할 수 있 다고 하였다. OECD에서는 종합지표를 국가 간 비교를 통한 정책분석과 공공의 의사소통 을 위한 유용한 도구라고 정의하였다. 한편으로는 종합점수 산출이 잘못 수행되었거나 잘 못 해석되는 경우에는 동시에 잘못된 정책적 메시지를 제공할 수 있다고 지적하였다.6) 5) 2016 요양급여 적정성 평가결과 종합보고서, 건강보헙심사평가원, 2017. 6) Handbook on Constructing Composite Indicators, OECD, 2008.
최근 적정성 평가항목별 지표의 종합점수 산출 방법과 결과 공개에 있어 이론적 근거 가 부족하다는 의견 및 일부 문제점이 제기되기도 하였다. 황수희 등(2016)의 연구에서 현재의 종합점수 유형은 의료기관들의 점수를 세분화하여 평가하는 데는 적합하나, 종합 점수를 산출하지 않는 평가항목에서 일관성을 위해 생존지수를 사용하는 경우 평가등급과 역의 결과를 나타내는 등의 문제점을 언급하였다.7) 또한, 새로운 평가시대로 도약 발전하 기 위해서 적정성 평가 사업의 종합점수 산출과 활용, 평가결과 피드백과 공개(publicity) 의 효과 분석 및 개선방안 등과 같이 중요한 방법론에 대한 연구가 필요하다는 견해가 있 었다(박춘선 등, 2016).8) 한편, 김 윤 등(2010)의 연구에서 다양한 질 평가지표의 결과를 의료기관 단위의 결과 로 종합화한 지수(종합점수)는 의료기관을 선택해야하는 의료소비자의 입장에서는 의료기 관의 종합적인 질적 수준 정보를 제공하기 때문에 유용하다고 하였다.9) 그러나 이후 연구 (2015)에서 적정성 평가결과 공개가 실제 소비자의 의료기관 선택에 큰 영향을 미치지 못 하고 있으며, 이는 국민에게 중요한 정보가 부족하며 평가결과를 국민들이 쉽게 이해하지 못하기 때문이라고 언급하였다. 또한, 평가결과 지표 값의 종합화와 가중치를 주는 방법 은 일관성을 가지고 있어야 한다는 지적도 있었다(이윤성과 김 윤, 2015).10) 뿐만 아니 라, 적정성 평가항목별 결과공개 및 정보 제공방식이 일률적인 체계를 갖추지 못하여 신 뢰성을 저하시키고 있다는 시각도 있었다(송순영, 2012).11) 실제 적정성 평가항목별로 종합점수 산출여부가 다르고, 등급구간의 점수 또한 평가항 목별로 상이하여 종합화 및 등급화 방법에 대한 이론적 검토가 필요한 실정이다(표 1). 이 에 본 연구에서는 현재 적정성 평가항목별 종합점수 산출 및 등급화 방법을 검토하여 체 계화 방안을 모색하여 적정성 평가결과의 신뢰성 및 수용성 제고에 기여하고자 한다. 7) 황수희 등. 상급종합병원 지정기준 관련 의료의 질 평가 방안 연구, 건강보험심사평가원, 2016 8) 박춘선 등. 요양급여 적정성 평가 방법론 연구, 건강보험심사평가원, 2016. 9) 김 윤 등, 요양급여 적정성 평가 발전방안에 관한 연구-적정성 평가결과 종합화 방안 및 진료성과 평가지표 개발-건강보험심사평가원 및 서울의대 의료관리학 교실, 2010. 10) 이윤성, 김윤. 요양급여 적정성평가의 중장기 발전방안 마련을 위한 연구, 대한의학회, 2015 11) 송순영. 의료서비스 비교정보제공 개선방안 연구, 한국소비자원, 2012
평가항목 지표 종합화 비고 급성기뇌졸중, 급성심근경색증, 관상동맥우회술, 대장암, 유방암, 위암, 폐암, 만성폐쇄성폐질환, 폐렴, 수술의예방적항생제, 요양병원, 의료급여정신과, 혈액투석, 중환자실 다수지표 지표별 가중치 적용 종합 점수 산출 (14항목) 기관별 결과 등급 공 개 고혈압, 당뇨병, 천식 종합화 안함 (별도 조건 설정 평가) 양호기관만 공개 DRG 종합화 안함 기관별 결과 비공개 약제평가(해상대평가) 단일지표 종합화 불필요 기관별 결과 등급 공 개 진료량 간암진료결과, 병원표준화사망비, 위험도표준화재입원비 기관별 결과 비공개 * PCI 항목 제외 <표 1> 평가항목별 종합점수 산출 및 결과공개 현황 개요
연구 목적
2
본 연구의 목적은 요양급여 적정성 평가 결과의 공개 및 활용 측면에서 객관적 원칙 마련을 위해 종합점수 및 등급 산출 과정에서의 체계화 방안을 제시하는 것이다. 본 연구 의 세부목적은 다음과 같다. 첫째, 적정성 평가항목별 종합점수 산출과정(표준화, 가중치부여, 종합화, 등급화) 및 적용 현황 분석을 통해 문제점을 파악하고 개선안을 마련하는 것이다. 둘째, 방법론적 측면에서 종합점수 산출 및 등급화 방법에 대해 이론적 근거를 바탕으 로 일관성 있는 기준 적용 가능성을 검토하여, 유형화 방안을 제시하는 것이다. 셋째, 종합점수 산출과정의 개선안을 적정성 평가결과에 적용 가능성을 검토하는 것이다.연구 내용 및 방법
3
가. 연구 내용
본 연구의 그림1과 같은 수행체계로 구성되었다. [그림 1] 연구수행체계도 요양급여 적정성 평가에서의 종합점수 산출 현황 검토를 통해 각 단계별 문제점 파악하 였다. 2017년 기준 요양급여 적정성평가항목 32개 가운데 종합점수를 산출하여 평가등급 을 공개하고 있는 14개 각 평가항목12)을 중심으로 산출과정별(표준화, 가중치부여, 종합 화, 등급화)로 적용방법의 현황을 검토하였고, 유형화(분류)에 대한 문제점을 도출하였다. 12) 2017년 현재 요양급여 적정성 평가에서 종합점수 산출 후 등급을 공개하는 항목은 급성기뇌졸중, 폐렴, 관상동맥우회술, 급성심근경색증, 만성폐쇄성폐질환, 혈액투석, 대장암, 유방암, 폐암, 위암, 수술의 예방적 항생제, 요양병원, 의료급여 정신과, 중환자실로 총 14개 항목임.또한 종합점수 산출과정에서 일관성 있는 기준 적용 가능성 여부를 검토하였으며, 평가항 목별 종합점수 결과값의 통계적 분포 현황을 확인하였다. 종합점수 산출과정의 이론적 방법론 중심으로 관련 선행 연구보고서 및 국외 사례를 검 토하였다. 이론적 방법론에 기반하여 종합점수 산출 목적, 산출 단계별 적용방법에 따른 장·단점을 검토하였고, 이를 요양급여 적정성 평가 종합점수 산출 방법에 적용 가능성을 고려해 보았다. 현재 적정성 평가에서 이용하고 있는 종합점수 산출 방법의 현황, 국내·외 연구결과 및 국외 사례 등의 전반적 검토를 바탕으로 심평원 내·외부 의견 수렴하여 종합점수 산 출 및 등급화 기준 체계화 방안을 제시하고자 하였다. 또한, 연구결과를 토대로 적정성 평 가에 적용 가능성 검토를 위해 모의시험을 하였다.
나. 연구 방법
적정성 평가의 종합점수 산출방법 및 결과활용(등급화) 현황 분석을 위해 적정성 평가 결과 관련 연구보고서 및 심평원 웹페이지(www.hira.or.kr)에서 평가결과 공개 방식을 검토하였다. 종합점수 산출 단계에 따른 적용방법의 유형화를 위해‘2016 요양급여 적정 성 평가결과 종합보고서’와 평가항목별 개별 보고서 검토하였다. 또한 심평원 웹페이지의 평가항목별 결과공개 및 제공 정보의 현황 자료를 분석하였다. 종합점수 산출과 관련한 이론적 검토를 위 선행 연구보고서 및 국외 사례를 검토하였다. OECD의 Handbook on Constructing Composite Indicators 등 종합점수 산출 관련 보고서 및 연구문헌을 통해 적용방법별 장·단점을 비교·분석하였다. 또한 병원성과 평 가결과를 공개하고 있는 미국 CMS의 Hospital Compare, Joint Commission on Accreditation of Healthcare Organization(JCAHO), 영국의 Care Quality Commission (CQC), 호주의 Australian Commission on Safety and Quality in Healthcare(ACSQHC), Ausralian Council on Healthcare Standards (ACHS) 등 국외 종합점수 산출 및 등 급화 사례를 중심으로 고찰하였다. 그 외 미국 AHRQ를 비롯한 국외 주요기관의 종합지 표에 대한 개념적 틀, 방법론, 고려할 사항, 문헌에서 제시한 다양한 종합화 방법론 및 미 국 CMS의 HVBP(Hospital Value-Based Purchasing) 관련 자료를 검토하였다.첫째, 평가항목별 종합점수 산출 방법의 선정 근거 검토 및 제시한 종합점수 산출 관련 개선방안에 대한 의견 수렴을 위한 실무 담당자 경험을 토대로 한 의견을 청취하였다.
둘째, 적정성 평가의 결과공개 및 등급화에 대한 의료소비자 수렴을 위한 소비자단체 대상 Focus Group Interview(FGI)를 시행하였다. 요양급여 적정성 평가에 대한 소비 자의 인식 수준과 이해도가 낮음을 감안하여 사전교육과 충분한 숙의과정을 거칠 수 있는 포커스 그룹 인터뷰를 통해 소비자의 니즈를 조사하고자 하였다. 소비자를 대상으로 효율 적인 포커스 그룹 인터뷰를 진행하기 위해 준 구조화된(semi-structured) 설문지를 개 발하고 조사를 시행하였다. 셋째, 종합점수 산출 관련 방법론에 관한 고찰, 개념적 개선 방향성 논의, 적정성 평가 적용방법 등 개선방안 마련을 위해 수차례의 전문가 자문회의를 시행하였다.
제2장 국내․외 문헌고찰
종합점수 산출방법 및 공개에 대한 이론적 고찰
1
가. 종합점수 개요
13)14) 적정성 평가에서 이용하고 있는 종합점수는 질 평가지표의 측정값을 종합하여 단일 값 으로 만든 지수(index)이다. 일반적인 종합점수 산출 과정은 아래 그림 2에서 보듯이 정규 화(normalization), 가중치(weight), 종합화(aggregation) 순으로 이루어진다.[그림 2] 종합점수 산출 과정
종합점수는 다양한 방법으로 산출할 수 있다. 종합점수를 산출하는 과정에서 서로 다른 단위의 측정 지표들을 동일한 단위로 전환해야 하고, 표준화(standardization), 재점수화 (rescaling), 순위화(ranking) 등의 다양한 방법으로 측정값을 정규화(normalization) 할 수 있다. 또한 개별 지표들 간의 상대적인 중요도인 가중치를 부여할 때도 동일 가중치 (equal weight), 전문가 또는 소비자에 의해서 부여되는 주관적 가중치(weight based on experts or consumers judgement), 통계적 가중치(statistical weight) 등의 방법 을 적용할 수 있다. 측정 지표값을 정규화하고 가중치를 부여한 후 그 값들을 종합하는 종
13) 김경훈, 한승진. 적정성 평가자료 분석을 위한 가이드라인 개발. 건강보험심사평가원. 2014. 14) 황수희 등. 상급종합병원 지정기준 관련 의료의 질 평가 방안 연구. 건강보험심사평가원. 2016.
합화의 과정에서는 누적합산(cumulative sum) 또는 누적곱산(cumulative multiply)의 방법을 사용할 수 있다. 이와 같이 종합점수 산출 과정에서 다양한 방법을 선택할 수 있고 선택한 방법에 따라 평가대상 기관의 질적 수준이 차이가 발생할 수 있기 때문에 종합점 수 산출 방법은 신중히 선택해야 한다.15)
의료기관별로 측정한 구조, 과정, 결과지표를 종합하여 단일화한 의료기관 종합점수 는 일반적으로 표준화(normalization), 가중치 부여(weighting), 종합화(aggregation) 의 과정을 거친다. 종합점수는 여러 영역의 지표를 통합하여 제공함으로써 많은 정보 를 함축적으로 이해가 쉽게 전달하고, 복잡한 문제에 대한 개선정도를 평가할 수 있는 장점이 있다. 미국 AHRQ는 질 지표 사용자들 요구에 따라 종합점수를 개발하였고, 국가, 지역, 의 료제공자 수준에 적용할 수 있는 방법론을 활용하여 성과를 모니터링 하였다. AHRQ에서 는 다수의 지표를 하나로 요약한 정보를 제공하여 질에 대한 전체적 경향이나 차이에 대 한 해석이 용이하다는 것을 대표적 장점이라고 제시하였다. 그러나 구성하는 지표들의 점 수 패턴이 다양한 경우 이를 반영 못할 수 있으며, 일부 부분의 정보 부족 문제가 발생할 수 있다는 단점도 제시하였다. AHRQ는 종합점수 산출 단계를 ① 위험도 보정 비율과 신뢰구간 계산, ② 기준 집단을 이용한 위험도 보정 비율 척도 조정, ③ 신뢰도 보정 비율 계산, ④ 구성 가중치의 선택, ⑤ 종합점수 구성으로 이루어진다고 하였다. OECD도 종합지표 개발 지침서를 통해 종합점수를 정의하고 장․단점 및 구성 단계를 제 시하였다. OECD는 종합점수를 국가 간 비교를 통한 정책분석과 공공의 의사소통을 위한 유용한 도구라고 정의하였다. 이러한 종합점수는 개별지표 보다 해석이 용이하 고, 발전과정을 평가할 수 있는 장점이 있다고 언급하였으며, 왜곡된 해석으로 인한 잘못된 정책적 메시지를 줄 수 있는 단점도 있다고 하였다. OECD는 종합점수 구성 단계를 ① 이론적 틀 구축, ② 변수 선택, ③ 결측치 대체, ④ 다변량 분석, ⑤ 정규화, ⑥ 가중치 적용 및 종합화, ⑦ 불확실성 및 민감도 분석 ⑧ 자료 재확인, ⑨ 타 지표와의 연계, ⑩ 결과의 시각화로 구성된다고 하였다. 15) 김 윤 등. 요양급여 적정성 평가 발전방안에 관한 연구-적정성 평가결과 종합화 방안 및 진료성과 평가지표 개 발. 건강보험심사평가원. 서울대 의학연구원 의료관리학교실. 2010.
장점 단점 AHRQ 다수의 지표를 하나로 요약한 정보를 제공(질에 대한 전체적 경향이나 차이 에 대한 해석용이) 질적 차이 발견, 변별력 개선 질 향상을 위한 행동 및 계획의 우선 순위 결정에 용이 구성하는 지표들의 점수 패턴이 다양한 경우 이를 반영 못할 수 있음 어떤 부분의 질을 향상시켜야 하는지에 대한 정보 부재로 의료기관의 대응이 어려움 의료의 질에 영향을 미치는 보건의료시 스템 측면을 대표하지 않을 수 있음 구성 지표 각각의 근거를 반영해주지 않아 보고서의 영향력, 신뢰도를 감소 시킬 수 있음 OECD 의사결정자들에게 복잡하고 다양한 차 원의 현실을 개괄적으로 보여줄 수 있 음 많은 개별지표들 보다 해석이 용이함 시간의 변화에 따른 발전과정을 평가 할 수 있음 대중과의 의사소통을 촉진하며 책임성 을 증진할 수 있음 종합지표 구성방법이나 결과의 해석이 잘못되면 잘못된 정책적 메시지를 줄 수 있음 단순한 정책적 결론을 유도할 수 있음 종합지표 구성 과정이 투명하지 않거나 통계적, 개념적 원리가 부족하면 원하 는 정책을 뒷받침하는데 잘못 사용될 수 있음 지표 선택과 가중치 문제는 정치적 논 란이 될 수 있음 김윤 등(2010) 복잡하고 다양한 영역에 존재하는 문 제를 개괄할 수 있음 다양한 개별 지표의 추이를 찾고 해석 하는데 용이함 복잡한 문제에 대한 개선 정도를 평가 할 수 있음 지표수를 줄이거나 지표의 의미를 종합 하여 더 많은 정보를 제공할 수 있음 대중적 관심을 유발하고 관련 당국의 책임성을 제고시킬 수 있음 문제를 정책의제로 만드는데 유용함 측정이 어려운 영역이 제외되는 등 종 합 지표 개발에 문제점이 있거나 종합 지표 측정결과를 잘못 해석할 경우 정 책적 오류를 유도할 수 있음 종합지표 산출의 각 단계가 명료하고 과학적이지 않으면 정책적 목적 달성을 위해 도구적으로 이용될 수 있음 개별 지표와 함께 해석되지 않으면 단 순화된 정책적 함의를 제공할 수 있음 특정 영역에서의 낮은 성과가 드러나지 않아 적절한 대처가 지연될 수 있음 자료 : 김 윤 등(2010), 황수희 등(2016) 연구보고서에서 제시된 내용을 재구성 <표 2> 종합점수 산출의 장․단점
Mazziotta(2013)은 종합점수 산출 과정은 다양한 사항을 고려해야 하는 복잡한 과정 이며, 특히 이론적 틀(theoretical framework) 선정, 데이터의 이용가능성(availability of the data), 대표성 있는 지표 선정(selection of the more representative indicators), 표준화(treatment in order to compare)와 종합화(aggregate) 방법을 핵 심적으로 고려해야 한다고 하였다.16) 종합점수를 산출하는 과정을 4단계로 언급하였으 며, 이는 ① 종합점수의 명확한 정의 설정, ② 지표 선정, ③ 지표의 정규화, ④ 정규화된 지표의 종합화 이다. 이러한 종합점수에 산출 과정에서 선택하는 세부적인 방법(가중치, 표준화, 종합화)에 대한 일반화된 규칙은 없지만, 지표의 종류(대체가능/대체불가능), 종 화화의 종류(간단/복잡), 비교의 종류(절대적/상대적), 가중치의 종류(주관적/객관적)에 따라 선택 가능하다고 하였다. 그림 3에서 Mazziotta(2013) 연구에서 제시한 최적의 종 합점수 산출방법 선택을 위한 알고리즘을 제시하였다.
16) Mazziotta M, Pareto A. Methods for constructing composite indices: one for all or all for one?. Italian Review of Economics, Demography and Statistics. 2013; 67(2):67-80.
[그림 3] 최적의 종합점수 산출방법 선택을 위한 알고리즘
자료 : Mazziotta M, Pareto A. Methods for constructing composite indices: one for all or all for one?. Italian Review of Economics, Demography and Statistics. 2013; 67(2):67-80.
나. 종합점수 산출 방법
17)18)19)1) 표준화(normalization)방법
가) 순위(ranking) 순위 변환은 표준화 방법 중, 각각의 측정 지표를 점수 또는 성과를 바탕으로 순위화 하 거나 순위의 평균으로 전환시키는 방법이다. 이 방법은 간단하게 표준화 할 수 있다는 장점 이 있지만 각 측정 지표의 향상에 대한 구제적인 정보를 얻을 수 없으며, 최종 순위에 영향 을 미친 측정지표에 대한 정보를 확인하기가 어려운 단점이 있다. 대표적인 순위 변환의 예 는 정보 및 의사소통 기술 지표(Information and Communications Technology Index), 메디케어 성과측정 연구(Medicare Study on Healthcare Performance) 등이다.나) Z-score 변환 Z-score 변환은 모든 측정치들의 평균값과 표준편차를 이용하여 표준정규분포화(평균 0, 표준편차 1)하는 표준화 방법이다. 이 변환 방법은 극단치를 효율적으로 표준화 할 수 있는 장점을 가지고 있다. 그러나 변환과정에서 극단치가 조절되기 때문에 극단치에 대한 개입을 위한 목적을 가지고 있다면, 이 변환은 적절하지 않을 수 있다. 다) 최소-최대 변환(min-max) 최소-최대 변환 방법은 지표의 최소 측정치와 최대 측정치의 간격을 고려하여 측정 단 위가 다른 각 지표의 범위를 동일한 간격(0~1)으로 변환하는 방법이다. 이 방법은 측정지 표의 단위가 서로 다르고 넓은 범위를 가지고 있을 때, 사용되며 지표 범위를 효과적으로 줄일 수 있는 방법이다. 그러나 극단치가 있을 경우 최소치와 최대치의 거리가 왜곡되어 잘못된 정보를 제공할 수 있는 단점이 있다.
17) OECD. Handbook on constructing composite indicators-methodology and user guide. 2008
18) Shwartz M et al. Composite measures of health care provider performance: A description of approaches. The Milbank Quarterly 2015;93(4):788-825.
19) ACCF/AHA 2010 Position statement on composite measures for healthcare performance assessment. circulation 2010;121(15):1780-1791.
라) 기준과의 거리(distance to reference) 기준과의 거리 변환은 측정값 중 기준(reference)을 정하고 그 기준값에 대한 상대적인 거리를 이용하여 표준화하는 방법이다. 기준을 설정하는 방법은 여러 가지가 있는데 대표 적인 것은 최대치와 평균으로 설정하는 방법이다. 최대치를 기준으로 설정할 경우, 최대 치의 값은 1로 설정되며 다른 측정값은 1 이하의 값으로 변화하게 된다. 평균을 기준으로 설정할 경우는 평균이 1로 설정되며 평균보다 큰 측정값은 1 보다 큰 값을, 평균보다 작 은 측정값은 1 미만의 수로 변환된다. 그러나 이 변환 방법도 극단치의 영향을 받는 단점 이 있다. 마) 점수 배분(categorical scale) 점수 배분 변환은 각 측정지표의 범위를 설정하여 각 범위에 대하여 점수를 부여하거나 명목형 범주(categories)를 부여하는 방법이다. 정량적 측면에서 점수배분이 사용할 경우 점수를 부여(예, star rating)하는 방법이 주로 사용되며, 질과 같은 정성적 측면에서 사 용될 경우 명목형 범주를 부여하는 방법이 사용된다. 또한 국가 수준의 비교를 위해서 측 정 지표의 분포범위(percentile)를 이용하여 점수를 부여한다. 그러나 점수 배분의 방법 은 변환과정에서 기존 지표에서 가지고 있던 분포(variation)의 정보를 포함하지 못한다 는 단점이 있다.
2) 가중치(weight) 부여 방법
가) 동일 가중치(equal weighting) 모든 측정치가 결과나 성과에 미치는 영향이 없다는 가정하에 모든 측정치에 동일한 가 중치를 부여하는 방법이다. 각 지표에 서로 다른 가중치 부여에 대한 명확한 근거를 가지 고 있지 않을 때 사용하는 가장 일반적인 방법이다. 동일한 가중치를 부여한 측정지표를 그룹화하여 차원(dimensions)을 구성할 경우, 구성하고 있는 측정지표에 따라 영향력이 달라지기 때문에 차원의 가중치는 동일하지 않을 수 있다. 그리고 동일 가중치 부여는 가 중치를 부여하지 않는 것(no weights)과 같은 의미가 아니기 때문에 구별할 필요가 있다.나) 기회 가중치(opportunity weighting) 기회 가중치는 분모기반 가중치로서 분모는 각 측정 지표가 달성할 수 있는 총 기회를 의미하고 분자는 실제로 달성한 기회를 의미한다. 분모를 합산하는 과정에서 각 분모의 크기가 가중치로 반영된다. 일부 측정지표가 결측이라도 산출이 가능하다는 장점을 가지 고 있다. 그러나 일부 측정 지표에서는 사용할 수 없고 암묵적으로 완벽한 목표 달성을 전 제로 하고 하고 있다는 단점을 가지고 있다. 다) All-or-none 가중치 All-or-none 가중치는 각 지표와 관련한 모든 이벤트를 행하거나 성과를 달성하였으 면 1값이 주어지고, 그렇지 않으면 0값이 주어지는 접근방법이다. 이러한 특성 때문에 이 접근법은 모든 지표(모든 이벤트를 행하거나 성과를 달성하였을 경우)에 같은 가중치를 부여하기 때문에 각 지표에 대한 중요도도 동일하게 취급한다. 또한 결과를 통합할 때 그 룹이나 차원 단위가 아니라 각 지표 단위에서 통합하게 된다는 특징이 있다.
라) 주관적 가중치(weighting based on expert or customer judgement) 전문가에 의한 가중치 선정 방법은 전문가 집단에 의해 가중치가 개발되는 경우를 의미 하고 전문가 집단에서 논의된 특정 기준에 따라 각 측정 지표에 점수가 할당되는 방식이 다. 대표적인 전문가에 의한 가중치 결정 방법은 델파이(delphi) 방법이다. 이 방법을 통 하여 전문가들은 측정지표의 가중치에 대한 합의를 거쳐 결정하게 된다. 전문가에 의한 가중치의 대표적 예는 The Leapfrog Composite Safety Score가 있으며, 우리나라 적 정성 평가항목의 가중치 선정도 이 방법에 의해 이루어지고 있다.
소비자에 의한 가중치 선정 방법은 고객의 의견이 각 측정지표의 가중치를 디자인하는 데 있어 반영될 수 있도록 하는 방식이다. 대체로 서비스 제공자의 성과와 관련된 지표에 고객으로서 중요도 혹은 우선순위를 정할 때 사용하는 방법이다.
3) 종합화(aggregation)
가) 선형결합(linear aggregation) 종합화 방법 중 선형결합은 각 측정지표에 가중치를 곱하여 합하는 방식이다. 이 방법 은 각 지표의 측정단위가 같을 경우 유용하게 사용된다. 만약 각 지표들의 가중치를 동일 하게 부여하면 선형결합의 결과는 지표의 평균값과 동일하다. 선형결합은 가장 단순하게 종합화 할 수 있는 방법이며, 다양한 영역의 지표들을 모두 포함시켜 종합화 할 수 있다는 장점을 가지고 있다. 그러나 선형결합을 이용하여 종합화를 실시할 때, 지표의 중요도를 반영하기 위한 가중치 선정이 어려우며, 가중치가 잘못 선정되면 과소추정의 문제가 발생 할 수 있다. 따라서 이러한 문제를 해결하기 위해 선형결합을 위한 가중치는 전문가 집단, 문헌조사 등 다양한 방법을 사용하여 결정한다. 나) 기하결합(geometric aggregation) 기하결합은 각 측정지표에 가중치를 곱하여 산출된 값들의 곱으로 이루어진다. 기하결 합은 곱으로 산출되기 때문에 지표의 차이가 극대화 되는 현상이 발생된다. 만약 각 지표 또는 차원이 보정되지 않는 결과를 얻기 위해서는 기하결합을 시행한 종합점수 산출이 적 합하다. 다) 잠재적 특성(Latent trait) 접근법 다수의 지표가 하나의 특성을 예측하기 위해 측정되었고 이를 종합화 하는 방법 중 하나 가 잠재적 특성 접근법이다. 이 방법은 기본적으로 요인 분석(factor analysis)을 기본으 로 하고 있다. 이 종합화 방법을 사용하기 위해서는 다수의 측정 지표가 단일의 차원으로 그룹화 될 수 있어야 한다. 따라서 여러 차원의 걸쳐 포괄적인 종합화에는 적합하지 않다.다. 종합점수 공개 시 고려 사항
1) 재척도화 및 범주화(re-scaling and categorization)
평가를 위한 종합점수가 평균의 속성을 가진 지표(averaging items)와 측정 방식이 다 른 지표(예, 생존지수, 인력 비율 등)와 함께 구성되어 공개가 될 경우, 종합점수에 대한 의미 해석이 어려울 수 있다. 따라서 측정 방법이 다른 지표의 결과들을 종합화하여 점수 를 산출할 경우, 산출된 종합점수를 해석이 가능하게 재척도화 과정을 진행해야 하며 재 구성 지표의 통계적 분포와 임상적 의미를 고려해야 한다. 대표적인 재척도화 방법은 최 대값이 100점인 범주로 전환 방법이다. 재척도화를 시도할 때는 각각의 평가 차이를 가능 한 현실성 있게 보여줘야 하고, 그 차이가 실제에 비해 너무 크게 차이가 나는 것처럼 해 석되게 하는 등의 오류를 발생하지 말아야 한다.
2) 정확도의 문제
종합점수를 공개할 때는 확률 통계적 변동에 의한 불확실성에 대한 문제도 고려해야 한 다. 만약 불확실성의 문제를 간과할 경우 종합점수 결과의 대한 정보가 과장되거나 평가 에 대한 잘못된 결론을 이끌어 내는 오류를 범할 수 있다. 따라서 종합점수 결과를 공개할 때는 관찰된 차이(observed differences)의 범위가 정규표본변이(normal sampling variation)의 범위에 속해 있는지에 대한 정보도 같이 제공해주어야 한다.3) 종합점수 구성 지표
종합점수 결과 공개 시, 종합점수를 구성하는 각 지표의 세부 결과도 같이 공개해야 한 다. 세부 지표의 결과 공개는 평가 대상자에게 전체 평가 결과를 인지하고 각 세부 지표별 상태에 대한 피드백을 제공하여 개선 방향의 가이드라인을 제공해 줄 수 있다. 또한 각 지 표별로 산출 과정(표준화, 가중치, 종합화)을 공개함으로써 평가 목적의 타당성을 확보할 수 있고, 지속 가능한 구성에 대한 피드백을 받을 수 있다.외국의 의료기관 평가 방법 검토
2
가. 미국 CMS
1) 배경 및 목적
미국은 연방정부 차원에서 연방보건복지부(Department of Health and Human Servicies, HHS)산하에 있는 공공의료보험운영관리기구(Centers for Medicare & Medicaid Services, CMS20))를 중심으로 의료기관별 또는 의사별로 의료의 질과 진료비 를 평가하고, 분기별로 비교정보를 제공하고 있다. CMS에서는 국민들에게 책임감 있는 공적 공개를 통해 의료서비스의 질을 보장할 목적으로 의료질평가 사업(Quality Initiative)을 수행하고 있으며 평가결과 정보를 메디케어(Medicare) 웹사이트21)에서 이 용할 수 있도록 하고 있다. 또한 Hospital Compare에서는 CMS가 미국병원협회와 미국 의학회 등이 소비자대표, 기타 의료전문가, 정부단체 등이 연합하여 만든 조직(Hospital Quaility Alliance, HQA)과 협력하여 심장마비, 심부전, 폐렴, 수술감염 예방분야 등에 서 병원별 의료의 질 정보를 제공하고 있다. 의료기관이 제공하는 의료서비스의 질 향상 을 위한 Hospital Quality Initiative의 하나로 Hospital Compare 웹 페이지를 통하여 병원성과 평가결과를 5등급으로 공개하고 있고22) 일반 정보, 환자경험 조사, 적시성과 효 과성, 합병증, 재입원율과 사망, 영상검사 이용, 진료비, 심장마비/심부전/폐렴의 진료비 와 사망 영역의 병원성과 평가결과를 공개하고 있다.23) CMS의 의료 질 평가 사업 (Quality Initiatives) 중 하나인 Hospital quality initiative은 입원 및 외래 환자의 의 료 관련 질 지표 측정과 공개에 관한 업무를 처리하고 있으며 관련 내용은 ① Inpatient measure, ② Hospital compare, ③ Hospital inpatient quality reporting program, ④ Hospital outpatient quality reporting program, ⑤ HCAHPS: Patients' perspectives of care survey, ⑥ Medicare payment and volume information for consumers 이다.
20) CMS의 주요 업무는 의료서비스 보장과 수혜자들을 위한 의료 품질 관리로서, CMS 프로그램 모니터링 및 평가, 새로운 프로그램 개발, 각 주에 있는 품질향상기구(Quality Improvement Organization, QIO)와 계약을 맺고 다양 한 의료서비스 품질 관리 등을 함.
21) Medicare Webpage. Available from URL: http://www.medicare.gov
22) Centers for Medicare & Medicaid Service(CMS) Webpage. Available from URL: https://www.cms.gov/ Medicare/Quality-Initiatives-Patient-Assessment-Instruments/HospitalQualityInits/HospitalCompare.html 23) 박춘선 등. 아·태 지역 의료의 질 향상 네트워크 현황과 과제 - 병원성과 평가를 중심으로 -. OECD Korea
2) 평가영역 및 지표
CMS는 지표관리시스템(Measures management system)을 이용하여 지표를 개발하 고 관리한다. 특히, National Quality Forum(NQF)에서 요구하고 있는 기준에 따라 지 표를 도입하고 있으며 지표를 개발하는 과정을 요약하면 다음과 같다.24)
지표 개발 계획 구상
측정 세부 주제에 대한 정의 설정 및 우선순위 영역 확인 전문가로 구성된 기술 전문패널(Technical Expert Paner)소집 및 지표 개발 과정 투입
지표의 적절성, 기존 지표 및 후보 지표에 대한 고찰, 과학적 근거 확인
지표의 정의, 분자, 분모 등을 포함한 정보 설정 및 전문가·대중 의견 수렴 후 지표에 대한 테스트 수행
현실 적용 가능성에 대한 테스트 후 대중 의견을 받아 최종적으로 지표 세부안 확정
Hospital Quality initiative는 총 27개의 지표를 가지고 있으며, 24개의 과정 지표 및 3개의 결과지표를 포함하고 있다. 과정지표는 급성심근경색(AMI), 심부전(HF), 폐렴(PN), 수술 향상 및 수술 감염 예방(SCIP/SIP)관련한 지표가 구성되어 있고, 결과지표로는 30일 내 위험 표준화 사망, 30일 내 위험 표준화 재입원, AHRQ 환자안전지표로 구성되어 있다. 한편, HCAHPS에서 수행하는 10개의 환자 만족도 관련 지표 역시 존재하고 있다.
3) 평가체계
CMS와 관련한 조직 및 참여기관25)은 정부산하기관과 비정부기관으로 구분할 수 있는 데, 정부산하기관에는 Quality Improvement Council(QIC), Agency for Healthcare Research and Quality(AHRQ), Centers for Disease Control and Prevention(CDC) 등이 있으며, 비정부기관으로는 Joint Commission, National Committee for Quality Assurance(NCQA), American Medical Association, American Hospital Association 등이 관련 조직으로서 활동하고 있다.24) Centers for Medicare & Medicaid Service(CMS) Webpage. Available from URL: https://www.cms.gov/ Medicare/Quality-Initiatives-Patient-Assessment-Instruments/QualityIniti ativesGenInfo/index.html
25) Centers for Medicare & Medicaid Service(CMS). CMS Quality Strategy 2013- Beyond. Centers for Medicare & Medicaid Service(CMS). 2013.
4) 평가방식
가) Hospital compare Hospital compare는 소비자에게 의료기관들이 환자들에게 양질의 의료를 제공하고, 스스로 의료의 질을 향상하도록 촉진하기 위해 의료기관들을 평가하여 홈페이지에 정보를 제공하고 있다. 약 4,000개의 병원이 이 프로그램에 참가하고 있으며, 100개 이상의 의 료의 질과 관련된 지표를 측정하고 있다.Hospital compare는 평가 방식으로 Hospital Quality Star Rating(HQSR)을 사용하 고 있다. 이 방식은 여러 측정 지표를 종합하여 단일 지표를 생성하는 방법 중 하나이다. HQSR은 ① 지표의 선정 및 표준화, 지표의 그룹할당, 잠재변수모형(latent variable model)을 이용한 그룹별 점수 산출, 그룹별 점수의 가중평균을 이용한 병원별 종합점수 산출, 군집화 알고리즘(clustering algorithm)을 통한 등급화 순으로 이루어진다. 지표를 선정하고 지표를 단일화하기 전에 각 측정지표를 표준화 해야 하는데 CMS는 Z-score 방식을 사용하고 있다. 또한 표준정규분포 상에서 0.125 퍼센타일(Z=-3)과 99.875 퍼센타일(Z=3) 밖에 있는 극단치를 제거하는 방식(winsorization)을 사용하였다. 이렇게 표준화한 지표들을 7개의 그룹으로 구분하여 점수를 부여하였다. 7개의 그룹은 ① 사망률(mortality), ② 안전성(safety of care), ③ 재입원(readmission), ④ 환자 경험(patient experience), ⑤ 효과성(effectiveness of care), ⑥ 적절성(timeliness of care), ⑦ 임상영상의 효율적 사용(efficent use of medical imaging) 이다. 이렇게 구분된 그룹은 잠재편수모형을 이용하여 그룹 점수를 산출한다.
그룹 점수를 산출하고 난 후, CMS는 전문가 그룹(Technical Experts Panel, TEP)의 자문을 통해 가중치에 대한 초안을 마련한다. 그리고 가감지급사업 프로그램과 같이 policy-based weghting scheme을 적용하여 가중치를 최종 결정한다. 가중치를 결정 하면 가중치를 고려한 최종 종합점수(hospital summary score)를 산출한다.
