1) 종합화 및 등급화 과정
기존 연구에서 종합점수 산출 과정을 평가지표별 목표 달성정도를 계량화하는 점수화, 평가지표별 목표 달성정도를 비교 가능하도록 보정하는 표준화, 지표별 점수에 가중치의 적용, 지표별 점수를 합산하는 종합화로 정리한 바 있다(Smith, 2009; 김교현 등, 2015 재인용).45) CMS는 병원 비교(Hospital Compare)를 위해 등급 산출에 포함할 지표의 선정 및 표준화, 지표의 그룹 할당, 잠재변수모형(latent variable model)을 이용한 그룹 별 점수 산출, 그룹별 점수의 가중평균을 이용한 병원별 종합점수 산출, 군집화 알고리즘 (clustering algorithm)을 통한 등급화(star ratings) 과정을 통해 병원 비교 결과를 공 개하고 있다.46)
이 연구에서는 지표의 점수화 방법에 따라 표준화 방법이 결정되는 것을 고려하여 점수 화와 표준화를 표준화 과정으로 통합하여 평가지표별 표준화, 가중치 부여, 평가항목별 종합화, 등급화 4단계로 종합점수 산출 및 등급화 과정을 정리하여 검토하였다. 이하 보 고서의 적정성 평가항목별 종합점수 산출 현황은 2017년 7월 결과가 공개된 차수의 평가 결과를 기준으로 하고 있다.
45) 김교현, 박미숙. 요양병원 적정성평가결과와 인증결과를 연계한 가감지급 모형 개발. 건강보험심사평가원. 2015.
46) Venkatesh AK, Bernheim SM, Hsieh A, Qin L, Bao H, et al. Overall Hospital Quality Star Ratings on Hospital Compare Methodology Report (v2.0). Yale New Haven Health Services Corporation·Center for Outcomes Research & Evaluation. 2016. Available from URL:
https://www.qualitynet.org/dcs/ContentServer?c=Page&pagename=QnetPublic%2FPage%2FQnetTier3&cid=1 228775957165
평가항목 기준
2) 평가항목별 표준화 현황
47) OECD. Handbook on Constructing Composite Indicators. OECD. 2008.
48) 김교현, 박미숙. 요양병원 적정성평가결과와 인증결과를 연계한 가감지급 모형 개발. 건강보험심사평가원. 2015.
기회모형은 CMS의 급성기병원 가감지급 사업(Premier Hospital Quality Incentive demonstration, PHQID)에서 사용한 점수산출 방법으로, 진료 가이드라인이나 권고사 항에 따라 어떤 의료서비스를 받아야하는 환자를 분모로, 해당 의료서비스를 실제로 받은 환자를 분자로 두어 점수를 산출하는 방법이다. 이러한 방법을 기회모형이라고 부르는 것 은 분모는 점수를 획득할 수 있는 전체 기회를, 분자는 전체 기회 가운데 충족된 건을 의 미하기 때문이다. 기회모형은 직관적으로 이해하기 쉽고 의료제공자에게 달성해야할 목표 (기회)를 진료과정에 제시하며 동기부여가 강력한 점수산출 방법으로 알려져 있다. 또한 분모를 합산하는 과정에서 각 분모의 크기가 평가지표의 가중치로 반영되며, 일부 평가지 표가 결측이더라도 산출이 가능하며 지표별 별도의 표준화 작업이 필요하지 않다는 장점 이 있다. 그러나 암묵적으로 만점 달성을 목표치로 제시하고 있어 실제 진료의 질을 낮출 수 있다는 점과 과정지표 외 구조지표, 결과지표, 환자경험지표에는 적용하기 어려운 제 한점이 있다.49)
적정성 평가에서 분자/분모 형태의 개 지표 , , …, 의 분자합/분모 합으로 산출되는 기회모형(
⋯
⋯
)을 이용하는 항목은 급 성기뇌졸중, 관상동맥우회술, 급성심근경색증, 대장암, 유방암, 폐암, 위암 등 7개이다.점수배분은 각 측정지표를 명목형 범주로 변환하는 방식이며, 3점 척도 또는 5점 척도 와 같이 구간을 이용하여 정량적 변수를 변환하거나 특정한 의미로 정의한 정성적 변수로 전환하는 방법이 대표적이다. 앞서 언급했던 것과 같이 점수 배분은 지표가 가지고 있던 변수의 변위 정보를 포함하지 못한다는 단점이 있다. 그러나 지표의 변위가 작고 지표의 변위를 보정할 필요가 없거나 방법이 없을 경우 유용하게 사용할 수 있는 방법이다.
현재 적정성 평가에서 사용하는 점수배분 방식은 구간을 이용하여 정량적 변수를 변환 하는 방식을 사용하고 있다. 구체적으로는 점수 배분을 사용하는 측정 지표의 값이 사전 에 설정해놓은 범위에 속하면 해당 점수를 부여하는 방식을 사용하고 있다. 대부분 구조, 과정 지표에 사용하고 있으며, 모든 지표에 점수 배분을 사용하는 항목은 혈액 투석, 요양 병원, 의료급여정신과, 중환자실이다.
기준과의 거리는 측정 지표의 값 중에서 기준을 정하고, 그 기준값에서 각각의 측정값 들과의 상대적인 거리를 이용하여 표준화 하는 방식이다. 이 방법은 설정하는 기준에 따
49) 김교현, 박미숙. 요양병원 적정성평가결과와 인증결과를 연계한 가감지급 모형 개발. 건강보험심사평가원. 2015.
라 산출되는 값이 다르기 때문에 사용 목적에 따라 알맞은 기준을 설정해야 한다.
적정성 평가항목에서 기준과의 거리를 사용하고 있는 항목은 크게 두 가지로 생존지수 와 평균 재원일수(LI)이다. 생존지수의 경우, 기준으로 설정된 값은 (1-예측 사망률)이 며, 이 값에 대해 (1-실제 사망률)의 값에 상대적 위치로 값이 산정된다. 평균 재원일수 는 종별 총 입원일수를 기준으로 설정하고 각 의료기관의 입원 일수에 대한 상대적 위치 로 표준화를 실시하고 있다.
지표영역별로 살펴보면 구조지표는 점수배분 또는 기회모형 방법을 이용하여 표준화를 하고 있으며, 과정지표는 대부분이 기회모형을 이용하며 혈액투석, 요양병원, 의료급여 정신과, 중환자실은 점수배분을 이용하고 있다.
또한 결과지표는 환자 요인 등이 결과에 영향을 줄 수 있으므로, 중증도 보정 모형을 통 해 이러한 요인을 보정하고 있다.50) 따라서 대부분의 결과지표는 환자 요인을 통해 예측 한 기댓값과 실제값을 비교하는 기준과의 거리 방법을 이용하여 표준화를 하고 있다. 일 반적으로 이분형(binary)으로 표현할 수 있는 기관별 결과지표를 산출하는 방법은 크게 세 가지가 있다. ① 예측값의 신뢰구간과 실제값의 비교, ② 실제값과 기댓값의 비로 비 교하는 방법(결과지표가 사망률인 경우, Hospital Standardized Mortality Ratio (HSMR)), ③ 실제값과 기댓값의 비에 전체 결과값을 곱하여(결과지표가 사망률인 경우, HSMR에 전체 조사망률(overall crude mortality)을 곱하여) 비교하는 방법으로(김경훈 등, 2014 수정),51) 이러한 방법들은 결국 기준과의 거리와 유사한 형태로 보인다.
다만 생존지수의 경우 분포를 예상하기 어려운 제한점이 있다. 생존지수를 이용하게 되 면서 지표의 가중치가 정해져있지만, 실제로 해당 지표의 값이 종합점수에 미치는 영향을 예상하기 어려우며, 총점이 100점이 아닐 가능성이 있어 등급화에도 일관되지 않는 기준 을 적용하게 되는 한 가지 원인이 되는 것으로 판단된다.
50) 김경훈, 한승진. 적정성 평가자료 분석을 위한 가이드라인 개발. 건강보험심사평가원. 2014.
51) 김경훈, 한승진. 적정성 평가자료 분석을 위한 가이드라인 개발. 건강보험심사평가원. 2014.
평가항목 종합점수 산출에 이용되는 평가지표의 점수부여 및 표준화
급성기뇌졸중
구조지표(1): 인력구성 지표로 상근 진료과목 수에 따라 A~D등급 → 점수배분(A등급: 100점, B등급: 75점, C등급: 50점, D등급: 0점)
과정지표(9): 복합과정점수(분자합/분모합×100, 백분율) 산출(기회모형)
<표 17> 종합점수 산출 평가항목별 평가지표별 점수부여 및 표준화 현황
평가항목 종합점수 산출에 이용되는 평가지표의 점수부여 및 표준화
3) 평가지표별 가중치 부여 현황
대부분의 지표가 평가지표별 가중치를 부여하여 종합점수를 산출하고 있으며, 일부 변 수는 평가영역별 또는 평가지표의 그룹별 가중치를 부여하고 있다. 급성기뇌졸중은 평가 영역별(구조, 과정, 과정지표항목수) 가중치를 부여하며, 암은 유사성 있는 평가지표를 4~6개 영역으로 그룹화하여 가중치를 부여하고 있다. 이는 과정지표를 세부 영역으로 분 류하는 것이다.
암 평가에서 평가지표의 그룹별 가중치를 부여하여 종합점수를 산출하고 있으나, 평가 지표 영역과 가중치 부여에 적용하는 영역 간에 차이가 있어, 일부 과정지표의 경우 평가 지표에서 분류되는 영역과 가중치 부여 시 적용되는 영역이 다르다. 예를 들어, 위암 평가 에서 전신상태 평가기록 비율과 항암화학요법 전문의 암병기 기록률 지표는 평가영역 분 류 시에는 진단적 평가영역으로 분류하지만, 가중치 부여를 위한 평가그룹 분류 시에는 항암화학요법 평가영역과 함께 보조요법으로 분류된다. 다만 이와 같이 지표영역 분류와 가중치 부여 시의 분류가 다른 것은 가중치를 보다 잘 부여하기 위한 것으로 문제점이라 고 보기는 어려운 것으로 판단된다.
평가항목 종합점수 산출에 이용되는 평가지표의 점수부여 및 표준화 요양병원 구조지표(9): 비(ratio) → 점수배분
과정지표(5) 및 결과지표(8): 백분율 → 점수배분
의료급여정신과
구조지표(9): → 점수배분
과정지표(4): → 점수배분
결과지표(7): → 점수배분
중환자실
구조지표(4): → 점수배분
과정지표(2): → 점수배분
결과지표(1): → 점수배분
평가항목 가중치 부여
급성기뇌졸중 평가영역별 가중치 부여(구조 3.0, 과정 4.5, 과정지표 항목 수 2.5) 폐렴 평가지표별 가중치 부여(과정지표로만 구성)
관상동맥우회술 평가지표별 가중치 부여(구조 1, 과정 1, 결과 3) 급성심근경색증 평가지표별 가중치 부여(과정 7, 결과 3)
만성페쇄성폐질환 평가지표별 가중치 부여(과정지표로만 구성)
혈액투석 평가지표별 가중치 부여(구조 7.5, 과정 4, 결과 0.5)
대장암 평가지표별·그룹별 가중치 부여
(구조 5, 검사 및 교육 15, 수술 37, 보조요법 30, 결과 13)
유방암 평가지표별·그룹별 가중치 부여
(구조 12, 기록충실도 28, 수술 20, 보조요법 40) 폐암
평가지표별·그룹별 가중치 부여
(구조 21, 진단적 평가 및 기록충실도 18, 수술 10, 전신요법(항암치료) 32, 방사선치료 16, 결과 3)
위암 평가지표별·그룹별 가중치 부여
(구조 10, 진단적 평가 12, 수술 45, 보조요법 20, 결과 13) 수술의예방적항생제 평가지표별 가중치 부여(과정지표로만 구성)
요양병원 평가지표별 가중치 부여(구조 5, 진료(과정, 결과) 5) 의료급여정신과 평가지표별 가중치 부여(구조 40, 과정 27, 결과 33) 중환자실 평가지표별 가중치 부여(구조 60, 과정 30, 결과 10)
<표 18> 종합점수 산출 평가항목별 가중치 부여
평가
4) 종합화(종합점수 산출) 현황
혈액투석을 제외한 모든 평가항목이 지표별 또는 지표영역별 점수와 가중치의 가중합
혈액투석을 제외한 모든 평가항목이 지표별 또는 지표영역별 점수와 가중치의 가중합