가. 종합점수 개요
13)14)적정성 평가에서 이용하고 있는 종합점수는 질 평가지표의 측정값을 종합하여 단일 값 으로 만든 지수(index)이다. 일반적인 종합점수 산출 과정은 아래 그림 2에서 보듯이 정규 화(normalization), 가중치(weight), 종합화(aggregation) 순으로 이루어진다.
[그림 2] 종합점수 산출 과정
종합점수는 다양한 방법으로 산출할 수 있다. 종합점수를 산출하는 과정에서 서로 다른 단위의 측정 지표들을 동일한 단위로 전환해야 하고, 표준화(standardization), 재점수화 (rescaling), 순위화(ranking) 등의 다양한 방법으로 측정값을 정규화(normalization) 할 수 있다. 또한 개별 지표들 간의 상대적인 중요도인 가중치를 부여할 때도 동일 가중치 (equal weight), 전문가 또는 소비자에 의해서 부여되는 주관적 가중치(weight based on experts or consumers judgement), 통계적 가중치(statistical weight) 등의 방법 을 적용할 수 있다. 측정 지표값을 정규화하고 가중치를 부여한 후 그 값들을 종합하는 종
13) 김경훈, 한승진. 적정성 평가자료 분석을 위한 가이드라인 개발. 건강보험심사평가원. 2014.
14) 황수희 등. 상급종합병원 지정기준 관련 의료의 질 평가 방안 연구. 건강보험심사평가원. 2016.
합화의 과정에서는 누적합산(cumulative sum) 또는 누적곱산(cumulative multiply)의 방법을 사용할 수 있다. 이와 같이 종합점수 산출 과정에서 다양한 방법을 선택할 수 있고 선택한 방법에 따라 평가대상 기관의 질적 수준이 차이가 발생할 수 있기 때문에 종합점 수 산출 방법은 신중히 선택해야 한다.15)
의료기관별로 측정한 구조, 과정, 결과지표를 종합하여 단일화한 의료기관 종합점수 는 일반적으로 표준화(normalization), 가중치 부여(weighting), 종합화(aggregation) 의 과정을 거친다. 종합점수는 여러 영역의 지표를 통합하여 제공함으로써 많은 정보 를 함축적으로 이해가 쉽게 전달하고, 복잡한 문제에 대한 개선정도를 평가할 수 있는 장점이 있다.
미국 AHRQ는 질 지표 사용자들 요구에 따라 종합점수를 개발하였고, 국가, 지역, 의 료제공자 수준에 적용할 수 있는 방법론을 활용하여 성과를 모니터링 하였다. AHRQ에서 는 다수의 지표를 하나로 요약한 정보를 제공하여 질에 대한 전체적 경향이나 차이에 대 한 해석이 용이하다는 것을 대표적 장점이라고 제시하였다. 그러나 구성하는 지표들의 점 수 패턴이 다양한 경우 이를 반영 못할 수 있으며, 일부 부분의 정보 부족 문제가 발생할 수 있다는 단점도 제시하였다.
AHRQ는 종합점수 산출 단계를 ① 위험도 보정 비율과 신뢰구간 계산, ② 기준 집단을 이용한 위험도 보정 비율 척도 조정, ③ 신뢰도 보정 비율 계산, ④ 구성 가중치의 선택,
⑤ 종합점수 구성으로 이루어진다고 하였다.
OECD도 종합지표 개발 지침서를 통해 종합점수를 정의하고 장․단점 및 구성 단계를 제 시하였다. OECD는 종합점수를 국가 간 비교를 통한 정책분석과 공공의 의사소통을 위한 유용한 도구라고 정의하였다. 이러한 종합점수는 개별지표 보다 해석이 용이하 고, 발전과정을 평가할 수 있는 장점이 있다고 언급하였으며, 왜곡된 해석으로 인한 잘못된 정책적 메시지를 줄 수 있는 단점도 있다고 하였다.
OECD는 종합점수 구성 단계를 ① 이론적 틀 구축, ② 변수 선택, ③ 결측치 대체, ④ 다변량 분석, ⑤ 정규화, ⑥ 가중치 적용 및 종합화, ⑦ 불확실성 및 민감도 분석 ⑧ 자료 재확인, ⑨ 타 지표와의 연계, ⑩ 결과의 시각화로 구성된다고 하였다.
15) 김 윤 등. 요양급여 적정성 평가 발전방안에 관한 연구-적정성 평가결과 종합화 방안 및 진료성과 평가지표 개 발. 건강보험심사평가원. 서울대 의학연구원 의료관리학교실. 2010.
장점 단점
Mazziotta(2013)은 종합점수 산출 과정은 다양한 사항을 고려해야 하는 복잡한 과정 이며, 특히 이론적 틀(theoretical framework) 선정, 데이터의 이용가능성(availability of the data), 대표성 있는 지표 선정(selection of the more representative indicators), 표준화(treatment in order to compare)와 종합화(aggregate) 방법을 핵 심적으로 고려해야 한다고 하였다.16) 종합점수를 산출하는 과정을 4단계로 언급하였으 며, 이는 ① 종합점수의 명확한 정의 설정, ② 지표 선정, ③ 지표의 정규화, ④ 정규화된 지표의 종합화 이다. 이러한 종합점수에 산출 과정에서 선택하는 세부적인 방법(가중치, 표준화, 종합화)에 대한 일반화된 규칙은 없지만, 지표의 종류(대체가능/대체불가능), 종 화화의 종류(간단/복잡), 비교의 종류(절대적/상대적), 가중치의 종류(주관적/객관적)에 따라 선택 가능하다고 하였다. 그림 3에서 Mazziotta(2013) 연구에서 제시한 최적의 종 합점수 산출방법 선택을 위한 알고리즘을 제시하였다.
16) Mazziotta M, Pareto A. Methods for constructing composite indices: one for all or all for one?. Italian Review of Economics, Demography and Statistics. 2013; 67(2):67-80.
[그림 3] 최적의 종합점수 산출방법 선택을 위한 알고리즘
자료 : Mazziotta M, Pareto A. Methods for constructing composite indices: one for all or all for one?.
Italian Review of Economics, Demography and Statistics. 2013; 67(2):67-80.