1) 평가지표의 구조적 적정성
⧠평가지표는 구조적으로 명확성, 측정가능성, 원인성, 신뢰성, 적시성을 갖추어야 함(표 참조).
○ 지표가 명확하고 알기 쉽게 정의되어 있어야 하며(명확성),
○ 측정 데이터 사용에 제약이 적어야 하고(측정가능성),
○ 해당 성과지표가 성과변화를 유도할 수 있는 지표여야 하며(원인성),
○ 지표 산출시 공식적이고 객관적인 통계자료를 활용해야 하며(신뢰성),
○ 성과를 측정하기 이전에 해당 성과정보가 산출되어 있어야 함(적시성).
〈표 3-1〉 평가지표로서 필요 속성
구분 내용
S Specific(명확성) 일관성 있는 성과 데이터의 수집과 공정한 비교를 위해 성과지표는 명 확하고 알기 쉽게 정의 되어야 함
M Measurable(측정가능성) 측정을 위한 데이터가 존재해야 하며 사용에 제약이 크지 않아야 함 A Attributable(원인성) 해당 성과지표가 성과변화를 가져와야 함
R Reliable(신뢰성) 제3자가 검토하더라도 일관된 결과가 나올 수 있어야 하고, 가급적 공 식적이고 객관적인 통계정보를 활용할 수 있도록 함
T Timely(적시성) 상과측정대상년도의 성과정보가 성과측정 전에 나와야 함 자료. 기획재정부, 한국조세연구원(2012)
3
2) 평가방법의 적정성
⧠평가지표의 속성을 고려하여 점수화 또는 등급화 방법을 선택하여야 함.
〈표 3-2〉 조사항목 측정값 유형별 적정 점수산정방식
자료. 2015년 지역거점공공병원 운영평가 결과보고서. pp.288~294 점수산정
방식 측정값 속성 벤치마크 상정 가능 여부
측정값 표시
유형 점수화/등급화 예시
절대평가 1
Pass or Fail, 순위척도(ordi nary scale)
- 예/아니오 예:4점, 아니오:0점
절대평가
2 등간척도
벤치마킹 포인트 n개로
상정 가능
개수로 점수 결정
예: 4개 수행-4점, 3개-3점, 2개-2점, 1개-1점, 미수행-0점
절대평가 3
등간척도 (interval
scale), 등비척도 (ratio scale)
-
퍼센트 값으로 점수
결정
80점 이상 4점, 70점 이상 3점, 60점 이상 2점, 50점 이상 1점, 50점 이하 0점
상대평가 1
등간, 등비척도
벤치마킹 근거가 없음, 의료기관의 노력 이외에 다른 영향요인이 있는 경우
결과의 분포를 보고
점수 결정
혼합평가 1
등간, 등비척도
목표치 제시 가능
목표치 기준으로
양쪽의 결과값 분포
파악하여 점수 부여
혼합평가 2
등간, 등비척도
절대적 기준 없음
분포를 보고 점수배점
결정
혼합평가 3
등간, 등비척도
- 개선을 반영을
목표로함
개선율
3) 평가결과 분포의 적정성
⧠영국의 QOF 에서는 다년간 지속되는 평가체계 내에서 평가지표를 유지해야하는 지 여부를 판단할 때에 다음 기준을 차용함(신영석 외, 2015)6).
○ 지표 선택은 통계적 기준을 통해서 이루어져야 하며 다음과 같은 내용에 대해 서 고려해야 함.
－ 평균 목표 달성률(average rate of achievement)
－ 목표 달성률(achievement rate)의 최근 추이
－ 목표 달성률(achievement rate) 편차의 범위 및 추이
－ 예외 보고(exception reporting)의 평균 비율 및 추이
－ 예외율 편차(exception rate)의 범위와 추이
○ 기본 분포를 파악한 후 변별력이 떨어지는 지표는 제외해야 함
－ 지표는 목표를 달성할 수 있는 여지를 남겨두어야 성과 향상의 동기부여가 되므로. Ceiling Effect 가 없고 변별력이 있는 지표를 선택하여야 함.
Ÿ Ceiling Effect: 중앙값 95%이상인 경우 제외
Ÿ 낮은 변별력: 제1사분위수와 제3사분위수 사이의 범위(interquartile range)가 4.5% 미만인 경우 제외
〔그림 3-1〕 지표 분류 기준: 변별력 및 Ceiling effect
자료. 신영석 외(2015). [그림 3-5] 재인용
6) Devid reeves et al., How to identify when a performance indicator has run its course. BMJ 2010;340:c1717
4) 평가체계 내 지표구성의 적정성
⧠평가체계 구축 시 구조, 과정, 결과 지표를 균형 있게 배치해야 함.
○ 과정 지표의 경우 Ceiling effect가 존재하기 때문에 과정 지표와 결과 지표의 균형이 필요(신영석 외, 2015)
－ 초기 단계에서 선택된 과정 지표가 추후에 ceiling effect가 보이는 경우 제 외 시켜야 함.
〈표 3-3〉 평가지표 유형별 속성 단계별
성과지표 개념 특성
장점 단점
투입지표 (input)
사업추진에 투입된 재 원, 인력, 기타 자원
예산집행과 사업 진행과정 상의 문제점을 발견하는데 도움
사업의 궁극적인 성과 측정의 한계로 사업의 결과 달성 여부 판단의 제약
과정지표 (Process)
사업진행과정에서 나타 나는 산출물의 양
사업 진도 등 사업추진 정도를 중간 점검하는데 도움
사업의 궁극적인 성과 측정의 한계로 사업의 결과 달성 여부 판단의 제약
산출지표 (Output)
사업 완료 후 나타나는 1차적 결과 또는 산출물
사업이 의도한 1차적 목표를 달 성하였는가를 점검하는데 도움
사업의 의도된 결과로 이어질 수도 있으나, 단순 산출지표만으 로는 사업의 결과 달성 여부 판 단의 제약
결과지표 (Outcome)
사업 완료 후 궁극적인 결과
사업이 의도한 최종목표의 달성 정도를 측정하는데 도움
사업범위와 목적에 부합하는 최 종 결과를 명확히 설정하여 이 를 의미 있게 측정할 수 있는 결 과지표 선정이 중요
자료. 기획재정부, 한국조세연구원(2012)
⧠또한 중요도 및 평가지표의 갯수 등을 고려하여 평가 영역 간 인센티브 규모가 적 정하도록 영역 구성 상 균형감을 갖추도록 함.
〈표 3-4〉 지표의 구조 타당성 평가틀
지표 유형 투입(input) 과정(Process) 산출(Output) 결과(Outcome) 지표
산출방식
절대 Vs.상대 점수 Vs.등급 개선 Vs.달성
지표 민감도
평균 범위 분포
평균 중위값 최소 최대 표준편차 변이계수