제4장 보건의료체계 성과지표의 타당성 검토
4) 조사 방법
○ 국내외 사례 고찰 및 연구진들과의 내부회의를 거쳐 선정한 성과영역과 성과지표의 내용타당도 검증을 위해 2차에 걸친 델파이 조사를 실시함.
- 델파이 조사는 개방형 질문보다는 국내외 사례 고찰 및 연구진 회의 등을 통해 구 성한 구조화된 설문지를 활용하여 성과영역과 성과지표의 타당성을 검증하고 보충 의견을 제시할 수 있도록 하는 ‘수정델파이기법’을 적용함.48)
- 연구 참여자에 대해서는 성별, 나이, 학력 및 경력 등 일반적 현황 외에 개인정보를 수집하지 않았으며, 응답 자료 수집 후 회신 메일을 삭제함.
○ 1차 조사는 각 성과지표에 대해 우선순위 선정, 타당성 및 적절성에 대한 동의수준, 기타 의견 수집으로 구성됨.
- 우선순위 선정은 성과영역의 하위영역별로 지표의 중요도에 따라 참여자가 순서(아 라비아 숫자)를 정하여 기재하도록 함.
- 동의수준은 지표의 타당성, 적절성 등을 고려하여 참여자가 리커트(Likert) 방식의 5점 척도(매우 타당함(5), 타당함(4), 보통(3), 타당하지 않음(2), 매우 타당하지 않 음(1))로 구분된 항목에 직접 해당 수준을 표기하도록 함.
- 기타 의견은 성과영역 및 하위영역의 적절성, 지표의 적절성, 성과영역 및 하위영 역 적정 여부, 지표의 선정 여부, 각 지표에 대한 수정․삭제․보완․추가 등에 대한 의 견을 특별한 형식없이 자유롭게 기술하도록 함.
- 1차 조사 결과, 각 성과영역별로 동의수준이 평균 이상인 지표만 선정하여 2차 조 사를 실시함.
- 또한 1차 조사 결과, 우선순위 선정에 대한 응답율이 낮아 분석 대상에서 제외하였 고 2차 조사에도 포함하지 않음.
○ 2차 조사는 1차 조사의 결과를 반영하여 지표의 적절성 및 타당성에 대한 동의수준 결과로 평균, 표준편차, 최빈값, 중앙값을 산출하여 제시하였으며, 1차 조사와 동일 한 방법으로 각 지표별로 타당성 및 적절성에 대한 동의수준을 5점 척도로 표시하 도록 하고, 기타 의견을 자유롭게 기술하도록 함.
○ 2차 조사 후 최종 결과 산출시 지표의 동의수준에 대한 평균과 표준편차 뿐 만 아니 라, 내용 타당도 검증을 위해서 내용 타당도 비율(content validity ratio, CVR)을 산출함.
- CVR이란 동의수준 또는 중요도에 대한 일치된 의견을 정량화한 것으로 델파이 조 사에 참여한 패널의 수에 따라 그 타당성 판단의 기준값(최소값)이 결정됨.49)
조사 패널 수 15명 18명 20명
기준값 0.49 0.47 0.42
자료: 1) 강용주. 델파이 기법의 이해와 적용사례. 2008
2) 문인영, 임정원, 이영선, 구회완, 한인영. 유방암 의료소외계층을 위한 한국형 환자네비게이터 직무교육 프로그램 모형 개발. 한국보건사회연구원. 2013.
<표 14> 델파이 조사 패널 수에 따른 기준값
49) Lawshe, 1975; 재인용: 강용주. 델파이 기법의 이해와 적용사례. 2008.
- 다음의 수식에서, N은 응답사례 수, Ne는 ‘중요하다’고 응답한 패널들의 수를 나타내며, 본 연구에서는 ‘매우 타당함(5)’, ‘타당함(4)’에 응답한 응답자의 수를 의미함.
CVR=
나. 1차 델파이 조사 결과
○ 조사 참여자는 총 18명으로, 성별 비율은 남녀가 동일하였고, 연령은 30세 이 상~40세 미만이 55.6%, 40세 이상이 44.4%이었으며, 학력은 88.9%가 박사 소지 자임.
- 또한 참여자의 55.6%가 보건의료정책 관련 분야 경력이 10년 이상이었고, 전문 자 격분야로 참여자 모두가 보건학이라고 응답하였으며 그 외 분야로 약학, 의학, 간 호학, 사회복지학 등 다양한 분야가 포함됨.
구분 빈도(명) 비율(%)
계 18 100.0
성별 남자 9 50.0
여자 9 50.0
연령 30세 이상~40세 미만 10 55.6
40세 이상 8 44.4
학력
박사 16 88.9
석사 2 11.1
학사 이하 0 0.0
경력
3년 미만 0 0.0
3년 이상~5년 미만 2 11.1
5년 이상~10년 미만 6 33.3
10년 이상 10 55.6
자격분야 (중복응답)
보건학 18
-간호학 1
-사회복지학 1
-의학 2
-약학 3
-한의학 1
-경제학 1
-기타 1
-<표 15> 델파이 조사 참여자의 일반적 특성
○ 성과지표의 타당성 및 적절성에 대한 동의수준을 평가한 결과, 전체 평균 점수는 3.75점이었음.
- 성과영역 내 하위영역별로 건강수준/건강상태는 3.73점, 의료이용의 접근성은 3.53점, 보장성은 3.82점, 치료의 적절성 및 효과성은 3.70점, 환자안전은 3.73 점, 환자경험/반응성은 3.89점, 지속가능성은 3.84점, 효율성은 3.94점, 형평성 은 3.70점으로 모든 하위영역들이 평균적으로 전문가로부터 3점(보통)이상의 동의 수준을 얻었음.
성과영역 하위영역 평균 표준편차 최빈값 중앙값
전체 3.75 0.98 4 4
건강 건강수준/건강상태 3.73 0.94 4 4
접근성 의료이용의 접근성 3.53 0.94 4 4
보장성 3.82 1.13 4 4
의료서비스의 질
치료의 적절성 및 효과성 3.70 0.94 4 4
환자안전 3.73 0.96 4 4
환자경험/반응성 3.89 0.97 4 4
비용 지속가능성 3.84 1.05 4 4
효율성 3.94 1.03 5 4
형평성 형평성 3.70 1.00 3 4
<표 16> 성과영역별 1차 델파이 조사 결과(동의수준)
○ 2차 조사를 위한 지표 선정 기준은 다음과 같음.
- 1차 조사 결과 중 하위영역별 평균 점수 이상이 되는 지표를 선정함. 기존 선행 연 구에서는 지표 전체의 평균 점수를 기준으로 하였으나,50) 본 연구의 1차 조사 결 과의 경우 성과영역 및 하위영역 간 평균 점수의 차이가 있어 동일 기준을 적용하 기에 적절하지 않다고 판단되어 하위영역별 평균을 산출하여 선정 기준으로 적용 함.
- 성과영역 및 하위영역 적정 여부, 지표의 선정 여부, 각 지표에 대한 수정․삭제․보 완․추가 등에 대한 패널의 의견에 대해서는 내부 연구진과 전문가 자문 등을 통해 그 타당성과 수용 여부를 판단하여 반영함.
○ 1차 조사 시 조사 내용에 포함된 성과지표의 우선순위는 응답률이 낮아 결과 분석 에 포함하지 않음.
1) 건강
○ 건강 영역에 해당되는 지표는 20개 중 9개 지표가 선정됨.
- 기대수명(Life expectancy at birth), 65세 기대여명(Life expectancy at age 65), 건강수명(HALE, DALE, DFLE, QALE), 영아사망률(Infant mortality), 허 혈성심질환 사망률, 뇌혈관질환 사망률, 암질환 사망률(전체, 위암, 대장암, 유방
○ 건강 영역의 지표에 대해 노인의 만성질환 및 기능상태, 치매 등에 관한 추가 및 보