4 장 기 후 변 화 관 련 건 강 적 응 대 책 평 가 에 대 한 이 론 과 방 법
제4장 기후변화관련 건강적응대책 평가에 대한 이론과 방법
제1절 공중보건사업 평가이론과 방법
1. 공중보건사업 평가란 ?5)
평가(evaluation)는 공중보건사업의 효과를 측정하는 것으로 사용되는 일련의 도구를 포함한다. 공중보건에서 전통적 평가는 특정 사업이 정 해진 결과에 미치는 영향 평가에 초점을 두어왔다. 평가는 또한 개념적 접근부터 자료사용에 이르기까지 공중보건관리의 질 개선 과정의 일부 이다. 공중보건조직은 보건사업의 평가에 있어서 지속적으로 평가기준에 대한 근거를 개정하고 이를 관리와 정책적 의사결정에 포함시키도록 해 야 한다.
평가의 개념과 방법은 공중보건조직에서 중요성이 커지고 있는데, 이 는 다른 교육 및 사회적 사업과 마찬가지다. 공중보건전문가는 어떤 사 업이 가장 잘 작동하고 있으며, 대중이 사업에 투입되는 자원에 대한 가치를 얻고 있는지와 함께 기존 사업의 영향을 증가시키는 방법을 알 아야 한다. 이러한 맥락에서 평가는 첫째로, 공중보건사업의 효과를 개 선하는 일련의 도구라고 할 수 있다. 평가에는 다음과 같은 활동이 포
5) 공중보건사업 평가 이론과 방법은 2007년 출간된 ｢Public Health Administration:
Principles for Population based management｣에서 Stoto와 Cosler가 저술한
"Evaluation of Public Health Interventions" 부분을 중심으로 고찰하였다.
128
기 후 변화 관 련 건 강 문 제 적 응 대 책 에 대한 평 가 체 계 개 발
함된다.
○ 다른 곳에서 개발된 공중보건사업의 효과를 판단하고 그 사업이 우리 지역에서 적용할 가능성이 있는지 판단한다. 예를 들면 백신 접종 등록사업이 미국의 여러 도시에서 시도되고 있는데 이 사업 이 실제 아동의 백신접종을 증가시켰는가?
○ 자체 개발한 새로운 공중보건서비스의 효과를 판단한다. 예를 들 면 새로운 지역사회 기반 사업이 실제로 더 많은 어린이들이 백 신을 접종받게 하였는가?
○ 우리 지역에서 해당 사업이 얼마나 잘 수행되었는지 평가한다. 어 느 아동들이 지역사회 아동 백신 접종사업에 참여하였는가? 어떤 아동들이 배제되었는가? 접종 범위를 확대하는 방법은 무엇인가?
○ 사업 계약자와 의무와 공중보건기구의 책임성을 명확하게 한다.
관리의료조직과 메디케이드는 해당 보험에 가입한 모든 아동에게 권고된 백신 접종을 다 받도록 계약하였는가? 다른 관리의료조직 에서 더 잘한다면 왜 그런가?
○ 공중보건사업의 효과를 재정 담당자 혹은 고위 당국에 증명한다.
백신접종에 대한 연방 재원이 정해진 지침에 의해서 사용되는지 와 목표로 제시된 효과를 달성한 정도에 관한 것이다.
2. 평가 방법
가. 용어정리
모든 공중보건사업은 투입, 활동, 실적, 결과 등에 의해서 설명될 수 있다. 보건사업 평가에 사용되는 용어를 아동백신접중을 예로 하여 다 음과 같이 제시하였다.
129
130
기 후 변화 관 련 건 강 문 제 적 응 대 책 에 대한 평 가 체 계 개 발
2) 과정 평가
과정 평가는 산출에 초점을 두고 평가하는 것이다. 이러한 평가는 예 를 들면 등록 절차의 변화가 접종등록체계에 등록하는 아동의 수를 증 가시키는지 질문하는 것이다. 이러한 경우에 산출과 결과에는 연관이 있다는 가정을 전제로 하게 된다. 또한 산출의 변화에 대한 근거는 바 람직한 결과에 대한 간접적 근거로 간주된다.
3) 조형적 혹은 발생적 평가(formative evaluation)
전통적 평가 이전에 가용한 자원을 가장 잘 사용하기 위한 노력에 대한 것이다. 조형적 혹은 발생적 평가(formative evaluation)은 초점집 단 면접 혹은 구조화된 면접과 같은 방법을 사용하여 개선 기회에 대한 도움/방해 요인을 이해한다. 예를 들면 주사기 교환 프로그램에서 샌프 란시스코 만의 약물사용자에 대한 면접과 같은 것이 있다.
4) 권한 부여(empowerment) 평가
대상 집단의 강점과 약점을 평가하여 핵심 목표 및 사업 개선에 초 점을 두고, 자체적으로 시작할 수 있는 강화전략 등을 개발하는 것이다.
5) 성과 측정
통계적 방법과 다른 평가도구를 사용하여 공중보건사업의 성과를 개 선하는데 지속적으로 책임성을 강화하는 것이다.
131
제 4 장 기 후 변 화 관 련 건 강 적 응 대 책 평 가 에 대 한 이 론 과 방 법
6) 효능(efficacy) 평가
평가는 본질적으로 그 프로그램이 공중보건을 개선하는 효과가 있었 는가를 파악하는 것이다. 평가에 있어서 질문은 그 것이 작동했는가를 후향적으로 혹은 동시적으로 검토하는 것이다. 평가에는 두 개 혹은 그 이상의 사업을 비교하거나 특정 사업이 더 좋은지 혹은 나쁜지 검토 하는 것이 포함된다. 이런 상황에서 핵심적 질문은 효능에 관한 것으로 어떤 사업이 다른 사업보다 더 효과적인지에 대한 것이다.
사업 평가는 효능에 초점을 두어야 하지만, 개인에 대한 권고와 자원 배분에 대한 정책적 결정을 함에 있어서는 추가적 주치가 보통 필요하 다. 즉, 사업은 통제된 상황에서 효과적이어야 하지만 다른 환경에서도 작동할 수 있어야 한다. 효과성은 적정하지 못한 상황에서 어떤 사업이 작동할 수 있는 지에 대한 것이다. 어떤 사업의 순 효과(net effect)를 검토하는데 있어서 다음 사항이 다루어져야 한다.
－ 통제 혹은 비교군은 추론의 타당성에 영향을 미칠 수 있는 방식 으로 선정되어야 한다.
－ 각 대조군에 포함되는 참가자의 수는 두 군의 차이를 통계적으로 검정할 수 있어야 한다.
－ 측정하기 위해 선정된 결과는 해당 사업의 목적을 타당하게 반영 할 수 있고, 시간적 변화를 반영할 수 있어야 하며 이해관계자들 의 동의를 얻어야 한다.
－ 혁신적 서비스가 실제 계획된 것과 같이 제공될 수 있는지를 보 여주는 근거와 혁신적 서비스와 통상적 서비스의 차이가 관심 결 과의 의미 있는 차이로 나타날 수 있다는 근거가 필요하다.
132
기 후 변화 관 련 건 강 문 제 적 응 대 책 에 대한 평 가 체 계 개 발
임상연구에서는 무작위추출 방법이 사용되지만, 공중보건에서는 가능 하지 않은 경우가 대부분이다. 인과관계에 대한 평가를 하기 위해서 연 구자는 다양한 연구디자인의 상대적 장점에 대한 일반적 합의를 도출해 야 한다. 또한 통계학적 방법을 사용하여 비무작위연구(실험)에서 인과 관계를 볼 수 있는 모델을 만들어야 한다. 통계적 검정력도 사업의 효 과를 추적할 수 있는데 중요하다.
－ 실험적 디자인: 무작위연구, 공중보건사업에서도 정치적, 윤리적 반대가 있을 수 있지만 이론적으로 가능
－ 준 실험적 디자인(quasi-experimental design): 환자 대조군 연구, 역사적 대조군을 둔 연속적 대조연구, 전후 연구, 다중 대조군 연구
－ 비실험적 디자인: 사례 연구, 일회적 보고
다. 측정
측정은 평가의 핵심이다. 사업의 효과를 평가함에 있어서 결과에 미 치는 영향을 측정해야 하며, 사업의 투입요소를 측정하는 것이 결과를 해석함에 있어 결정적 역할을 한다. 성과 개선 측정의 중요성은 관리에 필요하다. 측정 도구의 개발은 다음 4가지 단계를 거친다.
1) 평가의 목적(goals)과 목표(purposes)의 구체화
일반적으로 평가의 목적과 목표는 필요로 하는 측정 수단을 결정한 다. 결과 평가는 건강 결과를 측정하는 것이 필요하며, 실행가능성 평가 는 비용과 실행 장애요인에 초점을 둔다. 사업 평가는 다른 지역에서도 사용될 수 있어야 하며, 특정 중재에 대한 측정 도구를 포함해야 하며, 재현될 수 있어야 한다. 준 실험적 디자인을 사용한 평가에서는 교란
133
자료: Alternative disciplinary lenses for factors influencing health outcomes. Annual Review of Public Health, 1998; vol 19, 재인용
134
기 후 변화 관 련 건 강 문 제 적 응 대 책 에 대한 평 가 체 계 개 발
다음 그림은 지역사회 백신접종 프로그램(백신으로 예방 가능한 질병 관리 프로그램 중 일부)에 대한 이론적 모델을 보여준 것이다. 지역사 회기반 사업 평가에서는 인지도와 접근성 측정을 필요로 한다. 반면에 공급자 기반 사업에서는 중재를 받는 대상 집단에 대한 측정만 요구한 다(그림 4-2 참조).
〔그림 4-2〕 백신접종평가에 대한 근거모형
2) 측정되어야 할 개념 파악
중재의 특성과 평가의 목적에 따라서 논리적 평가 과정을 반영하는 지표가 선택되어야 한다. 백신접종에서는 등록체계 가용성과 관련된 주 요 투입요소 및 활동에 대한 지표가 개발되어야 한다. 그리고 중간 결 과(등록시스템에 등록된 출산아) 및 최종 결과 (백신접종을 받은 아동의 증가)도 개발되어야 할 것이다. 성과 개선 과정에 있어서는 특정 활동 에 대한 책임을 파악하고, 성과에 대한 책임을 가능하게 하는 지표를
135
제 4 장 기 후 변 화 관 련 건 강 적 응 대 책 평 가 에 대 한 이 론 과 방 법
선택한다. 장기와 단기 목표에 대한 균형을 유지하는 것도 필요하다.
3) 각 개념에 대한 측정 지표 개발
백신 접종율과 저체중 출생아와 같은 일반적 개념만으로 사업평가를 하는 것은 충분하지 않은데, 왜냐하면 이러한 측면은 다양한 방식으로 작동할 수 있기 때문이다. 신중한 평가는 각 개념에 대해서 하나 혹은 그 이상의 지표가 조작적으로 명료하게 정의되어야 한다. 핵심적 개념 을 충실히 대표하면서 가용한 자료로 시간 이내 측정될 수 있는 지표를 발견하는 것은 종종 과제가 된다. 일반 사망 혹은 질병 특이적 사망은 적절한 시기에 맞추기 어려운 경우가 있다. 보건의료비용은 경제적 이 론에 입각한 기회비용을 정확히 반영하지 못한다.
4) 지표 검증: 타당도, 신뢰도 및 변화에 대한 민감도
4) 지표 검증: 타당도, 신뢰도 및 변화에 대한 민감도