단절적 시계열 분석은 정책 시행 전후의 단절성을 분석하여 개입 (intervention)의 경시적 효과를 평가하는 준실험적 방법으로, 정책 시행
전과 후 여러 시점에서의 데이터를 측정, 분석함으로써 정책 이외의 변수 가 결과에 미친 영향을 통제하고 장기간에 걸쳐 정책의 효과를 평가하는 방법이다. 정책이 실시되기 전의 경향을 파악하고 정책 시행 직후의 효과 및 정책 시행으로 인한 경향의 변화를 측정할 수 있으며 통제 집단이 없 이도 내적 타당도의 위협이 적다는 장점이 있다(박실비아, 김남순, 채수 미, 한은아, 류치영, 2013, p. 37에서 재인용; Ramsay et al., 2003).
단절적 시계열 연구에서 가장 많이 사용되는 방법 중 하나인 구간회귀 분석(segmented regression analysis)은 시간과 결과 변수를 선형 관 계로 가정하며, 최소자승법을 이용해 회귀식을 산출한다. 이때, 정책 개 입이 결과변수에 미친 영향은 다음과 같은 구간회귀식으로 표현된다.
β1은 정책 개입 이전 회귀선의 기울기를 의미하며, β2는 정책 개입 직 후의 즉각적인 결과변수 값 변화의 크기를 의미한다. β3는 정책 개입 이 후 회귀선 기울기의 변화로, β1과 β3를 합하면 정책 개입 이후의 회귀선 기울기를 산출할 수 있다.
이와 같은 구간회귀분석을 통해 정책이 시행됨과 동시에 그 영향이 나 타나는지 혹은 일정 시간 이후에 나타나는지, 또한 그 영향이 단기간인지 지속적인지 계량화할 수 있으며, 다른 변수가 미칠 영향에 대해서도 파악 할 수 있다(박실비아, 김남순, 채수미, 한은아, 류치영, 2013, p. 37에서 재인용; Wagner et al., 2002).
이러한 장점으로 인해 정책 평가연구에서 단절적 시계열 분석을 활용 하는 사례는 점차 증가하고 있으며, 보건정책의 영역에서도 단절적 시계
제2장 보건의료정책 평가 현황 33
열 분석 모형을 이용한 평가연구가 이루어져 왔다. 우선, 단절적 시계열 분석을 이용해 외래 본인부담제도의 효과를 평가한 연구들이 활발하게 이루어져 왔는데, 김명화와 권순만(2010)은 노인 외래 본인부담제도의 변화가 의료 이용에 미친 영향을 분석하였고, 김효정, 김영훈, 김한성, 우 정식, 오수진(2013)은 상급 종합병원 외래 진료비 본인부담률 인상정책 과 상급 종합병원･종합병원 외래 약제비 본인 부담률 인상 정책이 의료 이용에 미친 영향을 분석하였다. 변진옥, 강하렴, 이현복(2014)은 2009 년과 2011년에 시행된 외래 본인부담의 종별 차등제가 각 종별 외래 환 자의 의료서비스 이용에 미친 효과를 분석하였다.
단절적 시계열 분석을 이용해 의약품 정책의 효과를 평가한 연구도 있 었다. 정광호, 전대성, 김홍석(2008)은 항생제 처방률 공개가 의원의 항 생제 처방률에 미치는 영향을 분석하였고, 박실비아, 김남순, 채수미, 한 은아, 류치영(2013)은 2010년 의원 외래처방 인센티브 제도와 2012년 일괄 약가 인하 정책이 의사의 의약품 처방에 미치는 영향을 단절적 시계 열 분석을 이용해 분석하였다.
2. 양적 평가 방법
질적 연구는 개인이나 집단에서 사회적 또는 인간적 문제 때문에 고려 하게 되는 의미를 이해하고 탐구하기 위한 수단으로(Creswell, 김영숙 등 역, 2011, p. 4) 내러티브 연구, 현상학적 연구, 근거이론 연구, 문화 기술지 연구, 사례연구 등으로 나뉜다.
질적 평가는 양적 평가와 다른 접근법을 취하게 되므로 양적 평가 결과 를 보완하는 목적으로 사용 가능하며 양적 평가에서 파악하기 어려운 이 해관계자의 인식과 경험을 파악할 수 있다는 장점이 있다. 이성우 등은
“어떤 맥락에서 사회정책이 정상적으로 작동되는지 혹은 제대로 기능하 지 못하는지를 알아내고자 하는 것이 질적 평가다” 라고 강조하였다(이성 우 등, 2015, p. 180). 정책이 집행되는 과정을 평가할 경우 행정자료 등 의 분석만으로는 충분히 파악하기 어려우므로 참여관찰, 면접 등의 질적 연구가 효과적일 수 있다. 국내외에서 발표된 질적 평가 방법을 사용한 평가 사례는 다음과 같다.
□ 영국 보건･복지서비스의 통합적 제공사업(WSIC) 평가 (Wistow et al., 2015)
런던 정경대학(London School of Economics and Political Science; LSE)과 독립적인 연구기관인 Nuffieldtrust는 Imperial College Health Partners(ICHP)와 North West London Collaboration of CCGs의 요청으로 2014년 2월부터 2015년 4월까지 Whole Systems Integrated Care(WSIC) 프로그램의 초기 디자인과 시 범단계의 개발 및 수행을 평가하였다. 질적 평가로 기획되었으며 WSIC 프로그램의 디자인 방법, 디자인 단계에서 지역 이해관계자의 참여, 초기 사업 참여자 전략의 개발 및 초기 수행, 사업의 목표 달성 수준을 객관적 으로 평가하는 것을 목적으로 하였다.
평가는 지역 이해관계자의 사업 참여 방법 평가와 초기 사용자의 개발 및 진행 내용 연구의 두 단계로 이루어졌고 문헌 분석, 회의 관찰 및 현장 방문, 반구조화된 인터뷰, 피드백 워크숍, 포커스 그룹 인터뷰, 운영위원 회 위원과 GP practice 대상의 서베이를 하였다. WSIC 프로그램이 광 범위한 대규모 사업으로 비전 공유, 10단계 실행 계획, 프로그램 부서의 지원을 통해 체계적이고 정해진 일정으로 진행되었다는 연구 결과를 제 시하였다.
제2장 보건의료정책 평가 현황 35
□ 보건소 고혈압･당뇨병 등록･관리 사업의 경기도 사업 효과 평가 (이원철, 이순영, 임현우, 이세영, 2012)
기초자치단체 심뇌혈관질환 고위험군 등록관리 사업 효과 평가 지표를 개발하고자 고혈압･당뇨병 등록 교육센터 현지 조사를 실시하였다. 대구 시, 부천시, 경주시, 울산시, 제주시 고혈압･당뇨병 등록 교육센터 인력이 참여하였으며 평가지표의 실행 가능성, 환자 등록 및 모니터링･평가 현 황, 환자 교육 등 업무 수행상의 문제점 등에 대해 그룹 토의 형식으로 의 견을 수집하였고, 센터별로 논의된 내용을 정리하였다.
주요 연구 결과는 다음과 같다.
- 사업 수행 6개월 미만 센터에서는 병･의원과 고혈압･당뇨병 등록 교 육센터와의 네트워크가 사업 시작 시 중요하였음.
- 65세 이상과 64세 이하로 구분하여 사업을 홍보하거나 등록 환자를 관리하는 것이 중요함.
- 병･의원의 환자 정보 입력이 저조하여 사업 평가가 어려움.
□ 지역사회 1차 의료 시범사업 만족도 및 효과의 질적 연구 (주정민, 조정진, 권용진, 이유림, 신동욱, 2017)
보건복지부의 지역사회 1차 의료 시범사업에서 제공된 서비스의 효과 를 평가하기 위해 해당 서비스를 받은 경험이 있는 환자들을 대상으로 심 층면담 조사를 수행하였다. 심층면담의 질문 유형은 면담조사 현장에서 참여자의 대답이나 반응에 따라 필요한 질문을 추가하거나 질문 순서를 바꾸는 등의 조정이 가능한 반구조화 인터뷰 방식을 사용하여 시범사업 에 대한 만족도, 교육 서비스 경험 이후의 변화, 질환 관리 방식의 개선 효과, 추후 개선 과제 등의 주제로 실시하였다.
연구 결과, 참여자들은 의사 주도 교육을 통한 의사･환자 간 신뢰 강화,
일대일 맞춤형 교육 형태, 차별화한 교육 자료와 제공 방식에 대해 만족 감을 느꼈다. 시범사업의 효과로는 정보 제공, 동기 강화, 생활습관 변화, 주변 지원 강화, 전문 코디네이션을 통한 의료서비스의 질 향상을 언급하 였다. 그러나 지역사회의 건강관리 자원 부족, 건강지원센터의 접근성 제 한을 한계로 지적하였다.
□ 보건소 모바일 헬스 케어 시범사업의 질적 효과 평가 (황정해, 박성희, 최윤경, 이연경, 김민정, 박나영 등, 2016)
2016년 9월부터 실시된 보건소 기반 모바일 헬스케어 시범사업의 효 과를 평가하기 위한 목적으로 사업 서비스 이용자 그룹과 의사, 간호사, 영양사 등 서비스 제공자 그룹에 대해 초점 집단 면접(Focus Group Interview, FGI)을 실시하였다. 서비스 이용자 그룹에는 사업의 효과, 만 족 및 불만족 요인, 참여 활성화를 위한 요소 등에 대해서, 서비스 제공자 그룹에는 사업의 운영 현황 및 효과, 장애 요인, 활성화를 위해 필요한 요 소, 사업 활성화 방안 등에 대해 질문하였다.
주요 평가 결과로 노인과 취약계층에 중심을 두는 기존 사업과 달리 모 바일 헬스케어 사업은 중장년층을 대상으로 한 사업 대상자의 확대 효과 가 나타났으며, 이용자들에게 건강 변화를 가시적으로 확인하도록 하여 건강 증진의 효과를 보다 효율적으로 이끌어낼 수 있었다고 평가하였다.
개선 과제로는 업무 증가에 따른 효율적 직무 재설계와 적정 인력 지원, 제공된 기기의 정확성 및 모바일 시스템의 안정성 확보, 사업 대상자 범 위 확대 등이 제시되었다.