제6주. 건강 관리의 이득에 대한 과학적 평가
많은 과학적 연구(실험 연구, 관찰 연구)는 가장 기본적 질에 대한 기준도 만족시키지 못한다. 의학기자는 연구 결과에 대해 심지어 peer review로 평가된 논문에 대해서도 의문을 가질 필요가 있다.
대조군이 없거나 부적절한 연구 설계, 상충된 이해관계가 있는 연구, 잘못되거나 적절하지 못한 통계적 분석을 적용하는 연구 역시 오도하는 결론을 낸다.
연구자가 그들의 초기 가설이 검증되지 않았다는 사실을 수용하지 않고 통계적으로 유의한 연관성이 있는 자료가 발견될 때까지 계속 찾는 경우가 있다. 그들이 정보를 계속 분석하면 우연에 의한 통계적 연관성이 있는 자료를 발견하게 될 것이다. 만약 다른 연구자가 연구를 반복할 경우 그러한 연관성을 찾지 못할 수도 있다.
(1) 가설이 어떻게 틀을 갖추었는가?
가설은 가능한 한 구체적이어야 한다. 예를 들면 두 가지 이상의 인자(변수) 사이의 관계나 두 집단 간의 차이점(실험군과 대조군과 같은)에 대한 결과를 포함해야 한다.
명확한 가설은 좋은 출발점이다. 반대로 자료가 수집된 뒤에 짜인 불분명한 가설은 조잡한 연구를 초래할 수 있다. 이러한 연구는 수많은 질문에 대해 우연한 기회로 한 두 번의 통계적인 의미를 지닌 결과를 얻을 수 있다.
때때로 가설은 부정적이다. 이는 다음과 같이 연구 내에서 변수 간에 아무 관계가 없다거나 비교된 치료군 간에 차이점이 없다는 것으로 표현된다. 이러한 가설을 귀무가설이라 한다. 귀무가설을 이용하는 연구자는 전형적으로 그러한 가설이 틀렸음을 증명하는 것을 목적으로 한다. 연구 대상이 되는 집단이 서로 비슷하다거나 전혀 연관
관계가 없을 가능성을 제외하려고 노력한다.
(2) 가설을 검증하기 위해 어떠한 방법을 선택했는가?
종종 연구자가 가설을 검증하기에 가장 적합한 방법을 선택하지 못하면 많은 문제가 발생한다. 비평가는 어떠한 연구에서 제한점이 생겼는지 질문하는 것으로부터 시작한다.
연구자가 연구 계획과 방법에 대해 자세하게 설명하였는가? 연구 대상의 표본이 가설에 적합했는가? 기대했던 정도의 차이점이 도출될 만큼 충분한 연구 대상이 존재했는가?
(연구자들은 연구가 계획되면 적당한 표본의 크기를 계산하고 어떠한 방법이 적합한지 보고해야 한다.)
대상의 표본은 반드시 결과가 적용될 환자의 범주에 적합해야 한다. 연구에서 정확히 어떻게 대상자가 모집되었는지, 선택 기준이 무엇인지, 연령과 성별의 분포, 기타 관련된 모든 특징을 언급해야 한다. 만약 대상자의 특징이 환자의 대표 집단으로서 적합하지 않다면 잘못된 결과를 얻을 수 있다. 이 경우 결론은 거짓일 확률이 높다.
만약 대조군이 존재한다면(치료의 효과에 관한 연구라면 있어야 한다) 실험군(치료군)과 동일한 관심을 주어야 함을 명심하라. 두 집단(실험군 뿐만 아니라 대조군도)은 서로 관련되고 대표적이어야 하며 모든 측정을 두 집단에 대해 동일한 방법으로 수행해야 한다.
(3) 어떻게 실험을 수행하였는가?
아무리 좋은 연구 계획이라도 연구자가 프로토콜을 주의 깊게 따르지 않으면 망칠 수 있다. 예를 들면 난수표든 컴퓨터로 생성된 것이든 무작위 수가 실험군 혹은 대조군에 할당되어야 한다. 판독이 받아들여지는 조건은 가능한 범위 내에서 표준화되어야 한다.
응답률은 연구 결과의 타당성을 결정하는 열쇠이다. 크기가 작고 좋은 응답률을 보이는 표본이 크기는 크지만 나쁜 응답률을 보이는 표본보다 나은 경우가 많다. 한 개인이 연구 표본에 포함되었을 때 연구자는 피실험자에게서 결과를 얻어내기 위해 끊임없이 노력해야 한다. 어떠한 대체도 표본의 무작위성과 연구 결과의 타당성을 위협하므로 허용되어서는 안 된다.
때때로 연구자가 실질적인 이유로 본래 계획을 수행할 수 없을 때가 있다. 이 경우 이 사실을 최종 보고서에 명시해야 한다. 가령 환자가 연구에서 낙오되거나 치료 계획을 이행할 수 없게 된 경우, 다른 치료로 전환할 수 밖에 없게 된 경우 또는 더 이상 그들이 다음의 계획에 참여할 수 없게 된 경우가 있을 수 있다. 연구자는 이러한 문제점들을 준비 조사에서 예상해야 한다. 모든 변수를 최종 결과를 해석할 때 언급하고 고려해야 한다.
참고문헌
Ragnar Levi. Medical Journalism: Exposing Fact, Fiction, Fraud. Wiley-Blackwell; 1 ed. 2001.
