조사연구의 많은 강점과 이점에도 불구하고 조사연구를 통해 도출된 추론들을 무효화 시킬 수 있는 체계적인 편향들을 가지고 있다. 비응답편향(non-response bias), 표집편향(sampling bias), 사회적요망성(또는 사회규범 부응성)편향(social desirability bias), 기억편향(recall bias)의 다섯 개의 편향들이 있다.
비응답편향(non-response bias). 조사연구는 일반적으로 응답률이 낮은 것으로 잘 알려져 있다.
우편조사에서 조사 대상자에게 여러 번 상기시켜줌에도 불구하고 일반적으로 15-20%의 응답률을 가지고 있다. 만약 조사 대상자의 대다수가 조사에 참여하지 못한다면 연구결과의 타당성에 대한 문제를 제기될 수 있다. 다시 말해서 시스템적인 이유로 인해 비응답자들이 조사에 참여를 하는지 안 하는지가 중요한 이유가 되는 것이다. 예를 들어, 불만족한 고객은 만족한 고객들보다 그들의 경험에 대해 더 큰 목소리를 내기 때문에 만족한 고객들에 비해 인터뷰 요청이나 설문조사에 응답하고자 하는 성향이 더 높다. 그래서 응답자 표본은 원래 생각했던 기본적인 표본에서보다 불만족한 고객들에 대해 더 높은 비율을 갖게 될 것이다. 이러한 경우, 결과는 일반화하기가 어려울 뿐만
아니라 관찰된 결과들도 역시 편향된 표본으로부터 나와 인위적인 값이 되기 쉽다. 다음과 같은 몇 가지 전략들이 응답률을 높이는데 이용될 수 있다.
사전통보(advance notification): 조사 대상자들에게 미리 간단한 편지를 보내는 것은 다가올 조사에 대해 응답자들이 미리 준비할 수 있는 시간을 제공함으로써 응답의 성향을 개선하는데 도움을 준다. 보내는 편지에는 연구의 목적과 중요성, 자료수집의 방식(예, 전화설문, 메일설문 등), 협조에 대한 감사인사 등을 언급해야 한다. 또한 응답자가 이 연구에 참여할 의지가 있는지 없는지를 나타내는 요금별납 된 엽서를 회신해주도록 요청하는 것도 포함될 수 있다.
내용의 적절성(relevance of content): 만약 연구가 응답자에게 관심이 있는 사항이거나, 관심분야와 관련성이 있는 내용에 대한 질문이라면 응답자는 자신과 관련 있지 않는 연구일 때보다 응답할 가능성이 높다.
우호적인 응답자 설문문항(respondent-friendly questionnaire): 짧은 설문 문항일수록 긴 문항에 비해 더 높은 응답률을 끌어내기 쉽다. 게다가 분명하고, 불쾌하지 않으며, 답하기 쉬운 질문일수록 응답률이 더 높은 경향이 있다.
보증(endorsement): 조직을 다루는 연구는 조직의 회사중역으로부터 연구의 중요성을 입증받는 것이 도움이 된다. 이러한 보증은 연구자의 신뢰성을 높일 수 있도록 추천 양식이나 커버레터의 형태로 추가하여 구성한다.
추가요청문(follow-up request): 복합적인 추가 요청문은 비응답자로부터 답변을 유도하게 끔 만든다.
인터뷰 진행자 교육(interviewer training): 인터뷰 응답률은 훈련된 인터뷰 진행자에 의해 결정되기 때문에 그들에게 인터뷰 요청방법과 잠재적인 응답자들을 찾기 위해 전산화된 다이얼링 기술을 사용하고, 연락이 닿지 않는 응답자들에게 일정을 재통보 하는지에 관하여 교육 받는다.
인센티브(incentives): 적어도 어떤 모집단에서의 응답률은 현금이나 기프트 카드, 또는 펜, 복권 응모권, 추첨권, 할인 쿠폰, 자선단체 기부와 같은 인센티브 형태를 활용하여 높일 수 있다.
비금전적 인센티브(non-monetary incentives): 특히 비즈니스는 금전적인 인센티브보다 비금전적인 인센티브에 응답하기 더 쉽다. 비금전적 인센티브의 예는 조사의 모든 응답들을 종합한 것에 대해 기업의 개인적인 의견들을 비교한 벤치마킹 보고서가 될 수 있다.
기밀성과 사적권리(confidentiality and privacy): 마지막으로 응답자들의 사적인 정보와 답변은 제 3 자에게 전달되지 않는다는 보장은 응답률을 높이는데 도움이 될 것이다.
표집편향(sampling bias). 전화조사는 공식적으로 전화번호부에 있는 임의적 표본의 방식으로 조사가 수행될 때 전화번호 목록에 없거나 휴대전화를 가진 사람들, 그리고 전화로 응답하는 것이 불가능한 사람들은(예, 일하는 사람들) 제외하게 된다. 또한 하루 중 많은 시간을 집에서 머무르는 무직자, 장애인, 연장자 같이 일반전화 서비스가 가능한 응답자는 연구 조사대상을 균형적이지 못하게 한다.
온라인 조사는 즉각적으로 인터넷을 사용할 수 있는 학생과 젊은 사람들로부터 응답을 수집하게 되므로 불균형적이며 형편이 어렵거나 연장자와 같이 인터넷 또는 컴퓨터에 접근하는데 어려움이 있는 사람들을 배제하는 경향이 있다. 설문조사는 글을 읽고, 이해하고, 질문에 의미있는 응답을 할 수 없다고 판단되는 아이들과 문맹자를 배제하게 된다. 표집편향의 다른 유형은 잘못된 모집단의 표집과 관련이 있다. 이러한 예로 학생들(아이들)의 학습성취에 대해 교사(부모)에게 물어보거나 CEO 에게 회사 내의 운영상의 세부사항들에 대해 물어보는 것을 들 수 있다. 이러한 편향들은 모집단을 대표하지 못한 표본이 되거나 편향된 표본으로부터 나온 추론에 대해 일반화 가능성을 어렵게 한다.
사회적바람직성편향(social desirability bias). 대부분의 사람들이 사회적으로 바람직하게 보이려는 편의를 의미한다. 다시 말해 응답자의 대다수는 자신이나, 고용인, 가족, 또는 친구들에 대하여 부정적인 의견이나 난처한 언급을 피하려고 한다. 당신의 프로젝트 팀이 제대로 역할을 하지 못하고 있다고 생각하는지, 당신의 직장에는 사내정치가 심한지, 인터넷에서 불법으로 음악파일을 다운로드 받은 적이 있는지와 같은 부정적인 질문들에 대해서 연구자는 아마도 응답자로부터 진실한 답변을 받을 수 없을 것이다. 자신들을 사회적으로 바람직한 태도를 가진 것으로 보이기 위해 ‘진실을 맴도는’ 응답자의 이러한 성향은 조사연구로부터 얻어진 응답들의 타당성을 약하게 하는
‘사회적바람직성편향’이라고 일컫는다. 사실상 설문조사에서 사회적바람직성편향을 극복하기 위한 방법은 없다. 하지만 인터뷰 조사 시, 인터뷰 진행자는 일관성 없는 답변들을 알아채고 추가질문을 하거나 응답자의 답변을 보강하기 위해 개인적인 관찰력을 사용할 수 있다.
기억편향(recall bias). 설문항목에 대한 응답은 종종 주제의 동기부여, 기억, 응답 능력에 따라 다르게 나타난다. 특히 아주 오래 전에 일어난 사건에 대해 다룰 경우 응답자는 그 사건에 대해서 시간이 흐르면서 자신의 동기부여나 행동에 대해 정확히 기억하지 못할 수도 있다. 예를 들어, 응답자에게 어린 시절의 기억할 만한 자신의 생일과 같은 사건이나 일년 전 자신의 컴퓨터 기술의 활용 정도를 말해보라고 한다면 그들의 응답은 아마도 회상하는데 어려움이 있기 때문에 정확하지 않을 것이다.
기억편향을 극복하는 하나의 가능한 방법은 기억으로부터의 동기부여나 인지를 끌어내도록 하기보다는 그 특정한 사건이 일어났을 때와 같이 그 사건 안에 응답자의 기억에 머물게 하는 것이다.
동일방법편의(common method bias). 동일방법편의는 횡단면 조사나 동일한 도구를 사용하는 설문조사처럼 같은 시점에서 독립변수와 종속변수를 측정함으로써 그 사이에 공유된 허위 공분산의 양을 나타낸다. 이러한 경우에 조사하고자 하는 현상을 측정도구와 충분히 분리하지 않았을 것이다.
표준화된 통계적 검사는 하몬드(Harmond)의 단일요소 검사(Podsakoff et al. 2003), 린델과 휘트니(Lindell & Whitney 2001)의 표시변수기법(market variable technique) 등이 있다. 만약 독립변수와 종속변수를 각 다른 시점에서 측정하는 추적조사(longitudinal survey)를 하거나 독립변수의 측정을 설문지를 바탕으로 하는 자기점수화(self-rating) 하거나 종속변수를 컴퓨터를
이용한 기록과 같은 변수를 서로 다른 수단을 통해 측정한다면 이런 편향은 잠재적으로 피할 수 있다.
제 10 장 실험연구
실험연구는 연구 설계상에서 ‘국제 표준(gold standard)’로 여겨지며 연구설계 가운데 가장 엄격하다. 하나 혹은 그 이상의 독립 변수들은 연구자에 의해 처리(treatment)되고, 처리될 변수는 연구에 적합한 수준으로 할당된다. 그리고 종속변수에 영향을 미치는 처리에 따른 결과를 관찰한다.
실험연구의 강점은 연구결과에 영향을 미치는 외생변수의 효과를 사전에 통제할 수 있고 처리(treatment)의 조작을 통한 인과관계를 분석하기 때문에 실험 자체로 내부 타당성(internal validity)을 만족하게 된다.
실험연구는 기술적 연구와 탐험적 연구보다 인과관계를 검증하는 설명적 연구에 가장 적합하다.
연구에서 상대적으로 제한되거나 잘 정의된 독립변수는 조작되거나 통제되어 실험실 혹은 실제 현장에서 수행된다. 실험실 실험(laboratory experiment)은, 실험실과 같은 인공적인 공간에서 이루어지기 때문에 높은 내부 타당성을 갖게 되는 경향이 있지만, 외부 타당성은 낮게 나타나는 결과를 가져온다. 왜냐하면, 실험실이라는 공간은 실제 세계를 전부 반영 할 수 없기 때문이다.
현장실험(field experiment)은 실제와 같은 현장 공간에서 실험이 진행되고 내부 타당성 및 외부 타당성이 모두 높게 나타난다. 그러나 현장실험연구는 처리(treatments)를 조작하고 외생변수의 효과를 통제하는 것이 어렵기 때문에 다른 연구방법과 비교하여 상대적으로 흔히 사용하는 기법은 아니다.
실험연구는 두 가지 큰 범주로 집단화될 수 있다. 진실험설계(true experimental design)와 준실험설계(quasi-experimental design)가 그것이다. 두 설계 모두 처리(treatment)에 대한 조작이 필요하지만, 진실험설계는 임의추출이 요구되고 준실험설계는 그렇지 않다는 차이점이 있다.
비실험연구(non-experimental research)는 실질적으로 연구설계가 아니라, 설문연구, 관찰연구, 상관관계연구와 같이 처리에 대한 조작을 실행하지 않는 모든 종류의 연구를 포함하는 용어이다.