응답자에 의해 이루어지는 방법인 반면에 면접은 응답자의 응답을 기반으로 한 면접관에 의해 이루어진다. 각각의 설문조사와 면접조사는 비용, 목표 모집단의 범위, 질문할 때 연구자의 융통성에 따라 강점과 약점을 가진다.
시간을 온라인에서 보내고 설문을 완성할 능력과 시간이 있는 젊은 세대들에게 치우칠 가능성이 있다. 만약 설문링크가 연구대상에게 이메일로 전송 되는 것이 아니라 불특정 다수가 사용하는 게시판을 통해 전해진다면 컴퓨터를 사용한 응답률은 많은 문제를 야기한다. 이러한 이유들 때문에 많은 연구자들은 응답자가 선호하는 응답방식을 선택할 수 있는 듀얼미디어조사(dual-media survey)를 선택한다(예, 우편 조사와 온라인 조사).
설문문항을 만들고 구성하는 것은 기술이다. 반드시 질문의 내용, 표현이나 단어선택, 서식, 그리고 순서와 관련하여 많은 결정프로세스와 함께 이루어져야 한다. 이러한 모든 것들이 설문조사를 통한 결과에 중요하게 영향을 미칠 수 있다.
응답서식(response format). 설문 문항은 구조적이거나 비구조적 형태이다. 구조적인 문항에 대한 응답은 다음에 제시되는 한 가지 응답 서식을 따라야 한다.
이분화된응답(dichotomous response)은 ‘참/거짓, 예/아니오, 동의/비동의’ 와 같이 응답자가 두 가지 가능한 대안 중 한 가지를 선택하는 것을 말한다. “특정한 환경에서 사형제도가 정당화 될 수 있다고 생각하는가?” (동그라미 하시오)라는 질문은 예/아니오 로 나타낼 수 있다.
명목응답(nominal response)은 두 개의 이상의 배열되지 않고 서열화 되지 않은 선택대안을 말한다. 가령 “당신이 종사하고 있는 직종이 어느 산업에 속해 있습니까?”라는 질문에 제조업 / 고객 서비스 / 소매업 / 교육 / 건강관리(의료) / 관광&서비스 / 외 라는 대안을 제공하는 것이 그 예라 할 수 있다.
서열응답(ordinal response)은 서열화된 두 개 이상의 선택대안을 응답자에게 제공하는 것이다. 가령, “최종 학력은 무엇입니까?” 라는 질문에 대안으로 고등교육과정 / 학사과정 / 대학원 과정 이라고 대안을 제시하는 것이 그 예라 할 수 있다.
구간수준응답(interval-level response)은 리커트 척도나 어의차이 척도 혹은 거트만 척도 등에서 제시되는 5 점 혹은 7 점 범위의 문항을 응답자에게 제시하는 것을 말한다. 이 척도의 유형은 지난 장에서 논의된바 있다.
연속적응답(continuous response)은 응답자의 나이나 회사에서의 경력과 같이 의미 있는 영점을 지닌 비율척도화 된 연속적 값을 응답자에게 선택하도록 제시하는 것을 말한다.
이러한 응답은 일반적으로 빈칸으로 두어 응답자가 직접 작성하도록 제시하는 경향이 있다.
문항 내용과 단어 선택(question content and wording). 설문조사에서 질문 문항에 따라 도출된 응답은 매우 민감하게 나타난다. 설문 문항의 틀이 응답자가 보기에 불완전하거나 애매모호한 문항으로부터 얻은 무의미한 응답은 가치가 없는 결과를 초래하게 될지도 모른다. 딜먼(Dillman, 1978)은 좋은 설문 문항을 만들기 위한 몇 가지 규칙을 제시해 주고 있다. 설문조사에서 모든 단일 문항은 다음에 제시되는 사안에 대한 면밀한 검증을 거쳐야만 한다고 설명하고 있다.
문항이 명료하고 이해 가능한 것인가: 설문 문항은 단순한 언어로 기술되어야 하고 능동태가 선호되며, 응답자가 이해하지 못할 수 있는 복잡한 단어나 은어(전문용어)가 없어야만 한다.
설문지에 포함되어 있는 모든 문항은 비슷한 방식으로 기술되어 응답자로 하여금 읽기 쉽고 이해할 수 있게 해야 한다. 만약 설문 대상이 의사, 변호사, 연구자와 같이 전문용어를 매일 사용하는 환경에 있는 특정 집단을 대상으로 하는 경우는 예외적으로 전문용어나 복잡한 단어를 활용할 수 있다.
문항이 부정문으로 기술되었는가: 예를 들어,“만약 지방자치단체는 세금을 인상하지 말아야 한다면……”과 같이 부정적으로 기술된 문항은 응답자를 혼란하게 하고, 결국 부정확한 응답을 피할 수 없게 된다. 따라서 이러한 문항들을 피해야 하며, 모든 경우에 이중 부정문 또한 피해야 한다.
문항이 애매모호한가: 설문문항은 응답자에 따라 다르게 해석될 수 있는 단어나 표현들(예,
‘어떠한’ 혹은 ‘단지’)와 같은 단어를 피해 작성해야 한다. 응답자에게 연 수입에 대해 물어본다면, 임금을 의미하는지, 배당금, 임대수입을 의미하는지 혹은 다른 종류의 수입을 의미하는지 와 같이 명확하게 제시해야 한다. 이와 마찬가지로, 동일한 질문이 개인적 수입을 의미하는지, 가계 수입(배우자의 수입도 포함)을 의미하는지, 개인 수입과 기업의 수익을 동시에 의미하는지에 대해서도 명확하지 않다. 응답자에 따른 서로 다른 해석에 대한 응답데이터는 연구자가 정확하게 해석할 수 없는 결과를 초래하게 될 것이다.
문항이 편향되어 있거나 가치 판단적인 단어를 포함하고 있는가?: 편향은 응답자에게 특정한 방식으로 응답을 유도하는 문항의 특성을 말한다. 케네스 라신키(Kenneth Rasinky 1989)는 정부 지출에 대한 사람들의 태도와 관련된 여러 가지 연구를 진행하였고, 그 속에서 응답자들이 ‘복지’라는 것과 ‘빈곤층에 대한 지원’이 같은 의미를 지니고 있는 용어임에도 불구하고 후자 쪽으로 더 많이 응답하는 경향을 보이는 것을 발견하였다. 이와 비슷하게 ‘범죄 율을 낮추는 것’을 더 지지하였고(‘법 집행’을 적게 지지함), ‘대도시 문제에 대한 해결’을 더 지지하였고(‘대도시에 대한 지원’을 덜 지지함), ‘약물 중독을 해결하는 것’(‘약물 재활’을 덜 지지함)을 응답자들이 더 지지하고 있다는 것을 발견할 수 있다. 편향된 언어나 어조로 구성된 질문은 응답을 왜곡시키는 경향을 가지고 있다.
편향된 단어를 사전에 예측하는 것은 어렵지만, 설문 문항은 이러한 편향된 언어를 피할 수 있도록 면밀히 검토되어야 한다.
문항이 이중적으로 해석되는가: 이중적으로 해석되는 문항은 다중의 답을 지닐 수 있는 문항이라 할 수 있다.“당신은 작업을 할 때 제공되는 하드웨어와 소프트웨어에 대해 만족하는가?”라는 문항을 예로 들어보자. 이 예에서 만약 응답자가 하드웨어에는 만족하고 소프트웨어에는 만족하지 못하는 경우나, 혹은 그 반대의 경우에는 어떻게 응답해야 할까?
이렇게 이중적으로 해석되는 문항은 (1) 당신은 작업을 할 때 제공되는 하드웨어에 대해 만족하는가? (2) 당신은 작업을 할 때 제공되는 소프트웨어에 대해 만족하는가? 로 서로 다른 문항으로 분리해서 질문해야 한다. 다른 예로, 당신의 가족들이 공영 TV 를 선호하는가?
라는 질문에 몇몇의 응답자는 공영 TV 자체에 대해 만족한다고 응답할 수 있고, 아동용 Sesame Street 케이블 TV 프로그램을 선호한다고 응답할 수도 있다.
문항이 너무 일반적인가: 때때로, 너무 일반적인 문항은 응답자의 인식을 정확히 전달하지 못할 수 있다. 만약 설문 대상자에게 “특정한 책에 대해 얼마나 좋아하는지” 에 대해 묻고
‘전혀 좋아하지 않는다’ 부터 ‘매우 좋아한다’ 까지 응답 범위를 제공하였다고 하자.
만약 그 사람이 ‘매우 좋아한다’ 를 선택한다면, 그것은 무엇을 의미하겠는가? 이 질문 대신에 “이 책을 다른 사람에게 추천해줄 것인가?”, “같은 저자가 지은 다른 책을 읽을 계획을 가지고 있는가”와 같이 좀 더 특정하게 행동에 관한 질문을 하는 것이 좋다. 이와 마찬가지로, “당신의 회사가 얼마나 큰가?”(응답자 별로 다르게 해석될 수 있다.)라고 묻는 대신에, “회사에 종업원이 얼마나 많이 있습니까?” 혹은 “회사의 연 수입이 얼마나 되는가?”와 같이 회사의 규모를 측정할 수 있는 구체적인 질문을 하는 것이 좋다.
문항이 너무 상세한가: 연구 목적을 포괄하지 않는 너무 상세한 질문을 피하는 것이 좋다.
예를 들면,“가족 구성원에 연년생의 자녀가 필요한가?”나“가족 구성원으로 몇 명의 아이가 적당하다고 생각하는가?”와 같은 질문이 그 예라 할 수 있다. 확실하지 않다면, 보편적인 측면보다는 세부 사항 측면에 실수를 범하는 것이 낫다.
문항이 추정하고 있지는 않는가: 만약 “세금 할인에 대한 이익이 무엇인지?” 물어볼 경우, 응답자가 세금 할인을 이익으로 인식할 것이라고 추정하고 있는 것이다. 하지만 대부분의 사람들은 세금 할인을 이익으로 인식하지 않을 수 있다. 왜냐하면, 세금 할인은 아이들을 위한 공공 교육에 적은 양의 재원 투입을 의미한다고 인식할 수 있으며, 시민들에게 더 적은 공공 서비스(경찰, 구급차, 소방 서비스)를 제공할 것이라고 인식할 수 있기 때문이다.
따라서 추정에 기반한 문항은 피하는 것이 좋다.
문항이 가상적인 개념인가: TV 게임 쇼에서 사회자가 “만약 당신이 백만 달러를 쇼에서 획득할 경우, 어느 곳에 지출하겠는가?”와 같은 질문하는 것을 많이 보았을 것이다.
대부분의 응답자들은 그 정도의 돈을 가지고 있던 경험이 없거나 혹은 그러한 일에 대해 상상해본 적이 없다. 그렇기 때문에, 그들의 대답은 세계일주를 한다거나, 식당이나 바를 산다거나, 교육에 사용하겠다거나, 은퇴 후 노후자금으로 활용한다거나, 부모나 자녀들을 돕는다거나, 또는 호화로운 결혼식을 치를 것이라고 응답하는 등 매우 임의적인 경향을 지닐 수 있다. 가상적인 질문은 가상적인 답변을 이끌게 되고, 그것은 과학적인 추론을 하는데 활용되지 못한다.
응답자가 질문에 정확하게 대답하기 위한 정보를 가지고 있는가: 우리는 종종 어떠한 문제에 대답하기 위해서는 필요한 정보가 있다고 가정을 하게 된다. 하지만 현실에서는 그렇지 못한 경우가 있게 마련이다. 연구자가 연구대상으로부터 응답을 얻어질지라도, 그 응답은 질문문항에 대한 응답자의 정보 부족으로 인해 정확하지 않을 수 있다. 예를 들어, 회사의 CEO 에게 그들이 알지 못하는 “회사 내 매일의 공정 세부사항을 알고 있는가?”, 선생님들에게“그들의 학생이 얼마나 많이 배웠는가”에 대해서나 혹은 고등학교 학생들에게“미국정부가‘피그만 위기’때 정확하게 대응하였는가?”와 같은 질문을 해서는 안 된다는 것이다.
문항의 순서배열(question sequencing). 일반적으로 문항은 논리적인 흐름을 가지고 있어야 한다. 설문 대상자들로부터 높은 응답률을 달성하기 위해서는 문항들은 가장 덜 민감한 것부터 가장 민감한 것으로, 사실과 행동에 기반을 둔 것으로부터 태도에 기반을 둔 것으로, 일반적인 것에서 특정한 것으로의 흐름을 가지고 배열 되어야 한다. 문항의 순서배열에 대한 몇 가지 규칙은 다음과 같다:
응답자들이 쉽게 기억할 수 있고 당혹스럽지 않은 쉬운 문항으로 시작해라. 좋은 대안은 개인차원의 연구를 위한 인구학적 요소(나이, 성별, 교육 수준)나 회사 차원의 연구를 위한(종업원 수, 연간 수입, 산업)등이 될 수 있다.
절대 개방형 질문으로 시작하지 마라.
사건의 역사적인 순서를 따르고자 한다면, 최초의 것부터 최후의 것까지를 연대순에 따라 배열한다.
한 번에 한 가지 주제에 대해서만 질문해라. 주제를 바꾸고자 할 때, “다음 섹션은 xxx 에 대한 당신의 생각을 알아 보고자……” 과 같이 전환어(transition)를 제시해 주어야 한다.
필요하다면, 필터나 인지질문을 활용한다. 예를 들어, “5 번 문항에 대해 ‘예’라고 답할 경우, 2 번째 섹션으로 이동하고, ‘아니오’라고 답할 경우, 세 번째 섹션으로 이동하시오”이 있다.
다른 중요한 규칙들. 연구자는 응답자들을 자신과 같이 여길 줄 알아야 한다. 응답자의 시간, 참여, 개인정보에 대한 믿음과 신뢰성에 대해 주의 깊게 살피고 감사할 줄 알아야 한다. 다음에서 제시되는 모든 연구를 위한 전략을 연습하도록 해야 한다.
사람들의 시간은 가치 있는 것이다. 그들의 시간에 대해 존중해 줄 수 있어야 한다. 설문을 가능한 한 짧게 만들고 절대적으로 필요한 만큼으로 제한해야 한다. 응답자들은 10~15 분 이상의 시간을 설문에 사용하는 것을 원치 않기 때문에 긴 설문은 응답자로부터 극히 낮은 응답률의 결과를 초래한다.
응답자들에게 그들의 응답에 대한 신뢰성을 확인시켜주어야 한다. 예를 들어, 그들의 응답데이터가 어떻게 활용되고(예: 학술적 연구) 도출되는 지를 알려주어야 한다.
조직적 차원의 설문을 위해 응답자에게 최종 결과에 대한 보고서를 전달해 줄 것을 확실하게 하며, 이를 정확히 이행할 것임을 밝혀 주어야 한다.
응답자에게 연구에 참여해 준 점에 대해 감사의 말을 전해야 한다.
마지막으로, 실제 현장에서 응답자에게 설문을 부여하기 전, 설문문항에 대해 예비검사를 진행해야 한다. 이러한 예비검사는 설문 대상자에게 설문문항의 애매모호함이나 명확성의 결여, 문항의 편향된 단어들과 같이 제거되어야 할 오류들에 대해 확인하고 수정할 수 있게 해주기 때문이다.