혼합조사의 모드효과 추정: 선택효과와 측정효과의 분리
방법
백지선
1)․ 심규호
2)․ 홍영택
3)․ 장덕현
4) 요약 본 연구는 웹조사와 면접조사의 순차적 혼합조사 방식에서 조사방법 간 결과차이인 모드효과를 파악하려는 목적으로 시행됐다. 모드효과는 조사방법을 선택한 표본 차이인 선택효과와 조사방 법 간 순수한 결과 차이인 측정효과로 분리될 수 있다. 이를 위해 혼합조사방법의 표본과 동질 적인 단일 면접조사방법의 비교표본을 설정하고 Vannieuwenhuyze와 Looseveldt(2012)가 소개한 Extended MM Comparison 방식을 적용했다. 가족, 안전, 노동, 소득과 소비 관련 61개 문항을 분석한 결과 선택효과는 대부분 유의하지 않았고, 측정효과가 p<.05 수준에서 유의한 문항은 31 개였다. 대체로 웹조사에서 바람직하지 않은 행동을 더 노출하며, 사회 비판적 시각을 나타내는 반면 면접조사는 바람직한 응답, 보통, 변화 없음을 응답하는 경향이 있었다. 이러한 결과에 따 라 혼합조사를 시행하는 경우 모드효과의 발생, 무응답오차, 비용, 조사 주제의 선택에 관한 논 의를 전개했다. 주요용어 : 혼합조사, 모드효과, 선택효과, 측정효과1. 서론
최근 둘 이상의 조사방법을 혼합하는 혼합조사(mixed-mode survey) 방법이 주목 받고 있다. 그 이유는, 다양한 조사방법(조사모드, mode)이 현재 시행되고 있기 때문 이다. 또한, 이들 조사방법의 장단점이 서로 보완이 된다고 여겨지기 때문이다. 전통 적으로 가장 널리 사용하는 방법인 가구방문 면접조사는 전국을 대표하는 가구를 지 역 단위로 엄격히 선정하여 조사할 수 있지만, 직접 조사대상을 대면해야 하는 제한 이 있다. 낮 시간대 재택률이 낮은 젊은층, 직장인을 만나기 힘들고, 대면을 위해 조 사원이 반복적으로 방문해야 하기 때문에 시간과 비용이 많이 든다. 이에 반해 인터 넷을 활용하는 웹조사는 조사대상을 직접 만나지 않아도 조사할 수 있는 장점이 있 다. 인터넷에 익숙한 젊은층, 직장인들에게 협조도만 확보한다면 효율적으로 조사를 진행할 수 있다. 이와 같이 조사방법마다 접근 가능한 대상에 차이가 있고 이것이 서 로 보완되기 때문에 조사방법을 잘 혼합하면 모든 조사대상에 대한 응답률을 높일 수 있으리라 기대된다. 또한, 조사방법 혼합을 통해 조사비용을 줄일 수도 있다. 즉, 여러 조사방법 중 효율적이고, 저렴한 방법을 우선 시행하고 이후 응답하지 않은 대상에 1) 대전광역시 서구 한밭대로 713, 통계개발원. E-mail: jabaek98@korea.kr 2) 대전광역시 서구 한밭대로 713, 통계개발원. E-mail: khshim@korea.kr 3) 서울특별시 종로구 사직로 70, 한국갤럽. E-mail: ythong@gallup.co.kr 4) 교신저자. 서울특별시 종로구 사직로 70, 한국갤럽. E-mail: dhjang@gallup.co.kr대해 비용이 많이 들더라도 대표성을 확보할 수 있는 조사방법을 순차적으로 시행하 면 동일한 비용 하에서 대표성이 더 높은 표본을 확보할 가능성이 생긴다. 특히 웹조 사는 조사원 인건비, 자료 부호화와 입력 비용을 줄일 수 있으므로, 혼합조사의 방법 으로 비효율성을 극복할 수 있는 매력적 방식이다. 이러한 혼합조사에 대한 기대 때문에 실제로 사회 여론, 공공 영역뿐 아니라 마케 팅 조사 영역에서도 이중 표본추출틀(dual frame), 조사방법의 혼합 등 서로 보완이 되는 표본추출틀과 조사방법을 혼합하는 다양한 혼합조사가 이뤄지고 있다. 또한, 통 계청 인구주택총조사에서도 2010년 이후 면접조사와 웹조사를 혼합한 방법을 한 바 있다. 그러나 이러한 혼합조사가 실제로 오차를 줄였는지, 효율성을 높였는지에 대해 서는 의문이 있다. 혼합조사에서 우려되는 가장 큰 문제는 조사방법 혼합이 전반적으로 응답률을 높 였는지가 불확실할 뿐 아니라 응답률을 높였더라도 조사방법간 결과 차이인 모드효과 (mode effect)가 발생할 수 있다는 점이다. 동일한 응답자라 하더라도 조사방법에 따 라 다르게 반응할 수 있기 때문에 혼합조사 적용은 간단치 않다. 무응답오차는 줄였 으나 그에 비례해 측정오차가 상승한다면 혼합을 통해 응답률을 높인 노력은 의미가 없게 된다. 또한, 시점이 다른 결과나 특성을 비교하는 경우 조사방법의 혼합 비율이 차이난다면 모드효과가 혼입되어 결과를 단순히 비교할 수 없다. 이러한 경우 측정오 차를 줄이는 전략을 채택하거나 적어도 효과 크기를 추정하여 보정하는 절차를 취해 야 하는데 모드효과의 측정 자체가 간단치 않다. 순수한 모드효과 또는 측정효과는 ‘동일 응답자가 조사 모드만 달리 했을 때 나타 날 수 있는 응답 결과의 차이’로 정의된다(Buelens et al., 2012). 하지만 동일 응답자 가 두 조사방법에 모두 응답할 수 없기 때문에 조사방법간 차이가 각 조사방법을 선 택한 표본 특성의 차이인지, 순수한 모드효과인지 알기 어렵다. 조사방법을 선택한 표 본이 차이나는 이러한 상황에서 순수한 모드효과는, 혼합한 각 조사방법을 구성하는 표본들이 동질적이라는 가정 하에서만 측정할 수 있다. 즉, 각 조사방법별로 표본은 동일한 모집단을 대표한다는 의미인 대표성 가정(representativity assumption)을 확보 해야 한다(Buelens et al., 2012; Klausch et al., 2014; Vannieuwenhuyze et al., 2010). 본 연구는 조사방법의 혼합에 따라 발생하는 모드효과를 추정하고자 하며, 특히 선택효과와 순수한 모드효과, 즉 측정효과의 분리를 시도할 것이다. 고유한 특성을 가 진 조사방법들을 혼합하는 경우 즉 혼합조사의 시행과 활용을 위해서 모드효과는 반 드시 측정되고 통제되어야 할 요소이다. 측정효과를 분리하는 방법 중 하나는 다른 모드로 조사한 표본을 각각 보조변수로 calibration한 후 결과 차이를 비교하는 것이다. 그러나 이런 방식은 전체 모드효과와 선택효과를 추정할 수 없다. 전체 모드효과, 혼합조사 표본의 선택효과와 측정효과를 분리하기 위해서는 단일 조사방법에 의해 조사된 비교표본을 설정해야 한다. 본 연구 에서는 실험설계(블록임의화 방법)를 통해 동질적인 두 집단을 구성했다. 하나의 집단 은 혼합조사를 하고, 다른 집단은 단일 조사방법으로 조사해 두 집단을 비교함으로써 선택효과와 측정효과의 분리를 시도할 것이다(Vannieuwenhuyze & Looseveldt, 2012).
혼합조사를 시행할 때 여러 조사방법을 다양한 조합으로 구성할 수 있다. 예를 들 어, 기본적으로 면접 방식으로 조사하되 민감한 문항들을 자기기입식으로 조사하여 한 응답자에게 여러 조사방법을 혼합할 수 있다(one sample, one time point, but different parts of the q'naire). 패널조사에서는 동일 응답자에게 다른 시점에 다양한 모드를 시행한다(one sample, multiple time points). 가장 대표적 시행 방식은 응답자 에 따라 각각 다른 하나의 모드로 시행하는 것이다(one sample, one time point, one q'naire). 이런 방식 중에서 조사방법에 대한 선호나 사전 배분에 따라 두 조사방법을 동시에 시행하는 방식과 하나의 조사방법을 전체 표본 대상으로 시행한 이후 무응답 자를 대상으로 다른 조사방법을 시행하는 순차적 방식이 있다(De Leeuw, 2005). 이 중 순차적 혼합이 중요한 이유는 대표성을 유지하거나 높이면서 비용을 줄일 수 있다 고 여겨지기 때문이다. 비용 우위인 방식을 먼저 시행해 효율성을 높이고, 응답하지 않은 조사대상에 대해서는 응답률을 높일 수 있는 다른 조사방법을 시도해 전체적인 응답률을 높일 수 있다. 이상을 요약하면, 본 연구는 혼합조사의 선택효과와 측정효과를 분리하는 방법을 적용하며, 각 문항별로 측정효과의 양상이 어떠한지 살펴볼 것이다. 구체적으로 먼저 순차적 혼합설계를 통해 혼합조사를 시행할 것이다. 다음으로, 혼합조사 표본과 단일 조사 표본과의 비교를 통해 각 문항별로 선택효과와 측정효과를 추정할 것이다. 이를 위해서는 혼합조사 표본과 단일조사 표본의 동질성을 확보해야 한다. 마지막으로 문 항별 측정효과 분석을 통해 어떤 특성의 문항에서 조사방법 간 혼합이 측정효과의 혼 입을 유발하는지, 어떤 문항들은 크게 문제되지 않는지 파악할 것이다. 이는 모드효과 발생의 원인을 밝히는 단서가 될 것이다.
2. 기존 연구 검토
2.1 국내 혼합조사 연구 국내에서 혼합조사를 시도한 대표적인 조사로는 인구주택총조사, 경제활동인구조 사, 사교육비조사를 들 수 있다. 2010년 인구주택총조사는 면접조사와 웹조사를 혼합했다. 이를 분석한 황양주․최 유성(2011) 연구에서는 대도시 거주, 사무직 종사 40대 가구의 웹 응답률이 높고, 이 들의 응답품질이 양호하다고 밝히고 있다. 그러나 조사방법에 따른 응답자 특성 차이 인 선택효과를 중심으로 전개하고, 그 결과 차이인 모드효과에 접근했다고 볼 수 없 다. 경제활동인구조사는 1999년부터 CAPI, 2008년부터 웹조사, 2009년부터 전화조사를 도입하여 이후 종이조사, CAPI, 웹조사, 전화조사를 모두 활용한 혼합한 조사를 하고 있다. 박시내 등(2014)은 조사방법 선택에 따른 주요지표의 차이를 분석했고, 반복비 례가중으로 선택효과 차이를 통제 후 대면과 비대면 방식 간 주요지표간 차이를 발견 하지 못했다.사교육비조사는 2011년 종이조사와 웹조사의 동시 혼합, 2012년은 웹조사 후 종이 조사의 순차적 혼합을 채택했다. 2011, 2012년 네 차례 조사 분석 결과(임경은․박라 나, 2013) 종이조사 대비 웹조사의 사교육비가 일관성 있게 높았다. 이들은 혼합조사를 시도했으나 비교되는 표본이 대표성 가정을 충족하지 못했고, 선택효과와 측정효과를 분리하지 못했다. 다음부터는 해외 연구에서 대표성 가정의 충족을 위한 조치, 선택효과와 측정효과의 분리 방법을 논의할 것이다. 2.2 혼합조사의 대표성 가정 충족 대부분의 경우 동일한 표본에 대해 동시적으로 다른 조사방법으로 측정할 수 없기 때문에 동질적인 두 표본을 비교한다. 조사방법을 달리 하는 두 표본이 동일한 모집 단을 대표하는지 의미하는 대표성 가정을 충족할 때 두 표본의 차이는 조사방법의 효 과, 즉 측정효과라고 할 수 있다. 주요 연구에서 대표성 가정 충족을 위해 몇 가지 방법을 채택했다. 첫째, 사전에 구축된 응답자 리스트를 활용해, 각 조건에 배분하여 동질성을 확보 하는 것이다(Dillman et al., 2009; Olson et al., 2012). 둘째, 스크리닝을 통해 최대한 동질성을 확보하는 것이다. 만약 전화조사와 면접조사를 비교한다면 전화조사가 불가 능한 가구는 두 조건 중 하나는 실행할 수 없으므로 이를 배제해야 한다. 셋째, 가구 에 대한 정보가 없다면 사전 리쿠르팅으로 표본을 구성한 후 배분하는 것이다(Jackle et al., 2010). 넷째, 보조변수 기준으로 반복비례가중 처리함으로써 두 조건을 동질적 으로 만드는 것이다(Vannieuwenhuyze et al., 2010). 마지막으로 다른 표본집단이 동 질성 확보가 어렵기 때문에 피험자내 설계를 통해 시간차를 두고 동일표본을 다시 조 사하는 것이다. 본 연구에서는 웹조사가 가능한 가구를 스크리닝하고, 사전 리쿠르팅 후 배분하여 비교하는 두 표본 간 동질성을 확보할 것이다. 2.3 선택효과와 측정효과의 분리 모드효과의 평가는 선택효과와 측정효과를 분리하는 문제로 귀결된다. Vannieuwenhuyze & Looseveldt(2012)는 이를 3가지 방식으로 구분했다. 첫째는 MM Calibration이다. 측정변수를 X, 모드그룹을 G, 공통요인을 Z라 할 때 공통요인 Z를 Calibration으로 통제한 후 그룹 간 X를 비교하는 것이다. Z를 통제하면 그룹 간 차이가 완전히 배제되며, Z의 측정은 조사방법에 영향 받지 않는다고 가정된 다. 둘째는 Extended MM Comparison 방식이다(<표 3.2> 참고). 이 방법에서는 단일 모드의 비교표본을 설정한다. 혼합모드의 전체 표본은 모드그룹 G=a일 때 조사모드 A=a, G=b일 때 조사모드 A=b만 측정 가능하다. 반면 모드그룹과 조사모드가 엇갈리 는 G=a일 때 조사모드 A=b인 경우 측정할 수 없다. 그러나 혼합모드 전체 표본(G=a & G=b)과 동질적인 단일모드 그룹을 설정하면 이를 추정할 수는 있다. 단일모드 전
체 그룹에서 혼합모드의 G=b그룹의 결과를 제외하면 G=a이지만 A=b일 때의 X를 알 수 있다. 이를 통해 모드는 같지만 그룹 선택이 다를 때를 가정하는 선택효과와 그룹 은 같지만 모드가 다를 때의 차이인 측정효과를 분리할 수 있다. 이 때 가정은 혼합 모드 조건과 단일모드 조건의 동질성이 전제되는 것이다. Extended MM comparison 은 통제변수에 대한 가정 없이 모드효과를 분리할 수 있는 장점이 있으나, 모드그룹 이 2개일 때 가능하고 그룹이 3개 이상으로 많아지면 적용할 수 없다.
마지막으로 Extended MM Calibration 방법이다. MM Comparison과 마찬가지로 단일모드 비교표본을 설정해야 한다. 공통요인 Z를 통해 단일모드 표본이 G=a에 속할 확률을 추정하거나 Calibration 방식으로 G=a이지만 A=b일 때의 X를 추정한다. 이후 선택효과와 측정효과의 분리는 MM comparison 방식과 동일하다. 이 방식은 3개 이 상의 모드그룹에도 적용 가능하다. 이를 적용하려면 혼합모드와 단일모드 조건이 동 질적이고, 공통변수로 그룹 선택을 충분히 설명할 수 있어야 한다. 본 연구는 웹조사와 면접조사 2개 조사방법을 비교하며, 단일모드의 비교 표본을 설정하여 둘째 방식인 Extended MM comparison을 통해 모드효과를 분리할 것이다.
3. 연구 방법
3.1 실험 방법 본 연구는 웹조사와 면접조사의 순차적 혼합을 시도하며, 사전조사, 실험조건 배 분, 본조사의 3단계로 구성된다. 사전조사는 적격 가구를 선정하고 가구원 명부를 작성한다. 조사대상은 서울지역 만 19∼59세의 인터넷 이용자로 대상 가구 방문 후 이에 해당하는 가구원이 한 명도 없는 경우 대상에서 제외했다. 사전조사를 통해 선정된 800가구는 순차적 혼합조건과 단일 비교조건으로 배분했 다. 집계구별로 전체 40가구 중 혼합조건 25가구, 단일조건 15가구로 임의 배분하는 임의화 블록 설계를 통해 집단간 동질성을 확보했다. 실제 배분한 두 집단은 카이제 곱검정 결과 주요 가구/가구원 특성에서 유의미한 차이를 발견할 수 없었다. 3.2 측정 내용 주제 및 측정항목 특성에 따라 모드효과 발생 여부와 정도가 달라질 것을 감안해 다양한 조사내용을 포함하려 했다. 일반적 사회인식을 측정하는 통계청 사회조사, 고 용상태에 대한 경제활동인구조사, 소득과 소비에 대한 가계금융복지조사에서 주요 항 목들을 도출했으며, 주요 항목은 <표 3.1>과 같았다.<표 3.1> 주요 측정 항목 부문 조사항목 기초정보 주택유형, 조사방법, 생년월일, 점유형태, 학력, 혼인상태, 동거여부, 등록장애 인 여부, 귀화 등에 따른 국적취득자, 외국인 여부 가족 부모 생존 여부, 부모와 동거 여부, 부모와의 교류, 부모부양에 대한 견해, 결 혼식 문화에 대한 인식, 결혼에 대한 견해, 이혼에 대한 견해, 재혼에 대한 견 해, 자녀 여부, 부모의 자녀 기대 교육수준, 부모의 자녀 기대 교육 목적 안전 사회 안전에 대한 인식도(국가안보, 자연재해, 건축물 및 시설물, 신종 전염 병, 전반적인 사회 안전), 사회의 안전상태 변화, 일상생활의 스트레스 정도, 자살에 대한 충동 유무 노동 근로여부, 직장유무, 평소 1주 근무시간, 지난주 근무시간, 1주일에 36시간 미 만 근무 이유, 종사상 지위, 고용계약기간 여부, 취업형태, 일과 가정생활의 우선도, 고용의 안정성, 일자리 만족도, 2014년 근로소득 등 소득과 소비 여유자금 운용방법, 주택가격 변화, 부동산 투자 의향, 1년후 부채규모, 거주 주택담보대출 여부, 거주주택담보대출 규모, 노후 월평균 최소 생활비, 노후 월평균 적정 생활비, 주관적 소득수준, 소비생활 만족도, 소득/부채의 변화, 긴축소비 지출항목, 소 득만족도 3.3 모드효과 추정 전체 모드효과는 혼합조사의 웹조사 응답결과와 비교표본의 면접조사 응답결과와 의 차이다. 그 비율 차이에 대해 카이제곱 검정으로 통계적 유의성을 확인할 것이다. 그러나 전체 모드효과는 선택효과와 측정효과로 구성되기 때문에 이를 분리하기 위해 Extended MM Comparison 방식을 시도한다. 그 방법을 설명하면 다음과 같다. <표 3.2> 비교표본을 통한 모드효과의 분리 구분 혼합조사표본의 그룹(G) 비교표본 (평가모드=b) a b 평가 모드 (A) a P1: A=a|G=a P3: A=a|G=b(측정 불가)
b P2: A=b|G=a(측정 불가) P4: A=b|G=b P5: A=b
먼저 혼합표본과 단일표본의 동질성 가정 하에서 단일표본의 응답비율 P5와 P2, P4를 표본크기 비례로 결합한 비율과 같다고 가정된다. 이에 근거 측정 불가한 P2는 P5와 P4의 관계에 의해 설명된다. P5 = (N1P2 + N2P4)/(N1+N2), P2 = {(N1+N2)P5 - N2P4}/N1 (3.1) P2가 추정되면 P1과 P5의 차이인 전체 모드효과는 P2와 P5 간 차이인 선택효과, P1과 P2 차이인 측정효과로 분리된다.
P1 - P5 = (P2 - P5) + (P1 - P2) (3.2) 전체효과 = 선택효과 + 측정효과 본 연구는 각 문항별로 전체 모드효과와 선택효과, 측정효과를 분리하고 이들의 유의성을 각각 카이제곱검정으로 확인할 것이다.
4. 연구 결과
4.1 대표성 가정: 실험집단간 동질성 검정 본 조사는 2015년 9월 10일부터 10월 23일까지 6주간 이뤄졌으며, 사전조사에서 선정된 가구의 적격 가구원 전체를 대상으로 했다(혼합 500가구 1,109명, 단일 300가 구 663명). 1,109명 중 혼합조건 웹조사 응답자는 408명으로 응답률 36.8%, 면접조사 185명을 진행해 전체 응답률은 53.5%였다. 면접조사는 663명 중 454명을 응답 완료해 전체 응답률은 68.5%였다. 조사된 표본은 실험집단별로 권역별 인구크기에 따라 가중 처리했으며, 이후 분석은 가중처리된 결과에 대한 것이다. 혼합조사의 가중 결과에 따 라 전체 혼합표본 593명 중 웹조사 표본 크기는 412명, 면접조사 표본크기는 181명이 다. 먼저 혼합조건 웹조사 응답자(가중 후 N=412)와 단일조건 면접조사 응답자(N=454) 의 특성을 보면<표 4.1>, 사전 선호 모드, 연령대, 직업에서 차이가 있었다. 사전 선호 모드는 웹조사 응답자의 웹조사 선호가 6.4%포인트 더 많았다. 연령대는 웹조사 응답 자가 면접조사 대비 20대, 40대가 많고, 30대, 50대가 적은 혼재된 결과였다. 직업에서 는 웹조사 응답자에서 학생이 많고, 블루칼라, 화이트칼라가 상대적으로 적었다. 주요 특성 기준에서 혼합조건 웹조사와 단일조건 면접조사 표본 간에는 대체로 차이가 크 지 않았으며, 선호 모드를 제외하고 5%포인트 미만의 차이였다. 모드효과의 추정과 분리를 위해 더 본질적인 것은 순차적으로 면접조사까지 수행 한 혼합조건 전체(N=593)와 단일 조건 표본 간의 동질성이다<표 4.2>. 두 실험조건의 표본 특성의 차이는 모든 특성에서 통계적 유의성을 발견할 수 없었다. 세부적으로 주택유형의 경우 혼합조건에서 연립/다세대 거주 비율이 5.2%포인트 많았으나 이외에 는 5%포인트 미만의 차이를 보였다. 두 실험조건 집단이 대표성 가정 충족을 확인하기 위해 주요 특성을 비교 분석했 으며, 이들 특성에서 통계적으로 유의한 차이를 발견할 수 없었다. 따라서 두 실험집 단은 주요 특성 기준에서 대체로 동질적이라고 볼 수 있다.구 분 사례수(명) 구성비율(Column%) 동질성 검정 χ2 혼합 웹 표본 비교표본 웹 표본혼합 비교표본 차이 전 체 412 454 100.0 100.0 - - 주택유형 단독주택 66 77 16.0 17.0 -1.0 1.883 아파트 243 279 59.0 61.5 -2.5 연립/다세대 98 96 23.9 21.2 2.7 기타 4 2 1.1 0.4 0.7 가구원수 1인 8 15 2.1 3.4 -1.3 4.790 2인 34 40 8.2 8.9 -0.7 3인 104 129 25.3 28.3 -3.0 4인 215 230 52.2 50.7 1.5 5인이상 50 40 12.2 8.7 3.5 가구 소득 100만원 미만 4 4 1.1 0.8 0.3 2.908 ∼200만원 9 12 2.2 2.7 -0.5 ∼300만원 51 70 12.4 15.4 -3.0 ∼400만원 105 114 25.4 25.1 0.3 ∼500만원 114 127 27.6 28.1 -0.4 ∼600만원 67 71 16.4 15.7 0.7 ∼700만원 42 37 10.3 8.2 2.1 700만원 이상 19 18 4.6 4.0 0.6 선호 모드 면접 168 214 40.7 47.1 -6.4 3.544*** 인터넷 244 240 59.3 52.9 6.4 성별 남성 203 218 49.4 48.1 1.3 0.136 여성 209 236 50.6 51.9 -1.3 연령대별 19∼29세 119 111 28.9 24.4 4.5 6.400* 30∼39세 71 102 17.2 22.5 -5.3 40∼49세 124 120 30.0 26.3 3.7 50∼59세 98 122 23.8 26.8 -3.0 가구원 관계 가구주 145 177 35.3 39.0 -3.7 4.340 배우자 140 153 33.9 33.8 0.1 미혼자녀 117 120 28.3 26.3 2.0 기타 10 4 2.5 0.9 1.6 직업 자영업 50 61 12.1 13.5 -1.4 9.734* 블루칼라 65 86 15.7 18.9 -3.2 화이트칼라 140 172 34.0 38.0 -4.0 가정주부 71 70 17.2 15.5 1.7 학생 70 55 16.9 12.2 4.7 무직/기타 17 9 4.1 1.9 2.1 학력 초등졸 이하 - - - - - 0.586 중졸 8 8 1.9 1.8 0.1 고졸 138 159 33.5 35.0 -1.5 대재/대졸 248 271 60.3 59.7 0.6 대학원재 이상 18 16 4.3 3.5 0.8 <표 4.1> 혼합 웹표본과 비교표본 구성비율 및 동질성 검정 ※ p-value(*<0.1, **<0.05, ***<0.01)
구 분 사례수(명) 구성비율(Column%) 동질성 검정 χ2 혼합 표본 전체 비교 표본 혼합 표본 전체 비교 표본 차이 전 체 593 454 100.0 100.0 - - 주택유형 단독주택 89 77 15.0 17.0 -2.0 4.652 아파트 343 279 57.8 61.5 -3.7 연립/다세대 156 96 26.3 21.2 5.2 기타 5 2 0.9 0.4 0.5 가구원수 1인 16 15 2.8 3.4 -0.6 2.378 2인 60 40 10.1 8.9 1.2 3인 157 129 26.5 28.3 -1.8 4인 294 230 49.6 50.7 -1.1 5인이상 65 40 11.0 8.7 2.3 가구 소득 100만원 미만 7 4 1.2 0.8 0.4 1.243 ∼200만원 15 12 2.6 2.7 -0.1 ∼300만원 94 70 15.8 15.4 0.4 ∼400만원 138 114 23.4 25.1 -1.7 ∼500만원 165 127 27.8 28.1 -0.3 ∼600만원 93 71 15.7 15.7 -0.1 ∼700만원 57 37 9.6 8.2 1.4 700만원 이상 24 18 4.0 4.0 0.0 선호 모드 면접 255 214 43.0 47.1 -4.1 1.778 인터넷 338 240 57.0 52.9 4.1 성별 남성 288 218 48.6 48.1 0.5 0.031 여성 305 236 51.4 51.9 -0.5 연령대별 19∼29세 162 111 27.4 24.4 3.0 2.854 30∼39세 118 102 19.9 22.5 -2.6 40∼49세 170 120 28.7 26.3 2.3 50∼59세 143 122 24.0 26.8 -2.7 가구원 관계 가구주 218 177 36.8 39.0 -2.2 6.064 배우자 197 153 33.2 33.8 -0.6 미혼자녀 160 120 26.9 26.3 0.6 기타 18 4 3.1 0.9 2.2 직업 자영업 77 61 12.9 13.5 -0.6 5.448 블루칼라 104 86 17.5 18.9 -1.4 화이트칼라 202 172 34.0 38.0 -3.9 가정주부 100 70 16.9 15.5 1.4 학생 89 55 15.0 12.2 2.8 무직/기타 21 9 3.6 1.9 1.6 학력 초등졸 이하 - - - - - 0.117 중졸 10 8 1.6 1.8 -0.1 고졸 210 159 35.4 35.0 0.4 대재/대졸 351 271 59.1 59.7 -0.6 대학원재 이상 23 16 3.8 3.5 0.3 <표 4.2> 혼합 표본 전체와 비교표본 구성비율 및 동질성 검정 ※ p-value(*<0.1, **<0.05, ***<0.01)
4.2 모드효과 추정: 선택효과와 측정효과의 분리 조사 내용 중 결혼식 문화에 대한 인식을 기준으로 모드효과의 추정 및 분리 과정 을 예시하면 다음과 같다. 전체 혼합표본과 비교표본과의 결과를 비교하면 혼합표본 에서 결혼식 문화(비용, 의식 절차 등)에 대해 ‘매우 과도’(31.3%) 응답이 비교표본 대 비 많았다. 반면 비교표본은 ‘보통’(26.7%), ‘약간 과도’(46.2%) 응답이 상대적으로 많 았다. 먼저 혼합조건 표본을 조사방법에 따라 2가지로 분리한다. 혼합조건의 전체표본은 593명이지만 웹표본은 412명, 면접표본은 181명이다. 혼합조건의 웹표본의 결과는 <표 3.2>의 P1, 면접표본은 P4, 비교표본은 P5이다. 3개 표본 결과를 비교하면 혼합 조건의 면접표본(P4)과 비교표본(P5)에서 ‘보통’, ‘약간 과도’ 응답이 많고 혼합조건 웹 표본(P1)에서 ‘매우 과도’ 응답이 많았다. P4, P5의 관계를 통해 P2를 추정한다(식 (3.1)). P2는 혼합조건의 웹표본이 면접조 사에 응답했을 때 추정되는 결과다. P2가 추정되면 조사방법과 표본을 달리하는 P1과 P5의 차이인 전체 모드효과를 표본 차이에 근거한 선택효과(P2와 P5의 차이), 조사방법 차이에 기인한 측정효과로 분리할 수 있다. 그 결과에 따르면 선택효과는 1%P 이하로 전반적으로 작고, 통계적으로 유의하지 않았다. 반면 측정효과는 통계적으로 유의했으며, 전체 모드효과는 조사방법의 차이에 의한 측정효과가 대부분 설명됨을 확인할 수 있다. <표 4.3>부터 <표 4.11>까지는 각 문항별로 P1과 P5, 추정된 P2를 제시하고 각각 전체효과, 선택효과, 측정효과의 유의성 검정(χ2, F 검정)을 실시했다. <표 4.3> 선택효과와 측정효과의 분리: 결혼식 문화에 대한 인식 구 분 구성비율(Row%) 비교표본과의동질성 검정 χ2 매우 간소 약간간소 보통 약간 과도 매우 과도 모름잘 P1. 혼합 웹 (사례수, n=412) 0.2(1) (14)3.5 18.6(77) (162)39.4 (149)36.2 2.1(9) 27.712*** P4. 혼합 면접 (n=182) 0.0(0) 4.5(8) 26.9(49) 47.1(85) 20.3(37) 1.2(2) 2.176 P1P4. 혼합 전체 (n=593) 0.1(1) (23)3.8 (125)21.1 (247)41.7 (186)31.3 (11)1.9 17.231 P5. 비교표본 (n=453) 0.0(0) (15)3.3 (121)26.7 (210)46.2 21.0(95) (13)2.9 -P2. 추정치 0.0 3.2 26.6 45.2 21.2 3.8 .748 (0) (13) (110) (186) (87) (16) 모드 효과 분리 전체 모드효과, P1-P5 0.2 0.2 -8.0 -6.8 15.2 -0.8 27.712*** 선택효과, P2-P5 0.0 -0.1 0.0 -1.0 0.2 0.9 .748 측정효과 P1-P2, 0.2 0.3 -8.0 -5.8 15.0 -1.6 26.764*** ※ p-value(*<0.1, **<0.05, ***<0.01) (질문) 귀하는 우리 사회의 결혼식 문화(비용, 의식 절차 등)에 대해 어떻게 생각하십니까?
구 분 사례수 (명) (Column%)구성비율 효과 검정 χ2 P1. 혼합 웹 P5. 비교 표본 P2. 추정 치 P1. 혼합 웹 P5. 비교 표본 P2. 추정 치 전체 효과 P1-P5 선택 효과 P2-P5 측정 효과 P1-P2 부모님 생존 모두 계심 145 189 172 51.0 57.5 57.4 7.629* .822 9.555** 아버지만 13 18 13 4.6 5.3 4.3 어머니만 82 94 91 28.7 28.4 30.5 안 계심 45 29 23 15.7 8.8 7.8 부모님과 전화통화 거의 매일 20 27 32 8.7 9.6 12.0 10.658** 1.268 14.301*** 일주일에 한두 번 113 172 161 49.2 60.4 60.6 한 달에 한두 번 89 81 68 38.7 28.6 25.4 1년에 몇 번 6 2 2 2.8 0.6 0.8 거의 하지 않음 1 3 3 0.7 1.2 1.2 부모님과 만남 거의 매일 8 9 10 3.7 3.0 3.8 10.360** 1.647 17.350*** 일주일에 한두 번 17 28 27 7.3 9.9 10.3 한 달에 한두 번 85 139 139 37.0 48.7 52.3 1년에 몇 번 118 108 88 51.4 37.7 33.0 거의 하지 않음 1 2 1 0.7 0.6 0.5 부모님 생계 스스로 해결 66 150 125 15.9 33.0 30.3 62.241***1.254 57.963*** 가족 99 131 132 24.0 28.9 31.9 가족과 정부, 사회 236 152 136 57.4 33.6 32.9 정부, 사회 8 21 20 2.0 4.5 4.9 기타 3 0 0 0.7 0.0 0.0 <표 4.4> 선택효과와 측정효과의 분리: 가족1(부모관계) ※ p-value(*<0.1, **<0.05, ***<0.01) 부모관계, 결혼관, 자녀관계 등 가족 관련 문항들에서 선택효과는 유의하지 않았으 며 측정효과가 크게 나타났다(이하 혼합조건의 웹조사표본, P1은 웹조사, 추정된 면접 조사 표본, P2는 면접조사로 명명). 먼저 부모 관계에 대해 웹조사에서 ‘부모님 모두 안 계심’ 응답이 많았고, 부모님과의 전화통화, 만남 빈도가 대체로 적었다. 부모님의 생계는 면접조사에서 ‘스스로 해결’ 응답이 많았던 반면, 웹조사는 ‘가족과 정부, 사회’ 의 공동 책임이라는 응답이 많았다. 결혼관 관련 문항에서 면접조사는 무난한 응답, 중간 응답을 하는 경향이 있었으 며 반면 웹조사는 극단적 응답 경향이 있었다. 예를 들어, 결혼식 문화에 대해 면접조 사는 ‘약간 과도’하다는 응답이 많았던 반면 웹조사는 ‘매우 과도’하다는 응답이 많았 다. 결혼에 대해서도 면접조사는 ‘해도 좋고, 안 해도 좋다’는 응답이 많았던 반면 웹 조사는 ‘하는 것이 좋다’는 입장이 많았다. 자녀 교육 관련 문항에서 면접조사에서 석사 이상의 고학력 응답이 많았다. 자녀 가 대학 이상 학력이길 원하는 이유로, 웹조사에서 ‘좋은 직업’ 응답이 상대적으로 많 았고, 면접조사는 ‘인격과 교양’ 응답이 많았다.
구 분 사례수 (명) (Column%)구성비율 효과 검정 χ2 P1. 혼합 웹 P5. 비교 표본 P2. 추정 치 P1. 혼합 웹 P5. 비교 표본 P2. 추정 치 전체 효과 P1-P5 선택 효과 P2-P5 측정 효과 P1-P2 결혼식 문화 ( 비 용 , 의식, 절차 등) 인식 매우 간소 1 0 0 0.2 0.0 0.0 27.712*** .748 26.764*** 약간 간소 14 15 13 3.5 3.3 3.2 보통 77 121 110 18.6 26.7 26.6 약간 과도 162 210 186 39.4 46.2 45.2 매우 과도 149 95 87 36.2 21.0 21.2 잘 모르겠다 9 13 16 2.1 2.9 3.8 결혼 반드시 해야 한다 43 36 42 10.5 8.0 10.1 10.447* 5.055 20.642*** 하는 것이 좋다 200 190 151 48.6 41.8 36.7 해도 좋고 안 해도 좋다 144 206 203 34.9 45.5 49.4 하지 않는 것이 좋다 14 14 8 3.5 3.1 1.9 하지 말아야 한다 2 2 3 0.5 0.5 0.8 잘 모르겠다 9 6 4 2.1 1.2 1.1 이혼 어떤 이유라도 이혼 안된다 18 28 34 4.3 6.2 8.3 17.354*** 6.995 36.426*** 가급적 이혼 안 된다 139 169 140 33.7 37.2 34.0 이혼할수도 안할수도 있다 187 220 218 45.4 48.5 53.0 이유 있으면 이혼을 하는 것이 좋다 57 26 13 13.9 5.8 3.3 잘 모르겠다 11 11 6 2.8 0.0 1.4 재혼 반드시 해야 한다 1 0 0.2 0.0 0.0 9.105 2.988 11.497** 하는 것이 좋다 60 79 77 14.6 17.3 18.7 해도 좋고 안 해도 좋다 248 273 259 60.1 60.1 62.9 하지 않는 것이 좋다 69 76 52 16.8 16.7 12.6 하지 말아야 한다 16 5 5 3.8 1.1 1.1 잘 모르겠다 19 22 19 4.6 4.8 4.6 자녀 교육 희망 정도 고등학교 이하 192 207 175 4.3 2.5 2.4 14.037*** 1.302 17.950** 대학교(4년제 미만) 220 247 237 5.8 6.0 7.6 대학교(4년제 이상) 18 12 10 74.9 67.0 64.8 대학원 석사 24 27 31 9.1 15.4 16.7 대학원 박사 309 304 267 5.9 9.0 8.4 자녀 교육 희망 이유 인격, 교양 37 70 69 10.2 15.0 17.8 10.461* 2.568 18.005*** 좋은 직업 24 41 35 40.2 34.9 35.4 자녀의 능력과 소질 40 66 71 35.4 39.8 38.9 결혼, 친구관계 등 159 155 142 11.7 8.9 6.5 내가 받지 못한 교육 보상 140 176 156 1.9 1.4 1.5 기타 46 39 26 0.6 0.0 0.0 <표 4.5> 선택효과와 측정효과의 분리: 가족2(결혼, 자녀관계) ※ p-value(*<0.1, **<0.05, ***<0.01)
구 분 사례수 (명) (Column%)구성비율 동질성 검정 χ2 P1. 혼합 웹 P5. 비교 표본 P2. 추정치 P1. 혼합 웹 P5. 비교 표본 P2. 추정치 전체 효과 P1-P5 선택 효과 P2-P5 측정 효과 P1-P2 안전-국가 안보 매우 안전 7 20 25 1.8 4.3 6.0 10.591** 6.242 23.437*** 비교적 안전 81 94 99 19.7 20.7 24.0 보통 157 185 144 38.0 40.8 35.0 비교적 불안 143 122 103 34.7 26.9 25.1 매우 불안 24 33 41 5.8 7.3 9.9 안전-자연 재해 매우 안전 12 18 24 3.0 3.9 5.7 1.651 2.894 4.864 비교적 안전 100 112 104 24.2 24.7 25.3 보통 182 185 171 44.2 40.7 41.6 비교적 불안 102 121 94 24.7 26.6 22.9 매우 불안 16 19 18 3.9 4.2 4.4 안전-건축물 및 시설물 매우 안전 6 9 10 1.5 2.0 2.5 4.937 .274 5.569 비교적 안전 86 92 80 20.9 20.4 19.3 보통 170 204 186 41.2 44.8 45.2 비교적 불안 116 127 115 28.2 27.9 28.0 매우 불안 34 22 20 8.2 4.9 5.0 안전-신종 전염병 매우 안전 4 1 1 0.9 0.2 0.2 16.532*** 1.838 19.781*** 비교적 안전 41 69 71 10.1 15.2 17.1 보통 142 192 167 34.5 42.2 40.5 비교적 불안 183 157 133 44.4 34.5 32.3 매우 불안 41 36 40 10.0 8.0 9.8 안전-전반적 사회 안전 매우 안전 7 4 3 1.6 0.8 0.8 4.043 4.491 8.376* 비교적 안전 73 91 103 17.7 19.9 25.0 보통 179 214 172 43.6 47.2 41.7 비교적 불안 128 124 109 31.1 27.2 26.5 매우 불안 25 22 25 6.0 4.8 6.0 5년 전 대비 안전 매우 안전해졌다 2 2 2 0.5 0.4 0.4 10.926** .431 14.196*** 약간 안전해졌다 84 95 85 20.3 21.0 20.5 변화 없다 188 239 225 45.6 52.6 54.6 약간 위험해졌다 109 105 91 26.5 23.2 22.0 매우 위험해졌다 29 13 10 7.0 2.8 2.5 5년 후 안전 전망 매우 안전해질 것 9 13 20 2.1 3.0 4.9 28.046*** 5.842 43.028*** 약간 안전해질 것 111 129 104 27.0 28.5 25.2 변화 없을 것 166 237 229 40.4 52.3 55.7 약간 위험해질 것 83 53 37 20.2 11.7 9.1 매우 위험해질 것 22 7 5 5.3 1.6 1.2 모르겠다 20 14 17 4.9 3.0 4.0 스트레 스 정도 매우 많이 느꼈다 52 39 47 12.5 8.7 11.4 5.516 2.741 2.670 느낀 편이다 285 330 281 69.3 72.7 68.1 느끼지 않은 편이다 70 83 83 17.0 18.3 20.1 전혀 느끼지 않았다 5 2 2 1.2 0.3 0.4 자살 생각 없다있다 38526 43816 40111 93.66.4 96.43.6 97.42.6 3.666* .522 6.406** <표 4.6> 선택효과와 측정효과의 분리: 안전 ※ p-value(*<0.1, **<0.05, ***<0.01)
구 분 사례수 (명) (Column%)구성비율 동질성 검정 χ2 P1. 혼합 웹 P5. 비교 표본 P2. 추정치 P1. 혼합 웹 P5. 비교 표본 P2. 추정치 전체 효과 P1-P5 선택 효과 P2-P5 측정 효과 P1-P2 취업자 취업 304 341 310 73.9 75.2 75.3 .199 .002 .230 비취업 108 113 102 26.1 24.8 24.7 실업자 실업 11 7 8 3.4 2.0 2.4 1.372 .192 .518 비실업 304 341 310 96.6 98.0 97.6 경제활동 인구 경제활동 315 348 318 76.5 76.7 77.1 .005 .034 .061 비경제활동 97 106 94 23.5 23.3 22.9 고용보조 지표1 실업+시간추가가능 22 17 20 6.9 5.0 6.3 1.292 .624 .116 비실업 294 331 298 93.1 95.0 93.7 고용보조 지표2 실업+잠재 17 12 11 5.5 3.3 3.5 1.490 .000 1.364 비실업 303 341 310 94.5 96.7 96.5 고용보조 지표3 실업+시간추가+잠재 27 22 23 8.6 6.3 7.3 1.209 .235 .361 비실업 293 331 298 91.4 93.7 92.7 고용상 지위 상용 근로자 180 215 199 59.8 62.9 64.0 3.649 2.067 6.106 임시 근로자 37 45 34 12.3 13.3 11.0 일용 근로자 12 13 14 3.9 3.9 4.5 고용원있는 자영업자 21 27 28 6.9 8.0 9.1 고용원없는 자영업자 51 40 35 17.0 11.7 11.4 무급가족종사자 1 1 0 0.3 0.2 0.0 고용계약 기간 정해짐 61 105 104 26.6 38.3 42.2 7.523*** .774 12.324*** 정해져있지 않음 167 169 143 73.4 61.7 57.8 취업형태 전일제 근로 187 237 211 82.0 86.7 85.6 2.197 .209 1.014 시간제 근로 41 36 36 18.0 13.3 14.4 직장일과 가정생활 우선 순위 주로 일 우선시 28 42 36 9.4 12.4 11.7 7.638 1.204 8.838* 대체로 일 우선시 107 143 133 35.5 41.8 43.0 둘 다 비슷 111 107 88 37.1 31.4 28.4 대체로 가정 우선시 43 45 48 14.4 13.1 15.4 주로 가정 우선시 11 5 5 3.7 1.3 1.5 실직 또는 이직 우려 매우 많이 느낀다 43 31 31 14.3 9.1 10.0 4.615 .188 2.856 약간 느낀다 160 187 168 53.2 54.7 54.3 별로 느끼지 못한다 88 110 99 29.4 32.3 32.1 전혀 느끼지 못한다 9 13 11 3.0 4.0 3.6 일자리 만족도 매우 만족 9 8 9 2.9 2.3 2.9 18.165*** .420 15.972*** 약간 만족 105 122 117 35.0 35.8 37.3 보통 129 169 149 43.0 49.6 47.3 약간 불만족 43 42 39 14.4 12.3 12.5 매우 불만족 14 0 0 4.7 0.0 0.0 <표 4.7> 선택효과와 측정효과의 분리: 노동1(주요 고용지표, 고용형태, 만족) ※ p-value(*<0.1, **<0.05, ***<0.01)
구 분 P1. 평균(표준편차) 동질성 검정 F 혼합 웹 비교표본P5. 추정치P2. 전체효과P1-P5 선택효과P2-P5 측정효과P1-P2 평소 1주간 근로시간 평균 44.89 45.12 45.73 .354 .429 .575 표준편차 15.85 12.56 11.28 지난주 근로시간 평균 45.26 45.15 45.58 .050 .217 .085 표준편차 16.39 12.47 10.64 2014년 근로소득(만원) 평균 2435 2449 2612 .688 1.284 1.127 표준편차 2744 2221 1998 <표 4.8> 선택효과와 측정효과의 분리: 노동2(근로시간, 소득) ※ p-value(*<0.1, **<0.05, ***<0.01) 안전에 대한 인식에서도 선택효과는 유의하지 않았고, 측정효과는 유의성이 있었다. 특히 측정효과가 컸던 차원은 ‘국가안보’와 ‘신종 전염병’이었다. 조사가 이뤄진 2015년 은 북한 핵실험 등 남북 갈등이 계속 됐고, 신종 전염병이 메르스가 확산되어 이 두 차원이 관심이 높은 시점이었다. 국가안보, 신종 전염병에 대해 웹조사는 ‘비교적 불 안’ 응답이 상대적으로 많았던 반면, 면접조사는 ‘보통’ 응답이 많았다. 5년 전 대비 변화, 5년 후 전망에 대해 측정효과가 크게 나타났다. 웹조사에서 ‘위 험해졌다’, ‘위험해질 것’이라는 응답이 많았던 반면, 면접조사는 ‘변화 없다’, ‘변화 없 을 것’이라는 응답이 많았다. 변화와 전망 중에서는 전망에서의 차이가 더 컸다. 자살에 대한 생각에서도 측정효과가 유의했으면 웹조사에서 ‘지난 1년간 자살을 생각해본 적 있다’는 응답이 많았다. 취업자, 실업자 등 주요 고용지표에 대해서는 선택효과와 측정효과가 모두 유의하 지 않았다. 고용관련 측정효과가 유의했던 문항은 직장일과 가정생활 우선순위, 일자 리 만족도와 같이 인식과 관련된 내용이었다. 직장일과 가정생활 우선순위에서 웹조 사는 ‘둘다 비슷’하게 중시한다는 응답이 많았고, 면접조사는 ‘대체로 일을 우선시’한다 는 응답이 많았다. 일자리 만족도는 웹조사에서 ‘불만족’ 응답이 많았고, 면접조사에서 ‘보통’ 응답이 많았다. 소득과 소비 관련해서도 대부분 선택효과는 유의하지 않았고, 측정효과가 유의한 문항들이 다수 있었다. 여유자금 운영방법에 대해 웹조사는 ‘부채상환’ 응답이 많았던 반면 면접조사는 ‘저축과 금융 투자’ 응답이 많았다. 1년후 주택가격 전망은 웹조사에서 ‘상승할 것’, 면접조사는 ‘변화 없을 것’ 응답이 많았다. 1년후 부채규모에 대해 웹조사는 ‘감소할 것’, ‘증가할 것’이 많았으며 면접조 사는 ‘변화 없을 것’이라는 응답이 많았다. 부동산 투자의향은 선택효과가 유의하게 나타났다. 비교표본 대비 혼합 웹표본의 면접조사 추정치, 즉 P2에서 투자의향이 낮았 다. 이는 혼합 웹표본이 상대적으로 부동산 투자의향이 낮았음을 의미한다. 선택효과 를 반영한 결과 측정효과가 확대되었으며, 웹조사에서 면접조사 대비 부동산 투자의 향이 높게 나타났다. 소득과 소비 문항 중 1년 전 대비 가구부채 변화에서 측정효과 가 컸다. 면접조사는 ‘동일’ 응답으로 집중된 반면, 웹조사는 ‘약간 감소’, ‘약간 증가’로 분산됐다.
구 분 사례수 (명) (Column%)구성비율 동질성 검정 χ2 P1. 혼합 웹 P5. 비교 표본 P2. 추정치 P1. 혼합 웹 P5. 비교 표본 P2. 추정치 전체 효과 P1-P5 선택 효과 P2-P5 측정 효과 P1-P2 여유자금 운영방법 저축과 금융 투자 201 256 252 48.9 56.4 61.2 14.684***2.480 18.295*** 부동산 구입 70 75 60 17.0 16.5 14.6 부채 상환 68 58 46 16.5 12.8 11.3 내구재 구입 56 62 50 13.7 13.7 12.0 기타 16 3 4 3.9 0.6 0.9 1년후 주택가격 전망 하락할 것이다 39 25 29 9.5 5.4 7.1 12.955***4.291 21.551*** 변화가 없을 것이다 189 260 254 45.8 57.4 61.7 상승할 것이다 140 130 104 33.9 28.6 25.2 모르겠다 44 39 25 10.8 8.5 6.0 부동산 투자 의향 예 184 173 128 44.7 38.2 31.0 3.830** 4.718** 16.176*** 아니요 228 281 284 55.3 61.8 69.0 1년 후 부채규모 예상 감소할 것이다 147 117 103 35.8 25.9 25.0 26.223***.121 25.009*** 변화가 없을 것이다 208 305 278 50.5 67.1 67.5 증가할 것이다 56 32 31 13.7 7.1 7.5 거주주택 담보대출 여부 있다 108 113 100 37.8 34.2 33.4 .886 .058 1.327 없다 177 217 200 62.2 65.8 66.6 거주주택 담보대출 금액 범위 천만원 미만 1 2 2 0.7 1.4 1.6 5.395 1.129 5.779 1∼5천만원 미만 42 58 47 38.8 51.6 47.3 5천만원∼1억원 미만 38 28 22 35.4 25.0 22.4 1억∼2억원 미만 17 16 18 16.0 14.1 18.5 2억∼3억원 미만 7 8 9 6.2 7.2 9.3 3억원 이상 3 1 1 2.9 0.6 0.9 가구 소득 여유, 부족 정도 매우 여유있음 2 1 0 0.6 0.2 0.0 3.054 2.736 4.885 약간 여유있음 70 65 69 16.9 14.2 16.7 적정함 146 183 169 35.5 40.3 41.1 약간 모자람 138 150 121 33.5 33.0 29.3 매우 모자람 56 56 53 13.5 12.3 12.8 전반적 소비생활 만족도 매우 만족 9 2 2 2.1 0.3 0.6 18.885***.527 15.875*** 약간 만족 92 98 96 22.2 21.6 23.4 보통 199 262 228 48.4 57.7 55.4 약간 불만족 87 83 77 21.2 18.4 18.7 매우 불만족 25 9 8 6.1 2.0 1.9 1년 전 대비 가구소득 변화 크게 증가 1 1 1 0.2 0.2 0.1 11.338** .909 5.782 약간 증가 134 126 122 32.6 27.8 29.5 동일 220 286 248 53.3 63.0 60.3 약간 감소 42 35 35 10.2 7.8 8.5 크게 감소 15 6 7 3.7 1.3 1.6 1년 전 대비 가구부채 변화 크게 증가 14 7 8 3.3 1.6 1.9 34.963***4.401 37.060*** 약간 증가 65 37 43 15.8 8.1 10.4 동일 224 331 303 54.3 72.8 73.6 약간 감소 102 77 58 24.8 17.1 14.1 크게 감소 7 2 0 1.8 0.4 0.0 <표 4.9> 선택효과와 측정효과의 분리: 소득과 소비1(투자, 부채) ※ p-value(*<0.1, **<0.05, ***<0.01)
구 분 사례수 (명) (Column%)구성비율 동질성 검정 χ2 P1. 혼합 웹 P5. 비교 표본 P2. 추정치 P1. 혼합 웹 P5. 비교 표본 P2. 추정치 전체 효과 P1-P5 선택 효과 P2-P5 측정 효과 P1-P2 재정악화시 지출감소 -식료품비 1순위 54 92 73 13.1 20.3 17.8 12.550***.954 8.360** 2순위 27 45 43 6.6 9.9 10.4 3순위 6 6 5 1.5 1.3 1.1 응답 안함 324 311 291 78.7 68.5 70.7 - 외식비 1순위 149 183 183 36.2 40.2 44.5 1.763 1.842 6.056 2순위 87 85 76 21.2 18.8 18.5 3순위 25 25 19 6.0 5.4 4.5 응답 안함 151 162 134 36.7 35.6 32.4 - 의류비 1순위 52 56 47 12.7 12.3 11.4 8.997** .403 9.777** 2순위 78 121 110 19.0 26.7 26.6 3순위 19 27 28 4.5 5.9 6.7 응답 안함 262 250 228 63.7 55.0 55.3 - 교육비 1순위 15 15 21 3.7 3.3 5.2 .561 3.313 3.013 2순위 11 15 18 2.7 3.4 4.4 3순위 8 7 9 2.0 1.5 2.2 응답 안함 377 417 363 91.6 91.9 88.2 - 교통 통신비 1순위 25 33 25 6.2 7.4 6.1 3.518 .911 1.198 2순위 32 46 39 7.7 10.0 9.4 3순위 11 18 14 2.7 4.1 3.4 응답 안함 344 357 334 83.4 78.5 81.2 - 문화 여가비 1순위 77 46 32 18.7 10.0 7.7 22.922***1.854 34.311*** 2순위 100 87 78 24.3 19.1 19.0 3순위 41 40 33 10.0 8.8 8.1 응답 안함 194 282 269 47.0 62.1 65.3 - 보건 의료비 1순위 1 7 11 0.3 1.6 2.6 5.887 3.167 13.491*** 2순위 5 2 0 1.2 0.5 0.0 3순위 3 5 4 0.7 1.1 0.9 응답 안함 403 440 399 97.9 96.8 96.5 - 연료비 1순위 9 14 13 2.1 3.1 3.0 4.172 2.185 10.513** 2순위 27 23 19 6.4 5.0 4.7 3순위 17 10 4 4.0 2.3 1.0 응답 안함 360 407 376 87.4 89.6 91.3 - 경조사비 1순위 27 8 7 6.5 1.8 1.8 19.455***2.430 24.290*** 2순위 32 18 12 7.8 3.9 2.8 3순위 12 14 20 3.0 3.1 4.8 응답 안함 341 414 373 82.7 91.2 90.6 <표 4.10> 선택효과와 측정효과의 분리: 소득과 소비2(재정악화시 지출감소 품목) ※ p-value(*<0.1, **<0.05, ***<0.01)
구 분 사례수 (명) (Column%)구성비율 동질성 검정 χ2 P1. 혼합 웹 P5. 비교 표본 P2. 추정치 P1. 혼합 웹 P5. 비교 표본 P2. 추정치 전체 효과 P1-P5 선택 효과 P2-P5 측정 효과 P1-P2 노후 월평균 최소 생활비 99만원 미만 20 9 12 4.8 2.0 2.9 16.592***3.814 16.183*** 100∼199만원 129 132 102 31.3 29.0 24.7 200∼299만원 149 216 201 36.3 47.6 48.7 300∼399만원 89 72 68 21.5 15.9 16.5 400∼499만원 14 12 16 3.5 2.7 3.8 500만원 이상 11 12 14 2.6 2.7 3.3 노후 월평균 적정 생활비 99만원 미만 12 7 9 2.8 1.5 2.1 13.647** 2.887 20.716*** 100∼199만원 58 44 29 14.0 9.7 7.0 200∼299만원 158 213 205 38.4 46.9 49.8 300∼399만원 118 138 120 28.6 30.5 29.2 400∼499만원 45 31 27 10.9 6.8 6.6 500만원 이상 22 21 21 5.3 4.7 5.2 현재 소득 있다 297 333 303 72.1 73.4 73.5 .173 .004 .221 없다 115 121 109 27.9 26.6 26.5 소득 만족도 매우 만족 3 3 4 0.9 1.0 1.5 8.456* 1.008 6.767 약간 만족 48 63 63 16.1 19.0 20.7 보통 140 177 152 47.0 53.2 50.2 약간 불만족 78 73 66 26.1 22.0 21.9 매우 불만족 29 16 17 9.9 4.9 5.7 <표 4.11> 선택효과와 측정효과의 분리: 소득과 소비2(노후 생활비, 소득만족도) ※ p-value(*<0.1, **<0.05, ***<0.01) 재정악화시 지출감소 항목을 3순위까지 물은 결과, 항목별로 측정효과가 발견됐다. 특히 문화여가비, 경조사비에서 큰 차이가 있었는데, 웹조사에서 1, 2순위 응답이 많 았으며 이에 반해 면접조사는 식료품비 응답이 많았다. 노후 월평균 최소/적정 생활비에 대해서도 측정효과가 유의하게 나타났다. 면접조 사는 200만원대로 집중된 반면, 웹조사는 300만원대 이상, 100만원대 이하로 분산됐 다. 이상 결과를 요약하면, 본 조사는 순차적 혼합조사 조건과 단일 면접조사의 비교 조건을 설정했으며, 두 조건에 조사대상을 사전 배분하여 동질성을 확보했다. 또한 Extended MM Comparison 방식으로 선택효과와 측정효과를 분리했다. 그 결과 순차 적 혼합조건의 웹조사 표본과 비교조건 표본의 차이, 즉 선택효과는 대부분 문항에서 유의하지 않았다. 반면 웹조사와 면접조사의 차이인 측정효과는 상당한 차이가 있었 다. 측정효과의 원인 분석을 위해 차이가 컸던 문항의 특성을 살펴볼 필요가 있다. 본 연구에서 측정된 전체 61개 문항 중 절반 가량인 31개에서 p<.05 기준 유의한 차이가 있었다.
<표 4.12> 문항별 측정효과 발생: p <.05 이하 문항 측정 효과 유의 확률 p 추정 원인 발생 내용 바람 직함 바람 직 하지 않음 지위 나 처지 암시 비판 적 태도 변화 / 불확 실성 가족 부모님 생계 0.000 V V 웹 ‘정부/사회’ vs. 면접 ‘스스로/가족’ 안전 5년 후 안전 전망 0.000 V V 웹 ‘위험’ vs. 면접 ‘변화 없음’ 소득과 소비 재정 악화시_문화여가비 0.000 V 웹에서 많음 소득과 소비 1년 전 대비 가구 부채 변화 0.000 V 웹 ‘증가/감소’ vs. 면접 ‘변화 없음’ 가족 이혼 0.000 V 웹 ‘하는게 좋다’ vs. 면접 ‘의견 유보’ 소득과 소비 1년 후 부채 규모 예상 0.000 V V 웹 ‘증가/감소’ vs. 면접 ‘변화없음’ 소득과 소비 재정 악화시_경조사비 0.000 V 웹에서 많음 가족 결혼식 문화 인식 0.000 V 웹 ‘매우 과도’ vs. 면접 ‘보통/과도한 편’ 소득과 소비 부동산 투자 의향 0.000 V 웹 ‘부동산투자 의향 있음’ 소득과 소비 1년 후 주택가격 전망 0.000 V 웹 ‘상승’ vs. 면접 ‘변화 없을 것’ 안전 안전_국가안보 0.000 V 웹 ‘불안’ vs. 면접 ‘안전’ 노동 고용계약기간 0.000 V 웹 ‘기간 정해져 있지 않다’ 안전 안전_신종전염병 0.001 V 웹 ‘불안’ vs. 면접 ‘안전’ 가족 결혼 0.001 V 웹 ‘하는 것이 좋다’ vs. 면접 ‘의견유보’ 소득과 소비 노후 월평균 적정 생활비 0.001 V 웹에서 분산 큼 vs. 면접 ‘200만원대‘ 소득과 소비 여유자금 운영 방법 0.001 V V 웹 ‘부채상환’ vs. 면접 ‘저축/투자’ 가족 자녀 교육 희망 정도 0.001 V 웹 ‘대학교’ vs. 면접 ‘대학원이상’ 가족 부모님과의 만남 0.002 V 웹 ‘1년에 몇번’ vs. 면접 ‘한달에 한두번’ 가족 자녀 교육 희망 이유 0.003 V 웹 ‘직업, 관계’ vs. 면접 ‘인격, 능력’ 노동 일자리 만족도 0.003 V V 웹 ‘불만족’ vs. 면접 ‘보통/만족’ 소득과 소비 전반적 소비생활 만족도 0.003 V V 웹 ‘불만족’ vs. 면접 ‘보통’ 소득과 소비 재정 악화시_보건의료비 0.004 V 면접에서 1순위 응답 소득과 소비 노후 월평균 최소 생활비 0.006 V 웹에서 분산 큼 vs. 면접 ‘200만원대‘ 가족 부모님과의 전화통화 0.006 V 웹 ‘한달에 한두번’vs.면접 ‘1주에 한두번’ 안전 5년 전 대비 안전 평가 0.007 V V 웹 ‘위험’ vs. 면접 ‘변화 없다’ 안전 자살 생각 0.011 V 웹 ‘자살 생각한 적 있다’ 소득과 소비 재정 악화시_연료비 0.015 V 면접에서 많음 소득과 소비 재정 악화시_의류비 0.021 V 면접에서 많음 가족 재혼 0.022 V 웹 ‘하지 않는 것이 좋다’ vs. 면접 ‘의견유보’ 가족 부모 생존 0.023 V 웹 ‘부모님 안 계심’ vs.면접 ‘모두 살아계심’ 소득과 소비 재정 악화시_식료품비 0.039 V 면접에서 많음
첫째 특성은 바람직함과 관련된 문항들이다. 면접조사에서 상대적으로 바람직한 방향으로는 응답이 많았다. 가족 관련, 부모, 자녀 관계 문항에서 이러한 경향성이 있 었다. 대표적으로 부모님과 만남, 전화통화는 웹조사 대비 면접조사에서 빈도가 많았 다. 자녀교육 정도는 면접조사에서 ‘대학원 이상’이 많았다. 대학 이상 교육 희망 이유 는 웹조사는 ‘직업’, 면접조사는 ‘인격, 교양’ 응답이 많았다. 둘째 특성은 바람직하지 않음과 관련된 문항들이다. 면접조사 대비 웹조사에서 바 람직하지 않은 특성들에 대한 응답이 많았다. 이혼에 대한 의견은 면접조사 대비 웹 조사에서 ‘하는 것이 좋다’는 의견이 많았다. 지난 1년간 자살 생각도 면접조사 대비 웹에서 더 많았다. 셋째 특성은 사회적 지위나 경제적 처지를 암시하는 내용들이다. 웹조사는 여유자 금으로 ‘부채 상환’, 일자리나 전반적 소비생활에 대해서 ‘불만족’ 응답이 많았다. 재정 악화시 지출 감소에 대해서도 ‘문화여가비’를 줄이겠다가 많았다. 넷째 특성은 사회 비판적 특성을 내포하는 문항들이다. 안전 관련 인식들이 이에 해당하며, 웹조사에서 대체로 비판적 시각을 드러내는 경우가 많았다. 국가 안보, 신 종 전염병에 대한 안전 인식에서 웹조사는 면접 대비 ‘불안하다’는 응답이 많았다. 마지막으로 변화와 불확실성이 큰 경우 웹조사와 면접조사 간 차이가 컸다. 대체 로 면접조사에서 중립적이고 변화 없을 것이라는 응답이 많았다. 이러한 문항은 5년 후 국가 안전 전망, 1년 후 부채 규모 예상, 1년 후 주택 가격 전망 등이다. 인식과 태도를 드러내는 문항들에 반해 취업, 실업 여부와 같이 실태를 파악하는 문항에서 조사방법 간 차이가 크지 않았다. 이러한 결과는 조사방법에 따른 차이가 매우 크며 조사주제에 따라, 특히 인식과 태도를 측정할 경우 조사방법의 혼합에 매 우 신중해야 함을 보여준다.
5. 결론 및 논의
5.1 주요 발견 사항 및 논의 본 연구는 1) 사전 조사를 통해 동질성을 확보한 실험집단을 구성하고 순차적 혼 합방식을 실행했으며, 2) 비교표본 접근을 통해 선택과 측정효과를 분리했다는데 의의 가 있다. 특히, 웹과 면접조사를 비교한 결과 바람직함과 바람직하지 않음을 내포한 민감한 태도 문항 등에서 실제 조사현장에서 모드효과 발생 가능성이 크다는 점을 확 인했다. 혼합조사는 다양한 오차 요인을 가지고 있기 때문에 이들을 이해하고 총합적으로 관리할 필요가 있다. 본 연구결과는 혼합조사의 오차와 관련된 다양한 주제에 대해 시사점을 가지고 있다. 첫째 조사방법 간 차이를 발견시키는 가장 유력한 요인은 조사원 대면과 조사원 개입의 영향이다. 각 조사방법은 자체의 한계를 가지고 있으므로 기준이 무엇으로 설 정하든 혼합 시에는 웹과 면접, 전화조사의 응답 차이를 줄여야 한다. 웹조사에서 조사원 대면이나 개입은 불가능하기 때문에 조사 진행 등 면접 상황에서 조사원 효과를 최소화하는 조사원 역할에 대한 재정립이 필요하다. 둘째 본 연구는 혼합모드와 단일모드 집단간 차이인 선택효과를 최소화하려 했으 므로, 선택효과 유의성이 거의 발견되지 않았다. 그러나, 조사대상자를 인터넷 이용자 로 제한하지 않거나 순차적 방식이 아닌 경우 선택효과가 클 수 있다. 이 때 선택효 과와 측정효과의 상호작용에 따라 전체 모드효과 크기가 좌우될 것이다(Luiten et al., 2014). 셋째 혼합조사의 목적 중 하나는 전체적으로 응답률을 높여서 무응답 오차를 줄이 려는데 있다. 그러나, 실제 혼합조사가 단일조사 대비 반드시 높은 응답률을 달성하는 것은 아니다. 특히 웹조사를 포함하거나, 웹조사를 선행하는 조건은 면접조사 단일 조 사방법 대비 높은 응답률을 확보하기 어렵다. 응답률을 높이고자 한다면 응답자의 선 호 또는 상황에 맞춘 즉각적 대응이 필요하며 이는 가구원 전체에 대해 응답 확률을 극대화하는 적응적(adaptive) 조사방법이라 할 수 있다(Shouten et al., 2013).
넷째 비용 측면에서 본 연구는 인센티브 제공으로 동기 부여했으므로, 비용 절감 은 쉽지 않았다. 혼합 시의 시스템 도입 등 복잡성 문제를 포함하면 일회성 조사에서 총 비용 감소 요인은 분명치 않다. 비용 이외에 혼합 조사 도입의 다른 이유는 ‘조사 원 편의성 확대’에 있다. ‘모드별 차이 없음, 측정효과 통제 가능’의 전제 하에 혼합을 통해 구체적 비용뿐 아니라 조사원 편의성 확대를 모색해야 하나다. 마지막으로 혼합조사의 도입 결정은 조사 내용, 주제에 따라 다를 수 있다. 특히 태도, 의식, 가치관과 관련된다면 모드효과의 발생 우려가 커서 전반적으로 총오차를 증가시킬 가능성이 있다. 반면 민감성이 낮은 사실, 실태 관련 주제라면 혼합조사 도 입을 통해 응답률과 조사 편의성을 높이는 것이 전반적인 조사품질을 향상시킬 수 있 다. 5.2 한계와 과제 본 조사의 한계는, 첫째 후행 면접조사의 품질, 안정성 문제다. 선택과 측정효과 분리를 위해 웹 응답 집단의 면접조사 결과를 추정한다. 이 때, 단일 표본과 후행 면 접조사의 안정성이 중요해진다. 후행 조사에 내재된 불안정성이 추정에 영향을 미쳤 을 가능성이 있다. 둘째, 본 연구 결과는 모드효과에 대해 해결책을 제시했다기보다는 모드효과가 심 각하게 영향을 줄 수 있음을 보여주는 것이다. 조사방법의 혼합이 적용된다면 앞으로 극복할 과제를 드러낸 것이다. 따라서, 혼합 조사 시 모드효과 발생원인 파악 및 모드 간 차이를 최소화하는 방 법 연구, 모드효과 발생 시 편향의 조정 이슈, 모드 혼합 비율 및 추정 방법에 대한 연구가 시급하다고 볼 수 있다. (2017년 3월 24일 접수, 2017년 5월 29일 수정, 2017년 7월 21일 채택)
감사의 글
참고문헌
박시내, 최유성, 한승훈 (2014). 경제활동인구조사의 자료수집방법별 효과 분석: 응답 자의 자료수집방법 선택효과를 중심으로, <조사연구>, 15(1), 73-92. 임경은, 박라나 (2013). 혼합조사 추정방법 실무적용방안 검토, <2013년 하반기 연구 보고서 제Ⅲ권>, 통계개발원. 황양주, 최유성 (2011). 2010년 인구주택총조사 면접․인터넷 조사특성 분석, <2011년 하반기 연구보고서>. 통계개발원.Buelens, B., Lann, J.V.D., Shouten, B., Burger, J. and Klausch, T. (2012). Disentangling mode-specific selection and measurement bias in social surveys. Discussion Paper 201211, Statistics Netherlands.
De Leeuw, E.D. (2005). To Mix or Not Mix Data Collection Modes in Surveys. Journal of Official Statistics, 21(2), 233-255.
Dillman, D.A, Phelps, G., Tortora, R., Swift, K., Kohrell, J. Bereck, J. and Messer. B.L. (2009). Response Rate and Measurement Differences in Mixed- mode Surveys Using Mail, Telephone, Interactive Voice Response(IVR) and the Internet. Social Science Research, 38, 1-18.
Jackle, A., Roberts, C. and Lynn, P. (2010). Assessing the Effect of Data Collection Mode on Measurement. International Statistical Review, 78(1), 3-20.
Klausch, T., Schouten, B. and Hox, J. (2014). the Use of Within-Subject Experiments for Estimating Measurement Effects in Mixed-mode Surveys. Dicussion Paper 201406, Statistics Netherlands.
Luiten, A., Båshus, T., Buelens, B., Gravem, D., Körner, T., Lagerstrøm, B., Merad, S., Pohjanpää, K. and Schouten, T. (2014). WP3 Executive Summary. Statistics Netherlands.
Olson, K., Smyth, J.D. and Wood, H.M. (2012). Does Giving People Their Preferred Survey Mode Activity Increase Survey Participation Rates? an Experimental Examination. Public Opinion Quarterly, 76(4), 611-635.
Shouten, Calinescu, & Luiten. (2013). Optimizing Quality of Response through Adaptive Survey Designs, Survey Methodology, 39(1), 29-58.
Vannieuwenhuyze, J. and Looseveldt, G. (2012). Evaluating Relative Mode Effects in Mixed-Mode Surveys: Three Methods to Disentangle Selection and Measurement Effects. Sociological Method & Research, 42(1), 82-104. Vannieuwenhuyze, J., Looseveldt, G. and Molenberghs, G. (2010). A Method for
Evaluating Mode effects in Mixed Mode Surveys. Public Opinion Quarterly, 74(5), 1027-1045.
Estimating the Mode-Effect in Mixed Mode Surveys:
Disentangling Method of Selection and Measurement
Effects
Jeeseon Baek
1)· Kyoho Shim
2)· Youngtaek Hong
3)· Deokhyun Jang
4)Abstract
The purpose of this study is to investigate the mode effect, which is the difference in results between the two survey methods in sequential mixed-mode survey, the web survey and the face-to-face interview survey. The mode effect can be separated into the selection effect, the difference in sample by their selection of survey method, and the measurement effect, the result solely due to the differences in methods. For this purpose, we set up a comparison group of homogeneous face-to-face survey method, together with the sample of mixed-mode survey and applied the Extended MM Comparison method from Vannieuwenhuyze and Looseveldt (2012). In the analysis of 61 items related to family, safety, labor, income and consumption, the selection effect was mostly insignificant, but the measurement effect was shown significance in 31 items (p < .05). In general, web surveys tend to reveal more undesirable behaviors and show more critical views on social issues, whereas face-to-face interviews tend to show more favorable attitude and are more likely to choose neutral or no change. Based on the results, we discussed the occurrence of mode effects, non-response errors, costs, and selection of survey subjects when conducting the mixed mode surveys.
Key words : Mixed Mode Survey, Model Effect, Selection Effect, Measurement Effect
1) Deputy Director/Ph.D, Methodology Division, Statistical Research Institute, 713 Hanbatdae- Ro, Seo-Gu, Daejeon 302-280, Korea. E-mail: jsbaek98@korea.kr
2) Ph.D, Methodology Division, Statistical Research Institute, 713 Hanbatdae-Ro, Seo-Gu, Daejeon 302-280, Korea. E-mail: khshim@korea.kr
3) Senior Researcher, Research Division 6, Gallup Korea, 70 Sajik-Ro, Jongro-Gu, Seoul, 03167, Korea. E-mail: ythong@gallup.co.kr
4) (Corresponding author) General Manager/Ph.D, Research planning Team, Gallup Korea, 70 Sajik-Ro, Jongro-Gu, Seoul, 03167, Korea. E-mail: dhjang@gallup.co.kr
