7주차 조사설계의 타당도
학 습 내 용
1. 조사설계의 내적 타당도
2. 조사설계의 외적 타당도
1. 내적 타당도와 외적 타당도의 개념을 이해할 수 있다.
2. 내적 타당도 저해 요인에 대해 설명할 수 있다.
3. 외적 타당도 저해 요일에 대해 설명할 수 있다.
학 습 목 표
•
조사설계는 연구자가 제시하는 가설을 가장 효과적으로 증명할 수 있는 구조와 방법으로 구성되어야 함.•
얼마나 효과적 설계인가를 확인해 볼 수 있는 것이 타당도.•
타당도가 높을 수록 연구가설 검증의 결과(인과관계)에 대한 확신을 가질 수 있음.1. 조사 설계의 내적 타당도
인과관계 성립 공변성
시간의 선후관계
제3의요인 통제
1)
내적 타당성의 개념- 종속변수에서 나타나는 변화가 독립변수의 변화에 의한 것임 (인과성)을 확인할 수 있는 정도.
- 특정 조사 설계에서 발생한 실험대상의 변화가 정말 연구자에 의해 조작된 실험조치의 영향에 의한 것인가와 관련된 개념.
- 내적 타당도가 높다는 것은 제 3의 변수들의 영향 없이 원인 변수가 결과변수에 많은 영향을 미쳤다는 것.
- 공변성과 시간적 우선성이 전제 된다면 내적 타당도는 대안적 설명에 대한 통제성 여부를 통해 판단함.
1. 조사 설계의 내적 타당도
2) 내적 타당도 저해 요인
1. 조사 설계의 내적 타당도
우연한 사건 (History)
성숙
(Maturation)
검사효과 (Testing)
인과관계 모호성
(ambiguity about the direction)
개입의 확산
(diffusion of treatment)
편향된 선별
(selection biases)
도구효과
(instrumentation)
통계적 회귀
(statistical regression)
실험대상자 상실
(experimental mortality)
(1) 우연한 사건(외부사건, 역사적 요인, history)
- 실험조치(원인변수) 외에 실험대상에 영향을 미쳐 종속변수를 변화 시킬 수 있는 특별한 사건이 발생할 수 있다.
- 실험조치에 의한 것인지, 외부사건에 의한 것인지 구별하기 어렵고, 이는 내적 타당도를 저해하는 요인이 됨
- 사회조사는 자연과학의 조사와는 달리 엄격한 실험실에서
통제된 현태로 진행 될 수 없어(윤리적 문제) 외부환경 변화에 노출될 가능성 높음
1. 조사 설계의 내적 타당도
(2) 성숙(Maturation)
- 실험조치와 상관없이 실험대상 자체에서 일어나는 변화 혹은 성장이 서비스나 개임의 효과인 것처럼 보이는 것.
- 예 : 운동 - 학생의 신체 발달
성폭력 피해자를 대상으로 한 위기개입상담프로그램.
입원 노인 대상 일상생활능력향상프로그램 (3) 테스트효과, 검사효과 (Testing)
- 사전 사후 검사 결과를 비교하여 실험조치의 효과를 평가하는 방법 활용시 발생할 수 있음
- 사전검사가 사후검사에 영향을 미쳐 효과가 있는 것처럼 보일 수 있음
- 예. 지능검사, 암기로 인해 더 높은 점수가 나올 수 있음.
1. 조사 설계의 내적 타당도
(4) 도구(instrument) 효과
- 검사효과를 우려해 만약 사전 사후를 다른 도구를 사용했다면, 검사도구 사이에 상당한 정도의 난이도 차이가 있을 경우
- 일관성 없는 도구의 사용으로 측정상의 오류 발생해 내적타당도 를 저해 할 수 있다.
(5) 통계적 회귀 (statistical regression)
- 유동적인 점수들은 정상치(평균)로 근접하는 성향을 보임.
- 특히 극단적 특성을 가진 연구대상이 시간의 경과에 따라 자연스럽게 평균값으로 수렴하는 경향을 보임
1. 조사 설계의 내적 타당도
(6) 중도탈락 (실험대상자의 상실)
• 연구가 진행되면서 탈락자가 발생할 수 있는데 그 과정에서 연구 집단이 처음과 전혀 다른 속성 의 집단으로 변할 수 있다.
(7) 인과관계 모호성
• 시간적 우선성의 불확실성
• 비실험연구 디자인의 경우 원인과 결과의 방향 결정하기 어려움.
• 예) 빈곤 – 소비 성향
1. 조사 설계의 내적 타당도
(8) 개입의 확산/ 모방
• 피실험자간 상호작용이나 모방으로 인해 처음 의도했던 집단간 차이에 대한 설명이
불분명해지는 것
(9) 편향된 선택(selection biases)
실험집단과 비교 집단을 선택하는 과정에서 발생한 차이가 실험 결과로 보일 수 있다.
1. 조사 설계의 내적 타당도
1. 조사 설계의 내적 타당도
3) 내적 타당도 높이는 방법
통제집단 설정
무작위 할당, 배합(matching)
인문계 자연계
남 6 14
여 18 10
실험집단
인문,남 :3/ 인문,여:9 자연,남:7/자연,여:5
통제집단
인문,남 :3/ 인문,여:9 자연,남:7/자연,여:5
배합
1)
외적 타당성의 개념
- 내적 타당도를 높여 인과관계를 대해 확신할 수 있는 결과를 얻었다 하더라도 그 조사설계가 너무나 독특한 대상, 특수한 상황에서 이루어진 것이라면 연구에서 얻어진 결과를 해당
연구를 넘어 다른 상황의 다른 대상에 적용하는데 어려움이 있음 -조사 연구 결과를 해당 조사설계와 다른 대상이나 상황에도
일반화시켜 적용할 수 있는 정도를 외적 타당도라 함.
즉, 현재 조건의 연구 결과를 다른 조건의 환경이나 집단으로 확대 해석하거나 일반화 할 수 있는 정도
2. 조사설계의 외적 타당도
정리하면,,,,,,,,
내적 타당성 : 표본 자료 내에서의 연구 디자인의 타당성
외적 타당성 : 내부적 관계 설명의 타당성이 연구 외부 환경에서는 얼마나 타당할 것인지를 나타냄
2. 조사설계의 외적 타당도
2) 외적 타당도 저해 요인과 대안
2. 조사설계의 외적 타당도
표본의 대표성이 떨어지는 경우
일반적 상황과 동떨어진 연구환경과 절차
실험 조사 대상자의 반응성(호손효과)
• 확률표집
•표본크기 늘이기
•가실험통제 집단설계
위약효과(placebo effect)
아동들 가운데 남아를 통제집단으로 여아를 실험집단으로 구분하여 조기영어 프로그램을 실시한 후 사후 검사를 실시한 결과 여아들이 더 효과가 높은 것으로 나타났다.
다음은 내적 타당도를 저해하는 요인 중 무엇에 대한 설명인가?
학 습 정 리
우울 증상이 매우 심각한 여성을 대상으로 상담
을 실시한 결과 우울 증상이 완화되었다.
노인전문병원 입원 환자들을 대상으로
일상생활능력 향상을 위한 운동 프로그램을
실시하였다. 6개월 후 일상생활능력을 확인한 결과 프로그램 실시 전과 차이가 없었다.
초등학생을 대상으로 지능 향상을 위한 학습프로그램을 4주간 실시하였다.
프로그램의 효과성 검증을 위해 동일한 척도를 사용하여 사전 조사와 사후 조사를 실시하였다.
그 차이를 살펴본 결과 프로그램 참여 대상자의 지능이 높아졌다
다음은 내적 타당도를 저해하는 요인 중 무엇에 대한 설명인가?
학 습 정 리
학 습 정 리
1. 외적타당도 저해와 가장 관련이 있는 것은?
① 표본의 대표성 ② 선택의 편의 ③ 우연한 사건
④ 시간의 경과 ⑤ 검사
2. 내적타당도를 저해하는 요인이 아닌 것은?
① 성숙 ② 역사적 사건 ③ 통계적 회귀
④ 대상자 선정 오류 ⑤ 도구의 사용
학 습 정 리
3. 내적 타당도와 외적타당도에 대한 설명을 옳게 한 것은?
① 외적 타당도는 표본의 대표성과 실험에 대한 반응성과 관 련이 있다
② 통제집단사전사후설계는 내적 타당도는 낮고 외적 타당도 가 높다
③ 내적 타당도는 실험 결과를 일반화 할 수 있는 정도를 의 미한다
④ 외적 타당도는 종속변수의 변화가 독립변수로부터 기인한
정도를 의미한다.
