B. 연구절차
2. 내적 타당화
내적 타당도를 검증하는 것은 구성된 요소들 간의 인과관계를 정립하기 위함이 다(Johnson & Christensen, 2019). 개발된 지원체제의 초안은 각 분야 내용 전문가 들로부터 1, 2차 델파이 패널 조사를 실시하여 내적 타당화 검증 과정을 거쳤다.
델파이 패널 조사는 조사 대상자들, 특히 조사 주제 관련 전문가들이 원거리에 흩 어져 있어 함께 모이기 어렵고 시간이 많이 소요되는 경우에 주로 사용되며, 우편 이나 e-mail 등으로 주제에 대해 전체 조사 대상자들 간 일정 수준의 합의가 이루 어질 때까지 반복하여 주고 조정하는 연구방법이다(박성익 외, 2014). 델파이 패널 조사는 피드백을 통해 수정할 기회가 있으며 동시에 여러 사람들을 참여시킬 수 있다는 장점을 갖는다. 또한 절차에 융통성이 있고, 익명에 의해 양적인 정보를 모 을 수 있다. 참여자가 공개되지 않을 뿐만 아니라 상호간에 직접적인 접촉을 하지 않으므로 일반적인 대면협의회에서 있을 수 있는 바람직하지 않은 심리적 효과 즉, 편승효과(band wagon effect), 집단소음(group noise), 후광효과(halo effect), 소수 인사에 의한 토론과정의 지배, 동료집단의 견해에 따라야 한다는 압력, 개성 차이
와 참여자들 간의 갈등, 권위 있는 지위에 있는 사람들의 의견에 공공연히 반대하 는 데에 따르는 어려움 등을 방지할 수 있다.
이에 두 차례의 델파이 패널 조사를 통해 개발된 지원체제의 내적타당화가 이 루어졌다. 구체적으로 협업역량 향상을 위한 대학 비교과 학습공동체 지원체제 도 출과정, 일반적 지원전략 및 구체적 지원전략에 대한 타당성을 확인하고자 하였다.
a. 전문가 타당화 참여자
본 연구의 내적 타당화를 위한 전문가 선정기준은 교수학습 프로그램 연구 및 개발, 학습역량에 분야에 대한 전문성이 있는 교육공학 및 교육심리 석·박사 학위 소지자로서, 관련 논문을 게재 및 발표실적이 있는 자로 한정되었다. 또한 타당화 를 위해 필요한 전문가는 최소 3명에서 10명 정도가 적합하므로(Rubio et al., 2003), 본 연구에서는 10명의 전문가를 선정하였다. 특히 학습역량에 대한 전문가 3 인을 제외하고, 교수학습지원센터와 같은 대학 비교과 프로그램이 운영되는 센터, 부서에서 연구하거나 실제 학습공동체 프로그램을 운영해본 경험이 있는 전문가로 제한하였다.
이에 본 연구에서는 해당 전문가에게 개별적으로 연락하였으며, 개발된 지원체 제 초안에 대한 타당화 검토를 의뢰하였다. 연구에 참여 의사를 밝힌 분들을 토대 로 전문가 패널을 구성하였으며, 검토 작업이 진행되었다. 타당화 과정은 2차례에 걸쳐 실시되었고, 초기 지원전략과 수정과정에 대한 이해와 연계성을 위해 1차 타 당화에 참여한 전문가 모두가 2차 타당화에 참여하였다. 내적 타당화에 참여한 전 문가의 정보는 아래 <표Ⅲ-3>과 같다.
<표Ⅲ-3> 전문가 프로파일
전문가 직책 최종학력 전문분야 경력(년) 타당도 참여
교육 실무/연구 1차 2차
전문가A A대학교
교수학습센터장
교육공학
박사 교수학습연구 9 10 ü ü
전문가B B대학교
교수학습센터 교수
교육공학 박사
교수학습역량, 수업설계,
온라인수업 15 12 ü ü
전문가C C대학교
교수학습개발센터 교수
교육공학 석사
교수학습연구,
학습프로그램 개발 7 1 ü ü
b. 전문가 타당화 검사도구
델파이 패널 조사로 진행되는 전문가 타당화 검사는 1차에 연구의 소개와 지원 체제(일반적 및 구체적 지원전략) 도출과정에 대한 타당화 문항, 지원체제 구성요 소 타당화 문항, 일반적 및 구체적 지원전략 각각에 대한 타당화 문항으로 구성되 었다[부록1]. 2차에서는 수정된 일반적 및 구체적 지원전략에 대한 타당화 문항으 로 진행되었다[부록2]. 타당화 문항은 나일주, 정현미(2001), 장정아(2005), 진성희 (2009), 김혜경(2011), 이영태(2013)가 사용한 문항을 본 연구에 맞게 수정·보완하여 사용하였다. 본 연구의 전문가 타당화 검사도구 구성은 다음 <표Ⅲ-4>와 같다.
<표Ⅲ-4> 전문가 타당화 검사도구 구성
영역 세부영역
학습공동체 지원체제 도출과정
Ÿ 관련 문헌탐색의 포괄성 Ÿ 용어의 적절성
Ÿ 선행문헌 고찰 결과 요약 및 해석 적절성 Ÿ 조직화의 논리성
Ÿ 선행문헌 고찰 결과 반영의 적합성
전문가 직책 최종학력 전문분야 경력(년) 타당도 참여
교육 실무/연구 1차 2차
전문가D D대학교
교수학습센터 교수
교육공학 박사
교수학습연구
수업설계컨설팅 7 16 ü ü
전문가E E대학교
인재교육원 원장
교육심리
박사 교수학습연구 20 12 ü ü
전문가F F대학교
교육혁신원 부원장
교육공학 박사
교사교육, 대학교육,
테크놀로지 학습환경 설계 15 7 ü ü
전문가G G대학교
교수학습지원센터 교수
교육공학 박사
교수학습연구
프로그램 개발 10 8 ü ü
전문가H H대학교
교육대학원 교수
교육공학
박사 학습역량, 교수역량 7 10 ü ü
전문가I I대학교
유아교육과 교수
교육공학 박사
역량기반 교육과정
교수학습연구 11 16 ü ü
전문가J J대학교
교수학습센터 교수
교육공학 박사
교수학습연구
학습프로그램 개발 3 11 ü ü
(1) 학습공동체 지원체제 도출과정
본 연구에서 학습공동체 지원체제 도출과정 타당화 검사문항은 <표Ⅲ-5>와 같다. 1차 및 2차 전문가 타당화에서 모두 사용되었다. 지원전략 및 모형 도출과정 에 대한 타당화 평가문항은 진성희(2009), 김혜경(2011), 이영태(2013), 고정길(2020) 의 연구에서 사용된 문항을 본 연구에 적합하게 수정하고 보완하여 개발되었다. 타 당도 검사도구의 척도는 Likert가 제안한 평정방법으로 각 문항에 대하여 어느 정 도 동의하는지 5점 또는 7점 척도를 이용하여 답하는 것이 일반적이나, 본 연구에 서는 지원체제에 대한 동의 정도를 명확히 구분하기 위해 4점 척도를 사용하였다.
4점 척도는 “④ 매우 그렇다, ③ 그렇다, ② 그렇지 않다, ① 매우 그렇지 않다”로 구성되었다.
<표Ⅲ-5> 지원체제 도출과정의 전문가 타당화 검사문항
영역 세부영역
학습공동체 지원체제 구성요소 Ÿ 타당성 Ÿ 이해성 Ÿ 필요성 학습공동체
일반적 지원전략 및 구체적 지원전략 Ÿ 타당성 Ÿ 이해성 Ÿ 필요성
학습공동체 지원체제 전체 Ÿ 타당성 Ÿ 이해성 Ÿ 필요성 Ÿ 보편성
영역 평가 문항
관련 문헌 탐색의
포괄성 대학 비교과 학습공동체 지원체제를 도출하기 위해 문헌들을 포괄적으로 탐색하였는가?
용어의 적절성 선정된 용어가 대학 비교과 학습공동체 지원체제를 설명하는 데 적절하게 사용되었는가?
선행문헌 고찰결과
요약 및 해석적절성 선행연구는 대학 비교과 학습공동체 지원체제를 개발하기 위해 적절하게 요약·해석되었는가?
조직화의 논리성 대학 비교과 학습공동체 지원체제 지원체제가 논리적으로 조직화 되었는가?
선행연구 고찰 결과
반영의 적절성 선행문헌 고찰 결과가 학습공동체 지원체제를 도출하는데 적절하게 반영되었는가?
(2) 학습공동체 지원체제 구성요소, 일반적 지원전략 및 구체적 지원전략
<표 Ⅲ-6>은 학습공동체 지원체제 구성요소와 일반적 지원전략 및 구체적 지 원전략에 대한 타당화 검사문항으로 1차 및 2차 전문가 타당화에서 모두 사용되었 다. 구성요소와 일반적 지원전략 및 구체적 지원전략에 대한 타당화 평가문항은 나 일주, 정현미(2001), 장정아(2005)의 연구에서 사용된 문항을 본 연구에 적합하게 수정하고 보완하여 개발되었다.
<표Ⅲ-6> 지원체제 구성요소, 일반적·구체적 지원전략의 전문가 타당화 검사문항
(3) 학습공동체 지원체제 전반
<표Ⅲ-7>은 학습공동체 지원체제 전반에 대한 타당화 검사문항으로 1차 및 2 차 전문가 타당화에서 모두 사용되었다. 학습공동체 지원체제 전체에 대한 타당화 평가문항은 김혜경(2011), 이영태(2013)의 연구에서 사용된 문항을 본 연구에 적합 하게 수정하고 보완하여 개발되었다.
<표Ⅲ-7> 지원체제 전반에 대한 전문가 타당화 검사문항
영역 평가 문항
타당성 제시된 구성요소 및 지원전략은 대학 비교과 학습공동체 지원체제 설계하는 데 타당하다.
필요성 제시된 구성요소 및 지원전략은 대학 비교과 학습공동체 지원체제를 설계하기 위해 필요하다.
이해성 제시된 구성요소 및 지원전략은 대학 비교과 학습공동체 지원체제를 설계하기 위한 원칙을 이해하기 쉽게 표현하고 있다.
영역 평가 문항
타당성 제시된 지원체제는 대학 비교과 학습공동체 지원체제 설계에 필요한 활동과 절차가 잘 제시되어 있는가?
이해성 제시된 지원체제는 대학 비교과 학습공동체 지원체제를 설계하기 위한 원칙을 이해하기 쉽게 잘 설명해주고 있는가?
필요성 제시된 지원체제는 대학 비교과 학습공동체 지원체제를 설계하는 데 유용하게 활용될 수 있는가?
보편성 제시된 지원체제를 이용하여 보편적으로 학습공동체 지원체제를 설계할 수 있을 것인가?
c. 자료 수집 및 분석
협업역량 향상을 위한 대학 비교과 학습공동체 지원체제의 내적 타당화를 위해 2차례에 걸쳐 진행된 전문가 타당화 검사는 이메일을 통해 진행되었다. 연구자는 타당화 설문응답을 받았으며, 지원체제 구성요소, 일반적·구체적 지원전략, 모형에 대한 의견을 수집하였다. 수집된 타당화 검사 결과는 단계별․항목별로 전문가의 응답을 코딩하였다.
일반적으로 타당도 검사는 관련 분야의 전문가들의 주관적 판단에 의존하여 검 사의 타당도를 분석하며, 엄격한 통계치는 없다고 할 수도 있다(탁진국, 1996). 그 러나 몇 연구자들이 수치를 계산하는 방법을 제시하였다. 그 중 Rubio, Berg-Weger, Tebb, Lee와 Rauch(2003)는 타당도를 평가할 수 있는 방법의 하나로 내용타당도 계산공식을 제시하였고, 본 연구에서는 이를 활용하였다.
이에 따라 내용타당도비율(Content Validity Ratio: CVR), 내용타당도지수(Item Level-Content Validity Index: I-CVI), 전문가 의견 일치도 지수(Inter-Rater Agreement: IRA), 평균, 표준편차를 도출하였다. 평균, 표준편차, CVI, IRA의 값 도출은 엑셀을 활용하였다. 각 공식에 대한 자세한 설명은 다음과 같다.
첫째, 내용타당도 비율(CVR)은 항목에 대해 타당하다고 판단(‘매우 그렇다’, ‘그 렇다’의 응답)한 전문가의 비율을 의미하며, 응답자 수와 참여한 전문가 수를 고려 하여 계산한 값이다. Rubio, Berg-Weger, Tebb, Lee, & Rauch(2003)이 제시한 내 용타당도 비율 계산공식은 다음과 같다.
내용타당도비율
Lawshe(1975)는 참여한 전문가 수에 따라 CVR 최소값을 제시하였으며, 최소 값 이상이 되었을 때 문항이 타당하다고 판단한다. 본 연구의 전문가 집단은 10명 으로 .62 이상인 항목을 선정하였다.
둘째, 내용타당도 지수(I-CVI)를 구하기 위해 일반적 지원전략 및 구체적 지원 전략 항목에 대해 타당하다고 답한 응답자 수를 전체 응답자수로 나누었다. CVI값 은 각 항목에 대해 타당하다고 판단하는 전문가의 비율을 의미하며, 일반적으로 CVI값이 0.8 이상일 경우 타당도가 높은 것으로 해석한다(Grant & Davis, 1997;