었다. 전문가 타당도 검증을 위한 설문은 예비 문항에 대하여 추론적 이 해 능력의 구인 및 하위 영역에 대한 검토 의견을 작성하는 것과 30개의 문항의 적절성 및 보기의 적절성에 대하여 5점 척도로 평정하도록 하였 으며, 문항 수정이 필요할 경우 의견을 작성하도록 하였다. 추론적 이해 하위 영역에 대한 전문가들의 일치도는 Cohen’s Kappa 계수 방법을 사 용하여 일치도를 확인하였다. Cohen’s Kappa 계수는 10명이상의 평정가 로 구성되었을 때 사용하기 적합하며, .8이상일 경우 높은 일치도로 해석 할 수 있는데(Gisev, Bell, & Chen, 2013), 본 연구에서는 전문가 구성원 이 8명이지만, 10명에 가까우므로 적합한 것으로 보았다.
2차 전문가 타당도 검증에서는 추론적 이해 하위 영역별 Cohen’s Kappa 계수 값은 어휘 의미 추론 영역이 .79, 생략 정보 추론 영역이 .83, 인물의 성격 감정 추론 영역이 .85, 글의 분위기 배경 추론이 .91로 나타났다. 이 가운데 어휘 의미 추론 문항 중 한 문항에 대하여 8명 중 3명이 글의 분위기 및 배경 추론으로 하위 영역을 평정하여 Cohen’s Kappa 계수 값이 .63으로 나타나 어휘 의미 추론 영역 문항에서 삭제하 였다. 한편 문항의 적절성에 대한 평균 점수는 4.38점으로 나타났으며, 이 중 4개 문항은 평균 4.0점으로 보통인 3점을 8명 중 2명이상 평정한 것으로 나타다 문항에서 삭제하였다. 또한 수정이 필요하거나 어색한 문 항에 대한 전문가 검토의견을 반영하여 최종 문항을 수정하였다. 전문가 들의 검토 의견 가운데 중복되는 의견과 이를 반영하여 수정한 내용을 정리한 것은 <표 Ⅲ-4>와 같다.
2차 전문가 타당도 검증 결과를 반영하여 학생들에게 실시할 예비 추 론적 이해 검사 문항을 수정 및 추가 개발하였으며, 이에 대하여 총 6인 의 전문가들에게(국어교육 석사 학위 소지자 초등학교 일반교사 2인, 초 등학교 특수교사 2인, 특수교육 전공 교수 1인, 특수교육 전공 박사 수료 1인) 문항의 적절성을 평정하도록 하였으며, 추론적 이해 검사의 모든 30문항이 4.5점 이상을 나타내어 적절성을 확인하였다.
영역 검토 의견 수정 내용
생략정보
‧생략된 정보가 단순히 문장 성분이 되지 않도록 수정
‧생략된 정보를 추론하는 빈칸은 문 장 성분 생략이 되지 않도록 하고, 문장에서 직접적으로 언급하고 있지 않은 단어로 하며, 글을 통해서 짐작 할 수 있는 내용으로 선정함
인물성격 감정
‧보기 문항이 유의어로 구성되어 있음
‧‘시원하다’, ‘상쾌하다’와 같은 유의 어를 보기에서 ‘불편했다’, ‘시원했다’
와 같이 반의어로 구성하도록 하고, 나머지 보기 하나는 관련없는 단어로 구성함
글분위기 배경
‧보기 문항이 연어를 이 해하는 것을 측정하는 것 이 되지 않도록 유의해야 함
‧글의 분위기가 다르게 해석 되지 않도록 불필요 한 내용을 삭제하는 것이 필요함
‧보기 문항 중 ‘들썩들썩’, ‘찰랑찰랑’,
‘덩실덩실’을 ‘들썩거렸다’, ‘한가로웠 다’, ‘덩실거렸다’로 바꾸어 연어 이해 를 묻는 문항이 되지 않도록 함
‧위급한 상황을 묘사하는 글에서 ‘무 서워서 도망치는 아이’와 같이 전체 적인 분위기에 적절하지 않은 내용은 삭제하고 대신 ‘손을 뻗어 구하려는 아이’로 수정함
인과 관계
‧생략된 정보 추론이 되 지 않도록 유의해야 함
‧설정이 부자연스러움
‧단순히 삭제된 빈칸 바로 이전 문장 으로만 답을 찾게 되지 않도록 하고 자 이전 문장에 단서가 많을 경우 이 전 문장을 수정함
이어질 내용
‧문장들에서 단순히 특정 단어에 의해 이어질 내용 을 예측하는 것이 되지 않도록 유의해야 함
‧하나의 문장 이외에 다른 문장에서 도 단서가 될 만한 내용을 추가하여 전체적으로 글의 연계성을 높일 수 있도록 수정함
<표 Ⅲ-4 > 추론적 이해 검사 예비 문항에 대한 전문가 검토 의견
예비 검사는 두 차례에 걸쳐 이루어졌으며, 2017년 8월 경기도 지역 초등학교 1개교 1학급 학생 26명을 대상으로 1차 예비 검사를 실시하고, 검사 시간의 적절성 및 검사 질문의 이해 여부 등에 대한 조사를 실시하 였다. 1차 예비 검사를 바탕으로 초등학교 5학년 수준에서 어려운 어휘,
문장의 구조, 문장의 길이 등을 수정하였다. 검사 시간제한으로 인하여 검사 문항을 다 풀지 못하는 경우를 확인하고, 쉬운 문항의 경우 앞쪽에, 어려운 문항의 경우 뒤쪽에 배치하여 학습장애 위험군 학생들도 많은 문 항을 풀 수 있도록 하였다. 검사 문항을 재배치한 2차 예비 검사 문항에 대해서는 9월에 경기도 1개교 3개 학급의 학생 75명을 대상으로 실시한 후 고전검사이론에 의한 문항 분석으로 기술통계와 문항의 난이도, 변별 도, 신뢰도를 살펴보았다. 2차 예비 검사에서 최종 확정된 추론적 이해 검사 문항은 서울대학교 생명윤리 위원회 심의를 거쳐 연구 승인을 받았 다(IRB No.1709/003-011).
이후 검사 참여 모집 문건을 통하여 참여 학교를 모집하였고, 연구 참 여에 동의한 학생들을 대상으로 2017년 9월에서 10월 동안 본 검사를 실 시하였다. 검사는 초등학교 교실에서 약 30분간 묵독유창성 검사(2분), ACCENT 국어영역 검사(10분), 추론적 이해 검사(15분), 학습장애 선별 검사(시간제한 없음) 순서로 교사에 의하여 실시되었으며, 일부 초등학교 가 아닌 개인적으로 검사에 참여하게 된 학생들은 방과 후 조용한 공간 에서 연구자가 직접 검사를 실시하였다. 또한 경기도 지역 1개교 1개 학 급의 23명과 제주 지역 1개교 1개 학급의 17명 학생들에게는 이주일 뒤 재검사를 실시하여 검사-재검사 신뢰도를 분석하였다. 검사 실시 후 수 합된 검사 자료에 대하여 채점 및 코딩을 실시하였으며, 이후 결과를 분 석하였다. 이러한 일련의 연구 절차를 정리하면 [그림 Ⅲ-2]와 같다.
[그림 Ⅲ-2] 연구 절차