251
관찰․추천에 의한 수학영재 선발 시 사용되는 자기소개서와 교사추천서 평가에 대한 일반화가능도 이론의 활용
*김 성 찬 (인천대학교) 김 성 연 (인천대학교) 한 기 순 (인천대학교)✝ 이 연구는 관찰․추천 수학영재선발 시 사용되는 자기소개서와 교사추천서 평가에서 발생하는 오차요인들의 상대적 인 영향력을 살펴보고, 교사추천서와 자기소개서를 총체적 채점과 분석적 채점으로 실시했을 때 채점 방법에 따른 일반화가능도계수의 최적화 측정 조건을 탐색하고, 이를 전통적인 신뢰도 추정방법과 비교하였다. 2011학년도 수도권 에 소재하고 있는 대학부설 과학영재교육원에서 관찰-추천 영재 선발에 지원한 90명의 자기소개서와 교사추천서에 대해 총체적 채점과 분석적 채점으로 2명의 교사가 각각 점수를 부여하였다. 연구결과는 다음과 같다. 첫째, 교사추 천서와 자기소개서의 평가에 있어 채점방법에 따른 공통점은 피험자 관련 분산이 크게 나타났으며, 차이점은 총체적 채점이 분석적 채점보다 채점자의 영향이 더 큰 것으로 나타났다. 둘째, 적정수준의 일반화가능도계수를 얻기 위해서 채점자를 2명으로 고정하는 경우 교사추천서와 자기소개서에서 총체적 채점은 각각 내용영역이 5개, 10개 이상이 요 구되어졌으며, 분석적 채점은 각각 내용영역을 4개로 고정한 경우 문항이 3개 이상, 내용영역을 6개로 고정한 경우 문항이 8개 이상이 요구되어졌다. 셋째, 교사추천서와 자기소개서 모두 채점 방법과 상관없이 문항만을 오차요인으로 보는 Cronbach 가 신뢰도를 과대 추정하는 것으로 나타났다. 따라서 적정수준의 신뢰도를 확보하기 위해서는 채 점자, 내용영역, 문항수와 같이 다양한 오차요인을 반영하는 일반화가능도 계수를 고려하는 것이 바람직할 것이다.
Ⅰ. 서 론
영재 판별 방법인 관찰․추천이 현장에서 그 어느 때보다 뜨거운 관심사로 떠오르고 있다. 2009년 교육과학 기술부는 전국 영재교육원의 교육대상자 선발방식을 일부 시범지역을 중심으로 지필고사 방식에서 관찰추천으 로 전환한다고 발표하였고(교육과학기술부, 2010), 2013년부터 관찰 추천제도가 본격적으로 전국에서 시행될 예 정이다. 이에 따라, 기존의 지필고사 방식으로 판별할 수 없었던 다양한 사회문화적 배경을 갖은 ‘숨어있는’영재 들을 가능한 한 많이 발굴할 수 있을 것이라는 기대가 확산되고 있다.
이러한 결정의 배후에는 무엇보다 기존의 영재선발체제에 대한 강한 불신감이 팽배해 있다고 볼 수 있다. 선 발고사 중심의 판별체제에서는 영재성과 무관하게, 별도의 사교육이나 선행학습을 통해 ‘준비된’영재가 선발될 가능성이 높으며, 이 과정에서 이러한 학습기회가 상대적으로 결여된 특정 집단의 영재가 지속적으로 배제될 가 능성이 높다(한기순, 이정용 2011; 한기순, 오윤석, 2011). 그러므로 교과부의 새로운 정책적 제안은 고도의 문제 해결력이나 검사테크닉에 대한 선행학습의 영향으로 ‘진정한’ 영재의 선발이 어려워졌다는 우려(영재판별의 타당
* 접수일(2012년 6월 22일), 심사(수정)일(1차: 2012년 8월 16일, 2차: 2012년 9월 4일), 게재확정일자(2012년 9월 11일)
* ZDM분류 : U42, D62
* MSC2000분류 : 97U40, 97D60
* 주제어 : 교사추천서, 수학영재 선발, 일반화가능도 이론, 자기소개서
✝ 교신저자 : [email protected]
성 문제)와 그 동안 판별에서 놓쳐 왔던 잠재력 있는 많은 소외 영재들에 대한 관심과 배려(영재판별의공정성 문제)가 반영된 것이라고 볼 수 있다. 이에 많은 전문가들은 영재성이란 한 번의 판단으로 파악하기 어려운 것 이므로 선발을 제한적으로 실시하기보다 대상자를 포괄적으로 포함시키고 교육을 통해 자연스럽게 판단되어져 야 한다고 주장한다(류지영, 정현철, 2010). 이러한 점들이 반영되어 교육과학기술부에서는 영재교육의 본질에 보 다 충실한 학생 선발 및 교육을 가능하게 하고, 잠재력이 있는 학생 모두에게 영재교육의 기회를 제공하며, 영재 교육기관 입학을 위한 사교육 등의 근원적인 문제 해소를 위하여 관찰․추천에 의한 영재 선발을 추진하고 있 는 것이다(교육과학기술부, 2010).
그러나 영재교육 수혜자의 수를 늘리고 이들을 판별하기 위한 교사추천의 역할을 강화하는 것만이 문제의 해 법은 아니다. 물론 보다 많은 학생들이 영재교육의 혜택을 받는 것에 대해 이의를 제기할 사람은 많지 않을 것 이다. 문제는 제한된 자원과 기회를, 혜택을 받을 자격이 있는 사람에게 얼마나 정확하게, 그리고 얼마나 공정하 게 제공하는가이다. 류지영과 정현철(2010)은 관찰․추천제가 도입되기 위해서 각 시․도교육청 차원이나 각 영 재교육기관에서 영재에 대한 개념특성이 보다 구체적으로 제시되어야 하나 현재에는 제시된 것이 없어 막연히 학업이 우수하거나 튀는 학생을 추천되고 있음을 지적하였다. 그리고 자기소개서나 교사추천서와 같은 주관성이 강한 선발자료의 평가방법에 대한 구체적인 안내가 없어서 선발방법의 공정성과 객관성에 문제가 제기된다고 하였다.
영재선발의 과학적이고 공정한 절차가 마련되지 않은 상태에서 영재교육 수혜자의 수를 증대시키거나, 교사 전문성 개발이 충분히 이루어지지 않은 상태에서 교사의 역할만을 강조하는 것은 오히려 또 다른 타당성 및 공 정성 문제를 야기할 수 있다(한기순, 이정용 2011; 한기순, 오윤석, 2011). 또한 채점에 대한 신뢰도, 일반화가능 도, 타당도, 공정성 등을 확보하지 못한 채 자기소개서와 교사추천서를 평가하는 것도 중요한 문제점 중 하나로 지적되고 있다.
이에 이 연구는 관찰․추천 영재 선발에 사용되는 자기소개서와 교사추천서의 내용을 교사와 학생이 인식하 고 있는 영재성의 특징으로 인지적, 수학적, 사회적, 정의적 행동특성으로 나누어 분석하였다. 그리고 자기소개서 와 교사추천서 선행연구를 바탕으로 채점기준표를 작성하여(박성익 외, 2003; 박종률, 2008; 송상헌, 2006; 최영 기, 도종훈, 2004) 총체적 채점방법과 분석적 채점방법으로 나누어 각각 평가하였다. 이를 통해 자기소개서와 교 사추천서 평가에서 총체적 채점방법과 분석적 채점방법이 검사 점수의 일반화가능도에 미치는 영향을 분석하고, 자기소개서, 교사추천서 평가의 효율적인 측정조건을 탐색하여 향후 본격적으로 활용되어지게 될 이러한 자료의 활용에 객관성과 공정성을 확보할 수 있는 평가 방안을 모색해 보고자 하였다.
이 연구는 2011년도 수도권의 한 대학부설 과학영재교육원 선발에 활용된 자기소개서, 교사추천서 평가에서 발 생하는 평가의 오차요인과 각각의 오차요인이 평가에 끼치는 영향력이 어떠한지를 알아보고 자기소개서, 교사추 천서 평가를 실시할 때 일반화가능도 계수의 최적화 조건 탐색을 목적으로 한다. 자기소개서, 교사추천서 평가에 있어서 채점자, 평가 문항 및 평가 영역은 채점이 달라질 수 있는 요인이 될 수 있으며 이에 대한 영향력과 신 뢰도를 연구하는 것은 영재 선발의 객관성과 공정성을 위해서 꼭 필요한 일일 것이다.
이 연구의 구체적인 연구문제는 다음과 같다.
첫째, 관찰․추천 영재 선발 시 사용되는 자기소개서와 교사추천서 평가에서 총체적 채점과 분석적 채점 방법 을 실시할 경우 피험자의 점수에 영향을 주는 요인들의 상대적 영향력은 어느 정도인가?
둘째, 관찰․추천 영재 선발 시 사용되는 자기소개서와 교사추천서 평가에서 총체적 채점과 분석적 채점 방법 을 실시할 경우, 효율적인 측정 조건의 구성은 어떻게 이루어지는가?
셋째, 관찰․추천 영재 선발 시 사용되는 자기소개서와 교사추천서 평가에서 총체적 채점과 분석적 채점 방법 을 사용할 경우의 신뢰도와 전통적인 신뢰도 추정방법인 Cronbach 와는 어떤 차이가 있는가?
Ⅱ. 이론적 배경
1. 관찰․추천 영재선발
2011학년도 전국 대학부설 영재교육원에서는 관찰․추천 방식으로 영재 선발을 하였다. 1차 전형에서 1.5 ~ 2 배수의 학생을 선발하고 다음 전형 단계로 넘어 가게 된다. 1차 전형에 사용되는 서류에는 자기소개서, 교사추천 서, 생활기록부, 행동특성척도, 학업계획서, 학부모기록지 등이 있으며 영재교육기관에 따라 영재성을 입증하는 추가 자료를 사용하는 곳도 있었다. 이 중에서 자기소개서와 교사추천서, 생활기록부는 영재 선발 시 거의 공통 적으로 사용되는 자료였다.
류지영과 정현철(2010)은 현재 담임이나, 교과 담당 교사, 혹은 전 학년 담임이나 전 교과담당교사의 추천을 받거나, 심리학자나 영재학자와 같은 전문가의 추천은 학생을 객관적이고 전문적으로 관찰한 결과이므로 신뢰할 수 있다고 하였다. 또한 영재 선발에서 교사의 추천은 추천 학생이 영재로 선발될 가능성이나 인지적․정의적 특성 면에서 상당히 효용성이 높다고 하였다(이인호, 한기순, 2009). 교사들이 형식적인 추천을 하거나 학업성적 을 기준으로 영재를 추천하는 경우가 아니라면 교사의 추천은 영재 판별에서 효율성과 신뢰도를 증가시킬 수 있을 것이다(류지영, 정현철, 2010).
관찰․추천 영재선발에서 사용되는 자기 소개서는 자기 보고서 형태로 추천하는데, 자기 보고서는 자아개념, 흥미, 가치, 학교 안팎에서의 활동과 성취 등에 대해 학생 자신이 설명하는 기록으로, 자기 보고서는 교사, 학부 모, 동료들이 파악하기 어려운 학생의 특성을 이해할 수 있게 해준다고 한다(이신동 외, 2008). 류지영과 정현철 (2010)은 본인에 의한 추천서는 자기 소개서와 같은 성격으로 본인의 장점과 도전의식, 동기들에 대한 평가에 도움을 줄 수 있다고 하였다.
관찰․추천 영재 선발은 그동안의 성적 위주의 대학 입시 선발의 문제점을 극복하고 학생의 성적, 환경, 잠재 력, 소질 등을 종합적으로 판단하여 대학의 특성에 따라 자유롭게 학생을 선발하는 대학 입학사정관제와 비슷한 면을 많이 가지고 있다(박혜정, 2010). 또한 관찰․추천 영재 선발의 취지 중 하나는 사교육의 문제점을 해소하 는 것이다(교육과학기술부, 2010).
관찰․추천 영재 선발에서 가장 많이 사용하는 자기 소개서와 교사 추천서의 경우 평가의 신뢰성에 대한 객 관성을 확보하는 것이 중요하다. 따라서 평가에 영향을 줄 수 있는 다양한 요인에 대한 연구가 필요하다. 평가 자, 내용 영역, 문항 수, 채점 방식 등의 요인은 채점 결과에 영향을 줄 수 있다. 이러한 채점 결과에 영향을 미 칠 수 있는 요인에 대한 체계적인 검증이 이루어져야 할 것이다.
2. 일반화가능도 이론
일반화가능도 이론은 측정상황에서 발생하는 복합적인 오차요인을 동시에 분석하여 오차점수에 기여하는 다 양한 요인을 구분할 수 있으며, 이를 통하여 관찰점수의 신뢰도에 미치는 오차요인들의 상대적 영향력을 파악하 고, 바람직한 신뢰도를 확보하기 위한 효율적인 측정을 설계하도록 도와준다(김성숙, 2001). 수행평가의 경우 자 료 수집 방법이 다양할 뿐만 아니라 측정 상황에 미치는 영향 요인이 다양하기 때문에 일반화가능도 이론을 적 용하여 측정 결과에 대한 일반화 정도를 산출해야 할 필요성이 증가하고 있다. 수행평가의 일반화가능도 이론에 관한 많은 연구들은 오차 요인의 주된 원인이 피험자와 과제의 상호작용으로 나타났다고 밝히고 있으며 높은 신뢰도 확보를 위해서 과제의 수를 증가, 채점자 수를 증가 그리고 교차 채점 등의 방법을 제안하고 있다(김경 선 외, 2011; 조재윤, 2009).
1) G-연구(일반화 연구)
G-연구는 허용 가능한 관찰전집을 추정하기 위하여 채점 결과에 나타나 있는 오차에 영향을 주는 여러 가지 요인을 동시에 분석하고, 분산분석을 이용하여 오차요인의 상대적인 영향력을 산출하는 연구이다(Brennan, 2001). 이 연구의 G-연구는 관찰⋅추천 영재 선발 시 사용되는 자기소개서와 교사추천서 평가 결과를 2명의 채 점자가 총제적 채점 방법과 분석적 채점 방법으로 점수를 부여한 것으로 × × [피험자×채점자×내용 영역]모형과 × × [피험자×채점자×(문항 : 내용영역)]모형을 설계하여 적용하였다. 즉
× × 설계는 피험자의 응답을 모든 채점자가 각 내용영역에 점수를 주는 방법으로 총체적 채점 방법을 개념화한 것이고, × × 설계는 피험자의 응답을 모든 채점자가 각 영역별로 내재된 평가기준에 따 라 채점한 방법으로 분석적 채점 방법을 개념화한 것이다. 이러한 두 가지 총체적 채점 방법과 분석적 채점 방 법을 선형모형으로 도식화하면 <그림 1>, <그림 2>와 같다. 여기에서 는 피험자, 은 채점자, 는 내용영역, 그리고 는 내용영역 내의 채점 문항을 나타낸다. <그림 1>은 학생들의 능력을 총체적 방법으로 채점한 것을 점수 효과의 분산성분으로 추정하고자 할 때 적합한 3국면 교차 설계를 모형화한 것이고, 검사 점수를 구성하는 효과를 선형 방정식으로 표현하면 식(1)과 같이 나타낼 수 있다.
<그림 1> 총체적 채점 방법 × × 의 G-연구 설계
–
–
– –
– –
– –
– – –
(1)
또한 어떤 학생의 검사 점수의 분산은 각 요인의 효과에서 영향 받은 분산성분의 합으로 나타낼 수 있고, 이 는 식 (2)와 같다.
(2)
여기에서 는 검사 점수의 분산, 는 피험자 분산, 은 채점자 분산, 은 내용 영역 분산, 은 피험
자와 채점자 사이의 상호작용 분산, 는 피험자와 내용 영역 사이의 상호작용 분산, 는 채점자와 내용 영 역 사이의 상호작용 분산 그리고 는 피험자, 채점자, 내용 영역 사이의 상호작용과 이 모형에서 설명되지 않 는 잔차를 포함하는 분산성분을 각각 나타낸다.
<그림 2>는 각 내용 영역을 세분화된 채점 기준에 따라 평가하는 방법으로 학생들의 능력을 분석적 방법으 로 채점한 것을 점수 효과의 분산성분으로 추정하고자 할 때 적합한 3국면 부분내재 설계를 모형화한 것이고, 검사 점수를 구성하는 효과를 선형 방정식으로 표현하면 식(3)과 같이 나타낼 수 있다.
<그림 2> 분석적 채점 방법 × × 의 G-연구 설계
– –
– –
– –
– –
– –
– – – –
(3)
또한 어떤 학생의 검사 점수의 분산은 각 요인의 효과에서 영향 받은 분산성분의 합으로 나타낼 수 있고, 이 는 식 (4)와 같다.
(4)
여기에서 는 검사 점수의 분산, 는 피험자 분산, 은 채점자 분산, 은 내용 영역 분산, 는 내용 영역에 내재된 채점 문항 분산, 은 피험자와 채점자 사이의 상호작용 분산, 는 피험자와 내용 영역 사이 의 상호작용 분산, 는 피험자와 내용 영역에 내재된 채점 문항의 상호작용 분산, 는 채점자와 내용 영 역 사이의 상호작용 분산,
는 채점자와 내용 영역에 내재된 채점 문항의 상호작용 분산,
는 피험자와
채점자 및 내용 영역 사이의 상호작용 분산 그리고 는 피험자, 채점자, 내용 영역 내 채점문항사이의 상호작 용과 이 모형에서 설명되지 않는 잔차를 포함하는 분산성분을 각각 나타낸다.
2) D-연구(결정 연구)
D-연구는 일반화 가능한 일반화전집을 규정하고 평가 상황의 변동에 영향을 주는 측정 조건을 조절하거나 결정하는 연구이다. G-연구에서 얻어진 분산성분의 상대적 오차의 크기에 따라 일반화가능도 계수를 산출하고, 평가 상황과 조건에 대한 의사결정자에게 안정적인 점수를 제공하기 위한 평가의 조건을 제시함으로써 평가의 신뢰도와 실용도를 개선할 수 있는 연구이다(김경선 외, 2011). 이 연구에서는 G-연구와 동일하게 D-연구 설계 를 적용하였다. D-연구를 통해서 얻어지는 일반화가능도 계수는 고전검사이론의 진점수 분산과 유사한 전집점 수 분산과 오차점수 분산의 합에 대한 전집점수 분산의 비로 얻을 수 있다.
×× 설계에서 전집점수 분산은 피험자 분산인
이며, 상대오차 분산은 피험자와 관련된 분산인
,
그리고
의 합으로 구성된다. 그러므로 × × 설계의 일반화가능도 계수식은
이다.
×× 설계에서 전집점수 분산은 피험자 분산인 이며, 상대오차 분산은 피험자와 관련된 분산 인 , , , 그리고 의 합으로 구성된다. 그러므로 ×× 설계의 일반화가능 도 계수식은
이다.
3. 총체적 채점과 분석적 채점
수행평가 결과를 채점하는 방법으로 크게 총체적 채점과 분석적 채점이 있다. 총체적 채점은 과제에 대한 응 답을 전체적으로 판단하여 하나의 점수를 부여하는 방법인 반면에, 분석적 채점 은 과제에 포함되는 여러 가지 요소들을 고려하여 각각의 요소에 점수를 부여하고, 그 점수들을 모두 합하는 것이다(지은림, 2000).
총체적 채점은 수행과제 수행 과제물의 부분적인 고려보다는 전체적인 과제물의 특성에 더 큰 의미가 부여될 경우 적합한 방법이다(이규민, 황경현, 2007). 전현정(2000)은 총체적 채점의 장점으로 채점하기 쉽고 채점 시간 이 빠르며 작문과 같은 일반적인 기술에 대한 점수가 필요할 때 신뢰로운 채점 방법이라고 하였다. 반면에 총체 적 채점의 경우 여러 가지 수행요소를 단일한 특성으로 파악함으로써 타당도와 신뢰도를 잃기 쉽다고 하였다.
조재윤(2009)은 분석적 채점의 경우 채점자 간의 차이를 줄일 수 있기 때문에 채점의 객관성을 높일 수 있고 각 구성 요소별로 학생들의 강점이나 취약점을 파악할 수 있다는 장점이 있다고 하였다. 반면에 총체적 채점에 비하여 시간이 더 걸린다는 것과 응답이나 수행을 통합적으로 판단하지 못한다는 단점이 있다고 하였다.
두 가지 채점 방법 중에서 어느 것을 사용할 것인지는 평가의 목적이나 채점 시간, 비용, 그리고 다른 여러 요인에 의해 결정될 것이다(이규민, 황경현, 2007). 영재 선발에 있어서 자기 소개서 및 교사 추천서의 채점 방법 을 어떤 것으로 하는 것이 더 효과적인지에 대한 연구는 거의 나와 있지 않은 상황이다. 이에 자기 소개서와 교
사 추천서를 총체적 채점과 분석적 채점으로 비교 채점하여 어떤 방법이 더 효과적이고 객관적인지에 대한 연 구와 구체적으로 어떤 기준에서 더 신뢰로운 채점 결과를 기대할 수 있는지에 대한 연구를 진행하였다.
Ⅲ. 연구방법
1. 자료 수집
이 연구에서는 2011학년도 수도권에 소재하고 있는 대학부설 과학영재교육원에서 관찰-추천 영재 선발에 지 원한 90명의 자기소개서와 교사추천서 평가를 자료로 하였다. 자기 소개서에는 지원한 동기, 교육원에서 자신을 뽑아야 하는 이유, 수학에 관심을 갖도록 영향을 끼친 동기, 장래 희망이, 교사 추천서에는 학생이 영재성을 보 인 사례, 우수한 인성이 드러난 사례, 리더십이 드러난 사례, 종합 의견이 기록되어 있다. 교사추천서와 자기소개 서는 교사로 구성된 2명의 채점자에 의해 총체적 채점과 분석적 채점 방법으로 채점 점수가 부여되었다.
총체적 채점은 교사추천서와 자기소개서를 종합적으로 판단하여 평가 기준에 부합하는 정도에 따라 5점에서 20점까지의 범위에서 점수를 부여하는 방법이고, 분석적 채점은 내용영역을 4개의 문항으로 나누어 각 하위문항 별로 1점부터 5점까지의 범위에서 점수를 부여하도록 하는 방법이다. 총체적 채점과 분석적 채점의 기준은 <표 1>과 <표 2>에 각각 제시되어 있다. 채점자들은 영재교육대학원생으로 단위학교 영재학급 및 대학부설 영재교 육원에서 지도경력이 있는 자들로서 평가에 전문성을 확보하도록 고려하였다.
한 평가방법이 다른 평가방법에 영향을 미치지 않도록 하기 위해 분석적 채점을 먼저 하였고, 시간 간격을 어느 정도 유지함과 동시에 동일 순서로 학생이 채점되지 않도록 임의적으로 순서를 바꾸어 채점하였다. 즉 채 점자는 분석적 채점을 먼저 한 후 총체적 채점으로 점수를 부여하였다. 따라서 채점자 1인은 학생 개개인에 대 해 두 번의 채점을 하였고, 동일 학생에 대하여 2명의 채점자가 점수를 부여하였다.
영역 문항 채점기준 배점
인지적특성
지 적 호 기 심 / 집중력/ 독서/
자기주도학습 능력
영재의 인지적 특성을 많이 가지고 있으며 매우 뛰어난 능력을 보여준다. 20 영재의 인지적 특성이 다소 보이며 보통 학생들보다 우수한 능력을 보인다. 15 영재의 인지적 특성을 제한적으로 가지고 있으며, 일반 학생들과 유사한 능력을
보인다. 10
영재의 인지적 특성을 거의 가지고 있지 않다. 5
수학적 특성
수학적 교과성 적/ 창의성/
문제해결능력/
사고력
영재의 수학적 특성을 많이 가지고 있다. 20
영재의 수학적 특성을 다소 보인다. 15
영재의 수학적 특징을 제한적으로 가지고 있다. 10
영재의 수학적 특징을 거의 가지고 있지 않다. 5
정의적 특성
도전성/적극성/
과제집착력/
수학적성
영재의 정의적 특성을 많이 가지고 있다. 20
영재의 정의적 특성이 다소 보인다. 15
영재의 정의적 특성을 제한적으로 가지고 있다. 10
영재의 정의적 특성을 거의 가지고 있지 않다. 5
사회적 특성
리더쉽/
도덕성/
사교성/유머감각
기본적인 도덕성이 매우 잘 갖추어져 있고 유머 감각이 있고 대인 관계가 좋으
며 리더십을 가지고 있다. 20
기본적인 도덕성이 잘 갖추어진 편이며 유머감각, 사회성, 리더십이 좋다. 15 기본적인 도덕성이 갖추어져 있으며, 유머감각, 사회성, 리더십이 보통 수준이다. 10 기본적인 도덕성이 갖추어져 있지 않으며, 유머감각, 사회성, 리더십이 부족하다. 5
<표 1> 총체적 채점을 위한 자기소개서와 교사추천서 채점 기준표
영역 문항 채점기준 배점
인지적 특성
지적호기심
정보 습득이 빠르고 호기심과 궁금함이 많음 5
정보 습득이 빠른 편이고 호기심과 궁금함이 있음 4
정보 습득이 다소 빠르며 호기심과 궁금함을 가끔 보임 3
정보 습득이 느리며 호기심과 궁금함을 보이지 않음 2
정보 습득이 매우 느리며 궁금함이 전혀 보이지 않음 1
집중력
집중하는 능력이 매우 우수함 5
집중하는 능력이 우수함 4
집중하는 능력이 보통임 3
집중하는 능력이 다소 부족함 2
집중하는 능력이 매우 부족함 1
독서
독서를 즐기며 많이 읽음 5
독서를 좋아함 4
독서를 싫어하지 않고 필요에 따라 하는 편임 3
독서를 좋아하지 않고 즐기지 않음 2
독서에 대한 언급이 전혀 없음 1
자기주도학습 능력
스스로 계획을 세워 학습하는 능력이 잘 갖추어져 있음 5
스스로 계획을 세워 학습하는 모습을 다소 보임 4
스스로 계획을 세워 학습하는 모습을 가끔 보임 3
스스로 계획을 세워 학습하는 능력이 부족함 2
스스로 계획을 세워 학습하는 모습이 전혀 없음 1
수학적 특성
수학교과성적
항상 수학 교과 성적이 우수함 5
수학 교과 성적이 우수함이 자주 보임 4
수학 교과 성적이 우수함이 다소 보임 3
수학 교과 성적이 보통임 2
수학 교과 성적에 대한 언급이 전혀 없음 1
수학적 창의성
수학 문제 해결에 있어서 유창성, 융통성, 다양성, 정교성이 뛰어남 5 수학 문제 해결에 있어서 유창성, 융통성, 다양성, 정교성이 우수함 4 수학 문제 해결에 있어서 유창성, 융통성, 다양성, 정교성이 보통임 3 수학 문제 해결에 있어서 유창성, 융통성, 다양성, 정교성이 부족함 2 수학 문제 해결에 있어서 유창성, 융통성, 다양성, 정교성이 매우 부족함 1
문제해결능력수학적
수학 문제를 해결하는 능력이 매우 뛰어남 5
수학 문제를 해결하는 능력이 우수함 4
수학 문제를 해결하는 능력이 평이함 3
수학 문제를 해결하는 능력이 부족함 2
수학 문제를 해결하는 능력이 매우 부족함 1
수학적 사고력
수학적 문제를 이해하고 해결하는데 요구되는 사고능력이 매우 뛰어남 5 수학적 문제를 이해하고 해결하는데 요구되는 사고능력이 우수함 4 수학적 문제를 이해하고 해결하는데 요구되는 사고능력이 평이함 3 수학적 문제를 이해하고 해결하는데 요구되는 사고능력이 부족함 2 수학적 문제를 이해하고 해결하는데 요구되는 사고능력이 매우 부족함 1
<표 2> 분석적 채점을 위한 자기소개서와 교사추천서 채점 기준표
정의적 특성
도전정신
어려운 일에도 정면으로 맞서서 해결하려는 태도를 자주 보임 5
어려운 일에 맞서서 해결하려는 태도가 다소 보임 4
어려운 일을 해결하려는 태도가 가끔 보임 3
어려운 일을 해결하려는 태도를 거의 가지고 있지 않음 2 어려운 일을 해결하려는 태도에 대한 언급이 전혀 없음 1
적극성
어떤 일이 주어졌을 때 자발적으로 나섬 5
어떤 일이 주어졌을 때 자발적으로 나서는 모습이 다소 보임 4 어떤 일이 주어졌을 때 자발적으로 나서지는 않으나 관심은 있음 3
어떤 일이 주어졌을 때 소극적으로 대응함 2
어떤 일이 주어졌을 때 거의 나서지 않음 1
과제집착력
해결하기 힘든 문제를 끝까지 노력하여 해결함 5
해결하기 힘든 문제를 완벽히 해결하지는 못하나 노력하여 해결하려고 함 4
주어진 문제를 노력하여 해결하려는 모습이 다소 보임 3
주어진 문제를 노력하여 해결하려는 모습이 거의 보이지 않음 2
과제집착력과 관련된 언급이 전혀 나타나자 않음 1
수학적 적성
수학을 매우 즐기고 잘 하며 타고난 소질이 있음 5
수학을 좋아하며 소질이 다소 있음 4
비교적 수학을 좋아하는 편이고 가끔 소질이 보임 3
수학을 좋아하지 않고 소질을 거의 가지고 있지 않음 2
수학을 싫어하며 소질이 없음 1
사회적 특성
리더쉽
조직을 이끌어 가는 리더로서의 능력을 가지고 있음 5
조직을 이끌어 가는 리더로서의 능력이 다소 있음 4
조직을 이끌어 가는 리더로서의 능력이 가끔 보임 3
조직을 이끌어 가는 리더로서의 능력을 거의 가지고 있지 않음 2
조직을 이끌어 가는 리더로서의 능력이 없음 1
도덕성
배려하고 나누고 봉사하는 태도를 가지고 있음 5
배려하고 나누고 봉사하는 태도를 다소 가지고 있음 4
배려하고 나누고 봉사하는 태도를 가끔 보임 3
배려하고 나누고 봉사하는 태도를 거의 가지고 있지 않음 2
배려하고 나누고 봉사하는 태도가 없음 1
사교성
사회에 잘 적응하고 대인관계가 원만함 5
사회에 적응하고 대인관계가 다소 원만함 4
사회에 적응하기도 하고 대인관계가 가끔 원만함 3
사회에 적응하지 못하고 대인관계가 원만하지 못함 2
사회에 적응하지 못하며 대인관계가 나쁨 1
유머감각
날카로운 유머 감각을 가지고 있고 자기 유머로 타인에게 영향력을 행사 하
려함 5
유머 감각을 다소 가지고 있고 자기 유머로 타인에게 영향력을 행사 하려함 4 유머 감각을 가끔 보이고 가끔 자기 유머로 타인에게 영향력을 행사 하려고
함 3
유머 감각을 거의 가지고 있지 않고 자기 유머로 타인에게 영향력을 행사하
지 못함 2
유머 감각이 전혀 없음 1
효과 자유도 제곱합 평균제곱 분산성분추정치(백분율 %)
89 123081.25 107.62 10.64 (41.47%)
1 114947.22 1445.00 3.91 (15.25%)
3 113730.83 76.20 0.29 (1.15%)
89 126325.00 20.21 3.55 (13.86%)
267 125500.00 8.20 1.11 (4.34%)
3 115237.77 20.64 0.16 (0.63%)
267 130400.00 5.97 5.97 (23.25%)
전체 719 849,222.07 25.63 (100%)
<표 3> 교사추천서 평가에서 총체적 채점의 분산성분 추정 결과 2. 자료 분석 방법
일반화가능도 이론을 적용한 연구를 위해 제안된 임의효과 × × 모형과 × × 모형의 분산 성분을 추정하기 위해, G-연구(일반화연구)는 균형 무선 효과 설계에 의해 분산성분을 추정하였고, 이를 위해 GENOVA(A GENeralized Analysis Of VAriance System)프로그램(Crick & Brennan, 1983)을 사용하였다. D-연 구(결정연구)는 G-연구 결과를 바탕으로 ×× 설계와 ×× 의 설계에서 오차 국면의 표집 수를 조절하여 적정 수준의 일반화가능도를 유지하기 위한 효율적인 조건을 탐색하였다. 즉, 총체적 채점에서 적 정 수준의 일반화가능도를 유지하기 위한 채점자 수와 내용영역의 수가 분석되었고, 분석적 채점에서 적정수준 의 일반화가능도를 유지하기 위한 채점자 수, 내용영역 수 그리고 내용영역에 내재된 문항수가 분석되었다. 자료 처리는 G-연구 결과의 분산성분을 입력 값으로 활용하여 GENOVA 프로그램을 활용한 다양한 D-연구를 수행 하였다.
Ⅵ. 연구결과
1. 채점 방법에 따른 G-연구 결과
1) 교사추천서 평가에서 총체적 채점 방법과 분석적 채점 방법에 따른 G-연구 결과
교사추천서 평가에서 총체적 채점 방법과 분석적 채점 방법을 실시할 경우 점수에 영향을 주는 요인들의 상 대적 영향력이 어느 정도인지를 알아보기 위해 피험자 분산과 각 오차 점수 분산을 추정한 값을 비교하였다.
<표 3>은 총체적 채점에 의한 피험자 분산과 각 효과의 분산 크기를, <표 4>는 분석적 채점에 의한 피험자 분 산과 각 오차 점수 분산의 크기를 나타내고 있다.
교사추천서 평가에서 총체적 채점의 경우 전체 분산에 비해 피험자 분산이 41.47%로 가장 높았다. 이는 학생 들 개인 간의 영재성에 차이가 크다는 것을 보여준다. 채점자와 관련된 분산을 살펴보면 채점자 분산이 15.25%
그리고 피험자와 채점자의 상호작용 분산이 13.86%로 상대적으로 크게 나타났다. 이는 채점자로 인해 영향을 받 은 점수의 변동부분이 크게 작용하고 있음을 의미한다. 내용영역 분산은 1.15%, 피험자와 내용영역 간 상호작용 분산은 4.34%로 전체 분산에서 차지하는 비중은 상대적으로 작았다. 채점자와 내용영역 간 상호작용 분산은 0.63%로 전체 분산 중 차지하는 값이 가장 작게 나타났다.
효과 자유도 제곱합 평균제곱 분산성분추정치(백분율 %)
89 102078.12 116.73 10.59 (40.24%)
1 92703.68 1015.31 2.73 (10.37%)
3 91910.69 74.10 0.32 (1.23%)
89 105431.25 26.26 5.50 (20.92%)
267 104962.50 9.97 2.86 (10.89%)
3 92955.27 9.75 0.06 (0.23%)
267 109475.00 4.23 4.23 (16.08%)
전체 719 699,516.51 26.29 (100%)
<표 5> 자기소개서 평가에서 총체적 채점의 분산성분 추정 결과
효과 자유도 제곱합 평균제곱 분산성분추정치(백분율 %)
89 28492.81 8.05 0.20 (27.59%)
1 27843.31 67.22 0.04 (5.82%)
3 27811.68 11.86 0.00 (0.21%)
12 27898.23 7.21 0.03 (4.50%)
89 28663.25 1.15 0.03 (5.05%)
267 28770.75 0.90 0.02 (3.84%)
1068 29234.00 0.35 0.05 (8.01%)
3 27892.07 4.39 0.01 (1.11%)
12 27991.66 1.08 0.01 (1.27%)
267 29104.00 0.56 0.08 (11.01%)
1068 29830.00 0.23 0.23 (31.53%)
전체 2,879 313,531.76 0.70 (100%)
<표 4> 교사추천서 평가에서 분석적 채점의 분산성분 추정 결과
교사추천서 평가에서 분석적 채점의 경우, 잔차분산을 제외하면 피험자 효과가 27.59%로 가장 높았다. 즉 학 생들 개인 간의 영재성에 차이가 있음을 알 수 있다. 다음으로 피험자와 내용영역 그리고 채점자의 상호작용 분 산이 11.01%로 높게 나타났으며 피험자와 내용영역에 내재된 문항과의 상호작용 분산이 8.01%로 나타났다. 채 점자 분산은 5.82%, 내용영역에 내재된 문항 분산은 4.50%로 비슷하게 나타났으나 내용영역 분산은 0.21%로 가 장 작게 나타났다. 그리고 피험자와 채점자의 상호작용 분산은 5.05%, 피험자와 내용영역 분산은 3.84%, 채점자 와 내용영역의 상호작용 분산은 1.11%, 채점자와 내용영역 내 문항의 상호작용 분산은 1.27%의 전체 분산을 설 명하는 것으로 분석되었다.
분석적 채점의 잔차 분산을 제외하면, 두 채점 방법 모두에서 피험자 분산이 가장 크게 나타났으며, 내용영역 분산은 모두 작게 나타났다. 반면에 채점자 분산은 어느 정도 크게 나타났으며, 총체적 채점 방법에서 더 크게 나타났다. 또한 분석적 채점 방법의 경우 총체적 채점 방법에 비해 검사 점수에 영향을 주는 요인은 서로 비슷 한 상대적 영향력을 나타냈다.
2) 자기소개서 평가에서 총체적 채점 방법과 분석적 채점 방법에 따른 G-연구 결과
자기소개서 평가에서 총체적 채점 방법과 분석적 채점 방법을 실시할 경우 점수에 영향을 주는 요인들의 상 대적 영향력이 어느 정도인지를 알아보기 위해 피험자 분산과 각 오차 점수 분산을 추정한 값을 비교하였다.
<표 5>는 총체적 채점에 의한 피험자 분산과 각 효과의 분산 크기를 나태내고 있고, <표 6>은 분석적 채점에 의한 피험자 분산과 각 오차 점수 분산의 크기를 나타내고 있다.
자기소개서 총체적채점의 경우 피험자 분산이 40.24%로 전체 분산 중 가장 높았다. 이를 통해 학생들 개인 간 의 영재성에 차이가 크다는 것을 알 수 있다. 채점자와 관련된 분산을 살펴보면 채점자 분산이 10.37% 그리고 피 험자와 채점자의 상호작용 분산이 20.92%로 상대적으로 크게 나타났다. 이는 채점자로 인해 영향을 받은 점수의 변동부분이 크게 작용하고 있음을 의미한다. 내용영역 분산은 1.23%, 피험자와 내용영역 간 상호작용 분산은 10.89%, 그리고 채점자와 내용영역 간 상호작용 분산은 0.23%로 전체 분산 중 차지하는 값이 가장 작게 나타났다.
효과 자유도 제곱합 평균제곱 분산성분추정치(백분율 %)
89 25492.71 7.14 0.16 (23.15%)
1 24884.15 27.02 0.01 (1.84%)
3 24929.22 24.03 0.02 (2.97%)
12 24975.25 3.83 0.00 (0.71%)
89 25633.43 1.27 0.04 (6.75%)
267 25836.62 1.01 0.04 (6.45%)
1068 26298.50 0.38 0.07 (10.23%)
3 24977.64 7.13 0.01 (1.58%)
12 25056.83 2.76 0.02 (3.88%)
267 26131.75 0.49 0.06 (8.88%)
1068 26885.00 0.24 0.24 (33.52%)
전체 2,879 281,101.10 0.67 (100%)
<표 6> 자기소개서 평가에서 분석적 채점의 분산성분 추정 결과
자기소개서 평가에서 분석적 채점의 경우, 잔차분산을 제외하면 피험자 효과가 23.15%로 가장 높았고, 이는 학생들 개인 간의 영재성에 차이가 크다는 것을 나타낸다. 피험자와 관련된 분산을 살펴보면 잔차가 33.52%, 피 험자와 내용영역에 내재된 문항 간 상호작용 분산은 10.23%, 피험자와 내용영역, 채점자 간 상호작용은 8.88%, 피험자와 채점자의 상호작용 분산이 6.75% 그리고 피험자와 내용영역 간 상호작용 분산은 6.45%로 나타났다.
반면에 나머지 분산들은 0.71%부터 3.88%로 전체 분산 중 차지하는 부분은 작게 나타났다.
분석적 채점의 잔차 분산을 제외하면, 두 채점 방법 모두에서 피험자 분산이 가장 크게 나타났으며, 내용영역 분산은 모두 작게 나타났다. 반면에 총체적 채점 방법의 경우 채점자 분산이 어느 정도 크게 나타났으며, 분석적 채점 방법의 경우 총체적 채점 방법에 비해 검사 점수에 영향을 주는 요인은 서로 비슷한 상대적 영향력을 나 타냈다.
2. 채점 방법에 따른 D-연구 결과
1) 교사추천서 평가에서 총체적 채점 방법과 분석적 채점 방법에 따른 D-연구
관찰⋅추천 영재 선발 시 사용되는 교사추천서 평가에서 총체적 채점과 분석적 채점 방법을 사용할 경우 효 율적인 측정 조건을 탐색하기 위해 G-연구 분석 결과에서 나온 분산 성분을 가지고 GENOVA 프로그램을 사용 하여 D-연구를 실시하였다. 총체적 채점의 D-연구 결과는 <표 7>, 그리고 분석적 채점의 D-연구 결과는 <표 8>과 같다.
총체적 채점의 D-연구는 내용영역의 수를 2에서 6까지, 그리고 채점자 수를 1명에서 5명까지 변화를 주어 내 용영역에 따른 채점자 수 변화에 대해 각 조건별 일반화가능도 계수를 산출하였다. D-연구 결과 내용영역 수가 많을수록, 그리고 채점자 수가 많을수록 일반화가능도 계수가 높아진다는 것을 알 수 있다. <표 7>에서 보는 바 와 같이 이 연구에서 원 자료를 수집할 때 사용되었던 조건과 같이 내용영역을 4개 그리고 채점자수를 2명으로
하는 경우 일반화가능도 계수는 0.79였다. 따라서 0.80 이상의 일반화가능도 계수를 확보하기 위해서는 내용영역 이 2개인 경우 채점자 수는 4명 이상, 내용영역이 3개인 경우는 채점자 수가 3명 이상이 되어야 했다. 그리고 채점자 수가 2명 이상인 경우는 내용영역 수가 5개 이상이 되어야 했다.
내용영역 채점자 수 전집점수 분산 관찰점수 분산 상대오차분산 일반화가능도계수 2
1 10.64 17.75 7.10 0.59
2 10.64 14.47 3.83 0.73
3 10.64 13.38 2.73 0.79
4 10.64 12.84 2.19 0.82
5 10.64 12.51 1.86 0.85
3
1 10.64 16.57 5.92 0.64
2 10.64 13.79 3.14 0.77
3 10.64 12.87 2.22 0.82
4 10.64 12.40 1.75 0.85
5 10.64 12.13 1.48 0.87
4
1 10.64 15.98 5.33 0.66
2 10.64 13.45 2.80 0.79
3 10.64 12.61 1.96 0.84
4 10.64 12.19 1.54 0.87
5 10.64 11.93 1.2 0.89
5
1 10.64 15.62 4.97 0.68
2 10.64 13.24 2.60 0.80
3 10.64 12.45 1.80 0.85
4 10.64 12.06 1.41 0.88
5 10.64 11.82 1.17 0.90
6
1 10.64 15.38 4.74 0.69
2 10.64 13.11 2.46 0.81
3 10.64 12.35 1.70 0.86
4 10.64 11.97 1.32 0.88
5 10.64 11.74 1.09 0.90
<표 7> 교사추천서 평가에서 총체적 채점의 D-연구 결과
또한 총체적채점에서 내용영역과 채점자 수의 효과는 <그림 3>을 통해 알 수 있다. 내용영역의 수와 채점자 수가 증가함에 따라 일반화가능도 계수가 상승하나 점차 그 효과는 감소하고 있음을 알 수 있다.
내용영역 문항수 채점자수 전집점수 분산 관찰점수 분산 상대오차분산 일반화가능도 계수
4
2
1 0.20 0.30 0.10 0.66
2 0.20 0.26 0.05 0.77
3 0.20 0.24 0.04 0.82
4 0.20 0.24 0.03 0.84
5 0.20 0.23 0.03 0.86
3
1 0.20 0.29 0.08 0.69
2 0.20 0.25 0.05 0.80
3 0.20 0.24 0.03 0.84
4 0.20 0.23 0.03 0.86
5 0.20 0.23 0.02 0.88
4
1 0.20 0.28 0.08 0.71
2 0.20 0.25 0.04 0.81
3 0.20 0.23 0.03 0.85
<표 8> 교사추천서 평가에서 분석적 채점의 D-연구 결과 0.5
0.6 0.7 0.8 0.9 1
일 반 화 가 능 도 계 수
1 2 3 4 5
채점자수
내용영역2 내용영역3 내용영역4 내용영역5 내용영역6
<그림 3> 총체적 채점에서 채점자 수와 일반화가능도 계수
분석적 채점은 내용영역을 채점 문항별로 세분하여 피험자에게 점수를 부과하는 방법으로 D-연구는 내용영 역의 수를 2에서 6까지, 채점 문항의 수를 2에서 5까지 그리고 채점자 수를 1명에서 5명까지 변화시키며 일반화 가능도 계수를 산출하였다. 이 중 <표 8>은 이 연구에서 원 자료를 수집할 때 사용되었던 조건과 같은 내용영 역이 4인 경우만 제시하였고, 이 경우 일반화가능도 계수는 0.81이었다. 따라서 원자료의 경우 0.80 이상의 일반 화가능도 계수를 확보하기 위해서는 내용영역을 4개로, 채점자 수가 2명인 경우 문항 수를 3개로 줄여도 됨을 알 수 있다. 계속해서 내용영역이 2개, 문항의 수가 3개인 경우 채점자 수를 5명 이상, 그리고 내용 영역이 3개, 문항의 수가 2개인 경우 채점자 수를 4명 이상으로 구성하면 0.80 이상의 일반화가능도 계수를 확보할 수 있다.
반면에 채점자 수가 1인 경우 0.80이상의 일반화계능도 계수를 확보하지 못하는 것으로 나타났다. 분석적 채점은 영역의 수가 늘어날수록, 문항의 수가 증가할수록 그리고 채점자의 수가 증가할수록 일반화가능도 계수가 높아 진다는 것을 알 수 있다. 또한 분석적 채점에서 문항수와 채점자 수의 효과는 <그림 4>에서 보는 바와 같이 문 항수와 채점자 수가 증가함에 따라 일반화가능도 계수가 상승하나 점차 그 효과는 감소하고 있음을 알 수 있다.
4 0.20 0.23 0.02 0.87
5 0.20 0.22 0.02 0.88
5
1 0.20 0.28 0.07 0.71
2 0.20 0.24 0.04 0.82
3 0.20 0.23 0.03 0.86
4 0.20 0.23 0.02 0.88
5 0.20 0.22 0.02 0.89
0.5 0.6 0.7 0.8 0.9 1
일 반 화 가 능 도 계 수
1 2 3 4 5
채점자수
문항수2
문항수3
문항수4
문항수5
<그림 4> 분석적 채점에서 채점자 수와 일반화가능도 계수
2) 자기소개서 평가에서 총체적 채점과 분석적 채점 방법에 따른 D-연구
관찰․추천 영재 선발 시 사용되는 자기소개서 평가에서 총체적 채점과 분석적 채점 방법을 사용할 경우 효 율적인 측정 조건을 탐색하기 위해 G-연구 분석 결과에서 나온 분산 성분을 가지고 GENOVA 프로그램을 사용 하여 D-연구를 실시하였다. 총체적 채점의 D-연구 결과는 <표 9>에, 그리고 분석적 채점의 D-연구 결과는
<표 10>과 같다.
총체적 채점의 D-연구는 내용영역의 수를 2에서 6까지, 그리고 채점자 수를 1명에서 5명까지 변화를 주어 내 용영역에 따른 채점자 수 변화에 대해 각 조건별 일반화가능도 계수를 산출하였다. 이 중 <표 9>는 이 연구에 서 원 자료를 수집할 때 사용되었던 조건과 같은 내용영역이 4인 경우만 제시하였고, 이 경우 일반화가능도 계 수는 0.72였다. 따라서 0.80 이상의 일반화가능도 계수를 확보하기 위해서는 내용영역이 3개인 경우 채점자 수는 5명 이상, 내용영역이 4개인 경우는 채점자 수는 4명 이상, 채점자 수가 2명 이상인 경우는 내용영역 수를 너무 많이 요구하는 것으로 나타났다. 특히 원자료의 경우 0.80 이상의 일반화가능도 계수를 확보하기 위해서는 채점 자 수를 2명으로 고정하는 경우 내용영역이 10개 이상이 필요한 것으로 나타났다. 또한 자기소개서 총체적채점 에서 내용영역과 채점자 수의 효과는 교사추천서에서와 마찬가지로 나타났다.
내용영역 채점자 수 전집점수 분산 관찰점수 분산 상대오차분산 일반화가능도계수 2
1 10.59 19.65 9.05 0.53
2 10.59 15.83 5.24 0.66
3 10.59 14.56 3.97 0.72
4 10.59 13.93 3.34 0.76
5 10.59 13.55 2.95 0.78
3
1 10.59 18.46 7.87 0.57
2 10.59 15.00 4.41 0.70
3 10.59 13.85 3.26 0.76
4 10.59 13.27 2.68 0.79
5 10.59 12.93 2.34 0.81
4
1 10.59 17.87 7.28 0.59
2 10.59 14.59 4.00 0.72
3 10.59 13.49 2.90 0.78
4 10.59 12.95 2.35 0.81
5 10.59 12.62 2.03 0.83
5
1 10.59 17.52 6.92 0.60
2 10.59 14.34 3.75 0.73
3 10.59 13.28 2.69 0.79
4 10.59 12.75 2.16 0.83
5 10.59 12.43 1.84 0.85
6
1 10.59 17.28 6.69 0.61
2 10.59 14.17 3.58 0.74
3 10.59 13.14 2.54 0.80
4 10.59 12.62 2.03 0.83
5 10.59 12.31 1.72 0.86
<표 9> 자기소개서 평가에서 총체적 채점의 D-연구 결과
분석적 채점은 내용영역을 채점 문항별로 세분하여 피험자에게 점수를 부과하는 방법으로D-연구는 내용영역 의 수를 2에서 6까지, 채점 문항의 수를 2에서 5까지 그리고 채점자 수를 1명에서 5명까지 변화시키며 일반화가 능도 계수를 산출하였다. 이 중 <표 10>은 이 연구에서 원 자료를 수집할 때 사용되었던 조건과 같은 내용영역 이 4인 경우만 제시하였고, 이 경우 일반화가능도 계수는 0.74였다. 또한 0.8 이상의 일반화가능도 계수를 확보하 기 위해서는 내용영역이 3개, 문항의 수가 4개인 경우 채점자 수를 5명 이상, 내용영역이 4개, 문항의 수가 3개 인 경우 채점자 수를 4명 이상, 내용영역이 5개, 문항의 수가 2개인 경우 채점수를 4명 이상 그리고 내용영역이 6개, 문항의 수가 2개인 경우 채점자의 수를 3명 이상으로 구성해야 함을 알 수 있다. 원자료의 경우 0.80 이상 의 일반화가능도 계수를 확보하기 위해서 채점자 수를 2명으로 고정하는 경우 내용영역은 6개 이상, 그리고 문 항 수는 8개 이상이 필요했다. 또한 분석적 채점에서 문항수와 채점자 수의 효과는 교사추천서에서와 마찬가지 로 나타났다.
