의사소통교육 성과 진단 - 한국교양기초교육원

의사소통교육 성과 진단

2013. 11

RR 2013-119-565

연구책임자 : 공동연구원 :

정희모(연세대학교) 박정하(성균관대학교) 김미란(성균관대학교) 김성숙(한양대학교)

의사소통교육 성과 진단

RR 2013-119-565

이 연구는 기초교양교육강화사업의 일환으로 대교협 부설 한국교양기초교육원의 3차년도 위탁 연구개발지원에 의해 수행된 것입니다.

본 연구의 모든 저작권은 한국교양기초교육원에 있으며, 연구에 제시된 정책대안이나 의견 등 은 한국교양기초교육원의 공식적인 의견이 아닌 연구진의 견해임을 밝혀둡니다.

연구결과 개요 보고서 i

연구결과개요 보고서

(의사소통교육 성과 진단)

연구책임자 소속 연세대학교 직위 부교수 성명 정희모

연구과제명 의사소통교육 성과 진단

연구결과 개 요

1. 연구목적 : 대학 교육의 수월성 확보를 위해 대학별 의사소통능력 교육의 질을 체계적으로 분석 할 수 있는 진단 도구를 개발하는 것

2. 연구과정

1) 델파이 기법을 통한 질적 연구 방법을 연구 방법론으로 선택

2) 의사소통교육 관련 선행 연구에서 의사소통교육의 효율성 제고를 위한 요인을 추출 3) 요인들의 중요도를 파악하기 위해 전문가 대상 설문을 실시

4) 의사소통교육의 정성적 진단에 필요한 자료를 책임교수, 교수자, 행정 지원 체계에서 제출할 수 있도록 자료 수집 목록표 작성

5) 책임교수, 교수자, 학습자, 행정 지원 체계를 대상으로 의사소통교육 진단에 필요한 설문지 제공

연구결과 및 활용방안

1. 대학 유형별(소재지, 규모, 설립 유형 등), 학문 단위 계열별 의사소통 교육의 특징을 비교 분석 할 수 있다.

2. 대학별 장점과 문제점을 구체적으로 제시하여 교육에 반영함으로써 실질적인 교육 개선 효과를 얻을 수 있다.

3. 다른 대학과 비교 정보 제공이 가능해짐으로써 의사소통교육의 전반적 상황을 향상시킬 수 있다.

참고 및 건의사항

ii 의사소통교육 성과 진단

색인어 및 초록

색인어 교육 평가, 의사소통교육, 진단모형, 델파이기법

초록 이 연구는 대학 교육의 수월성 확보를 위해 대학별 의사소통능력 교육의 질을 체계적으로 분석할 수 있는 진단 도구를 개발하는 데 목적을 두었다. 이를 위해 본 연구팀은 의사소통 교육을 직접 수 행하는 교수자의 직업 만족도, 그리고 교육 공급자인 대학 행정 지원체계의 효율성과 의사소통 교과과정의 타당성 등을 살펴보고, 다국면을 고려한 진단 모형을 개발하고자 하였다. 그리고 이 진단 모형은 의사소통 교육에 투입되는 요소와 산출되는 요소, 그리고 그 상호작용이 어떤 긍정적 환류 효과를 유발하는가를 총체적으로 진단할 수 있는 ‘체제적 접근 모형’에 기반하여 개발되었다.

개발 절차는 맥밀란(McMillan)이 제시한 진단 준거 개발 연구 절차를 토대로 하여 ① 연구 절차 수립

② 진단 준거 가설 모형 정립 ③ 진단 준거 영역별 세부 문항 개발 ④ 교육 성과 진단 문항에 대한 중요도 조사 준비 ⑤ 의사소통 교육 전문가 대상 설문 조사 ⑥ 설문 조사 결과에 대한 통계적 분석 이라는 6단계를 거쳤다. 이를 위해 델파이 기법을 통한 질적 연구 방법을 연구 방법론으로 사용하였다.

이 개발 절차에 따라 먼저 교과과정, 교수자, 행정 지원 체계 등 3개 진단 대상 요인의 정량 및 정성 평가에 필요한 자료 목록을 작성하였다. 여기서 학습자가 제외된 것은 의사소통교육 진단 과정에서 학습자의 성취 수준을 실제적으로 판단하기 어렵기 때문이었다. 그러나 교육 성과를 진단하는 데 반드시 고려해야 할 학습자 만족도 등 제반 요인은 교과과정, 교수자, 행정지원체계 등 3개 진단영 역 하위 문항의 측정 대상에 포함시켰다. 또한 성과 진단에 필요한 자료를 얻기 위해 책임교수, 교 수자, 학습자, 행정 지원 체계를 대상으로 한 설문 문항들을 개발하였다.

진단 준거 영역별 세부 문항 개발을 위해 선정한 요인은 의사소통 교과과정, 의사소통교육의 교수 자, 의사소통교육의 지원 체계의 세 요인이었으며, 2차례 내용 타당도 검증을 통해 진단 항목 구분 및 진단 준거 예비 문항을 선정하였다. 먼저 의사소통 교과목 편성과 대학 기초교양교육의 질과 성 과 진단 관련 선행 연구를 검토하여 총 190개의 진단 준거를 수집하였고, 문헌 조사와 내부 전문가 협의를 토대로 1차 내용 타당도 검토를 거친 후 190개의 진단 준거를 98개 문항으로 정리하였다.

또한 2차 내용 타당도 검토를 통해 56개의 문항을 최종적으로 확정하는 과정을 밟았다. 이어서 의 사소통 교육 전문가들에게 ‘의사소통 교육 성과 진단 문항의 중요도에 관한 설문’을 실시하였고 48 명의 설문이 회수되었다. 그에 대한 내용 타당도 조사 결과 56개 문항 중 12문항이 CVR<.29 기준에 따라 제거되어 44개 문항이 최종적으로 남게 되었다.

이 과정에서 참고한 것은 Schipper가 제시한, 델파이 패널 수에 따른 내용 타당도 비율표(Lawshe, 1975: 568)이다. 그리고 이 비율표에서는 40명을 기준으로 .29의 CVR 최소값을 제시하고 있으나, 본 연구에서는 48명의 설문 결과에 대해 .29 기준을 적용함으로써 기준을 보다 엄격하게 적용하였 다. 또한 CVR .8 이상은 설문 대상자 대부분이 중요하다고 본 문항이므로 개별 문항의 평균값인 2점에 가중치 1점을 추가적으로 부여하는 조치를 취했다. 이러한 과정을 거쳐 교육과정 영역 25개 문항 값 만점은 57점, 교수자 영역 16개 문항 값 만점은 27점, 행정 지원 체계 영역 15개 문항 값 만점은 21점, 총 105점 만점의 의사소통 교육 진단 결과 값을 얻었다.

본 연구의 마지막 작업은 의사소통교육의 정성적 진단에 필요한 자료를 책임교수, 교수자, 학습자 행정 지원 체계에서 제출할 수 있도록 자료 수집 목록표를 작성하고, 책임교수, 교수자, 학습자, 행 정 지원 체계를 대상으로 의사소통교육 진단에 필요한 설문지를 개발하는 일이었다.

이러한 과정을 거쳐 개발된 대학별 의사소통교육의 진단 도구는 다음과 같은 효과를 낳을 것으로 예상된다. 1) 대학 유형별(소재지, 규모, 설립 유형 등), 학문 단위 계열별 의사소통 교육의 특징을 비교 분석할 수 있다. 2) 대학별 장점과 문제점을 구체적으로 제시하여 교육에 반영함으로써 실질적 인 교육 개선 효과를 얻을 수 있다. 3) 다른 대학과 비교 정보 제공이 가능해짐으로써 의사소통교육 의 전반적 상황을 향상시킬 수 있다는 등의 기대 효과가 그것이다.

연구결과 요약 iii

연구결과 요약

이 연구는 대학 교육의 수월성 확보를 위해 대학별 의사소통능력 교육의 질을 체계적으 로 분석할 수 있는 진단 도구를 개발하는 데 목적을 두었다. 이를 위해 본 연구팀은 의사 소통 교육을 직접 수행하는 교수자의 직업 만족도, 그리고 교육 공급자인 대학 행정 지원 체계의 효율성과 의사소통 교과과정의 타당성 등을 살펴보고, 다국면을 고려한 진단 모형 을 개발하고자 하였다. 그리고 이 진단 모형은 의사소통 교육에 투입되는 요소와 산출되는 요소, 그리고 그 상호작용이 어떤 긍정적 환류 효과를 유발하는가를 총체적으로 진단할 수 있는 ‘체제적 접근 모형’에 기반하여 개발되었다.

개발 절차는 맥밀란(McMillan)이 제시한 진단 준거 개발 연구 절차를 토대로 하여 ① 연구 절차 수립 ② 진단 준거 가설 모형 정립 ③ 진단 준거 영역별 세부 문항 개발 ④ 교육 성과 진단 문항에 대한 중요도 조사 준비 ⑤ 의사소통 교육 전문가 대상 설문 조사

⑥ 설문 조사 결과에 대한 통계적 분석이라는 6단계를 거쳤다. 이를 위해 델파이 기법을 통한 질적 연구 방법을 연구 방법론으로 사용하였다.

이 개발 절차에 따라 먼저 교과과정, 교수자, 행정 지원 체계 등 3개 진단 대상 요인의 정량 및 정성 평가에 필요한 자료 목록을 작성하였다. 여기서 학습자가 제외된 것은 의사 소통교육 진단 과정에서 학습자의 성취 수준을 실제적으로 판단하기 어렵기 때문이었다.

그러나 교육 성과를 진단하는 데 반드시 고려해야 할 학습자 만족도 등 제반 요인은 교과 과정, 교수자, 행정지원체계 등 3개 진단영역 하위 문항의 측정 대상에 포함시켰다. 또한 성과 진단에 필요한 자료를 얻기 위해 책임교수, 교수자, 학습자, 행정 지원 체계를 대상 으로 한 설문 문항들을 개발하였다.

진단 준거 영역별 세부 문항 개발을 위해 선정한 요인은 의사소통 교과과정, 의사소통 교육의 교수자, 의사소통교육의 지원 체계의 세 요인이었으며, 2차례 내용 타당도 검증을 통해 진단 항목 구분 및 진단 준거 예비 문항을 선정하였다. 먼저 의사소통 교과목 편성과 대학 기초교양교육의 질과 성과 진단 관련 선행 연구를 검토하여 총 190개의 진단 준거를

iv 의사소통교육 성과 진단

수집하였고, 문헌 조사와 내부 전문가 협의를 토대로 1차 내용 타당도 검토를 거친 후 190 개의 진단 준거를 98개 문항으로 정리하였다. 또한 2차 내용 타당도 검토를 통해 56개의 문항을 최종적으로 확정하는 과정을 밟았다. 이어서 의사소통 교육 전문가들에게 ‘의사소 통 교육 성과 진단 문항의 중요도에 관한 설문’을 실시하였고 48명의 설문이 회수되었다.

그에 대한 내용 타당도 조사 결과 56개 문항 중 12문항이 CVR<.29 기준에 따라 제거되어 44개 문항이 최종적으로 남게 되었다.

이 과정에서 참고한 것은 Schipper가 제시한, 델파이 패널 수에 따른 내용 타당도 비율 표(Lawshe, 1975: 568)이다. 그리고 이 비율표에서는 40명을 기준으로 .29의 CVR 최소 값을 제시하고 있으나, 본 연구에서는 48명의 설문 결과에 대해 .29 기준을 적용함으로써 기준을 보다 엄격하게 적용하였다. 또한 CVR .8 이상은 설문 대상자 대부분이 중요하다고 본 문항이므로 개별 문항의 평균값인 2점에 가중치 1점을 추가적으로 부여하는 조치를 취 했다. 이러한 과정을 거쳐 교육과정 영역 25개 문항 값 만점은 57점, 교수자 영역 16개 문항 값 만점은 27점, 행정 지원 체계 영역 15개 문항 값 만점은 21점, 총 105점 만점의 의사소통 교육 진단 결과 값을 얻었다.

본 연구의 마지막 작업은 의사소통교육의 정성적 진단에 필요한 자료를 책임교수, 교수 자, 학습자 행정 지원 체계에서 제출할 수 있도록 자료 수집 목록표를 작성하고, 책임교 수, 교수자, 학습자, 행정 지원 체계를 대상으로 의사소통교육 진단에 필요한 설문지를 개 발하는 일이었다.

이러한 과정을 거쳐 개발된 대학별 의사소통교육의 진단 도구는 다음과 같은 효과를 낳 을 것으로 예상된다. 1) 대학 유형별(소재지, 규모, 설립 유형 등), 학문 단위 계열별 의사 소통 교육의 특징을 비교 분석할 수 있다. 2) 대학별 장점과 문제점을 구체적으로 제시하 여 교육에 반영함으로써 실질적인 교육 개선 효과를 얻을 수 있다. 3) 다른 대학과 비교 정보 제공이 가능해짐으로써 의사소통교육의 전반적 상황을 향상시킬 수 있다는 등의 기 대 효과가 그것이다.

목 차 v

CONTENTS

Ⅰ 서 론

1. 연구의 필요성과 목적 3

1) 연구의 필요성 3

2) 연구의 목적 4

2. 연구의 방법과 절차 4

1) 연구의 방법 4

2) 연구의 절차 8

Ⅱ 이론적 배경과 고찰

1. 대학 평가와 교양 교육의 진단 13

1) 대학 평가의 목표와 의미 13

2) 대학 평가의 준거 특성 13

3) 교양교육의 개념과 진단 준거 17

2. 의사소통교육 성과 진단을 위한 평가 요소 구인 21

1) 의사소통교육의 개념 21

2) 의사소통교육의 주요 요소 22

3) 의사소통 교육의 평가 요소 구인 24

vi 의사소통교육 성과 진단

Ⅲ 진단 도구의 개발 절차

1. 연구 절차 수립 27

2. 진단 준거 가설 모형 정립 28

1) 의사소통교육 진단 모형의 진단영역 구분 28

3. 진단 준거 영역별 세부 문항 개발 30

1) 진단 준거 영역의 세 요인 30

2) 2차례 내용 타당도 검증을 통한 진단항목 구분 및 진단 준거

예비 문항 선정 31

4. 의사소통교육 진단 문항에 대한 중요도 조사 준비 34

1) 정량 평가를 위한 리카르트 척도 설문 문항 선정 34

5. 의사소통 교육 전문가 대상 설문 조사 36

1) 웹 기반 설문 도구 작성 36

2) 설문 대상 집단 선정 및 이메일 주소 수집 36

3) 사전 설문 실시 36

4) 본 설문 실시 및 응답 자료 수집 36

6. 설문 조사 결과에 대한 통계적 분석 37

1) 의사소통교육 진단 문항에 대한 중요도 조사에 대한 통계적 분석 37

목 차 vii

CONTENTS

Ⅳ 결 론

1. 세부 영역별 정성적 진단을 위한 근거 자료 총목록 49

2. 진단을 위한 영역별 자료 근거 분류 50

3. 진단 자료용 설문 문항 개발 52

1) 책임 교수 대상 설문지 52

2) 교수자 대상 설문지 53

3) 학습자 대상 설문지 55

4) 행정지원체계 대상 설문지 59

Ⅴ 진단 도구 활용 및 기대 효과

1. 진단 도구 활용 방향 63

2. 진단 도구 사용 방법 63

3. 진단 도구 적용의 예상되는 결과 64

4. 기대 효과 65

viii 의사소통교육 성과 진단

표목차

<표 Ⅰ-1> * 델파이 패널 수에 따른 내용 타당도 비율(CVR)의 최소값 (p=.05) Lawshe(1975: 568) 8

<표 Ⅱ-1> US. News 대학순위평가의 항목 14

<표 Ⅱ-2> The Times 대학순위평가 15

<표 Ⅱ-3> 중앙일보 대학순위평가 지표 16

<표 Ⅱ-4> 박창언(2001) 연구에서의 평가준거 18

<표 Ⅱ-5> 박혜림(2007) 연구에서의 평가 준거 19

<표 Ⅱ-6> 배상훈(2012) 연구에서의 평가 준거 20

<표 Ⅱ-7> 지원시스템의 지원내용 24

<표 Ⅲ-1> 의사소통교육 성과 진단을 위한 도구 개발 절차 27

<표 Ⅲ-2> 의사소통교육 성과 진단을 위한 진단 범주 차원 30

<표 Ⅲ-3> 의사소통 교과목 진단 준거 영역별 총 예비 문항 수 31

<표 Ⅲ-4> 1차 내용 타당도 검토 후 의사소통 교과목 진단 준거별 문항 수 32

<표 Ⅲ-5> 2차 내용 타당도 검토 후 의사소통 교과목 진단 준거별 예비 문항 수 33

<표 Ⅲ-6> 교과과정 진단 설문지 문항 34

<표 Ⅲ-7> 설문에 응답한 델파이 패널의 인구통계학적 정보 37

<표 Ⅲ-8> 의사소통 교육 진단 문항의 중요도에 관한 설문의 내용 타당도 조사 결과 38

<표 Ⅲ-9> 의사소통교육 진단 문항에 대한 가중치 부여 결과 41

<표 Ⅲ-10> 44개 문항의 내용 타당도 비율 분포 44

<표 Ⅲ-11> 44개 문항의 내용 타당도 지수(CVI) 45

<표 Ⅳ-1> 책임교수, 교수자, 행정 지원 체계의 제출 자료 목록표 49

<표 Ⅳ-2> 의사소통교육 성과 진단 문항의 분류 50

목 차 ix

그림목차

[그림 Ⅰ-1] 대학생 핵심역량 6개 항목 4

[그림 Ⅰ-2] 체제로서의 조직(황영준, 2005:14) 6

[그림 Ⅱ-1] 의사소통교육의 주요요소 23

[그림 Ⅲ-1] 교양교육과정 평가 영역과 평가 요소(박혜림, 2007: 117) 28

[그림 Ⅲ-2] 의사소통교육 진단 준거 영역 모형 29

[그림 Ⅲ-3] 의사소통 교육 진단 결과 모형 29

[그림 Ⅲ-4] 1차와 2차 내용 타당도 검증 과정에서 변화된 진단 준거 문항의 개수 33

서 론

Ⅰ

1. 연구의 필요성과 목적 2. 연구의 방법과 절차

Ⅰ. 서론 3

I. 서론

1 연구의 필요성과 목적 1) 연구의 필요성

의사소통능력은 정보와 지식이 폭발적으로 증가하고 있는 21세기 지식기반사회에 다른 사람들과 협력하여 문제를 해결해 나갈 수 있는 필수적인 능력임.

대학 교육은 도래하는 정보화 사회에 대처하기 위해 융복합적인 사유 능력과 학제적 능 력 배양이 요구되며, 의사소통교육은 이런 능력을 개발하기 위한 필수 교육으로 대학 교육 의 핵심기초과목에 해당됨.

이 연구는 대학 교육의 수월성을 확보하기 위해 대학별 의사소통교육에 관한 진단 도구 를 개발하는 것이 매우 중요하다는 데 주목함.

이 과제는 각 대학별 의사소통교육을 진단하는 도구를 개발하는 연구로, 진단 도구가 개발되면 한국교양기초교육원의 컨설팅에 직접 활용되어 의사소통교육에 대한 자문을 제 공할 수 있게 됨. 이를 바탕으로 의사소통교육의 교과목 개발과 교육 내용 향상에 기여할 수 있을 것으로 판단할 수 있음.

의사소통교육을 진단하는 도구의 개발은 특히 의사소통교육을 체계적으로 실시하지 못 하고 있는 대학에 대해 그 상황을 구체적으로 진단해 주고, 나아갈 방향을 제시해주는 컨 설팅을 제공하는 데 적극적으로 활용될 것임. 이를 통해 전 대학에 걸쳐 의사소통교육에 관한 질적 수준을 향상시킬 수 있을 것으로 사료됨.

4 의사소통교육 성과 진단

2) 연구의 목적

이 연구는 대학 교육의 수월성 확보를 위해 대학별 의사소통능력 교육의 질을 체계적으 로 분석할 수 있는 진단 도구를 개발하는 데 목적이 있음.

이 연구는 진단 도구의 개발을 목적으로 하되, 특히 대학별 의사소통능력 교육의 질을 체계적으로 분석할 수 있는 진단 도구의 모형을 개발하는 것을 그 중심으로 삼고 있음.

2 연구의 방법과 절차

1) 연구의 방법

교육과학기술부와 한국직업능력개발원이 공동 개발한 ‘대학생 핵심역량 진단 평가’ 도 구에서는 21세기 대학생이 갖추어야 할 핵심역량으로 다음 6개 항목을 선정하고 있음.

[그림 Ⅰ-1] 대학생 핵심역량 6개 항목

Ⅰ. 서론 5

이를 기초로 각 대학의 의사소통 교육에서는 듣기, 읽기, 쓰기, 말하기 및 토론과 협상 능력을 포괄하는 전반적인 의사소통 역량 함양을 목표로 함.

대학별로 상이한 교육 여건 아래 실시되는 의사소통교육의 질과 성과를 체계적으로 분 석할 수 있는 진단 도구 모형이 필요하다고 판단됨.

의사소통교육의 실수요자인 학생의 교과 만족도는 물론 의사소통 교육을 직접 수행하는 교수자의 직업 만족도, 그리고 교육 공급자인 대학 행정 지원체계의 효율성 및 의사소통 교과과정의 타당성 등 다국면을 고려한 진단(multi-dimensionality) 모형이 개발되어야 할 필요가 있음.

(가) 기존 목표달성모형(goal attainment model)의 한계

∙기존의 목표달성모형(goal attainment model)은 평가 기준을 조직이 설정한 목표에 의하여 결정하려는 방식으로 다음 두 가지를 기본 가정으로 삼고 있다. 즉, 복합적 조 직은 그들이 추구하는 궁극적인 목적을 갖는다는 점과 추구하는 궁극적 목적은 실증 적으로 입증이 가능하다는 점을 전제로 하는 접근모형임(홍영란, 1997).

∙하지만 이 목표달성모형으로는 단순히 학습자들의 학습 성취 결과만을 얻기 쉬우며 학습자의 요구가 반영된 목표 설정보다는 기관의 행정적인 목표에 더 많은 관심을 둘 수 있다는 문제점이 있다. 또한 교육목표의 다양성과 목표 간의 상충성을 간과할 수 있다는 문제점이 있으므로 이에 대해 충분한 고려가 있어야 함(황영준, 2005: 12).

(나) ‘체제적 접근 모형’의 장점

∙이에 의사소통교육 진단 도구를 개발하고자 하는 본 연구에서는 목표 달성 모형이 아 닌 ‘체제적 접근 모형’에 기반하여 진단 준거 영역을 구분하고 문항을 선정하고자 함.

∙Jacobs(1987)는 체제를 “공동 목표의 달성을 위해 일정한 규칙 속에서 상호관련되며, 의존적인 기능을 수행하는 각 부분의 통합체”라고 정의하고, 체제 분석이 투입, 과정, 산출, 환류 채널에 의해 특징 지워진다고 봄.

6 의사소통교육 성과 진단

∙이러한 맥락에서 체제 분석이란 ‘체제의 목표 달성을 위하여 과학적인 절차와 방법을 통해 상호간의 관계와 상호작용을 분석하고 재편성하는 효율적 문제해결 방법’을 의미함. 여기서는 어떤 체제를 둘러싸고 있는 환경을 외부체제라 하고 그 체제 내에 존재하는 구성요소들인 투입, 과정, 산출, 환류 등을 내부체제라 하며, 체제와 환경 사이에는 경계가 있다고 봄(황영준, 2005: 13).

본 연구에서는 황영준(2005)이 사범대학 평가 준거 개발 및 타당성 분석에 사용한 ‘체제 적 접근 모형’에 기반하여 의사소통 교육 성과 진단 모형을 개발하고자 함. 그리하여 의사 소통 교육에 투입되는 요소와 산출되는 요소, 그리고 그 투입과 산출의 상호작용이 어떤 긍정적 환류 효과를 유발하는가를 총체적으로 진단하는 것이 본 평과 도구의 목적임. 체제 로서의 조직이 기능하는 원리를 모형화하면 다음 그림과 같음.

과 정

투 입 산 출

환 류

환 경 내부체제

체계경계 외부체제

[그림 Ⅰ-2] 체제로서의 조직(황영준, 2005:14)

Ⅰ. 서론 7

(2) 델파이 기법을 통한 질적 연구 방법

본 연구에서는 의사소통교육 관련 선행 연구에서 의사소통교육의 효율성 제고를 위한 요인을 추출하고 이 요인들의 중요도를 파악하기 위해 전문가 대상 설문을 실시함.

전체 설문 대상자 가운데 의사소통교육의 현황을 진단할 세부 요인들에 대하여 중요하 다고 응답한 사람들의 비율이 50%가 넘는 문항들을 추출하도록 함.

또한 진단 준거의 중요도에 대한 평균과 표준편차 등의 기초 통계값과 내용 타당도 비율 (CVR)을 산출함.

내용 타당도 비율이란 중요도에 대한 일치된 의견을 양화(quantifying consensus)한 것으로 타당도 검증의 한 척도가 됨(Lawshe, 1975; 이병욱, 2002; 황영준, 2005). 이는 다음과 같은 식에 의해 산출됨.

CVR(내용 타당도)

ne - N

= 2

N 2

여기서 ne는 ‘중요하다’고 응답한 델파이 패널들의 수로, 본 연구에서 사용한 Likert식 의 6단계 척도에서는 ‘중요한 편(4점)’, 중요함(5점)’, ‘매우 중요함(6점)’에 응답한 응답자 의 수를 의미함. N은 전체 델파이 패널의 수를 의미함.

Schipper가 제시한, 델파이 패널 수에 따른 내용 타당도 비율표(Lawshe, 1975: 568)에 서는 40명을 기준으로 .29의 CVR 최소값을 제시하고 있음.

이 CVR 값은 특정한 목표의 평가지를 구성할 때 중범주¹⁾ 이하의 세부 문항 가운데 어 떤 것을 포함시키거나 제외시키는 기준으로 삼을 수 있음.

델파이 패널 수에 따른 CVR 최소값을 기준으로 문항을 선별하여 평가지를 구성한 다음 에는 포함된 문항의 CVR의 평균 값으로 전체 평가지에 대한 내용 타당도 지수(CVI Content Validity Index)를 산출함.

1) 본 연구에서 진단 문항을 개발하는 과정에서 사용한 용어인 진단영역은 대범주, 진단소영역은 중범주에 해당한다.

8 의사소통교육 성과 진단

이 CVI 값은 특정 목표가 수행해 내고자 하는 영역 기능을 해당 평가지로 측정해 낼 수 있는 가능치를 의미함(Lawshe, 1975: 567-568).

이 내용 타당도 비율은 다음과 같은 가정에 의해 고안됨.

∙첫째, 어떠한 문항이든 ‘중요하다’고 응답한 패널의 수가 50% 이상일 때, 그 문항은 일정 수준의 내용 타당도가 있음.

∙둘째, 어떤 문항이 ‘중요하다’고 여기는 패널의 수가 많을수록 해당 문항의 내용 타당 도 정도는 증가함.

CVR 추정치는 ‘중요하다’고 응답한 패널의 수가 50%보다 적을 때 음수, 50%일 때 0, 100%일 때 1임. 따라서 50% 이상 100% 이하일 때 CVR 값은 0과 1사이에 분포함. 이러한 CVR 값은 Schipper가 제시한 데이터(<표2> 참조)에서 델파이 조사에 참여한 패널의 수에 따라 그 최소값이 결정됨. 즉, 유의도 .05 수준에서 패널 수에 따른 최소값 이상의 CVR 값을 가진 항목들만이 내용 타당도가 있다고 판단할 수 있음.

<표 Ⅰ-1> * 델파이 패널 수에 따른 내용 타당도 비율(CVR)의 최소값 (p=.05) Lawshe(1975: 568) 패널 수 (명) 5 6 7 8 9 10 11 12 13 14 15 20 25 30 35 40 CVR 최소값 .99 .99 .99 .75 .78 .62 .59 .56 .54 .51 .49 .42 .37 .33 .31 .29

2) 연구의 절차

(1) 의사소통교육의 질 분석을 위한 모형 및 지표 개발

의사소통교육에 대한 선행 연구 성과와 전문가 자문을 기반으로, 그 양상과 질적 수준 을 측정하여 분석할 수 있는 지표를 개발하고자 함.

구체적으로 진단 영역 구분, 각 영역별 세부 항목 개발, 표준화 지표 산정을 목표로 함.

이를 위하여 본 연구는 다음의 과정을 거쳤음.

∙의사소통교육의 질과 성과 분석에 대한 선행 연구 검토

∙의사소통교육에 활용되는 기존 지표(요인) 조사

Ⅰ. 서론 9

∙주요 국가 및 주요 연구에서 의사소통교육 진단을 위해 활용되고 있는 교수자, 학습자 설문 조사, 학습자의 학습 성과 등의 주요 지표(요인) 분석

(2) 의사소통교육의 질 분석을 위한 진단 도구 검토

선행 연구를 통해 연구 방법 및 절차를 탐색한 뒤 가장 유용하게 쓰일 수 있는 진단 도구 를 개발, 전문가들의 의견을 수렴하여 최종적으로 모델을 확정하고자 함.

구체적으로 정보 수집의 용이성, 정책의 유용성, 진단 도구의 타당성과 신뢰성 등을 종 합적으로 고려한 진단 도구를 개발함(* Ⅴ장과 부록 참조).

진단 도구는 전문가 집단의 의견 조사를 통해 타당성과 신뢰성을 확보하도록 함.

(3) 의사소통교육 진단에 필요한 세부 영역별 조사 자료 목록 작성 및 설문 문항 개발

교과과정, 교수자, 행정 지원 체계 등 3개 진단 대상 요인의 정량 및 정성 평가에 필요한 자료 목록을 작성함. 이러한 진단에 필요한 자료를 얻기 위해 책임교수, 교수자, 학습자, 행정 지원 체계를 대상으로 각 설문 문항을 개발함.

(4) 의사소통교육 진단 결과 제시 모형 정립

교과과정, 교수자, 행정 지원 체계 등 3개 평가 대상 요인의 정량 평가 결과를 시각적으 로 제시할 진단 결과 모형을 정립함.

이론적 배경과 고찰

Ⅱ

1. 대학 평가와 교양 교육의 진단 2. 의사소통교육 성과 진단을 위한 평가 요소 구인

Ⅱ. 이론적 배경과 고찰 13

Ⅱ. 이론적 배경과 고찰

1 대학 평가와 교양 교육의 진단 1) 대학 평가의 목표와 의미

한국에서 대학 평가가 본격적으로 시작된 것은 일반적으로 1982년 한국대학교육협의회 가 설립되고 난 이후부터임.

대학 평가가 필요한 이유는 대학의 질 향상을 촉구하고, 대학 교육의 수월성을 추구하 기 위함임. 대학 평가를 통해 대학 경영의 효율성을 제고하고 행정의 투명성을 강화할 수 있음(서울대 행정대학원, 2012).

대학 평가는 대학(교) 단위의 전체 기관 평가, 단과 대학 평가, 학과 평가, 학문 영역 평가로 나눌 수 있다. 의사소통교육에 대한 진단 평가는 학문 영역에 대한 평가로 판단할 수가 있음.

2) 대학 평가의 준거 특성

대학 평가의 준거 특성을 보면 주요 항목인 교육 과정, 교수자, 학습자 사항뿐만 아니라 재정 상황과 졸업생 분포, 취업률, 외부 평판 등과 같은 외부적 요인이 함께 포함되어 있 는 경우가 많음. 아래 내용을 보면 의사소통교육 진단을 위해 참고할 사항이 상당수 있음.

주요 기관들의 대학 평가 준거 항목들은 아래와 같음.

14 의사소통교육 성과 진단

(1) US. News 대학순위평가의 항목

<표 Ⅱ-1> US. News 대학순위평가의 항목

항 목 가중치 지 표 비 고

동료평가 25 ∙타 대학의 총장, 학장, 입학처장 등에게 해당 대학의 academic excellence에 대하여 5단계로 평가토록 함.

학생유지 20-25 ∙6년 이내 학위를 취득한 졸업생 비율(80)

∙신입생의 다음해 재등록 비율(20)

25(석사과정 대학, 종합 대학), 20(국가수준대학과

인문교양 대학)

교수자원 20

∙수업당 학생수 20명 이하 강좌 비율(30)

∙수업당 학생수 50명 이상 강좌 비율(10)

∙교수급여(35)

∙박사학위소지자 비율(15)

∙교수대 학생 비율(5)

∙전임교수 비율(5)

학생의우수성 15

∙입학시 SAT/ACT 점수(50)

∙고교에서 학급내 상위 10% 학생 또는 해당 고교 전체 상위 25% 학생의 비율(40)

∙지원자 대비 입학자 비율(10)

재정 자원 10 ∙학생당 교육비

예상졸업율

달성도 5 ∙6년전 입학생의 예상 졸업율과 실제 졸업율의 차이 국가수준대학과 인문교양대학에만 해당됨

동창생 5 ∙최근 2년간 동창 중 학교 기부자 비율

주) 평가지표에서 ( )내 수치는 평가항목 중 해당 평가지표가 차지하는 비율임.

Ⅱ. 이론적 배경과 고찰 15

(2) The Times 대학순위평가

<표 Ⅱ-2> The Times 대학순위평가

준 거 지 표 가중치

학생만족도 150

연구역량 2001년의 RAE자료 150

입학수준 21세 이하 신입생의 tariff 점수 100

학생-직원비율 대학의 직원수 대비 학생수 100

도서관 및 정보화 지출 도서관 및 정보화에 대한 학생당 지출액 100

복지 지출 학생복지를 위해 지불한 학생당 경비 100

우수졸업생 비율 졸업생 중 first-degree honors, second-degree honors 수여자 비율 100

졸업 현황 취업 및 진학자 비율 100

수료 졸업이 예상되는 학생 비율(타 대학 편입 포함) 100

16 의사소통교육 성과 진단

(3) 중앙일보 대학순위평가 지표

<표 Ⅱ-3> 중앙일보 대학순위평가 지표

평가부문 평 가 지 표

교육여건 및 재정 (120)

∙교수당 학생수(20)

∙학생당 장학금(10)

∙등록금 대비 장학금 환원율(5)

∙학생당 도서자료 구입비(5)

∙학생당 교육비(20)

∙세입중 납입금 비율(10)

∙중도포기율(5)

∙교수확보율(15)

∙장학금 수혜율(5)

∙기숙사 수용율(5)

∙현장실습강좌 참여학생 비율(5)

∙교육비 환원율(10)

∙학생충원율(5)

국제화(70)

∙외국인교수 비율(20)

∙해외파견 교환학생 비율(10)

∙국내방문 외국인 교환학생 비율(5)

∙외국인 학생 비율(15)

∙영어강좌 비율(20)

교수 연구 (170)

∙교수당 외부지원 연구비(20)

∙교수당 자체 연구비(15)

∙과학기술교수당 국내논문수(15)

∙교수당 외부 연구과제수(15)

∙인문사회교수당 국내논문수(15)

∙기술이전 수입액(10)

∙인문사회체육교수당 SSCI,A&HCI게재수(20)

∙과학기술교수당 SCI 논문 게재수(20)

∙교수당 SSCI,A&HCI,SCI 논문 피인용수(10)

∙SSCI,A&HCI,SCI 인용 10회이상 논문수(10)

∙지식재산권 등록현황(10) ∙지적재산권 출원현황(10)

평판 사회진출도 (110)

∙졸업생 부문(48)

∙취업율(10)

∙거래소, 코스닥 상장업체 임원수(8)

∙학교 부문(30)

∙고시합격자수(8)

∙공인회계사, 변리사 합격자수(6)

개선도 (30)

∙교수당 연구비(6)

∙교수확보율(6)

∙교수당 학생수(6)

∙학생당 교육비(6)

∙학생당 장학금(6)

Ⅱ. 이론적 배경과 고찰 17

3) 교양교육의 개념과 진단 준거

교양교육과정은 학생들로 하여금 다양한 분야에 대한 교양 능력을 함양케 함으로써 건 전한 교양인으로 성장하기 위한 기초를 닦는 데 목적이 있음. 이와 함께 교양교육은 전공 교육과정에 필요한 여러 기초 요소들을 학습하여 전공 교육을 용이하게 하고자 하는 목적 도 지님. 손동현은 교양교육의 개념에 대해 다음과 같이 규정함.

“교양교육이란 올바른 세계관과 건전한 가치관을 바탕으로 세계화된 새로운

정보사회에서 비판적 창의적 사고와 원활하고 개방적인 의사소통을 통해 공동 체적 문화적 삶을 자율적으로 주도할 수 있는 주체적인 지도자로서의 자질을 함 양하기 위한 것으로서, 학문 계열을 넘어서서 모든 학생들에게 동질적인 내용을 교수하는 교육이다(손동현, 2006).

교양교육 평가는 교양교육의 질을 평가하여 교양교육의 수준을 향상시키고자 함에 있 음. 특히 현대 사회에서 정보화와 세계화가 진행됨에 따라 이전보다 폭넓은 지식과 능력을 요구하고 있음. 교양교육과 관련하여 정보화와 세계화에 대비할 수 있는 능력으로는 다음 과 같은 것이 있음(손동현. 2009)

① 지식을 스스로 창출하고 응용하고 적응할 수 있는 기초적 사고능력

② 자신의 사유 내용을 공동체 구성원과 공유할 수 있는 사회적 의사소통능력

③ 세분화된 분야들의 위상을 전체 속에서 가늠할 수 있는 종합적 사고능력

④ 디지털에 적응하기 위해 이성과 감성을 넘나드는 능력

교양교육의 진단 준거는 교양교육의 질을 판단하는 논리적 근거로 규정할 수 있음. 교 양교육의 진단 준거는 평가의 목적, 평가 대상의 특성, 평가의 시기 등에 따라 달라질 수 있으나 대체로 교육과정, 교수자, 학습자, 지원체계 등으로 나눌 수 있음. 또 교육과정이 진행되는 순서에 따라 교육과정 편성 → 운영 → 성과의 순으로 평가준거를 마련할 수 있 음. 주요 연구자가 제시하는 평가 준거를 소개하면 다음과 같음.

18 의사소통교육 성과 진단

(1) 박창언(2001) 연구에서의 평가준거

<표 Ⅱ-4> 박창언(2001) 연구에서의 평가준거

평가영역 평가 준거

교육과정 교양 교육에 대한 기본 성격의 타당성 교양 교육 목표의 정확성

교양 교육 내용의 합리성

학습자 교양 과정 동기 유발의 적절성 학업 성취 기준 설정의 합리성 성장 및 지도 체제의 적절성

교수자 자격 기준의 적절성

교육 방법의 타당성 교수 평가의 활용성

지원체제 조직과 운영의 합리성

시설의 활용 가능성 재원의 확보성

개선 노력과 발전 전략 개선 노력의 적절성 발전 전략의 수립성

Ⅱ. 이론적 배경과 고찰 19

(2) 박혜림(2007) 연구에서의 평가 준거

<표 Ⅱ-5> 박혜림(2007) 연구에서의 평가 준거

평가 영역 평가 요소 평가 준거

교양교육과정 편성

교육과정 결정 요소들의

요구 사회의 요구 분석/반영의 충실성 학문의 요구 분석/반영의 충실성 교양교육과정위원회의

구성과 활동 인적 구성의 전문성

교양교육과정 평가 활동 및 결과 반영의 적절성/충실성

교과목 구성 교과목 구성의 타당성 교과목 구성의 다양성

학제적 성격(간학문적 접근, 통합적 접근)의 교과목 구성의 적절성

이수 규정 졸업이수학점 중 교양이수학점 비율의 적절성 학생의 교과목 선택권의 자율성

교양교육과정 운영

학생 수강 규모(인원)의 적절성 지원 체제 교육 시설 및 설비 지원의 적절성

교양교육과정 성과 평가

학생 평가 교양교육목표 달성도의 우수성 학생 평가 내용과 방법의 적절성 학생평가 도구의 적절성

강의 평가 강의 평가 내용과 방법의 적절성 강의 평가 도구의 적절성

교양교육과정 만족도 학생의 교양교육과정 만족도

20 의사소통교육 성과 진단

(3) 배상훈(2012) 연구에서의 평가 준거

<표 Ⅱ-6> 배상훈(2012) 연구에서의 평가 준거

구 분 문항 내용

교양기초

교육성과 요인1

정보기술 활용 능력 세계시민 의식 창의적 문제해결 능력 수리적(수량적) 사고 능력 사회와 국가에 대한 이해와 가치관 인성 함양

비판적 분석적 사고 능력 자신에 대한 이해와 가치관 전공과목 기초지식

의사소통 능력(글쓰기, 말하기) 외국어 구사 능력

교양기초교육 운영체제

요인2

시험 및 과제의 유용성 교재와 자료의 적절성

교양수업의 목표와 학업성취 수준 명확성 명확한 평가기준과 성적평가의 공정성 다양한 수업방법 활용

요인3

다양한 과목개설과 수강선택의 용이함 최신 경향의 내용을 반영하는 과목 구성 강의 규모의 적절성

교양기초교육과 대학 인재상 및 특성화 부합 정도 이수학점의 적절성

교양수업의 질적 수준에 대한 인식

교양기초교육 학습활동참여

요인4

발표, 질문, 토론 등에 적극적 참여 교수와 수업과 관련하여 이야기하거나 논의 다른 학생과 수업과 관련하여 이야기하거나 논의 성실한 출석

요인5

준비와 예습 시간 (1주일 평균) 복습 시간 (1주일 평균)

과제수행을 위한 시간 (1주일 평균)

Ⅱ. 이론적 배경과 고찰 21

2 의사소통교육 성과 진단을 위한 평가 요소 구인 1) 의사소통교육의 개념

대학에서 이루어지는 의사소통교육을 진단하기 위한 도구를 개발하기 위해서는 먼저 의 사소통교육의 개념이 무엇인지 고찰하여야 하며, 이를 통해 대학의 의사소통교육이 지향 하는 목표와 가치를 파악할 필요가 있음.

각 대학의 교육 철학과 교육 여건 등에 따라 의사소통교육이 다양한 관점에서 이루어지 고 있으나 그것이 의사소통교육이라는 개념 틀 아래 합의되고 있지는 못한 상황임. 이에 따라 국내외 연구자들의 의사소통교육 개념에 대한 정의를 살펴볼 필요가 있음.

아리스토텔레스의 “수사학”은 최초의 의사소통 이론서로서, 전형적인 일방향 의사소통 모델인 S(sender, 송신자)→M(message, 메시지)→R(receiver, 수신자)=E(effect) 모델 의 토대를 제공함(Ruben & Stewart, 2006).

하지만 이러한 전달모델(transmission model)은 개인의 목적을 달성하기 위한 화자 중 심의 일방향적 의사소통의 관점으로, 개인의 생각이나 의도를 논리와 표현에 담아 상대방 에게 명료하게 전달하는 능력만을 중시하는 한계가 있음.

정현숙(2012)은 개인의 일방적 목적 달성을 위한 기술적 차원의 교육이 아닌 상호 이해 또는 상호 협력 과정에 초점을 맞추어 상호적(양방향) 의사소통을 할 수 있는 총체적 의사 소통 교육 방향을 제언함.

손동현(2007)은 정보화와 세계화 시대의 대학 교양교육은 ‘창의적 기초 능력과 종합적 안목을 갖춘 인재(“글로벌 리더”)의 양성에 초점을 맞춰야 한다고 보고, 창의적 사고 능력, 비판적 사고 능력, 사회적 의사소통 능력, 종합적 사유 능력을 주요 교육 내용으로 제 시함.

이처럼 의사소통 능력은 다양한 사고능력과 더불어 대학교양교육의 중핵이 되어 있으며 이의 함양을 위해 다양한 글쓰기 관련 과목과 말하기 관련 과목, 또 독서와 토론을 연계시 킨 과목들이 대학에서 교양기초 과목으로 운영되고 있음.

22 의사소통교육 성과 진단

위의 사항을 검토해 볼 때 대학의 의사소통교육은 학습자들의 (문자, 정보의) 문해능력, (비판적, 논리적, 창의적) 사유능력, (글쓰기, 프레젠테이션, 스피치, 토론 등의) 표현능력 을 기르는 데 목적을 두는 교육을 의미함.

참고로, 사유능력을 독립적 범주로 떼어 따로 전문적 과목을 개설한 곳도 없지 않으나 대부분은 글쓰기, 말하기 관련 과목을 개설하여 운영하면서 커리큘럼 안에서 문해능력, 사유능력 배양을 소화하는 경우가 많음.

2) 의사소통교육의 주요 요소

대학 의사소통교육의 요소 : ‘교육 시스템’과 ‘지원 시스템’ 두 측면으로 나뉘어 접근 가능 교육 시스템: 대학생들의 읽기, 말하기, 글쓰기 교육을 위해 어떤 교육 과정, 즉 어떤 강좌를 개설해야 하고, 각 강좌 간의 수평적, 수직적 관계를 어떻게 설정해야 하며, 개설 된 각 강좌의 교육 내용, 교육 방식, 교재 개발, 과제물 평가, 피드백은 어떻게 이루어져야 하는지를 규정하는 일련의 프로그램임. 또한 어떤 지위와 능력을 가진 교수자가 이 프로그 램에 투입되는지를 포함함.

지원 시스템: 교육 시스템의 완성을 위해 필요한 인적, 물적 자원의 지원 방안과 제도, 강좌와 강의에 대한 진단과 평가, 정규 강좌 외에 이를 보완하는 비정규 커리큘럼 (extra-curriculum) 개발 방안 등에 관한 시스템임.

두 시스템을 이렇게 규정해 놓고 보면, 우리는 교육 시스템을 중앙에 두고 지원 시스템 이 그것을 상하좌우로 둘러싸는 구조로 다음과 같이 형상화할 수 있음. 지원 시스템은 교 육 시스템과 긴밀한 연관을 갖고 있기는 하지만 교육 시스템과는 달리 행정적, 제도적인 문제와도 긴밀히 연결되어 있다는 점에서 교육 시스템과는 별도의 평가가 필요함.

지원 시스템은 편의상 세 측면으로 나누어서 평가할 수 있음. 정규 강좌를 좌우에서 지 원하는 측면 지원이 그 첫 번째이며, 강좌나 강의를 진단하고 평가하는 상부 지원이 두 번째이고, 인적, 물적 자원과 인프라를 제공하는 하부 지원이 세 번째임. 이를 그림으로 표현하면 다음과 같음.

Ⅱ. 이론적 배경과 고찰 23

지원 시스템

강좌 및 강의 진단 및 평가, 균질화 방안

비정규 교과과정

교육 시스템

의사소통 클리닉

<강좌 내 시스템>

교수자의 지위 교수자의 능력 교육내용 교육방식 교재 과제물, 피드백

<강좌 간 시스템>

개설 필요 강좌

강좌 간 수직적, 수평적 관계

인적 지원(교수, 강사, 조교, 튜터, 상담자) 물적 지원(공간, 시설, 수강인원) [그림 Ⅱ-1] 의사소통교육의 주요요소

결국 대학 의사소통교육에 대한 평가는 읽기, 말하기, 글쓰기의 교육과 지원을 위한 다 양한 축들을 입체적으로 파악하고 평가하는 복잡하고도 어려운 작업이 될 수밖에 없음.

예를 들어 커리큘럼과 관련된 부분만 보더라도 읽기, 말하기, 글쓰기 교육의 상호 의존성 을 강좌에 반영하는 문제, 이들 교육과 전공 교육 간의 관계, 정규 커리큘럼과 비정규 커 리큘럼 간의 관계 등이 총체적으로 평가되어야 함.

지원 시스템은 학교 사정에 따라 다양한 방식으로 제공될 수 있으나 일반적인 사례를 들면 다음과 같음.

24 의사소통교육 성과 진단

<표 Ⅱ-7> 지원시스템의 지원내용 지원 내용 측면(lateral)

지원 ① 선진 교수 기법 도입

② 의사소통 클리닉 운영 상부(top)

지원

① 강의 균질화 제도 시행

② 강좌 진단 제도의 활성화를 통한 강의 개선 시스템 마련

③ 강의평가제도 개선안 마련

하부(bottom) 지원

① 전임 교수진 확보

② 차별화된 강사 및 수업 조교 제도 도입

③ 수강 인원 조정

④ 의사소통 교육 전용 공간 확보 및 첨단 기자재 지원

3) 의사소통 교육의 평가 요소 구인

의사소통교육 진단 도구 개발을 위한 진단 범주와 요소를 다음과 같이 확정함.

의사소통교육의 질을 진단하기 위한 진단 영역으로 “교과과정, 교수자, 행정 지원 체 계”(박혜림, 2007: 117)의 3범주를 선정함. 진단 소영역으로 “과목 목표 및 편성, 교재 및 자료, 수업 운용 및 내용, 평가(교과과정), 교수 전략, 교수 능력, 처우(교수자), 교과지원, 행정지원, 시설(행정 지원 체계)”의 10개 범주를 선정함.

대학 행정 지원체계의 지원 수준, 학습자의 참여 및 성취 수준, 교수자의 만족 수준 등 3개 교육 주체의 각 수준을 양적 지표로 타당하게 환산하고자 함.

진단 도구의 개발 절차

Ⅲ

1. 연구 절차 수립 2. 진단 준거 가설 모형 정립 3. 진단 준거 영역별 세부 문항 개발 4. 의사소통교육 진단 문항에 대한 중요도 조사 준비 5. 의사소통 교육 전문가 대상 설문 조사 6. 설문 조사 결과에 대한 통계적 분석

Ⅲ. 진단 도구의 개발 절차 27

Ⅲ. 진단 도구의 개발 절차

1 연구 절차 수립

맥밀란(McMillan, 1997: 223)은 강의를 효율적으로 진행하기 위하여 학기말 사정(査

定) 과정의 타당화 작업을 수행하면서 진단 준거 개발 연구 절차를 6단계로 제안함.²⁾

맥밀란이 제시한 평가 준거 개발 절차를 토대로 다음 <표 9>와 같은 절차를 거쳐 대학 기초교양교육과정 중 의사소통교육의 성과를 진단할 도구를 개발하기로 함.

<표 Ⅲ-1> 의사소통교육 성과 진단을 위한 도구 개발 절차

단계 기간 절차 주요 내용

1 2013. 6∼2013. 7 이론적 탐색 및 자료 수집 연구 절차 수립

2 2013. 7∼2013. 8 준거 자료 개발 진단 준거 가설 모형 정립

3 ∼2013. 8 전문가 평정 진단 준거 영역별 세부 문항 개발

4 ∼2013. 9 사전 조사 교육 성과 진단 문항에 대한 중요도 조사 준비

5 2013. 9∼10 본 조사 의사소통 교육 전문가 대상 설문 조사 6 2013. 11 통계적 검증 설문 조사 결과에 대한 통계적 분석

2) ① 수행 수준에 대한 명확한 정의 ② 수행을 채점하고 기술한 다른 문헌 사례 검토 ③ 수행 사례 수집 ④ 사례를 구분하기 위한 특징 결정 ⑤ 평가 준거 초안의 검증과 수정 ⑥ 재검증 및 재수정 McMillan, J. H.(1997), Classroom Assessment:

Principles and practice for Effective Instruction, Allyn & Bacon.

28 의사소통교육 성과 진단

2 진단 준거 가설 모형 정립 1) 의사소통교육 진단 모형의 진단영역 구분

대학 교양교육과정의 평가 준거를 개발한 박혜림(2007)의 연구 가운데 교육과정 진행 과정에서 ‘실행 단계’의 운영에 대한 평가 준거 범주를 본 진단 연구의 진단영역 설정에 참조함.

[그림 Ⅲ-1] 교양교육과정 평가 영역과 평가 요소(박혜림, 2007: 117)

박혜림(2007)은 교양교육과정 평가 요소로 ‘교수, 학생, 지원 체제’를 꼽았으나, 학생의 평가는 참조사항이지 진단 대상이 아니므로 의사소통 교과목의 교육의 질을 진단하기 위 한 본 연구에서는 ‘학생’ 대상 평가 영역을 제외함.

의사소통교육 진단 과정에서 학습자의 성취 수준은 그 질적 향상 여부를 실제적으로 판 단하기 어려우므로 본 진단 모형의 진단영역에서 제외하였음. 그러나 교육의 질을 진단하 는 데 반드시 고려해야 할 학습자 만족도 등 제반 요인은 교과과정, 교수자, 행정지원체계 등 3개 진단영역 하위 문항의 측정 대상에 포함시켰음.

Ⅲ. 진단 도구의 개발 절차 29

의사소통교육 진단에 필요한 자료를 얻기 위해 학습자 대상 설문을 실시하되, 그 조사 결과는 정량 평가의 결과를 해석할 때 참조자료로 활용할 것임.

학습자 만족도와 관련된 선행 연구 성과를 고려하여 전문가 대상 설문 문항을 작성하는 데 참조하고 ‘교과과정, 교수자, 행정 지원 체계’ 영역의 해당 세부 문항 구성에 반영하기로 함.

그 결과 의사소통교육을 진단하기 위한 진단 모형의 영역으로 ‘교과과정, 교수자, 행정 지원 체계’가 다음 <그림5>와 같이 선정됨.

[그림 Ⅲ-2] 의사소통교육 진단 준거 영역 모형

이와 같은 진단 준거 영역별 전문가 진단을 통해 다음과 같은 진단 결과를 제시할 수 있음.

[그림 Ⅲ-3] 의사소통 교육 진단 결과 모형

30 의사소통교육 성과 진단

3 진단 준거 영역별 세부 문항 개발

1) 진단 준거 영역의 세 요인

각 대학의 의사소통교육이 현 시대의 당면 과제 및 지역 사회의 요구를 반영하는지, 교 재와 자료가 적합한지, 교육 목표에 부합하는 수업과 평가가 실시되고 있는지를 진단하기 위한 요인

(2) 의사소통교육의 교수자 요인

각 대학에서 의사소통교육을 담당하는 교수자에게 내용 지도에 합당한 교수 능력 및 교 수 전략이 있는지, 그리고 그러한 자격 요건에 대한 행정적, 경제적 처우가 합당한지를 진단하기 위한 요인

(3) 의사소통교육의 지원 체계 요인

각 대학에서 의사소통교육과 관련하여 직접적으로 지원하고 있는 행정 및 교육 체계와, 교과 이외의 행사 및 시설 등 관련 교수 환경이 적합한지를 진단하기 위한 요인

<표 Ⅲ-2> 의사소통교육 성과 진단을 위한 진단 범주 차원

교과과정 교수자 행정 지원 체계

∙과목 목표

∙교재 및 자료

∙수업 내용

∙평가

∙교수 능력

∙교수 전략

∙처우

∙교과 지원

∙비교과 지원

∙시설

Ⅲ. 진단 도구의 개발 절차 31

2) 2차례 내용 타당도 검증을 통한 진단항목 구분 및 진단 준거 예비 문항 선정

의사소통 교과목 편성 및 대학 기초교양교육의 질과 성과 진단 관련 선행 연구를 검토하 여 총 190개의 진단 준거를 수집함.

<표 Ⅲ-3> 의사소통 교과목 진단 준거 영역별 총 예비 문항 수

진단영역 진단소영역 진단항목 총계

교과과정

과목 설계

목표

74 수업 내용

편성

교재 및 자료 교재

자료

이론 지식 명제적 지식

절차적 지식 수행 과제

절차 구성 부담

평가 방법

내용

교수자

처우 경제적

77 행정적

교수 능력

전공 지식 교수 전략

태도

행정 및 교육 지원체계

교과지원 수업 보조

시설 39

비교과지원 학생

교수

총계 190

문헌 조사와 내부 전문가 협의를 토대로 1차 내용 타당도 검토를 거친 후 190개의 진단 준거를 98개 문항으로 정리함.

32 의사소통교육 성과 진단

<표 Ⅲ-4> 1차 내용 타당도 검토 후 의사소통 교과목 진단 준거별 문항 수

진단영역 진단소영역 진단항목 총계

교과과정

과목 설계

목표

58 수업 내용

편성

교재 및 자료 교재

자료

이론 지식 명제적 지식

절차적 지식

수행 과제

절차 구성 부담

평가 방법

내용

교수자

처우 경제적

21 행정적

교수 능력

전공 지식 교수 전략

태도

행정 및 교육 지원체계

교과지원 수업 보조

시설 19

비교과지원 학생

교수

총계 98

2차 내용 타당도 검토를 통해 56개의 문항으로 정리하였음.

Ⅲ. 진단 도구의 개발 절차 33

<표 Ⅲ-5> 2차 내용 타당도 검토 후 의사소통 교과목 진단 준거별 예비 문항 수

진단영역 진단소영역 총계

교과과정 (25)

과목 목표 7

교재 및 자료 3

수업 운영 및 내용 10

평가 5

교수자 (16)

교수 전략 3

교수 능력 3

처우 10

행정 및 교육 지원체계 (15)

교과지원 6

비교과지원 3

시설 6

총계 56

∙선행 연구 검토와 1차, 2차 내용 타당도 검증 결과 정리된 문항 수

선행 연구 검토

예비 문항 수 ⟶ 1차 내용 타당도 검토

예비 문항 수 ⟶ 2차 내용 타당도 검토

최종 문항 수

190 98 56

[그림 Ⅲ-4] 1차와 2차 내용 타당도 검증 과정에서 변화된 진단 준거 문항의 개수

34 의사소통교육 성과 진단

진단영역 진단 소영역 진단 항목

교과 과정(25)

과목 목표 및 편성(7)

1. 의사소통교육에 대한 사회의 요구가 교과 목표에 반영되어 있는가?

2. 수업 목표가 학습자 중심으로 설계되어 있는가?

3. 교과목 목표가 학교 상황에 맞게 구체적으로 설정되어 명료하게 표현되어 있는가?

4. 교과목 목표가 실현 가능한가?

5. 교과 목표에 전공과의 연계가 구체적으로 고려되어 있는가?

6. 전공 연계 의사소통 교과목이 존재하는가?

7. 다양한 의사소통 교과목을 개설하고 있는가? 교재 및 자료

(3)

8. 학습 목표에 적합한 교재를 사용하고 있는가?

9. 교재 이외의 다양한 자료를 활용하고 있는가?

10. 강의 발전을 위해 지속적으로 교재를 개편하는가?

수업 운영 및 내용(10)

11. 표절 등 연구 윤리 관련 내용을 가르치고 있는가?

12. 목표에 맞는 다양한 수업 방식(강의식, 토의식, 발표, 조별활동, 현장학습, 체험학 습, 실습, 조사 등)이 활용되고 있는가?

13. 학습자들 간의 협력 활동이 수업 중에 이루어지고 있는가?

14. 강의계획표에 각 주차별 강의 내용과 과제가 상세히 밝혀져 있는가?

15. 수업 결손 시 적절히 보강하도록 제도화되어 있는가?

16. 표현 매체(ppt나 프레지 등)를 이용하는 기술을 가르치고 있는가? 17. 과제는 내용이나 형식면에서 서로 연계되어 있는가?

18. 수업 중 활동 과제가 다양하게 조직되어 있는가?

19. 학습의 난이도 수준이 적절한가?

20. 학습자들의 과제 부담이 적절한가?

4 의사소통교육 진단 문항에 대한 중요도 조사 준비 1) 정량 평가를 위한 리카르트 척도 설문 문항 선정

정량 평가를 위한 설문 문항의 진단 영역은 교과 과정(25문항), 교수자(16문항), 행정지 원체계(15문항) 등 총 3개 영역으로 구성됨.

교과 과정 진단영역의 진단소영역은 과목 목표 및 편성(7문항), 교재 및 자료(3문항), 수업운영 및 내용(10문항), 평가(5문항)이며, 교수자 진단영역의 진단소영역은 교수전략 (3문항), 교수능력(4문항), 처우(9문항)이고, 행정지원체계 진단영역의 진단소영역은 교 과지원(6문항), 교과외지원(4문항), 시설(5문항)임.

교과 과정의 진단 항목은 본 설문지의 문항으로 구성되었음.

<표 Ⅲ-6> 교과과정 진단 설문지 문항