연구 절차

통사 복잡성 발달 및 관련 문법항목 사용 양상 분석을 위한 연구 절차를 개 괄적으로 정리하여 <그림 9>에 나타내었다. 이어서 각 절차별 연구 과정을 상 세히 기술하도록 한다.

HS 3급

<그림 10> 학습자 작문 자료 이미지 예시

<그림 9> 통사 복잡성 발달 연구 절차의 개요

(1) 자료 수집

재미동포 학습자 및 모어 화자 자료의 수집 방법 및 절차에 관하여는 Ⅲ장 2 절에서 상세히 논의한 바 있다(Ⅲ. 2. 1. ‘재미동포 학습자 자료’ 참고). 연구자가 종이 형태로 전달 받은 모든 재미동포 학습자 및 모어 화자 자료는 추후 전자 파일 형태로 저장하였으며, <그림 10>에 그 예시를 보였다.

HS 4급

HS 5급

HS 6급

NS

(2) 자료 입력

자료 입력은 크게 두 부분으로 나누어진다. 첫 번째는 <그림 11>과 같은 설 문 응답 입력으로, 학습자별로 고유 번호(ID)를 부여한 후 학습자 집단, 소속 학 교, 숙달도(반 편성), 성별, 학년 등의 개인 정보와 작문의 장르 및 제목 정보를 포함하여 설문 결과를 마이크로소프트 엑셀 2013 프로그램을 활용하여 입력하 였다. 모어 화자 집단의 경우에는 별도의 설문 조사를 실시하지 않았으므로 개 인 정보만 입력되었다.

<그림 11> 학습자 설문 응답 입력 예시

두 번째는 <그림 12>와 같이 학습자의 작문 자료를 분석 가능한 전자 파일 형태로 변환하는 전사 작업으로, 한글 2014 프로그램을 활용하여 2차에 걸쳐 이 루어졌다. 1차 전사에서는 철자, 띄어쓰기, 문장부호, 문단 구분 등 학습자의 표 기를 수정 없이 그대로 반영하여 최대한 동일하게 전사하였다. 이후 2차 전사에 서는 한글 2014의 ‘변경 내용 추적’ 기능을 활용하여 연구자가 올바른 철자와 띄어쓰기를 적용하여 수정하였는데⁸⁹⁾, 이는 추후 통사 복잡성과 관련한 분석 작 업을 용이하게 하기 위함이었다⁹⁰⁾. 이 과정에서 문장 끝에 문장부호가 없는 경 우에는 문맥에 알맞도록 마침표 혹은 물음표를 추가하고, 서술어가 없는 완전하 지 않은 문장, 한국어 이외의 언어(주로 영어)로만 구성된 문장은 삭제하였다.

89) 그러나 문법적 오류나 어휘 오류는 수정하지 않았다. 예를 들어 ‘나는 여름방학에서 유럽을 갓습니다’에서 ‘갓습니다’는 맞춤법 오류에 해당하므로 형태소 분석기의 분석 정확성을 높이기 위해 ‘갔습니다’로 수정하였으나, ‘여름방학에서’의 조사 교체 오류 는 수정하지 않았다.

90) 특히, 지능형형태소분석기를 통해 형태소의 수를 최대한 정확히 계측하기 위해서는 자료가 맞춤법에 맞게 수정되어야 한다.

<그림 12> 학습자 작문 1차 전사 및 2차 전사 예시

(3) 분석 대상 자료 선별

본 연구에서 설정하는 변인 정보를 확인하고 통사 복잡성 측정 결과에 영향 을 미칠 수 있는 교란 변인 통제하기 위하여 분석 자료를 선별하는 과정이 필 요하였고, 구체적인 선별 기준에 대해서는 Ⅲ장 2절에서 상세히 다루었다(Ⅲ. 2.

1. ‘재미동포 학습자 자료’ 참고). 마이크로소프트 엑셀 2014의 필터 기능을 활용 하여 학습자의 학년 정보 유무, 도미(渡美) 시기, 작문 장르, 작문의 질(質) 등 선별 기준을 적용하였다. 이 과정을 통해 총 784편의 작문 중 447편의 자료를 선별해 내었다.

(4) 작문 자료 분석 및 코딩

작문 자료 코딩은 한글 2014의 ‘변경 내용 추적’ 기능을 활용하여 작문 자료 텍스트에 연구자가 직접 코딩 기호를 부착하는 방식으로 진행되었다. 문장의 확 장을 일으키는 통사 복잡성 관련 문법항목에 절의 유형에 따라 코딩 기호를 부 착하였으며, 부사절의 경우에는 그 하위 분류의 수가 많고 동일한 형태의 문법 항목으로 다른 의미를 나타내는 경우가 존재하기 때문에 부사절 코딩 기호 뒤 에 하위 범주를 함께 코딩하였다⁹¹⁾. 사용 문법항목에 의미상 오류가 있을 경우 에는 절의 종류를 나타내는 코딩 기호 뒤에 ‘ERR’ 기호를 추가하고 괄호 안에

√ 기호를 사용하여 오류를 수정하였다. 코딩 대상별 코딩 기호 목록은 <표 16>과 같다.

코딩 대상 코딩 기호 코딩 기호 출처

대등절 /EC Equivalent Clause

명사절 /NC Noun Clause

관형사절 /MC Modifying Clause

부사절 /AC Adverb Clause

인용절 /QC Quotation Clause

의미상 오류 ERR ERRor

<표 16> 코딩 대상별 코딩 기호 목록

코딩 작업은 실제로 2차에 걸쳐 진행되었다. 우선, 관련 문법항목의 목록과 절의 인정‧분류 기준을 대략적으로 정하고 1차 코딩 작업을 수행하였다. 그 후 1차 코딩 중에 나타난 문제점을 반영하여 문법항목 목록 및 기준을 확정하고 이에 맞추어 2차 코딩 작업을 진행하여 확정된 기준에 맞게 수정하는 방식이었 다⁹²⁾. 학습자 작문 자료에 코딩 기호를 부착한 방식은 <그림 13>과 같다.

91) 예를 들어, 동일한 ‘-어’ 형태의 부사형 전성어미라 하더라도 ‘/AC선후, /AC이유, /AC수단’ 등으로 구분하여 코딩하였다.

92) 이후 수차례의 검토 과정을 거쳐 코딩의 정확도를 향상시키도록 노력하였으나, 학습 자의 의도를 알 수 없거나 다의적인 해석이 가능한 경우가 종종 존재하였다. 이러한 경우에는 객관적인 판정이 불가능하여 연구자의 주관이 개입되었을 여지가 있음을

<그림 13> 작문 자료 코딩 기호 부착 예시

코딩 작업의 신뢰도 확인을 위하여 연구자 본인 외 1명을 섭외하여 교차 분 석을 수행하였다. 교차 분석 연구자는 수 년 간의 한국어 교육 경험을 가진 한 국어교육 전공 박사과정을 수료한 대학원생으로, 총 447편의 작문 자료의 약 10%에 해당하는 45편에 대해 본 연구자와 동일한 방법으로 코딩 작업을 진행해 줄 것을 요청하였다. 약 30분에 걸쳐 유형별 절 인정 기준과 코딩 방식을 구두 로 설명하고 본 연구의 원고 중 이와 관련된 부분(Ⅲ장 3.2. 통사 복잡성 관련 문법항목)을 발췌하여 참고자료로 전달하였다. 교차 분석 결과, 연구자의 코딩 결과와 교차 분석 연구자의 코딩 결과 간 95.5%의 일치율을 확인하였다.

인정하는 바이다.

(5) 단위별 빈도 계측

단위별 빈도 계측은 우선 각 작문 자료의 문장 수, 유형별 절 수, 어절 수, 형 태소 수 확인부터 진행되었다. 형태소 수 계측은 지능형형태소분석기 2.0을, 문장 수, 유형별 절 수, 어절 수 계측은 한글 2014의 ‘모두 찾기’ 기능을 활용하였으며, 빈도 계측 결과는 설문 응답 결과가 입력되어 있는 마이크로소프트 엑셀 2013 파일에 각 학습자(작문)별로 추가 입력되었다. 이후 코딩 기호가 부착된 문법항 목들을 확인하여 작문별로 나타난 각 문법항목의 빈도를 마이크로소프트 엑셀 2013 파일에 입력하였다. 본고에서 통사 복잡성 측정 지표로 삼은 문장 당 형태 소 수, 문장 당 절 수, 대등접속 지수, 문장 당 유형별 내포절 수는 각 문법항목 의 빈도 정보로부터 자동으로 계산되도록 해당 셀(cell)에 수식 및 함수를 입력하 여 두었다. 단위별 빈도 계측 결과 입력 화면의 예시는 <그림 14>와 같다.

<그림 14> 단위별 빈도 계측 결과 입력 화면 예시

(6) 통계 분석

재미동포 학습자의 통사 복잡성 발달 양상을 양적으로 파악하기 위하여 숙달

도와 연령을 독립변인으로 하는 통계 분석을 수행하였고, 참조 집단인 청소년 모어 화자 집단의 자료 분석도 포함시켰다. 우선, 재미동포 학습자 집단은 각각 의 통사 복잡성 측정 지표에 대해 숙달도(3-6급)와 연령(초‧중‧고)을 독립변인 으로 하는 이원분산분석(two-way analysis of variance)을 수행하였고, 집단 평 균이 유의한 차이를 보일 경우에는 사후검정(post-hoc)으로 본페로니 (Bonferroni) 방식⁹³⁾의 다중비교(multiple comparison)를 실시하여 차이를 보이 는 집단을 확인하였다. 이후, 숙달도가 가장 높은 6급 학습자 집단과 모어 화자 집단 간 독립표본 t검정(independent sample t-test)을 통해 두 집단 간 통사 복 잡성에 유의미한 차이가 존재하는지 확인하였다. 집단별 평균, 표준편차와 같은 기술통계 분석에는 마이크로소프트 엑셀 2013이, 자료의 분포를 시각적으로 보 이기 위한 상자그림 작성과 이원분산분석, 사후검정, 독립표본 t검정 등 추리통 계에는 R 프로그램 3.2.3이 사용되었다.

이상에서 상세히 기술한 통사 복잡성 발달 및 관련 문법항목 사용 양상 분석 을 위한 연구 절차를 <표 17>에 요약‧정리하였다.

93) 다중비교 방식에는 본페로니(Bonferroni) 이외에도 투키(Tukey), 피셔(Fisher), 쉐페 (Sheffe) 등 여러 방법이 있다. 이 중 본페로니는 투키와 더불어 가장 널리 사용되 는 방식으로, 엄밀한 검증을 위해 충분히 보수적일 뿐만 아니라 본고의 분석 자료처 럼 집단 간 사례 수가 동일하지 않을 경우에도 사용할 수 있다는 장점이 있다.

연구 절차 내용

1 자료 수집

 HS:　미국 11개 한글학교 전체 학생의 설문 응답지 및 작문 자료

 NS:　서울‧경기 지역 청소년 40명(중학생 20명, 고등학생 20명)의 작문 자료

2 자료 입력

 작문 자료를 작성한 학습자에 대한 설문 응답 입력

 작문 전사 (학습자 표기 그대로 1차 전사 후 띄어쓰기 및 맞춤법 교정하여 2차 전사)

3 분석 대상 자료 선별

 학습자의 학년 정보 유무, 도미(渡美) 시기, 작문의 장르, 분석 자료로서 작문의 질을 기준으로 선별

4 작문 자료

분석 및 코딩

 1차 코딩 후 관련 문법항목 및 절 인정 기준을 최종적으로 확정하여 2차 코딩

5 단위별 빈도 계측  문장, 유형별 절, 어절, 형태소 빈도 계측

 측정 지표별 빈도 및 지수 계산

6 통계 분석

 이원분산분석을 통해 숙달도별‧연령별 집단 간 차이 검정 및 본페로니 사후검정

 독립표본 t검정을 통해 재미동포 6급 집단과 모어 화자 집단 간 차이 검정

<표 17> 연구 절차 및 분석 도구