읽기 평가틀과 DRA 평가도구 - 디지털 읽기 평가(DRA) 결과

Ⅳ. 디지털 읽기 평가(DRA) 결과

1. 읽기 평가틀과 DRA 평가도구

PISA 2012 읽기에서는 지필평가와 컴퓨터 기반 평가인 DRA(Digital Reading Assessment; 디지털 읽기 평가)가 함께 시행되었다. PISA 2012 DRA는 PISA 2009에 이어 두 번째 시행된 평가로 PISA 2009의 추이 문항이 사용되었다. 실생활 읽기 소양 정도를 점검하기 위한 목적을 가지고 있는 PISA는 인쇄 매체에서 디지털 매체로 빠르게 전환되고 있는 읽기 환경을 반영하여 PISA 2009년부터 디지털 읽기 평가를 도입하여 평가해 왔다.

DRA는 이와 같은 PISA의 취지를 적극적으로 반영하고 있는 최신의 읽기 평가 방식이라 고 할 수 있다.

가. 읽기 평가틀

¹⁶⁾

PISA 2012에서 DRA는 읽기 지필평가에 대한 일종의 보조적인 성격을 가지는 평가로, 지필평가와 읽기 소양의 정의 및 평가틀을 공유하고 있다. 다음은 PISA 2012의 읽기 소양 에 대한 개념 정의이다.

읽기 소양은 자신의 목적을 성취하고 지식과 잠재적 능력을 계발하며, 사회에 참여하기 위해 다양한 텍스트를 이해․활용하고 텍스트를 바탕으로 하여 성찰하며, 다양한 텍스트 읽 기 활동에 참여하는 능력으로 정의한다(송미영 외, 2013c, p.101; 조지민 외, 2012, p.28;

OECD, 2013a, p.61).

PISA는 읽기 환경의 사회문화적 변화를 반영하여 읽기 소양의 개념을 지속적으로 재정 의하고 있다. PISA 2012의 읽기 소양은 읽기가 주영역이었던 PISA 2009에 새롭게 정의된 것으로, 읽기 능력을 텍스트를 이해하고 성찰하며 읽기 활동에 적극적으로 참여하는 능력 으로 보면서 읽기는 사회 구성원으로서 개인적 삶과 사회적 삶의 성공적 영위를 위한 핵심 소양임을 강조하였다. 주지하는 바와 같이, 디지털 사회에서는 정보와 지식의 소비 및 생 산 속도가 매우 빠르다. 따라서 다량의 디지털 정보의 범람 속에서 목표하는 내용을 비판 적으로 선별하여 읽고 새로운 의미를 창조에 적극적으로 활용하는 능력이 디지털 환경에 16) PISA 2012 읽기 평가틀은 PISA 2009 주기에 개발된 평가틀(OECD, 2009)을 사용하므로(OECD, 2013a), PISA 2009 주기의 예비검사 시행보고서(김경희 외, 2008), 본검사 시행보고서(김경희 외, 2009), 본검사 결과보고서(김경희 외, 2010a), PISA 2012 주기의 예비검사 시행보고서(조지민 외, 2011a), 본검사 시행보고서(조지민 외, 2012), 본검사 결과보고서(송미영 외, 2013c)에도 제시되어 있 음. 이 보고서는 동일한 원문의 번역에 대해서는 최초 번역본인 조지민 외(2011a)와 최종 원본 (OECD, 2013a) 및 최종 번역본(송미영 외, 2013c)만을 참조하여 재구성하였음.

서 특히 중요시 되며, 이러한 능력은 디지털 정보사회의 사회 구성원으로서 성공적인 삶을 영위하기 위한 기본적인 소양이라고 할 수 있다. 이와 같은 정의에 바탕할 때, PISA의 DRA는 학생들의 디지털 매체 환경에서의 정보 이해 및 활용과 성찰을 능력을 평가하며, 이를 통해 미래 디지털 사회의 시민으로서의 디지털 읽기 소양을 평가하고자 함을 알 수 있다.

한편, DRA에서 평가하고자 하는 읽기 능력은 기본적으로 지필평가와 거의 유사하다고 할 수 있다. 그러나 디지털 매체가 가지는 도구적 차이로 인해 DRA는 다음 몇 가지 점에 서 차별성을 가진다. 먼저 DRA가 가지는 가장 큰 특징으로 그물망 구조의 하이퍼텍스트 읽기 환경을 들 수 있다. 컴퓨터 웹사이트 형식의 특징인 그물망 구조의 하이퍼텍스트는 여러 가지 화면이 링크로 연결되어 있어 인쇄 매체에서는 요구되지 않았던 읽을 내용 검색 및 찾기와 같은 ‘내비게이션’ 활동이 이루어진다. 따라서 읽기의 방향과 양이 독자의 판단 에 의존하기 때문에 읽기 활동이 지필평가에 비해 역동적이다. 따라서 DRA에서는 직접 이메일 작성해서 보내기와 같은 보다 능동적 형태의 읽기 활동이 요구되는 것이다. 이와 같은 DRA의 특성은 때로 학생들에게 지필평가 이상의 추가적인 능력을 요구하기도 하는 데, 예컨대 읽기 방향성 상실 제어 능력이나 읽기 정보량 과부하에 따른 심리적 부담 조절 능력 등이 그것이다.

DRA 평가도구는 평가틀을 바탕으로 개발된다. PISA 2009에 개발된 PISA 2012 읽기 평 가틀은 디지털 읽기 환경에서의 읽기를 반영하여 기존 텍스트 하위요소인 체재와 유형에 매체와 환경이 추가되었다는 특징이 있다. 이전 주기에서의 인쇄 매체 환경의 텍스트 특징 을 반영하여 주로 글의 내용과 형식에 따라서만 텍스트를 유형화하였다. 그러나 DRA의 도입으로 인쇄 매체뿐 아니라 디지털 매체가 읽기의 중요한 방식으로 부상함에 따라 기존 의 인쇄 매체 단일에서 디지털 매체로 다양화하였다. 또한 디지털 텍스트 형식이 필자 중 심의 일방향 정보 전달 방식에서 독자의 참여를 확대하는 쌍방향 전달 방식이라는 특징을 반영하여 상호작용이라는 텍스트 유형을 새로 도입하였다(OECD, 2009; OECD, 2013a). 아 래 <표 Ⅳ-1-1>은 PISA 2012 읽기 평가틀로, 표시(^*)된 부분은 DRA 특성이 반영된 요소 이다(송미영 외, 2013c, p.102; 조지민 외, 2012, p.30; OECD, 2013a, pp.62～69).

차 원 하위요소

PISA 2012 DRA 단위문항별 하위문항 정보는 <표 Ⅳ-1-3>과 같다(조지민 외, 2012,

* 자료 출처: 조지민 외(2012, pp.74～75), OECD(2013a, pp.63～71) [그림 Ⅳ-1-1] 읽기 평가틀 하위요소에 따른 PISA 2012 DRA 문항 분포

공적 읽기 상황과 관련된 문항은 전체 19개 가운데 10개(52.6%)로 가장 높은 비율(52%) 을 차지하다. 개인적 읽기 상황은 6개, 교육적 상황은 3개였으며, DRA에서 직업적 상황과 관련된 문항은 출제되지 않았다.

텍스트 형식적 측면을 보여주는 체재와 관련된 문항은 총 19개였다. 인쇄 매체 위주의 읽기 지필평가와 달리 DRA의 특성을 보여주는 다중텍스트와 관련된 문항이 78.9%로 가 장 많이 출제되었다. 또 텍스트의 내용별 분류인 유형은 모두 다섯 가지로 분류되는데, DRA에서는 다섯 가지 유형 가운데 논증, 기술, 설명이 출제되었으며 서사 텍스트나 지시 텍스트와 관련된 문항은 없었다. 반면 상호작용 유형의 문항은 지필평가에서는 나타나지 않던 것으로 총 4개가 출제되었는데, 이는 전체 문항 중에서 21.1%를 차지한다.

또, 지필평가와 마찬가지로 DRA에서도 읽기 양상 중 가장 많이 출제된 것은 통합 및 해 석 양상이었으며(31.6%), 세 가지 읽기 양상을 복합적으로 평가하고자 하는 복합적 읽기 양상에 관련된 문항도 5문항(26.3%)이나 출제되었다(송미영 외, 2013c).

문항 유형별로 살펴보면 지필평가에서는 구성형(E) 문항이 가장 많았던 반면, DRA에서 는 <표 Ⅳ-1-4>와 같이 단순 선다형 문항의 수가 12개(63.2%)로 가장 많았다. 또한, 지필 평가에서는 없었던 선택 응답형이나 구성형(A) 문항도 DRA에서는 각각 하나씩 출제되었 다. 반면 전체 문항에서 복합 선다형이나 구성형(M) 문항은 출제되지 않았다.

<표 Ⅳ-1-4 > 문항 유형에 따른 PISA 2012 DRA 문항 분포

문항 유형 문항 수 문항 비율(%)

선다형 단순 선다형 12 63.2

선택 응답형 1 5.3

구성형^** 구성형(A) 1 5.3

구성형(E) 5 26.3

합계 19 100.0

* 출처: 조지민 외(2012, p.75)

다. DRA 문항 예시

¹⁷⁾

국제 본부에서는 PISA 2012 DRA의 예시 문항으로 ‘세랭, 스포츠클럽, 외국어학습’을 공 개하였다. 여기서는 PISA 컴퓨터 기반 평가 문항 자료집(송미영 외, 2013d)에 소개된 기존 의 DRA 공개문항 이외에 새로 공개된 문항 가운데 하나인 ‘세랭’을 소개한다.

‘세랭’은 PISA 2009에 개발되어 PISA 2012 본검사까지 사용되었으며, 3개의 하위문항으 로 구성되어 있다. 세랭시를 방문할 예정인 독자가 시의 홈페이지를 방문하여 필요한 정보 를 얻는 디지털 읽기 문항들로 구성되어 있다. 세랭시 홈페이지에서 객관적인 정보를 확인 한 후, 마지막 문항에서 개인 이메일을 작성하는 문항으로 구성되어 있으므로 읽기 상황은

‘공적․개인적’이라 할 수 있고, 주로 홈페이지의 여러 텍스트 정보를 종합하여 읽게 되어

‘비연속적․다중적’ 이라는 텍스트 체재 특징을 보이고 있다.

[그림 Ⅳ-1-2]는 ‘세랭’의 첫 번째 문항을 보여준다. 이 문항은 세랭시의 홈페이지에서 목표 정보인 ‘전통 문화의 날 행사 기간’과 관련된 텍스트를 찾아 읽고 문제를 푸는 선다형 문항이다. 그런데 ‘전통 문화의 날 행사 기간’에 관한 정보는 링크된 페이지에 접속하지 않 아도 이미 정보가 노출되어 있기 때문에, 학생들은 해당 정보를 화면에서 찾기만 하면 되 는 간단한 형태의 문항이다. 평가틀 하위요소를 기준으로 보았을 때, 비연속적인 체재에 기술 유형을 보이는 텍스트를 읽고 해당 정보에 ‘접근․확인’하는 읽기 과정 요소로 구성 되어 있다.

개발 주기 하위문항 정보

PISA 2009 예비검사 문항 ID 상황 텍스트 양상

CR002Q01 공적 비연속적 접근 및 확인

CR002Q03 공적 다중적 접근 및 확인

CR002Q05 개인적 비연속적 접근 및 확인

최종 사용 주기 PISA 2012 본검사

문제 1. 세랭

CR002Q01

[그림 Ⅳ-1-2] PISA 2012 DRA 예시 문항: 세랭 - 문제 1(CR002Q01)

[그림 Ⅳ-1-3]은 ‘세랭’의 두 번째 문항으로, 첫 번째 문항과 같이 적절한 정보를 찾기 위 해 해당 웹페이지를 찾아 이동하여 텍스트를 읽고, 목표 정보에 접근, 확인하는 읽기 능력 을 요구한다. 이 문항은 링크된 텍스트에 접속하여 정보가 기술된 다중텍스트를 읽고 목표 정보를 선별해야 하기 때문에 첫 번째 문항보다는 어렵다고 볼 수 있다. 이 문항을 평가틀 하위요소로 분류하면, 읽기 상황은 첫 번째 문항과 같이 ‘공적’이고, 텍스트 체재와 유형은

‘다중적․기술’이며, 읽기 과정에서 나타나는 사고의 양상은 ‘접근 및 확인’이다.

문제 2. 세랭

CR002Q03

[그림 Ⅳ-1-3] PISA 2012 DRA 예시 문항: 세랭 - 문제 2(CR002Q03)

[그림 Ⅳ-1-4]는 ‘세랭’의 마지막 문항을 보여준다. 이 문항은 앞의 두 문항과 세랭 정보 와 관련된 개인적인 이메일을 읽고, 주어진 정보와 자신의 상황을 복합적으로 고려하여 답 안을 작성하는 형식이다. 역시 디지털 읽기 특성을 가진 다중 텍스트를 읽고, 이메일 답장 을 직접 작성하는 개방형 구성 문항이다. 답안을 작성하기 위해서는 개인 정보와 객관적으 로 주어진 정보를 상호적으로 활용할 수 있는 복합적 읽기 능력이 필요한 고난이도 문항으

문서에서 OECD 국제 학업성취도 평가 연구 : PISA 2012 컴퓨터 기반 평가 결과 분석 (페이지 138-147)