Rating Tendencies and Inter-Rater Agreement of Peer Assessment on Medical Students’ Communication Skills

(1)

Original Article

pISSN 2233-9019 · eISSN 2233-9116 Korean J Fam Pract. 2015;5(3, suppl. 2):84-89

KJFP

Korean Journal of Family Practice

서 론

환자-의사 간 효과적인 의사소통은 임상 진료에 중추적 역할 을 하며 이는 환자의 만족도 및 순응도를 향상시킨다.¹⁾ 미국에 서는

1970

년대부터 이를 주목하기 시작하였고

1

⁾

Association of American Medical Colleges

^는

Medical School Objectives Project

를 통해 미국 내 의과대학에서 직업 전문성(

professionalism

^{)과 더불} 어 의사소통기술(

communication skills

)을 가르치도록 권고하고 있 다.²⁾ 우리나라도 이를 반영하여,

2009

년부터 아시아 최초로 의사국 가시험에 임상진료시험(

clinical practice examination

^{)을 도입하였}

다. 이는 의학 교육에 있어 전통적인 의학적 지식에 기반을 둔 평가 뿐 만 아니라, 행동영역으로서의 비판적 사고와 의사소통 능력을 평 가하기 위한 노력이라고 할 수 있다.

의사의 직업 전문성 평가에 동료나 간호사, 환자 등 다양한 대상 으로부터 피드백을 받는 다면 평가(

multi

^-

source feedback

^{)가 효과} 적인 방법으로 인정 받는 것과 같이^{3, 4)} 의과대학생의 수행 능력 평가 에서도 기존 교수자 평가 외에 동료와 환자로부터의 다면 평가가 도 움이 될 것으로 기대된다.^{5, 6)}

국외에서는 다면 평가 중 비슷한 단계에 있는 다른 학습자에게 결 과물이나 수행에 대해 평가를 받는 동료 평가(

peer assessment

⁾⁷⁾^가

의과대학생의 의사소통능력에 대한 동료 평가 경향 및 평가자간 일치도

장아영, 이정권, 신진영

^*

, 이혜영

성균관대학교 의과대학 삼성서울병원 가정의학과

Rating Tendencies and Inter-Rater Agreement of Peer Assessment on Medical Students’ Communication Skills

Ah-Young Jang, Jung-Kwon Lee, Jin-Young Shin

^*

, Hae-Young Lee

Department of Family Medicine, Samsung Medical Center, Sungkyunkwan University School of Medicine, Seoul, Korea

Background: Peer assessment is known to be a useful means of evaluating the clinical competence of medical students. However, few studies have evaluated the utility of medical students’ peer assessment in Korea. This study aimed to evaluate the utility of medical students’ peer assessment by investigating rating tendencies and inter-rater agreement of communication skills.

Methods: Thirty-four students were divided into five groups and a standardized patient was matched with each group. During medical interviewing, their conversation was videotaped.

All medical students conducted peer assessments with a modified checklist based on the Calgary-Cambridge observation guides. The rating tendency of peers was evaluated by calculating the frequency of answer choices. Inter-rater agreement of peer assessment was measured by using median values of intra-class correlation coefficients (ICCs) in each group.

Results: Students tended to avoid negative ratings on their peers. The median ICC values were below 0.75 in all categories and below 0.4 in most categories of the checklist. The inter-rater agreement of peer assessment was poor. In particular, understanding patients’ perspective, providing structure to consultation, and building relationships, showed lower agreement than others.

Conclusion: In peer assessments, medical students avoided negative ratings, and the inter-rater agreement of peers was quite low.

Keywords: Peer assessment, Inter-rater agreement, Communication skill

Received February 26, 2015 Revised July 20, 2015 Accepted August 28, 2015 Corresponding Author Jin-Young Shin

Tel: +82-2-3410-2451, Fax: +82-2-3410-0388 E-mail: [email protected]

This is an open-access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted noncommercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

(2)

장아영 외. 의과대학생의 의사소통능력에 대한 동료 평가 Korean Journal of Family Practice

KJFP

Original Article

의과대학생의 임상 지식 및 기술, 대인 관계, 환자-의사 관계의 유 용한 평가 도구로 사용될 수 있을지에 관한 연구들이 이루어지고 있

으나^{5, 8, 9)} 국내에서는 의과 대학생의 동료 평가의 유용성에 관한 연

구가 부족한 실정이다. 동료 평가가 유용한 평가 도구가 되기 위해 서는 평가자간 일치도가 높아야 하며 동료 간에 객관적인 평가가 이 루어져야 한다.

따라서 본 연구는 구조화된 평가지를 이용하여 의과대학생·의학 전문대학원생(이하 의과대학생)의 환자-의사 의사소통능력에 대한 동료 평가의 경향 및 동료 평가자간 일치도를 분석함으로써 동료 평 가가 유용한 평가 도구로 사용될 수 있는지 알아보고자 한다.

방 법

1. 연구 대상

본 연구는

2013

년 서울 소재의 일개 의과대학·의학전문대학원 에서 ‘환자와 의사’ 수업에 참여한

2

^학년생

34

명을 대상으로 하였다.

2. 연구 방법

1) 측정 방법

본 연구는 ‘환자와 의사’ 수업의 일부로 이루어진 표준화 환자를 대상으로 시행한 모의진료에 대한 동료 평가를 분석하였다. 표준화 환자는 지역 컨소시엄에 소속된 인력 중 선발하였으며, 학생들을

6

^~

7

^{명씩 총}

5

개의 조로 나눈 후 조별로 표준화 환자를

1

^{명씩 배정} 하였다. 모든 학생들은 표준화 환자와

10

분 간 모의진료를 시행하 였고, 모의진료는 사전에 학생과 표준화 환자의 동의를 얻어 동영 상으로 녹화되었다. 모의 진료 후 학생들은 조별로 모여 조원들의 모의진료 동영상을 모니터링 하면서 평가지의 항목을 기입하였다.

표준화 환자들은 모든 조에서 동일하게 두통이라는 한가지 질환 을 연기하였고 두통의 증상, 질병 발병의 배경 및 평가 항목에 대해 충분한 교육을 받은 상태였다. 학생들은 이전 수업을 통해 환자-의 사 의사소통에 대한 이론적인 학습을 하였고 평가지의 평가 항목과 평가 방법에 대해 숙지한 상태였으나 이전에 동료 평가에 대한 교육 이나 훈련을 받은 적은 없었다. 학생

1

명에 대한 동료 조원들의 평 가지를

1

세트라고 하였을 때 총

34

세트의 동료 평가지가 모였다. 본 연구는 삼성서울병원

IRB

^{승인을 받았다(}

IRB file No

^.

SMC 2014

^-

05

^-

040

^).

2) 측정도구

캘거리-캠브리지 면담가이드(

Calgary

^-

Cambridge observation guides

)는 잘 알려진 의사소통능력 평가도구로 의학 교육에 널리 사 용되고 있으며 타당성과 신뢰성이 검증되었다.¹⁰⁾ 본 연구에 사용

된 평가지는 캘거리-캠브리지 면담가이드를 기초로 만들어진 것으 로

Teaching and learning communication skills in medicine

^,

2nd edition

에 수록된 신뢰도가 검증된 평가 양식¹¹⁾을 의학 교육 전문가 가 한글로 번역하고 연구 구성과 목적에 맞게 일부 항목을 변형하 였다.

Teaching and learning communication skills in medicine

^,

2nd edition

에 수록된 평가 양식 중 환자 관점의 이해 범주(

27

문항으로 시작하기, 정보 획득, 면담 구조, 관 계 형성, 끝내기의

5

개 범주로 구성되었다. 그 중 정보 획득 범주 는 건강 문제 파악, 환자 관점의 이해라는 하위 범주로 구성되었다 (

Appendix 1

). 평가지의 응답은 ‘동의함’, ‘중간’, ‘동의하지 않음’으 로 구성되었고 ‘동의하지 않음’에

1

^{점, ‘중간’에}

2

^{점, ‘동의함’에}

3

^점 을 부여하였다.

3) 통계 분석

본 연구에서 사용한 평가지의 신뢰도는 내적 일치도(

internal consistency

^{) 지표인}

Cronbach

^’

s alpha

를 이용하여 평가하였다.

동료 평가의 경향을 분석하기 위해 전체 평가지의 항목별로 ‘동 의함’, ‘중간’, ‘동의하지 않음’의 응답 선택의 빈도를 구하였고 각 응 답 선택의 빈도는 사후 분석을 이용하여 비교하였다.

동료 평가자간 일치도는 동료 평가지

1

^{세트를 분석 단위(}

unit

^)로 하여 분석을 시행하였다. 정보 획득 범주의 건강 문제 파악, 환자 관점의 이해라는

2

개의 하위 범주를 분리하여 총

6

^{개의 범주에 대} 해 각각의 급내상관계수(

intraclass correlation coefficient

^,

ICC

^)를 구하였고, 조별로 각 범주에 대한

ICC

의 중앙값을 구하였다.

ICC

는 서열척도로 평가된 자료에서 평가자간 일치도를 측정하는 대표 적인 방법¹²⁾으로 이차원변량모형(

two

^-

way random effects

^{)과 절대} 동의서(

absolute agreement

)방식으로 계산하였다.

ICC

^는

0

^.

75

^이상,

0

^.

40

^이상

0

^.

75

^미만,

0

^.

40

미만일 경우를 각각 ‘매우 우수(

excellent

^),’

보통 이상(

fair to good

^{), ‘낮음(}

poor

^{)’으로 해석한다.}¹³⁾^{통계 분석에} 는

IBM SPSS ver

^.

22

^.

0

⁽

IBM Co

^.,

Armonk

^,

NY

^,

USA

^{)을 이용하} 였다.

(3)

Ah-Young Jang, et al. Peer Assessment on Medical Students’ Communication Skills

KJFP

결 과

1. 연구 대상자의 특성

연구에 참여한 학생들의 성별 분포는 남학생

27

^{명, 여학생}

7

^명 이었으며, 의과 대학생이

19

명, 의학전문대학원생이

15

^{명이었다.}

전체 평균연령은

22

^.

9

^±

1

^.

2

세였으며 의과대학생의 평균 연령은

22

^.

4

^±

0

^.

8

세, 의학전문대학생의 평균연령은

23

^.

7

^±

1

^.

1

^세였다.

2. 평가지의 범주 별 내적 일치도

시작하기, 정보 획득, 면담 구조, 관계 형성, 끝내기 범주의

Cronbach

^’

s alpha

^{값은 각각}

0

^.

47

^,

0

^.

65

^,

0

^.

49

^,

0

^.

50

^,

0

^.

42

^{이었고 정보 획} 득 범주를 건강 문제 파악, 환자 관점의 이해라는 하위 범주로 분리하 여 분석하였을 때 각 하위 범주의

Cronbach

^’

s alpha

^값은

0

^.

64

^,

0

^.

66

^이 었다. 전체 설문지의

Cronbach

^’

s alpha

^값은

0

^.

74

^이었다.

3. 동료 평가 경향

모든 문항에서 ‘동의함’의 응답 선택이 ‘동의하지 않음’의 응답 선 택보다 유의하게 많았다(

p

^<

0

^.

001

). ‘동의하지 않음’을 선택한 비율 은 ‘간단히 요약하며 마침’의

1

개의 문항을 제외하고는 모두

20

^% 이하로 나타났고,

15

^{개의 문항에서는}

10

%이하였다. 반면, ‘동의 함’을 선택한 비율은 ‘환자의 기대를 알아봄’, ‘연결어(

transitional statement

)를 사용하면서 진행’, ‘간단히 요약하며 마침’의

3

^{개 문항} 을 제외하고는 모두

40

%이상이었다. 또한 ‘중간’의 응답 선택도 ‘동 의하지 않음’의 응답 선택보다 유의하게 많아(

p

^<

0

^.

001

^{) 시작하기} 범주 중 ‘인사하기’, ‘자신을 소개하고 역할 말하기’, ‘존중하는 태도 보이기’, ‘건강 문제를 알아내고 확인하기’의

4

문항과 건강문제 파악 범주의 ‘환자가 이야기하도록 격려함’, ‘주의 깊게 경청하기’의

2

^문항 을 제외하고는 응답 선택 비율이 모두

20

^{%이상이었다(}

Table 1

^).

Table 1. Distribution of peer ratings by items

Item Percentage of choice

Disagree^* Neutral^* Agree^*

Initiating the session 1. Greets patient 2. Introduces self and role 3. Demonstrates respect

4. Identifies and confirms problems list 5. Negotiates agenda

4(2.0) 11(5.6) 1(0.5) 3(1.5) 8(4.0)

11(5.6) 11(5.6) 17(8.6) 10(5.1) 95(48.0)

183(92.4) 176(88.9) 180(90.9) 185(93.4) 95(48.0) Gathering information

Exploration of problems

6. Encourages patient to tell story

7. Appropriately moves from open to closed questions 8. Listens attentively

9. Facilitates patient’s responses verbally and non-verbally 10. Use easily understood questions and comments 11. Clarifies patient’s statements

12. Establishes dates and sequence of events

13(6.6) 9(4.5) 0(0.0) 21(10.6) 11(5.6) 6(3.0) 11(5.6)

25(12.6) 78(39.4) 8(4.0) 67(33.8) 43(21.7) 80(40.4) 90(45.5)

160(80.8) 111(56.1) 190(96.0) 110(55.6) 144(72.7) 112(56.6) 97(49.0) Understanding patients’ perspective

13. Determines and acknowledges patient’s ideas about the problem 14. Explores patient’s concerns and encourages expression of emotions 15. Explores patient’s expectations

16. Explores how the problem affects the patient’s life

23(11.6) 21(10.6) 34(17.2) 26(13.1)

57(28.8) 83(41.9) 88(44.4) 66(33.3)

118(59.6) 94(47.5) 76(38.4) 106(53.5) Providing structure to consultation

17. Summarizes at end of a specific line of inquiry 18. Progresses using transitional statement 19. Structures logical sequence

20. Attends to timing

34(17.2) 33(16.7) 19(9.6) 20(10.1)

80(40.4) 101(51.0) 76(38.4) 52(26.3)

84(42.4) 64(32.3) 103(52.0) 126(63.6) Building relationships

21. Demonstrates appropriate non-verbal behavior 22. If reads or writes, doesn't interfere with dialogue/rapport 23. Empathies with and supports patients

24. Appears confident 25. Is not judgmental

10(5.1) 21(10.6) 15(7.6) 16(8.1) 23(11.6)

62(31.3) 61(30.8) 70(35.4) 73(36.9) 54(27.3)

126(63.6) 116(58.6) 113(57.1) 109(55.1) 121(61.1) Closing the session

26. Encourages patient to discuss any additional points 27. Close interview by summarizing briefly

22(11.1) 46(23.2)

49(24.7) 74(37.4)

127(64.1) 78(39.4) Values are presented as number(%). The total number of peer's responses to each item was 198. ^* P-value<0.001 assessed by post-hoc analysis between‘disagree’ and

‘agree’ or ‘neutral’.

(4)

KJFP

4. 동료 평가자간 일치도

범주 별

ICC

중앙값의 최고값은

0

^.

51

이었으며 모든 범주의

ICC

중앙값이

0

^.

75

에 근접하지 않아 평가자간 낮은 일치도를 나타내었 다. 특히 환자 관점의 이해, 면담 구조, 관계 형성 범주에서

ICC

^중 앙값이 더 낮은 경향을 보였다(

Table 2

^).

고 찰

본 연구는 동료 평가를 이용하여 의과대학생의 환자-의사 의사 소통능력을 평가할 때 동료 평가 경향 및 동료 평가자간 일치도를 알아보기 위해 시행되었다.

동료 평가를 문항별로 분석하였을 때 모든 문항에서 ‘동의함’ 혹 은 ‘중간’에 응답의 편중을 보였으며 ‘동의하지 않음’은 적게 선택되 었다. 이는 동료에게 부정적인 평가를 주는 것을 주저하는 경향으 로 설명할 수 있는데 선행 연구들과도 일치한다. 선행 연구들을 살 펴보면 동료 평가 점수가 교수자의 평가보다 높은 경향을 보였고^14-

16) 부정적인 평가를 주는 것을 피하는 경향을 나타내었다.^{14, 17)} 본 연구에서 모든 범주의

ICC

^중앙값이

0

^.

75

에 근접하지 않았고

ICC

중앙값의 최고값은

0

^.

51

로 동료 평가자간 일치도가 낮다는 것 을 확인하였다. 이전 연구에서는 반복하여 동료 평가를 시행할 경 우 동료 평가의 정확도가 향상됨을 보고하여¹⁵⁾ 본 연구에서 동료 평 가자간 일치도가 낮은 것은 의과대학생들이 이전에 동료 평가에 대 한 교육 및 훈련을 받은 적이 없기 때문일 가능성이 높다.

특히, 환자 관점의 이해, 면담 구조, 관계 형성 범주에서 동료 평 가자간 일치도가 낮았는데 이는 시작하기, 건강문제 파악, 끝내기 범주의 항목에 비해 정형화된 질문이나 행동들로 표현되는 항목이 아니어서 실제 어떤 면담 행동을 나타내는지 학생들이 이해 못했을 가능성을 고려해야 한다. 이러한 취약 부분을 보완하기 위해서는 강의를 통한 지식의 습득 만으로는 한계가 있으며 시청각 교구 및

교재의 활용을 통해 이해도를 높이고, 비디오 모니터링 등을 반복 시행하여 실제 상황에 적용할 수 있는 능력을 배양하는 것이 필요하 다.¹⁸⁾ 의과대학생을 대상으로 동료 평가 참여와 관련 있는 요인들을 조사한

Arnold

^등¹⁷⁾의 연구를 살펴보면 학생들은 동료의 잘못된 점 을 보고하는 것을 꺼렸고 동료 평가가 익명으로 이루어질 때 참여 의사가 증가하였다. 본 연구에서도 동료에게 부정적인 평가를 주기 주저하는 경향과 평가자의 실명을 밝히는 평가 방식이 객관적인 동 료 평가의 저해 요인이 될 수 있었다. 이러한 평가자의 심리적 부담 을 덜기 위해서는 평가자가 평가 대상과 독립된 공간에서 평가를 하 는 것으로 보완할 수 있다. 익명으로의 평가는 참여를 증진시킬 수 는 있겠으나 피 평가자가 받아들이는 평가의 신뢰성을 감소 시킬 수 있는 양면이 있는 바^{17, 19)} 신중한 고려가 필요하다.

이전 연구에서 동료 평가의 문제점으로 지적된 사항 중, 학생들 이 심리적 부담감으로 동료 전체에 동일한 점수를 부여하거나²⁰⁾ 평 소의 인상이 평가에 영향을 미치는 후광 효과(

halo effect

⁾^{20, 21)}^에 대해서는 본 연구에서 동료에게 일괄적으로 동일한 점수를 부여한 경우는 없었지만 후광 효과 여부는 확인할 수 없었다. 객관적인 동 료 평가를 위해 팀바탕학습(

team

^-

based learning

^{)에서는 모든 조} 원에 대하여 순위를 매기는 방식의 철저한 상대평가가 제안되기도 하였다.²²⁾

동료 평가가 몇몇 제한점을 가지고 있음에도 평가 방법으로 꾸준 히 연구되는 이유는 동료 평가가 이용하기 용이하면서도 최종 학업 성취도나 감독교육자의 평가를 잘 예측하기 때문이다.^{23, 24)} 또, 동료 평가는 직업 전문성, 특히 대인관계기술(

interpersonal skill

^{)의 향상} 에 도움이 되며¹⁹⁾ 한 연구는 의과대학생들이 동료 평가를 교수자로 부터 받는 피드백보다 더 유용하다고 인식한다고 보고하고 있다.²⁵⁾

본 연구에는 몇 가지 제한점이 있는데 첫째, 신뢰도가 검증된 영 어판 평가지를 의학 교육 전문가가 한글로 번역한 후 사용하였으나 한국어 번역본에 대한 타당성 및 신뢰도에 대한 검증이 없었다. 둘 Table 2. Inter-rater agreement of peers by category

Category ICC median(ICC min, ICC max)

Group A Group B Group C Group D Group E

Initiating 0.33(0, 0.41)^* 0.42(0.24, 0.66) 0.27(0.07,0.39)^* 0.39(0.05,0.77)^* 0.43(0.24, 0.5) Gathering information

Exploration of problems

Understanding patients’ perspective

0.24(0.19, 0.4) 0.08(0, 0.36)^‡

0.34(0.19, 0.57) 0.26(0, 0.31)^†

0.22(0.01,0.42)^* 0.15(0, 0.44)^‡

0.27(0.15, 0.52) 0.17(0, 0.32)^‡

0.21(0.16,0.33) 0.1(0, 0.29)^§ Providing structure to consultation 0.08(0, 0.29)^† 0.41(0.12, 0.72)^* 0.21(0, 0.36)^‡ 0.15(0, 0.38)^† 0.06(0, 0.32)^§ Building relationships 0.15(0, 0.27)^‡ 0.41(0.27, 0.56) 0.17(0, 0.27)^‡ 0.17(0, 0.64)^† 0.18(0, 0.36)^‡

Closing 0.5(0, 0.69)^* 0.43(0, 0.70)^* 0.46(0, 0.74)^* 0.51(0.4, 0.64) 0.3(0, 0.31)^*

The unit of this analysis was a set of peer assessment checklists per group member.

ICC, intraclass correlation coefficient; ICC median, median value of ICCs; ICC min, minimum value of ICCs; ICC max, maximum value of ICCs.

* One set of peer assessment checklists has P value ≥0.05.

† Two sets of peer assessment checklists have P value ≥0.05.

‡ Three sets of peer assessment checklists have P value ≥0.05.

§ Four sets of peer assessment checklists have P value ≥0.05.

(5)

Ah-Young Jang, et al. Peer Assessment on Medical Students’ Communication Skills

KJFP

째, 본 연구에 참여한 학생은 모두

2

학년 생으로 본 연구의 결과가 의과대학생들의 동료 평가 능력을 대표한다고 보기에는 한계가 있 다. 셋째, 동료 평가자가 올바르게 평가했는지에 대한 동료 평가의 정확도에 대해서는 연구가 이루어지지 않았다. 그러나 본 연구는 국내에서 처음으로 의과대학생들을 대상으로 동료 평가의 일치도 를 평가하였다는데 의의가 있다.

본 연구의 결과에 의하면 이전에 동료 평가에 대해 교육 및 훈련 을 받은 적이 없는 의과대학생을 대상으로 환자-의사 의사소통능 력에 대한 동료 평가를 시행할 시 평가자 간 낮은 일치도를 나타내 었고 동료에게 나쁜 평가를 주는 것을 피하는 경향을 보여 동료 평 가는 효과적인 평가 도구가 될 수 없었다. 그러나 반복적인 동료 평 가 경험이 동료 평가 능력을 향상 시킬 수 있고¹⁵⁾ 동료 평가가 최종 학업성취도나 감독 교육자의 평가를 잘 예측할 수 있는 유용한 도 구임을 고려할 때^{23, 24)} 반복적인 교육 및 훈련을 통해 동료를 평가할 수 있는 능력을 갖춘다면 동료 평가가 효과적인 평가 도구로 사용 될 수 있을 것이다.

요 약

연구배경: 의과대학생의 직업 전문성 평가에 있어 동료 평가는 유 용한 평가도구로 알려져 있다. 그러나 국내에는 의과 대학생들의 동료 평가의 유용성에 대한 연구가 부족한 실정이다. 따라서 본 연 구에서는 의과대학생의 환자-의사 의사소통능력에 대한 동료 평가 의 경향 및 동료 평가자간 일치도를 분석함으로써 동료 평가가 유용 한 평가 도구로 사용될 수 있을지 알아보고자 한다.

방법: 일개 의과대학·의학전문대학원의

2

^학년생

34

^{명을 대상으로} 하여 학생들을

5

개 조로 나누고 조별로 표준화 환자

1

^{명씩을 배정} 하였다. 모든 학생들은 표준화 환자와 모의 진료를 시행 하였고 이 를 동영상으로 녹화하였다. 모의 진료가 끝난 후 학생들은 조별로 모여 녹화된 동영상을 모니터링 하면서 구조화된 평가지에 동료 평 가를 시행하였다. 동료 평가의 경향은 평가 항목별로 응답 선택의 빈도를 구하여 추정하였고 동료 평가자간 일치도는 조별로 급내상 관계수(

intraclass correlation coefficient

^,

ICC

)의 중앙값을 구하여 평가하였다.

결과: 동료에게 부정적인 평가를 준 비율은 매우 낮았으며 동료 평 가자간 일치도 분석에서 범주 별

ICC

^{중앙값이 모두}

0

^.

75

^이하로 평가자간 낮은 일치도를 나타내었다. 특히, 환자 관점의 이해, 면담 구조, 관계 형성 범주에서 동료 평가자간 일치도가 낮았다.

결론: 의과대학생의 환자-의사 의사소통능력에 대한 동료 평가에

있어 동료에게 부정적인 평가를 주는 것을 피하는 경향을 나타내었 고 동료 평가자간 평가 일치도는 매우 낮았다.

중심단어: 동료 평가, 평가자간 일치도, 의사 소통

REFERENCES

1. Silverman J, Kurtz S, Draper J. Skills for communicating with patients. 2nd ed. Park KH, Sung NK, translator. Seoul: Dongguk University Press; 2010. p. 15-6.

2. Association of American Medical Colleges. Learning objectives for medical student education-guidelines for medical schools: report I of the medical school objectives project. Acad Med 1999;74:13-8.

3. Lockyer J. Multisource feedback in the assessment of physician competencies. J Contin Educ Health Prof 2003;23:4-12.

4. Qu B, Zhao YH, Sun BZ. Assessment of resident physicians in professionalism, interpersonal and communication skills: a multisource feedback. Int J Med Sci 2012;9:228-36.

5. Epstein RM. Assessment in medical education. N Engl J Med 2007;356:387-96.

6. Dannefer EF, Henson LC, Bierer SB, Grady-Weliky TA, Meldrum S, Nofziger AC, et al. Peer assessment of professional competence.

Med Educ 2005;39:713-22.

7. Topping KJ. Peer Assessment. Theory Pract 2009;48:20-7.

8. Ginsburg S, Regehr G, Hatala R, McNaughton N, Frohna A, Hodges B, et al. Context, conflict, and resolution: a new conceptual framework for evaluating professionalism. Acad Med 2000;75:S6- S11.

9. Levine RE, Kelly PA, Karakoc T, Haidet P. Peer evaluation in a clinical clerkship: students' attitudes, experiences, and correlations with traditional assessments. Acad Psychiatry 2007;31:19-24.

10. Amin Z, Khoo HE. Basics in Medical Education. 1st ed. 5 Toh Tuck Link: World Scientific Publishing; 2003. p. 369-71.

11. Kurtz SM, Silverman J, Draper J. Teaching and learning communication skills in medicine. 2nd ed. Oxford: Radcliffe publishing; 2005. p. 253-73, 336.

12. Janjua NZ, Khan MI, Clemens JD. Estimates of intraclass correlation coefficient and design effect for surveys and cluster randomized trials on injection use in Pakistan and developing countries. Trop Med Int Health 2006;11:1832-40.

13. Fleiss JL. The design and analysis of clinical experiments. 1st ed.

New York: Wiley; 1999. p. 23-7.

14. Hulsman RL, Peters JF, Fabriek M. Peer-assessment of medical communication skills: the impact of students' personality, academic and social reputation on behavioural assessment. Patient Educ Couns 2013;92:346-54.

15. Papinczak T, Young L, Groves M, Haynes M. An analysis of peer, self, and tutor assessment in problem-based learning tutorials. Med Teach 2007;29:122-32.

16. Rudy DW, Fejfar MC, Griffith CH, 3rd, Wilson JF. Self- and peer assessment in a first-year communication and interviewing course.

Eval Health Prof 2001;24:436-45.

17. Arnold L, Shue CK, Kritt B, Ginsburg S, Stern DT. Medical students'

(6)

KJFP

views on peer assessment of professionalism. J Gen Intern Med 2005;20:819-24.

18. Yang EB. Teaching and learning communication skills in medical education. Korean J Med Educ 2008;20:99-107.

19. Nofziger AC, Naumburg EH, Davis BJ, Mooney CJ, Epstein RM.

Impact of peer assessment on the professional development of medical students: a qualitative study. Acad Med 2010;85:140-7.

20. Kim JY, Son HJ, Lee JH, Kim JH, Hong KP. Educational implication of peer evaluation in problem-based learning. Korean J Med Educ 2005;17:275–84.

21. Norcini JJ. Peer assessment of competence. Med Educ 2003;37:539- 43.

22. Huh S. How to administer the peer evaluation in team-based

learning. Korean J Med Educ 2012;24:359-61.

23. Bryan RE, Krych AJ, Carmichael SW, Viggiano TR, Pawlina W.

Assessing professionalism in early medical education: experience with peer evaluation and self-evaluation in the gross anatomy course. Ann Acad Med Singapore 2005;34:486-91.

24. Lurie SJ, Lambert DR, Nofziger AC, Epstein RM, Grady-Weliky TA.

Relationship between peer assessment during medical school, dean's letter rankings, and ratings by internship directors. J Gen Intern Med 2007;22:13-6.

25. Asch E, Saltzberg D, Kaiser S. Reinforcement of self-directed learning and the development of professional attitudes through peer- and self-assessment. Acad Med 1998;73:575.

Appendix 1. The peer assessment checklist.

항목 이름:

동의함(3) 중간(2) 동의하지 않음(1)

시작하기

1. 환자와 인사한다.

2. 자신을 소개하고 역할을 말한다.

3. 존중하는 태도를 보인다.

4. 환자의 건강 문제를 알아내고 확인한다.

5. 의제를 절충한다.

　　　　　 정보획득

건강문제 파악

6. 환자가 이야기 하도록 격려한다.

7. 개방형에서 폐쇄형으로 적절하게 질문한다.

8. 주의 깊게 경청한다.

9. 언어적, 비언어적으로 환자의 응답을 촉진한다.

10. 이해 하기 쉬운 말을 쓴다.

11. 환자의 말을 명료화 한다.

12. 사건의 순서와 일자를 확인한다.

　　　　　　　 환자 관점의 이해

13. 병에 대한 환자의 생각을 알아본다.

14. 환자의 걱정거리를 파악하고 감정표현을 격려한다.

15. 환자의 기대를 알아본다.

16. 병이 환자의 기능에 미치는 영향을 알아본다.

면담구조

17. 한 부분을 알아본 뒤에는 요약한다.

18. 화제전환시 연결어(transitional statement)를 사용한다.

19. 논리적인 순서를 구성한다.

20. 면담 시간에 주의한다.

　　　　 관계형성

21. 적절한 비언어적 행동을 보인다.

22. 읽거나 쓰느라고 대화/관계가 방해되지 않는다 23. 환자와 공감하고 환자를 지지한다.

24. 자신있게 보인다.

25. 미리 단정하지 않는다.

　　　　　 끝내기

26. 또 다른 문제가 있으면 말하도록 환자를 격려한다.

27. 간단히 요약하면서 면담을 마친다.

　　 평가자 이름: