Abstract
Many trials have been developed and established to objectively evaluate the surgical competency of residents in medical fields. But in dentistry, the implant surgical technique assessment and rating system (iSTAR) was only introduced. The aim to this study is to investigate the objective elements and the requirement for objective evaluation for surgical competence in implant dentistry. Literatures which evaluate surgical competency, have innovate observation methods or statistical validation methods were explored and summarized by experienced faculty members in Department of Periodontology, Dankook University College of Dentistry (Cheonan, Korea). Most of evaluation tools in the medical fields consist of a global rating scale and a task specific skills assessment scale. According to the development stage, variant elements of objectivity are required. Content (face) validity is required in the stage of designing assessment tools. Construct validity and reliability are also required for objectivity. Acceptability, feasibility, cost-effectiveness, predictive validity, and educational effect should be evaluated for implementation. For securing objectivity, the validation of iSTAR will be conducted using these background. Collectively, multi-center evaluation of surgical competency can be attempted.
Key Words: competency-based education, dental implants, educational measurement, operative procedures, validation
임플란트 식립 수술을 어떻게 평가할 것인가?: 객관적 평 가도구 개발을 위한 고려사항
강대영, 김창순, 이홍석, 김지연, 송민중, 김정훈, 조인우, 박정철, 신현승 단국대학교 치과대학 치주과학교실
How Can We Evaluate the Competency of Implant Surgery?: Considerations for Development of Objective Assessment Tools
Dae-Young Kang, Chang-Soon Kim, Hong-Seok Lee, Ji-Yeon Kim, Min-Joong Song, Jung-Hoon Kim, In-Woo Cho, Jung-Chul Park, Hyun-Seung Shin
Department of Periodontology, Dankook University College of Dentistry, Cheonan, Korea
ISSN 1229-5418 Implantology 2014; 18(4): 272~280
Reprint requests: Hyun-Seung Shin
Department of Periodontology, Dankook University College of Dentistry, 119, Dandae-ro, Dongnam-gu, Cheonan 330-714, Korea
Tel: 82-41-550-0263, Fax: 82-303-3442-7364 E-mail: [email protected]
Received for publication: December 24, 2014 Accepted for publication: December 27, 2014
교신저자: 신현승
(330-714) 천안시 동남구 단대로 119 단국대학교 치과대학 치주과학교실
Tel: 82-41-550-0263, Fax: 82-303-3442-7364 E-mail: [email protected]
원고접수일: 2014년 12월 24일 게재확정일: 2014년 12월 27일
Copyright © 2014. The Korean Academy of Oral & Maxillofacial Implantology
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0/)
반적 평가척도(global assessment) 및 술식의 숙련도 (task-specific)를 측정하는 문항으로 구성된 평가지를 개발하였다. 각 전공 분야마다 특화된 숙련도 관련 문항 을 개발하여 신뢰도 및 유효성을 검증하고 있으며, 이를 학생 교육 및 수련의 선발에 반영하고 있다.
반면, 치과 임플란트 수술에 관해서는 동물 또는 모델 실습 등을 통해 부족하나마 실제적인 술기 교육을 진행 하는 실정이며 체계적인 교육방법은 제시된 바가 없다.
다만 Park 등9에 의해 implant surgical technique assessment and rating system (iSTAR)라는 평가도구가 개발되기는 하였으나 아직 그 객관성은 검증되지 못한 상황이다.
본 논문의 목적은 임플란트 숙련도 평가도구가 객관성 을 갖기 위한 전제조건을 규명하기 위해 이와 관련된 기 존의 선행연구를 정리하는 것이다.
II 본론
1. 선행연구의 평가도구와 iSTAR의 비교
여기서는 의학계에서 개발된 숙련도 평가도구와 평가 항목을 살펴보고 임플란트 숙련도 평가에 적용할 수 있 는 요소는 어떤 것이 있는지 살펴보고자 한다.
의과영역의 임상적 숙련도에서 가장 중요하게 생각되 는 요소로 지식, 의사소통 기술, 술기 세 가지 요소가 언 급된 바 있다10. 이 중 지식 측면의 경우 범위가 넓어 학 부생 과정에서 각 과목마다 평가에 충분히 많은 시간이 투자되므로 이를 한 번에 평가하기는 어려울 것으로 생
임플란트의 성공은 Albrektsson 등1이 제시한 기 준이 장기간 유지되고 보철물의 심미성도 만 족되어야 한다. 임플란트 강연이나 심포지엄 등에서 심미적 기능적으로 우수한, 성공적인 증례가 발 표되지만, 실제로는 나사 파절 또는 임플란트 주위염, 잘 못된 위치로 인한 보철물 제작의 어려움 등의 문제가 발 생한다. 하지만 이에 대한 장기간 연구는 부족한 실정이 다.
이런 원인을 모두 재료적 특성(material property)이나 환자의 문제(patient-related risk factor)로 전가할 수는 없다. 임플란트 수술 전 위험도를 평가하고 및 재료와 예 지성 있는 적절한 술식을 선택하며, 수복물 및 골, 치은 조직의 특성을 고려하여 임플란트를 식립하고, 치료, 유 지 관리를 계획 및 시행하는 것은 술자의 역할이기 때문 이다2.
실례로 Albrektsson3은 스웨덴 예테보리대학에서 식립 한 임플란트 1,000개의 임상 결과를 평가한 결과 실패한 전체 임플란트의 40%가 단 1명의 술자에 의해 식립되었 음을 보고하면서 임플란트 재료적 특성이 임플란트의 성 공률에 미치는 영향이 지금까지 과대평가되었고, 상대적 으로 술자 관련 위험요소(surgeon-related risk factor)가 간과되었음을 강조한 바 있다. 따라서 이러한 술자 관련 위험 요소를 개선하기 위해 체계적인 교육을 통한 수술 능력 증진이 절실한 시점이다.
의학계에서는 기존의 개복 수술(open surgery)이 점차 복강경을 이용한 최소침습 수술(laparoscopic surgery)로 전환되면서 습득 난이도가 크게 높아졌다. 이에 수술 능 력을 향상시키기 위해 가상 시뮬레이션(virtual reality)4, 또는 동작 분석(motion analysis)5 등을 도입하고 human
Review Article
각된다. 또한 의사소통 기술 역시 경우에 따라 발생하는 상황이 다양하며, 환자의 성격, 성향이 다르기 때문에 객 관적인 평가가 어렵다. 반면 술기의 경우 조직에 대한 위 해성을 최소화하였는지, 수술 목적을 달성하였는지 등 목표가 비교적 명확하므로 평가가 용이할 것으로 생각된
다. 특히 임플란트 수술에서는 기존의 iSTAR 연구에서 수술 단계가 명확히 구별될 수 있음이 제시된 바 있다 (Table 1)9. 따라서 본 논문에서는 임플란트의 술기 평가 에 주안점을 두고자 한다.
현재 의학계에서는 술기 평가는 크게 전반적 평가척도
Table 1. Implant surgical technique assessment and rating system (iSTAR)9 Score
Assessment criteria 1
(Poor)
2 3 4 5
(Excellent) NA General surgical skills
Respect for tissue Instrument handling Flow of operation Knowledge of procedure Specific surgical skills
Incision 1. Proper incision design using standard protocol 2. Fluent placement of incision without hesitation 3. Preservation of the keratinized mucosa Flap reflection 1. No tearing of the flap during the reflection
2. Minimal damage to the soft tissue 3. Enough extension for the visual access
Drilling 1. Proper distance from neighboring implant and teeth 2. Parallel path with the neighboring teeth
3. Stable hand rest during the drilling
4. Fluent change and proper selection of drills 5. Adaptive drilling based on the bone quality
6. Acquisition of primary stability greater than 10 N/cm2 7. Installation of fixture within the bony housing
Guided bone regeneration 1. Bone graft material placement 2. Placement and fixation of membrane 3. Proper application of releasing incisions
4. Proper use of mattress suture for primary closure
Suture 1. Surgeon’s square knot
2. Suture spacing 3~5 mm 3. Minimal tension applied
Revised from the article of Park et al. (J Periodontal Implant Sci. 2012; 42: 25-29)9 with original copyright holder’s permission.
NA: not available.
Dae-Young Kang et al. : How Can We Evaluate the Competency of Implant Surgery?: Considerations for Development of Objective Assessment Tools. Implantology 2014
(global rating scale)와 과제 평가척도(task specific skills assessment scale)의 두 범주로 나누어 구성되어 있다.
첫째로, 전반적 평가척도는 외과적 수술에 관한 일반 적인 술기에 대한 평가로 특정 술식과 관련된 것은 제외 한다. 이것은 Martin 등8과 Reznick 등11이 발표한 OSATS (Table 2)에서 처음 제안되었으며, 그 이후에 개 복 수술, 복강경 수술, 혈관 수술 및 미세 수술, 신장외 과, 안과학, 산부인과학 등 여러 분야에서 폭넓게 활용되 고 있다12.
실례로 복강경 수술의 경우 일반적인 개복 수술(open surgery)과는 그 수술 접근법이 다르다는 점을 고려하여, 좀 더 특화된 평가도구인 global operative assessment of laparoscopic skills (GOALS)13이 개발되어 있다. 또한
McGill inanimate system for training and evaluation of laparoscopic skills (MISTELS)14의 경우에는 모형상에서 5가지의 업무를 시행하도록 한 뒤 주어진 제한 시간(예:
300초, 120초)을 기본 점수로 하여 수행 완료 시간(초) 만 큼을 빼고, 실수가 있는 해당하는 점수만큼을 감점한 뒤 점수를 환산하여 술기를 평가한다(Table 2)11,13,14.
둘째로, 과제 평가 척도(task specific skills assess- ment scale)는 특정 술식(procedure)을 잘 시행하였는지 를 평가한다. iSTAR의 경우 specific surgical skill 부분 이 이에 해당한다. 과제 평가 척도에서는 술식에 대한 간 단한 평가항목을 갖는 경우도 있으며, 각 술식 과정을 조 금 더 세분화한 과제(task)에 대한 오류(error)를 범하였 는지를 체계적으로 분석하는 경우(task analysis, human reliability test)도 있다. 이 경우 오류의 유형과 심도를
Table 2. Examples of global rating scale
Assessment tool Assessment scale Evaluation items Application field Objective structured
assessment of technical skill (OSATS)11
Likert scale (1~5 points) 1. Respect of tissue 2. Time and motions 3. Instrument handling 4. Knowledge of instruments 5. Flow of operation
6. Use of assistants
7. Knowledge of specific procedure
Open surgery
Global operative assessment of laparoscopic skills (GOALS)13
Likert scale (1~5 points) 1. Depth perception 2. Bimanual dexterity 3. Efficiency
4. Tissue handling 5. Autonomy 6. Level of difficulty
Laparoscopic surgery
McGill inanimate system for training and evaluation of laparoscopic skills (MISTELS)14
Score=cut off time–finish time
There are additional substract points if there are mistakes.
1. Pegboard patterns 2. Cutting
3. Ligating loop placement 4. Intracorporeal knot 5. Extracorporeal knot
Laparoscopic surgery
Dae-Young Kang et al. : How Can We Evaluate the Competency of Implant Surgery?: Considerations for Development of Objective Assessment Tools. Implantology 2014
Review Article
분석하는데, 만약 과도한 깊이의 골구 형성으로 하치조 신경이 손상시킨 경우 오류의 종류는 특정 단계가 과도 하게 시행된 것에 해당되고, 그 심도는 부작용을 일으킬 수 있는 오류에 해당된다. 이러한 좀더 구체화된 오류 분 석을 통해 술기의 개선에 더욱 초점을 두고 있다. 따라서 개선된 평가도구(이하 iSTAR2라 칭함)에서는 이에 대한 고려도 필요할 것으로 생각된다15.
2. 선행연구의 관찰방법
외과수술의 실제적 평가방식은 직접 관찰(direct observation), 비디오 녹화본 분석(videotaping), 동작 분 석(motion analysis)이 있다.
과거에는 수술에 같이 참여하는 숙련자가 직접 관찰 후 조언을 주었다. 그러나 복강경 수술이 보급되면서 수 술 녹화도 함께 이루어지게 되어 더 많은 관찰자가 관찰 하고 토의할 수 있게 되었다.
동작 분석의 경우 크게 전자기 추적 분석과 광학적 분 석 두 가지로 나누어 볼 수 있다. 전자기 분석의 경우 전 자기 운동 추적기(Isotrak II; Polhemus Inc., Colchester, VT, USA)와 분석 소프트웨어를 이용한 imperial college surgical assessment device (ICSAD)가 있다. 센서를 손 가락에 부착한 후 그 움직임을 추적하여 동작수(속도가 바뀌는 경우 한 동작으로 정의된다)와 총 소요 시간, 총 동작 거리를 측정할 수 있다. 광학적 분석의 경우 주로 사용하는 어깨, 팔꿈치(dominant upper limb)에 적외선 다이오드를 부착하고 적외선 카메라 시스템(Kinemetrix model 5.0-3D/3MBM; MIE Medical Research Ltd., Leeds, UK)을 이용하여 서로 다른 3개의 적외선 카메라 를 통해 다이오드의 3차원적 좌표를 연속적으로 추적하 여 동작을 분석한다16.
직접 관찰의 경우 관찰 횟수나 관찰자의 수가 제한되 는 단점이 있으며, 동작 분석의 경우는 특수 기기가 필요 하여 보편화되기에 어려움이 있다. 반면 비디오 녹화는
반복재생이 용이하고 자료의 보관과 공유가 가능하다는 장점이 있다. 이에 iSTAR2에서는 비디오 테이프를 이용 하여 평가를 시행하고자 한다.
3. 객관성 평가
1) 타당성(validity)
본 항목에서는 기존의 iSTAR를 보완하여 객관성을 보 유한 평가도구로서 iSTAR2를 개발하기 위해 어떠한 요 소가 필요한지 살펴보고자 한다.
타당성(validity)17은 실제 어떤 검사에서 평가하고자 하 는 대상을 얼마나 정확히 측정하고 있는지를 판단하는 것이다. 예를 들어 iSTAR에서는 술기를 정확히 평가하는 것에 중점을 두고 있고 이것이 잘 구현되었을 때 타당성 있는 평가도구가 될 것이다. 타당성은 내용 타당성, 기준 관련 타당성, 구조적 타당성 세 가지로 나누어 살펴볼 수 있다.
첫째로 내용 타당성(content validity)은 어떤 사람이 평가도구를 접하고 이론상의 임플란트 술식과 비교해 보 았을 때, 임플란트 술식을 객관적으로 평가할 수 있을 것 같다고 동의할 때 얻어지는 것이며 다른 표현으로 액면 타당성(face validity)이라고도 한다. 이를 확보하기 위해 서는 임플란트 식립 숙련도에 관한 속성의 일부를 대표 성 있게 포함하여야 한다. iSTAR의 경우 global rating scale에서 OSATS의 일반적인 수술에서 필요한 속성 7개 중 4개를 차용하였고, task-specific checklist에서 임플 란트 식립 과정 중 절개, 판막 거상, 골구형성, 임플란트 식립, 골유도재생술, 봉합의 과정을 포함하고 있다. 이는 숙련된 술자와 연구진들의 고찰과 선행연구를 토대로 선 정된 최소한의 지표로서 그 타당성을 인정받았다.
둘째로 기준 관련 타당성(criterion validity)은 하나의 평가도구를 사용하여 측정한 결과를 다른 기준지표를 사 용하여 측정한 결과와 비교하여 나타난 관련성의 정도를 의미한다. 예측 타당성(predictive validity)과 동시 타당
성(concurrent validity)으로 세분화할 수도 있으나 현재 임플란트 관련하여 iSTAR와 동시에 타당성을 평가할 수 있는 기준이 될 만한 검사법이 없기 때문에 여기서는 예 측 타당성만 살펴보도록 한다. 예측 타당성의 경우 대표 적인 예로 대입 수학능력시험 점수와 학생들의 대학 학 점과의 상관관계를 들 수 있다. 만약 높은 수능 점수를 받은 학생의 입학 후 학점이 낮다면 수학능력시험은 원 래의 목표인 대학 입학 후의 학습능력을 예측하는 데 실 패한 것이다. 따라서 iSTAR를 이용하여 평가한 점수가 추후 실제 임플란트 성공률과 높은 상관관계가 있다면 예측 타당성이 높은 평가도구라고 할 수 있고, 여기서 임 플란트 성공률은 iSTAR의 타당성을 평가하는 기준이 된 다.
셋째로 구성 타당성(construct validity)은 평가도구가 평가하고자 하는 본질을 얼마나 정확히 측정하고 있는지 를 파악하는 방법으로 크게 수렴적 타당성(convergence validity)과 차별적 타당성(discriminant validity)으로 분 류된다. 수렴적 타당성은 같은 개념을 평가하는 경우에 상이한 측정방법을 사용하더라도 그 측정값은 하나의 차 원으로 수렴해야 한다는 점에 착안한 것으로 치간골 파 괴 정도를 임상적 부착수준(clinical attachment level)과 방사선 사진상의 치간골 높이 측정으로 평가할 때 이 둘 간에 상관관계가 있어야 한다. 차별적 타당성은 상이한 개념을 평가하는 경우에는 동일한 측정방법을 사용하더 라도 그 측정값 간에는 차별성이 나타나야 한다는 것으 로 임플란트 식립의 숙련도가 다른 두 그룹 간에 iSTAR 를 이용하여 평가하였을 때, 그 결과에 차이가 나야 한다 는 점을 예로 들 수 있다.
2) 신뢰도(reliability)
어떤 술식을 평가할 때 관찰된 숙련도와 실제 사이에 는 차이가 발생할 수 있는데 이를 측정오차라고 한다. 측 정 시마다 그 값이 변한다면 그 검사를 신뢰할 수 없을
것이다. 따라서 측정오차를 낮추고 신뢰도를 확보하는 것은 평가에 있어서 매우 중요한 부분이라고 볼 수 있다.
이를 위해서는 오차의 원인을 알아야 하는데 임플란트 술식을 평가할 때 발생할 수 있는 오차의 원인은 수련의 간 숙련도의 차이, 관찰자의 차이, 증례 특이성의 세 가 지로 나눌 수 있다18.
첫째로, 수련의 간 숙련도의 차이(variance from trainee, Vt)는 우리가 측정하고자 하는 참값이며 나머지 는 모두 측정오차를 일으키는 원인이라 할 수 있다. 둘째 로, 관찰자 차이(variance from observer, Vo)를 일으키 는 요소는 관찰자 간 차이(inter-observer variation), 관 찰자 내 차이(intra-observer variation)가 있다. 관찰자 간의 차이는 어떤 한 관찰자가 일관적으로 높거나 낮은 점수를 주는 경향 또는 좋은 술식(performance)에 대한 견해 차이로 발생한다. 실제 올림픽에서는 이를 보정하 기 위해 가장 낮은 점수와 가장 높은 점수를 제외하고 나 머지를 합산하는 방식을 채택하고 있다. 관찰자 내의 차 이는 특별한 이유 없이 관찰자의 채점이 평가 시마다 높 거나 낮을 수 있기 때문에 발생한다. 셋째로, 증례의 특 이성(variance from case specificity, Vc)은 증례마다 그 난이도나 상황이 다른 점을 포함하는데, 임플란트 식립 에 관한 증례 특이성으로는 골질, 골량, 식립 부위 등을 들 수 있다.
한편 이 세 오차의 원인이 서로 상호작용하는 경우도 존재하는데 수련의-증례 상호작용(Vt-c)으로 인한 오차 의 경우 왼손잡이인 수련의가 좌측 하악 임플란트를 식 립 시 오른손잡이에 비해 상대적으로 유리한 점을 예로 들 수 있다. 관찰자-증례 상호작용으로 인한 오차(Vo-c) 는 특정 관찰자가 특정 증례의 난이도를 높게 생각하여 상대적으로 가산점을 주는 경우를 생각할 수 있다. 수련 의-관찰자 상호작용(Vt-o)의 경우, 특정 수련의에 대한 관찰자의 선입견 등을 예로 들 수 있다. 마지막으로 수련 의-관찰자-증례 간의 상호작용(Vt-o-c)은 이론적으로
Review Article
존재하나 고려하기 어려워 이를 잔여오류(residual error)로 표현하며 여기서는 설명을 생략한다.
신뢰도 평가도구는 위의 오류의 원인으로 인해 얼마나 오차가 나는지를 평가한다.
관찰자 간 신뢰도(interobserver reliability)는 여러 관 찰자가 같은 술식(performance)을 평가하도록 하여 관찰 자 간의 일치도를 측정한다. 관찰자 내 신뢰도(intraob- server reliability)의 경우 한 관찰자가 한 술식을 비디오 녹화 후 3~4주 정도의 시간 간격을 두고 여러 번 관찰하 며6, 검증-재검증 신뢰도(test-retest reliability)의 경우 한 관찰자가 서로 다른 여러 술식을 관찰함으로써 증례 특이성을 평가한다.
한편 일반화 가능도 이론(generalisability theory)에서 는 아래 식과 같이 각 오차의 원인(Vt, Vo, Vc)뿐만 아니 라 각 원인끼리의 상호작용(Vt-o, Vt-c, V-o-c, Vt-o-c)까지 고려하여 일반화 가능도 계수(generalis- ability coefficient)를 계산한다. 예비연구(pilot study)를 실시하여 이 계수를 측정하면 몇 명의 관찰자가 몇 증례 를 관찰하였을 때 어느 수준 이상의 신뢰도를 얻을 수 있 는지를 계산해낼 수 있다.
마지막으로 내적 일관성(internal consistency)을 통해 서도 신뢰도를 평가할 수 있다. 이것은 평가문항 간 상관 관계를 평가하는 것으로 Cronbach’s α라는 척도를 사용 한다19. 예를 들어 임플란트 식립 후 환자의 불편함을 평 가한다고 하였을 때 부종의 정도, 지혈에 걸린 시간, 통 증의 심도, 정상적인 식사 가능 여부를 묻는 네 가지 문 항으로 설문조사를 하였다고 하였을 때, 이 네 질문 사이 의 상관관계가 높다면 오차가 서로 간 상쇄작용을 일으 키면서 측정오차의 평균이 0에 가까워져 측정결과가 참 값에 가깝게 된다. 따라서 평가문항 간 내적 일관성이 높
으면 신뢰도가 높아질 것이다.
이상을 고려하였을 때 iSTAR2의 신뢰도를 높이기 위 한 방법으로 관찰자로 인한 오차를 줄이기 위해 내적 일 관성이 높은 최소한의 문항으로 구성해 관찰자의 일관된 응답을 유도하여 최소한의 관찰자 수, 관찰 횟수로도 적 정 수준의 신뢰도를 얻을 수 있도록 평가문항을 구성할 것이다. 그리고 증례 특이성으로 인한 오차를 줄이기 위 해 특정 부위에 치우치지 않도록 2개 이상의 서로 다른 부위를 평가할 것이다. 관찰자의 수, 관찰 횟수는 예비연 구를 실시한 후 일반화 가능도 계수를 측정하여 결정할 계획에 있다.
3) 실행 가능성(feasibility), 교육 효과(educational impact), 비용 효율성(cost-effectiveness)
지금까지 우수한 평가도구 개발을 위한 여러 조건들을 알아보았다. 임플란트 술자의 술기 능력 개선을 위해서 는 정확한 측정과 평가가 가장 중요하다. 하지만 평가도 구의 개발에 많은 시간과 노력이 든다는 점을 감안하였 을 때 실제로 보편적으로 사용될 수 있는지에 대한 성질 또한 평가도구가 갖춰야 할 요건이라고 생각된다. 이를 위해 아래의 항목에 대해 고려해야 한다20.
첫째로, 실행가능성 및 용인성(acceptability)은 평가 대상자 또는 관찰자가 측정을 시행하기에 어려움이나 부 담은 없는지에 관한 점이다. 평가문항의 수가 많을수록, 측정에 걸리는 시간, 관찰자의 수가 많을수록 관찰자의 부담이 가중되어 평가의 실행 가능성은 감소할 것이다.
따라서 평가의 보편화를 위해서는 반드시 이러한 점이 고려되어야 한다.
둘째로, 교육 효과는 예측 타당성(predictive validity) 의 연장선상에 있는 항목으로 이런 임플란트 평가를 통 해 수련의가 스스로 부족한 점을 충분히 피드백 받고, 교 육자 또한 교육전략을 세울 수 있다면 학습곡선(learning curve)이 단축될 것이다. 그러므로 이러한 평가 결과는
반드시 평가 대상자에게 제공되어 향후 개선에 활용될 수 있어야 한다.
마지막으로, 비용 효율성의 경우 평가를 위해 필요한 모형 또는 동물모델 등의 비용, 분석 혹은 관찰자의 평가 문항 작성 시 필요한 시간 및 노력에 대비하여 얼마나 효 과가 있는지에 관한 항목이라고 볼 수 있다. iSTAR2의 경우는 실제 수술과정을 비디오로 녹화하여 여러 관찰자 가 시청하는 형식이므로 시간, 비용의 절감에 있어 우수 하다. 따라서 많은 교육현장에서 널리 선호될 것으로 생 각된다.
4) 평가도구 개발과정
평가도구 개발과정 중 디자인 단계는 평가항목을 선택 하는 과정으로, 초기에는 전문가의 임상적 경험에 따라 중요하다고 느끼는 부분이 주로 평가항목으로 포함된다.
물론 추가적인 문헌 고찰 및 전문가 집단의 토의를 통해 수정 보완이 이루어지지만, 역시 주관이 개입되어 있는 상태이다. iSTAR는 숙련된 술자와 연구진들의 고찰과 선 행연구를 통해 내용 타당성을 확립하였다.
검증 단계(validation)에서는 신뢰도와 유효성을 평가 하는데, 이때 서로 다른 숙련도를 가진 집단 간 측정을 통해 구조적 타당성 및 신뢰도를 검증하여야 한다. 신뢰 도의 경우 최소 두 명 이상의 맹검된 숙련된 관찰자 간의 평가지 작성을 통해 관찰자 간 신뢰도를 얻을 수 있으며, 녹화된 영상을 다른 시점에서 반복 평가하여 검증-재검 증 신뢰도를 얻을 수 있을 것이다. 그러나 이때 신뢰도를 검증하기 위해 필요한 관찰자 및 반복 횟수는 일반화 가 능도 이론을 통해 추정해내야 한다.
실행 단계(implementation)에서는 다기관 연구를 통해 평가도구를 시험하여 실행 가능성(feasibility)과 용인성 (acceptability), 비용대비 효율(cost-effectiveness)을 평 가하고 궁극적으로는 한 대상자를 시간에 따라 측정하여 얻은 학습곡선(learning curve)을 분석하여 교육효과를
평가한다. 평가 대상자가 실제 수련을 마치고 임상에서 임플란트 식립 시 그 성공률을 추적한다면 이를 토대로 예측 타당성(predictive validity)을 평가할 수 있을 것이 다.
현재 기존의 iSTAR는 현재 신뢰도와 타당성을 검증받 지 못한 상태이다. 즉 디자인 단계에 머물러 있다. 향후 과제는 이 검증 단계(validation)를 통해 이들을 획득한 iSTAR2를 개발하는 것을 목표로 하고, 최종적으로 다기 관에서 iSTAR2를 개발해 이를 이용하여 실제 교육 효과 를 평가하고자 한다.
III 결 론
본 논문에서는 임플란트 수술 능력의 개선을 위한 평 가도구로서 앞서 개발된 iSTAR의 객관성을 검증하기 위 해 필요한 내용들을 정리해 보았다. 향후 이를 통해 개선 된 평가도구인 iSTAR2를 제작하고 궁극적으로는 합병증 을 최소화할 수 있는 이상적인 임플란트 치료의 보급 및 국민 건강보건의 증진에 기여하기를 기대한다.
본 논문의 내용을 토대로 할 때 향후 개선되어야 할 iSTAR2는 아래와 같은 점을 고려해야 할 것으로 생각된 다.
1. 수술과정을 비디오 녹화 후 관찰자가 평가지를 작성 하는 관찰방법을 택하여 여러 명의 관찰자가 원하는 시 점에 반복하여 평가할 수 있도록 하고 자료를 보관할 수 있도록 한다.
2. 상관관계가 높은 최소한의 수의 문항으로 구성하여 내적 일관성을 높여 최소한의 관찰자 수, 관찰 횟수로도 높은 신뢰도를 유지하고 실행 가능성, 비용대비 효율성 을 극대화한다.
3. 임플란트 식립에 숙련된 군과 그렇지 않은 군 간의
Review Article
iSTAR2 평가 결과를 비교하여 차이를 보이도록 문항을 구성하여 차별적 타당성을 획득한다.
4. 임상 평가를 토대로 교육자와 피교육자 사이의 객관 적 피드백을 통해 학습곡선을 단축하고 궁극적으로 숙련 도를 증진할 수 있는 교육 효과를 제공한다.
References
1. Albrektsson T, Zarb G, Worthington P, et al. The long-term efficacy of currently used dental implants: a review and proposed criteria of success. Int J Oral Maxillofac Implants. 1986; 1: 11-25.
2. Froum SJ. Dental implant complications: etiology, prevention, and treatment. Chichester, West Sussex, UK: Wiley-Blackwell; 2010.
3. Albrektsson T. Is surgical skill more important for clinical success than changes in implant hardware? Clin Implant Dent Relat Res. 2001; 3:
174-175.
4. Park J, MacRae H, Musselman LJ, et al. Randomized controlled trial of virtual reality simulator training: transfer to live patients. Am J Surg.
2007; 194: 205-211.
5. Datta V, Mackay S, Mandalia M, et al. The use of electromagnetic motion tracking analysis to objectively measure open surgical skill in the laboratory-based model. J Am Coll Surg. 2001; 193: 479-485.
6. Hayes AF. Statistical methods for communication science. Mahwah:
Routledge; 2005.
7. Rushforth HE. Objective structured clinical examination (OSCE):
review of literature and implications for nursing education. Nurse Educ Today. 2007; 27: 481-490.
8. Martin JA, Regehr G, Reznick R, et al. Objective structured assessment of technical skill (OSATS) for surgical residents. Br J Surg. 1997; 84:
273-278.
9. Park JC, Hwang JW, Lee JS, et al. Development of the implant surgical technique and assessment rating system. J Periodontal Implant Sci.
2012; 42: 25-29.
10. Ahmed K, Ashrafian H, Hanna GB, et al. Assessment of specialists in cardiovascular practice. Nat Rev Cardiol. 2009; 6: 659-667.
11. Reznick R, Regehr G, MacRae H, et al. Testing technical skill via an innovative "bench station" examination. Am J Surg. 1997; 173: 226-230.
12. Larsen CR, Grantcharov T, Schouenborg L, et al. Objective assessment of surgical competence in gynaecological laparoscopy: development and validation of a procedure-specific rating scale. BJOG. 2008; 115:
908-916.
13. Vassiliou MC, Feldman LS, Andrew CG, et al. A global assessment tool for evaluation of intraoperative laparoscopic skills. Am J Surg. 2005;
190: 107-113.
14. Derossis AM, Fried GM, Abrahamowicz M, et al. Development of a model for training and evaluation of laparoscopic skills. Am J Surg.
1998; 175: 482-487.
15. Cox A, Dolan L, Macewen CJ. Human reliability analysis: a new method to quantify errors in cataract surgery. Eye (Lond). 2008; 22: 394- 397.
16. Emam TA, Hanna GB, Kimber C, et al. Differences between experts and trainees in the motion pattern of the dominant upper limb during intracorporeal endoscopic knotting. Dig Surg. 2000; 17: 120-123;
discussion 124-125.
17. Gallagher AG, Ritter EM, Satava RM. Fundamental principles of validation, and reliability: rigorous science for the assessment of surgical education and training. Surg Endosc. 2003; 17: 1525-1529.
18. Crossley J, Davies H, Humphris G, et al. Generalisability: a key to unlock professional assessment. Med Educ. 2002; 36: 972-978.
19. Cronbach L. Coefficient alpha and the internal structure of tests.
Psychometrika. 1951; 16: 297-334.
20. Ahmed K, Miskovic D, Darzi A, et al. Observational tools for assessment of procedural skills: a systematic review. Am J Surg. 2011;
202: 469-480.e6.
