첨단 디지털 헬스케어 의료기기를 진료에 도입할 때
평가원칙
박 성 호1·도 경 현1·최 준 일2·심 정 석3·양 달 모4·어 홍5·우 현 식6·이 정 민7·정 승 은2·오 주 형8 | 1 울산대학교 의과대학 서 울아산병원 영상의학과, 2 가톨릭대학교 의과대학 서울성모병원 영상의학과, 3 위드심의원, 4 강동경희대학교병원 영상의학과, 5 삼성서울병원 영상의학과, 6 서울대학교 의과대학 서울특별시보라매병원 영상의학과, 7 서울대학교 의과대학 서울대학교병원 영상의학과, 8 경희대학교 의 과대학 경희의료원 영상의학과Principles for evaluating the clinical
implementation of novel digital healthcare devices
Seong Ho Park, MD1 · Kyung-Hyun Do, MD1 · Joon-Il Choi, MD2 · Jung Suk Sim, MD3 · Dal Mo Yang, MD4 · Hong Eo, MD5 · Hyunsik Woo,MD6 · Jeong Min Lee, MD7 · Seung Eun Jung, MD2 · Joo Hyeong Oh, MD8
1Department of Radiology and Research Institute of Radiology, Asan Medical Center, University of Ulsan College of Medicine, Seoul; 2Department of Radiology, Seoul St. Mary's Hospital, The Catholic University of Korea College of Medicine, Seoul; 3Withsim Clinic,
Seongnam; 4Department of Radiology, Kyung Hee University Hospital at Gangdong, Seoul; 5Department of Radiology and Center
for Imaging Science, Samsung Medical Center, Seoul; 6Department of Radiology, SMG-SNU Boramae Medical Center, Seoul National
University College of Medicine, Seoul; 7Department of Radiology, Seoul National University Hospital, Seoul National University College
of Medicine, Seoul; 8Department of Radiology, Kyung Hee University Hospital, Kyung Hee University College of Medicine, Seoul,
Korea
With growing interest in novel digital healthcare devices, such as artificial intelligence (AI) software for medical diagnosis and prediction, and their potential impacts on healthcare, discussions have taken place regarding the regulatory approval, coverage, and clinical implementation of these devices. Despite their potential, ‘digital exceptionalism’ (i.e., skipping the rigorous clinical validation of such digital tools) is creating significant concerns for patients and healthcare stakeholders. This white paper presents the positions of the Korean Society of Radiology, a leader in medical imaging and digital medicine, on the clinical validation, regulatory approval, coverage decisions, and clinical implementation of novel digital healthcare devices, especially AI software for medical diagnosis and prediction, and explains the scientific principles underlying those positions. Mere regulatory approval by the Food and Drug Administration of Korea, the United States, or other countries should be distinguished from coverage decisions and widespread clinical implementation, as regulatory approval only indicates that a digital tool is allowed for use in patients, not that the device is beneficial or recommended for patient care. Coverage or widespread clinical adoption of AI software tools should require a thorough clinical validation of safety, high accuracy proven by robust external validation, documented benefits for patient outcomes, and cost-effectiveness. The Korean Society of Radiology puts patients first when considering novel digital healthcare tools, and as an impartial professional organization that follows scientific principles and evidence, strives to provide correct information to the public, make reasonable policy suggestions, and build collaborative partnerships with industry and government for the good of our patients.
서론
인공지능을 이용한 진단보조 소프트웨어나 웨어러블 (wearable) 기기와 같이 생체정보를 지속적으로 측정/기록 하는 형태의 첨단 디지털 헬스케어 의료기기들이 가까운 미 래에 의료에 많은 영향을 미칠 것으로 예상된다. 특히, 최 근 국내외에서 여러 인공지능기반 진단보조 소프트웨어들이 식품의약품안전처 및 US Food and Drug Administration (FDA)와 같은 규제 기관들의 허가를 받기 시작하였고[1-4], 따라서 이들에 대한 임상검증, 허가, 급여 및 진료현장 도 입과 관련하여 논의가 증가하고 있다. 이러한 디지털 의료 기기들은, 기존의 의약품이나 수술적 치료기기 등에 적용되 는 전통적인 임상검증 방법을 그대로 적용하기 어려울 수 있어 이 과정에서 혼선이 초래되고 있다[5,6]. 또한, 인공지 능기반 소프트웨어들의 경우에는 인공지능에 대한 용어의 정의와 관련하여 추가적인 혼선이 있다. 다른 한편으로, 인 공지능 진단보조 소프트웨어를 포함한 첨단 디지털 헬스케 어 의료기기들에 대하여 적절한 임상검증이 이루어지지 않 는 문제가 심각하게 대두되고 있다[5-8]. 디지털 예외주의 (digital exceptionalism) [6]라고도 불리는 이 문제는, 1) 적 절한 임상검증의 중요성과 의료에 대한 산업/기술계의 이 해 부족, 2) 디지털 헬스케어의 산업화 측면을 강조하고 이 를 주요 미래 산업분야로 육성하려는 정부의 의지에 따른 규 제 간소화 및 신속한 허가를 위한 제도적 움직임, 3) 디지털 헬스케어 의료기기의 임상검증은 의약품이나 치료기기의 임 상검증을 위해 이미 잘 정립되어 있는 방법론을 그대로 적용 하기 어려울 수 있다는 점 들이 합쳐져서 나타나는 부작용으 로 볼 수 있다. 이와 같이 기술과 산업을 강조하고 의료의 본 질을 간과하는 디지털 예외주의는 환자의 안전과 건강 그리 고 의료에 대한 잠재적 위해 요인으로 우려를 낳고 있다[6]. 대한영상의학회는 의료영상에 기반한 임상진료와 디지털 의학의 전문가 단체로서, 특히 인공지능 의료용 소프트웨어 의 개발, 임상검증, 허가, 진료현장 도입, 및 지속적 감시에 있어 환자를 최우선으로 생각하고, 기술과 산업 중심의 편 향된 시각을 지양하며, 의료와 기술/산업을 균형 있게 고려 하는 것이 중요하다고 판단한다. 이 백서에서는, 인공지능 진단보조 소프트웨어에 초점을 맞추어 첨단 디지털 헬스케 어 의료기기의 임상검증, 허가, 급여결정 및 임상도입에 대 한 학술적 원칙과 대한영상의학회의 전문가적 견해를 제시 하고자 한다.인공지능 관련 용어의 정의
인공지능은 인간의 인지능력이 필요한 행위를 컴퓨터가 수행할 수 있도록 하는 시스템 혹은 알고리듬을 통칭하는 넓은 의미의 용어로서, 그 중에서 기계학습은 행위 알고리 듬의 명시적인 프로그래밍 없이 기계가 데이터를 기반으로 자료 내의 어떤 패턴을 찾아(이 과정을 학습이라 부른다) 인 공지능을 수행할 수 있도록 하는 것을 지칭한다(Figure 1) [9,10]. 기계학습은 사람이 컴퓨터에게 진단/예측을 위한 어Received: November 22, 2018 Accepted: December 3, 2018 Corresponding author: Joo Hyeong Oh
E-mail: ohjh6108@gmail.com © Korean Medical Association
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons. org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
Computer-aided diagnosis
Convolutional neural networks are a specific type of deep learning Artificial intelligence
Machine learning Representation learning
Deep learning
떤 논리를 직접 프로그래밍하는 과거 규칙기반 소프트웨어 와 대비되는 개념으로, 논리를 직접 프로그래밍하지 않고 대 량의 자료와 최종 진단/예측의 결과를 투입하면 컴퓨터가 투 입된 자료와 최종 진단/예측을 연결하는 논리 알고리듬을 찾 아낸다는(학습한다는) 차이가 있다[8]. 기계학습에는 구체적 인 학습요소(feature라 함)들을 사람이 지정해서 입력한 후 학습을 수행하는 방식(예: 전산화단층촬영 영상을 분석해서 종양을 진단하는 알고리듬에 종양의 크기, 종양의 모양, 종 양의 조영증강 정도, 종양의 경계 등을 사람이 별도로 정리 하여 컴퓨터에 입력)도 있고 학습요소 들을 따로 분리해 준 비하지 않은 상태에서 데이터 전체를 그대로 입력하여 학습 을 수행하는 방식(예: 전산화단층촬영 영상을 그대로 컴퓨 터에 입력)도 있다. 후자를 표현학습이라 하며 딥러닝(deep learning)이 이에 속한다(Figure 1) [9,10]. 영상분석에 많이 이용되는 컨볼루션 신경망(convolutional neural network) 은 딥러닝의 한 가지 방법이다[8,11]. 최근에 개발되고 있 는 인공지능을 이용한 진단보조 소프트웨어는 딥러닝 기술 을 이용하여 만들어진 진단/예측 알고리듬을 말하는 경우 가 대부분이며, 이로 인해 인공지능과 딥러닝 두 용어가 마 치 동의어인 것처럼 사용되어 혼선이 초래되고 있다. 한편, computer-aided diagnosis (CAD)는 소프트웨어가 하는 기 능적 측면을 기술하는 용어로, 진단을 보조하는 소프트웨어 를 말하며 특정 기술을 지칭하는 것이 아니다. 인공지능 의 료용 소프트웨어의 많은 경우는 진단보조 기능을 수행한다 (Figure 1).
식품의약품안전처 허가와 US FDA 허가의
의미
디지털 헬스케어 기기가 의료기기로서 환자에게 이용되 기 위해서는 가장 먼저 국내의 경우 식품의약품안전처의 허가를, 미국의 경우 US FDA의 허가를 받아야 한다. 이 때 식품의약품안전처 또는 US FDA의 허가는, 단지 인체 를 대상으로 해당 기기를 사용할 수 있다는 점과 이러한 목 적으로 판매할 수 있다는 허가로, 디지털 헬스케어 기기의 안전성과 유효성에 대해서 일정 수준의 평가를 하기는 하 지만, 이러한 평가가 기기가 환자에게 도움이 되고 진료 현장에서 사용할 만한 가치가 있다는 것을 증명하는 절차 가 아님을 분명히 이해하여야 한다[12,13]. 허가를 위해 매 우 높은 수준의 임상적 근거가 요구되는 의약품의 경우와 는 달리 소프트웨어와 같은 디지털 기기의 경우에는 일반 적으로 상대적으로 낮은 수준의 근거만으로 허가가 이루어 진다[3,4,13]. 최근에는 첨단 디지털 헬스케어 의료기기의 허가를 보다 더 신속/간소화 하려는 제도적 움직임이 나타 나고 있다. 미국의 경우 US FDA에서 Pre-Cert라는 실험 적 제도를 시작하였는데, 이는 개별 디지털 헬스케어 기기 에 대한 허가 평가가 아닌 제조사를 평가하여 적절한 자격 요건을 갖춘 제조사에 먼저 자격을 부여하고, 이 제조사들 이 만든 디지털 헬스케어 기기들은 출시 전 허가 과정을 면 제받거나 간소화된 과정만을 거치게 하는 제도이다[14]. 국 내에서는 2017년 11월과 12월에 각각 식품의약품안전처 에서 ‘빅데이터 및 인공지능(AI) 기술이 적용된 의료기기 의 허가•심사 가이드라인’과 ‘인공지능(AI) 기반 의료기기 의 임상 유효성 평가 가이드라인’을 발표하였으며[15,16], 최근에는 정부가 첨단 디지털 헬스케어 의료기기에 대한 식품의약품안전처 평가로부터 건강보험심사평가원 평가에 이르는 여러 단계의 평가 과정을 신속하게 진행하는 방법 을 구상 중이다. 이러한 제도의 신속/간소화는 선도입-후 평가 개념을 바탕으로 한다. 제도의 신속/간소화가 제공 하는 장점에도 불구하고, 의료용 소프트웨어와 같은 디지 털 헬스케어 기기에 대한 식품의약품안전처 또는 US FDA 의 허가가 이미 의약품의 허가에 요구되는 수준의 매우 엄 격한 근거를 요구하지 않는다는 점과[3,4,13] 디지털 예외 주의의 현 상황을[5-8] 생각하면 관련 제도의 무리한 신 속/간소화는 충분히 검증되지 않은 소프트웨어를 무분별 하게 퍼뜨리는 문제를 일으킬 수도 있어 충분한 사전 준비 가 필요하다. 특히, 선도입-후평가 상황에서는 제도의 시 행에 앞서 먼저 후 평가를 어떻게 적절히 수행할 수 있을지 에 대한 구체적이고 체계적인 대비가 중요하다. 실제, US FDA의 경우는 National Evaluation System for Health Technology라는 체계를 만들어 대비를 하고 있다[17]. 하지만, 현재 국내에는 후평가를 위한 체계가 잘 갖춰져 있 지 않다. 인공지능 의료용 소프트웨어와 같은 디지털 헬스케어 의 료기기에 대한 식품의약품안전처 또는 US FDA의 허가는 임 상검증의 끝이 아닌 시작의 끝에 불과하다[13]. 식품의약품 안전처 또는 US FDA의 허가를 받은 소프트웨어가 실제 환 자에 도움이 되는지 제대로 임상검증을 하는 것은 진료현장 의 의료인의 몫이며 선도입-후평가 방식의 제도하에서는 진 료현장의 의료인이 보다 많은 임상검증의 부담을 안게 된다. 이러한 임상검증의 책임은 임상연구를 수행하는 일부 의료 인에게만 해당되는 것은 아니며 이러한 소프트웨어를 사용 하게 되는 모든 의료인에게 부여되는 책임이다. 판매가 가능 한 상품들이 모두 소비자에게 좋은 평가를 받아 판매가 잘 되는 것이 아니듯, 식품의약품안전처 또는 US FDA의 허가 를 받은 디지털 헬스케어 의료기기가 임상현장에 도입되는 것은 결국 의료기기의 소비자인 의료인의 선택에 좌우된다. 따라서, 임상검증을 위한 임상연구를 직접 수행하지 않더라 도 적어도 현명한 소비자로서 이러한 디지털 도구들이 정말 로 환자와 진료에 도움이 되는지를 면밀하게 평가하려는 적 극적 자세를 갖는 것이 중요하다. 더 나아가 식품의약품안전 처 또는 US FDA의 허가는 임상검증의 끝이 아닌 오히려 제 대로 된 임상검증의 시작이라는 개념을 산업/기술계에 잘 이 해시킬 수 있도록 노력하여야 한다.
진료현장 도입 및 급여결정에 대한 원칙
인공지능 의료용 소프트웨어와 같은 디지털 헬스케어 의 료기기의 본격적인 진료 현장 도입 및 급여결정은 식품의약 품안전처 또는 US FDA의 허가 외에 여러 가지 신중한 임상 검증이 필요하다. 의료를 직접 담당하지 않는 산업/기술계가 이 부분에 대하여 잘 이해를 할 수 있도록 지식과 정보를 제 공하는 것도 환자에 대한 궁극적 책임을 가지는 의료인의 중 요한 역할이다. 충분히 검증되지 않은 의약품이나 통상의 치 료용 의료기기가 환자에게 직접적으로 심각한 위해가 되는 상황과 비교하여 소프트웨어는 환자에게 직접적으로 위해를 가할 가능성이 낮다고 생각할 수도 있으나 소프트웨어로 인 한 진단의 오류는 궁극적으로 환자에게 부적절한 검사나 치 료를 유발할 수 있고 결과적으로 환자의 건강에 심각한 위해 를 초래할 수 있다. 또한, 환자의 치료 결과에 궁극적으로 도 움을 주지 못하는 소프트웨어의 도입은 불필요한 의료비의 상승으로 이어지게 된다. 충분히 검증되지 않은 소프트웨어 에 대하여 급여가 제공될 경우, 이는 제한된 의료보험재원의 소모를 유발하고 이로 인해 꼭 필요한 의료행위를 급여하기 가 더 어려워지는 이중의 문제를 야기할 수 있다. 디지털 헬 스케어 의료기기의 진료 현장 도입 및 급여결정은 안전성, 임상적 유용성, 경제성 모두에 대한 평가를 기반으로 해야 하며, 이는 인공지능 의료용 소프트웨어를 포함한 첨단 디지 털 헬스케어 의료기기뿐 아니라 모든 의료기기에 공통적으 로 적용되는 원칙이다. 인공지능 의료용 소프트웨어가 환자 진료에 어느 정도 도움을 준다 하더라도 이 소프트웨어를 사 용하는 진료가 이를 사용하지 않는 기존의 진료에 비해서 비 용대비효과가 낮다면 이 소프트웨어를 진료에 사용하는 것 이 반드시 최선의 진료라 할 수 없으며 제한된 의료보험재정 을 효율적으로 사용하는 방법이 될 수 없다. 디지털 헬스케어 의료기기를 광범위하게 진료 현장에 도 입하거나 급여를 적용하기에 앞서 필요한 적절한 임상검증 과 평가에 대하여 분명한 원칙과 근거를 가지고 있어야 한 다. 가장 분명한 기준은 편향 없이 잘 수행된 임상시험을 통 해 어떤 디지털 기기를 사용함으로써 환자의 궁극적 치료결 과가 좋아짐이 입증되어야 하고 더 나아가 이 디지털 기기를Table 1. A checklist for robust clinical validation of the performance of a machine-learning algorithm
Characteristics of the dataset used for clinical validation Is it representative of the target patients in real-world practice for which the algorithm will be used?
Was it obtained from other institutions than those that provided the data for algorithm development?
Was it derived from multiple institutions?
Was it captured with scanners different from those used to create the data for algorithm development (e.g., a computed tomography scanner from
a different vendor)?a)
Was it obtained using acquisition parameters different from those used to create the data for algorithm development (e.g., a different radiation
dose setting or image reconstruction method for computed tomography)?a)
Was it collected prospectively?
The more of these questions receive a “Yes” answer, the more generalizable the algorithm performance is.
사용하는 진료행위가 비용대비효과가 높다는 것이 입증되어 야 한다[4]. 의료용 소프트웨어의 높은 진단/예측 정확도가 반드시 환자의 이익을 보장하는 것은 아니지만[4] 궁극적 치 료결과나 효과를 평가할 수 있는 자료가 없거나 자료의 생성 이 현실적으로 어려운 상황이어서 의료용 소프트웨어의 진 단/예측 정확도에 의한 판단을 할 수 밖에 없는 상황이라면, 소프트웨어를 사용함으로써 임상적으로 의미 있는 진단능의 향상이 있거나 소프트웨어에 의한 판단이 의사의 의학적 및 법적 책임을 최소한 조건부로라도 대신할 수 있는 수준은 되 어야 급여에 대한 고려가 가능할 것이다. 예를 들어, 의료 영 상을 분석하는 인공지능 소프트웨어가 진료업무의 효율을 높여주는 경우 이는 소프트웨어의 중요한 기능이기는 하지 만 단지 진료업무의 효율을 높이는 것에 대해서 급여로 별도 의 보상을 주는 것은 적절치 않으며 업무 효율의 증가 자체 가 보상이라고 생각할 수 있다. 의료영상분석을 위한 딥러닝 알고리듬과 같은 복잡한 기계 학습 소프트웨어 알고리듬의 성능을 평가할 때에는, 얼마나 일반화가 가능한지에 대한 평가가 반드시 필요하며(Table 1) 구체적으로 다음 사항들을 확인하여야 한다[4,18-20]. 1) 소프트웨어를 적용하려는 실제 진료현장의 환자들의 분포 및 특성을 잘 대변하는 자료를 이용하여 성능을 평가하였 는가, 2) 소프트웨어 알고리듬 개발에 사용된 자료를 수집 한 의료기관이 아닌 외부 의료기관의 자료로 성능을 평가하 였는가, 3) 복수의 의료기관의 자료를 이용하여 성능을 평 가하였는가, 4) 영상분석 알고리듬의 경우 다양한 영상장비 (예: 여러 제조사의 전산화단층촬영 장비들) 및 다양한 영 상획득 조건을 이용하여(예: 전산화단층촬영 장비의 방사선 조사량 및 방법, 영상재구성 방법 등) 얻은 자료로 성능을 평가하였는가 등이다. 이는 이러한 복잡한 기계학습 소프트 웨어 알고리듬은 학습에 사용된 자료 내에서는 소프트웨어 의 진단/예측 정확도가 매우 높은 반면 외부 자료로 일반화 가 어려울 수 있다는 특징이 있기 때문이다[10,11,18,21-26]. 예를 들어, 의료영상을 분석하는 소프트웨어 알고리듬 의 경우 학습에 이용되지 않은 다른 병원의 자료나 다른 영 상장비로 얻은 자료에 적용할 경우 정확도가 낮아진다[26]. 이는 수학적 과적합과 더불어 스펙트럼 바이어스(spectrum bias)와 같은 의료자료의 특성과 관련된[4,18,22,27] 일반 화에 대한 취약성 때문이다. 최근 US FDA는 당뇨망막병 증을 진단하는 인공지능 소프트웨어 진단기기인 IDx-DR (IDx, Coralville, IA, USA)를 허가할 때 특정 안저촬영 장 비(Topcon NW400; Topcon Medical Systems, Oakland, NJ, USA)로 얻은 영상에 대해서만 사용승인을 하였다 (“INDICATIONS FOR USE: IDx-DR is indicated for use with the Topcon NW400”) [28]. 이는 복잡한 기계학습 진 단보조 소프트웨어 성능의 일반화 문제에 대한 신중함을 보 여주는 예로 생각된다. 앞에서 설명된 Pre-Cert라는[14] 획기적인 인허가 프로그 램을 시험하고 있는 미국의 경우에도, 디지털 헬스케어 의료 기기에 대한 US FDA의 허가가 신속하고 쉽게 이루어 질 수 있도록 여러 노력을 기울이고 있는 반면 이들의 급여결정이 나 일반적인 진료 현장으로의 도입은 매우 신중하고 엄격한 절차를 밟는 것으로 보인다. 예로서, 전산화단층촬영 대장조 영검사의 경우를 보면, 판독을 위한 소프트웨어는 2000년 대 초 이미 US FDA의 허가를 받았고, 이후 New England Journal of Medicine, Lancet, Journal of the American Medical Association (JAMA)와 같은 최상위 의학학술지 에 실린 다수의 논문을 포함하여 수많은 임상연구 논문들 이 대장암검진에 있어 전산화단층촬영 대장조영검사의 임 상적 유용성을 보고하였다. 2016년에는 US Preventive Services Task Force도 대장암검진에 있어 전산화단층촬영 대장조영검사를 권고하였으나[29] 의료기술을 미국의 공공 보험에 포함시키는 것을 결정하는 Center for Medicare and Medicaid Services는[30] 아직까지도 전산화단층촬영 대장 조영검사를 이용한 대장암검진에 대한 급여를 인정하지 않 고 있다. CAD 형태의 의료용 소프트웨어에 별도의 급여가 인정된 경우도 유방촬영검사 판독을 보조하는 CAD 외에는 찾아보기 어려운데, 이 경우도 충분한 의학적 근거가 없는 상태에서 원칙을 벗어난 성급한 급여결정이 내려진 사례로 인식되고 있다[31]. US FDA는 1998년 유방촬영검사 CAD 를 환자 진료에 사용하는 것을 허가하였고, 4년 후 2002년에 Center for Medicare and Medicaid Services가 유방촬영검 사 판독에 CAD를 같이 사용할 경우 검사당 약 7달러의 추
가 급여를 인정하였다[32,33]. 하지만, 2015년의 연구에 따 르면 이러한 급여 결정으로 인해 유방촬영검사를 이용한 유 방암 검진과 관련하여 CAD로 인해 의학적인 이익이 없이 매 년 미국에서 4억 달러 이상의 불필요한 의료비가 지출되고 있다고 보고되었다[31,33]. 이는 의료기술에 대한 급여 인정 은 매우 신중해야 하며 충분한 근거에 기반해야 한다는 교훈 을 주는 사례라 생각된다.
건강보험심사평가원 및
한국보건의료연구원의 역할
1. 첨단 디지털 의료기기의 의료행위 편입 과정 우리나라 의료체계는 국가가 운영하는 국민건강보험의 단 일 체계이며, 어떤 새로운 의료기술/행위가 급여(국민건강보 험이 비용의 일부 또는 전부 지불) 또는 비급여(환자 본인이 비용 전부 지불)로 결정되기 위해서는 먼저 해당 행위가 ‘신 의료기술’로 인정받아야 한다. 새로운 의료용 소프트웨어가 급여, 비급여로 등재되는 순서를 간략히 살펴보면(Figure 2), 먼저 이 소프트웨어는 식품의약품안전처로부터 의료기기로 허가를 받아야 한다. 이후 이 소프트웨어의 역할이 기존에 이미 존재하는 의료행위 안에 포함되는지를 건강보험심사 평가원과 전문가 단체가 논의하게 된다. 이 과정에서 기존 의료행위와 대상, 목적, 방법이 크게 다르지 않다면 기존기 술로 결정되며, 기존기술은 일단 추가 수가를 받지 못하고 기존 행 위의 일부로 인정되게 된다. 만일 기존행위와는 다른 행위로 판정된 다면, 이어 한국보건의료연구원의 ‘신의료기술평가’ 과정을 거치게 된다. 여기서 신의료기술로 판정된 다면 이 소프트웨어를 환자에 사용 할 경우 의료기관은 급여 또는 비 급여로 새로운 수가를 받을 수 있게 된다. 만약, 안전성 및 유효성에 대 한 근거가 충분하지 않다고 판단되 면 연구단계 기술이나 조기기술로 결정되며, 해당 소프트웨 어의 일반적인 임상진료에 사용은 인정되지 않고 임상시험 과 같은 제한적인 상황에서는 사용이 가능하며 이를 통하여 추가 근거를 만들 것을 요청 받게 된다. 한국보건의료연구원 의 신의료기술평가에서 신의료기술로 인정된 경우에는 건강 보험심사평가원이 전문가 단체의 자문을 거쳐 의료행위전문 평가위원회에서 이 소프트웨어의 사용을 급여 행위로 인정 할지 비급여 행위로 분류할지를 결정하게 된다. 이러한 여러 단계의 절차는 많은 시간을 필요로 하며, 이러한 긴 시간을 들이는 절차가 첨단 디지털 헬스케어 기기들을 평가하는데 있어 효율적이지 않다는 산업계의 문제 제기가 있어, 정부가 식품의약품안전처의 허가와 신의료기술평가를 통합 운영하 는 방안을 마련 중이다. 2. 정책 방향에 대한 제언 산업계에는 인공지능 의료용 소프트웨어를 포함한 첨단 디지털 헬스케어 의료기기에 대한 건강보험심사평가원이나 한국보건의료연구원의 평가 과정을 불합리한 과도한 규제로 보는 시각이 있다[34]. 이러한 산업계의 시각과 더불어 디지 털 헬스케어를 주요 미래 산업분야로 육성하려는 정부의 의 지에 따라 첨단 디지털 헬스케어 의료기기에 대한 임상검증 및 제도적 검토 과정을 신속/간소화 하려는 정책적 움직임 이 있다. 건강보험심사평가원의 평가와 한국보건의료연구 원의 신의료기술평가에 중복되는 측면이 있고, 따라서, 특 HIRA: Subcommittee to decide whether a digital healthcare device is a new technology or existing technologyIf the target patient, purpose, and methodology are the same or similar to any existing practice Existing
technology:
Allowed for use in clinical practice NECA: ‘New Health Technology Assessment’ program In case of insufficient evidence of safety or effectiveness Early or research-stage technology:
Allowed for use, if any, in clinical trials to create more
evidence New health technology HIRA: Decision on coverage by National Health Insurance Yes: Covered by National Health Insurance Essential and affordable by National Health Insurance? No: Out-of-pocket payments
Figure 2. Brief schematic summary of the processes for evaluating a novel health technology used by the Health Insurance Review and Assessment Service (HIRA) and the National Evidence-based Healthcare Collaborating Agen-cy (NECA).
히 디지털 헬스케어와 관련하여 절차적 개선과 효율화가 필 요할 것으로 판단되나, 이러한 평가과정 자체를 과도한 규 제라고 생각하는 것은 환자의 생명과 안전을 다루는 의료의 특성에 대한 산업계의 낮은 이해를 보여주는 것이라고 판 단된다. 이 두 기관의 역할은 ‘진료현장 도입 및 급여결정에 대한 원칙’에서 설명한 실제적인 임상검증을 하는 것이다. 건강보험심사평가원의 급여에 대한 평가는 제한된 의료보 험재정을 효율적으로 배분하는 역할이고, 한국보건의료연 구원의 신의료기술평가의 근본 취지는 새로 개발된 의료기 술이 검증 없이 무분별하게 도입되어 발생되는 피해를 막기 위해 새로운 의료기술이 안전한지, 환자의 궁극적 치료 결 과를 개선하는지, 의료기술의 도입이 비용대비효과가 있는 지를 평가하는 것이다. 이러한 평가 자체를 배제하고 충분 한 임상적 근거를 갖추지 못한 디지털 헬스케어 의료기기에 대해서 무리한 급여나 진료 현장 도입을 요구하는 것은 비 합리적이며 비윤리적이다. 또한, 디지털 헬스케어 의료기기 에 대한 신의료기술평가를 무리하게 신속/간소화 하는 것 은 신의료기술평가를 디지털 헬스케어와 관련하여 비급여 의료행위 확대의 창구로 변질시킬 우려가 있다. 이는 현 정 부의 ‘문재인케어’가 추구하는 환자에게 도움이 되는 의료행 위를 가능한 많이 급여로 제공하고 비급여를 줄이려는 정 책 방향과 오히려 반대로서 신의료기술평가의 근본 취지를 퇴색시킨다. 첨단 디지털 헬스케어 산업의 육성을 위해 신의료기술평 가 체계의 근본을 왜곡시키는 것은 매우 근시안적인 정책이 며, 보다 적절한 다른 지원 방법들에 대한 고려가 필요할 것 이다. 기술 자체로는 첨단 기술일지라도 의료측면에서는 기 존기술에 해당되는 여러 디지털 헬스케어 의료기기들이 개 발되고 있다. 가령, 의료영상 판독을 보조하는 인공지능 소 프트웨어의 대부분은 의료측면에서는 기존기술의 성격이 강 하다. 이들이 기존기술로 분류되면 오히려 신의료기술평가 를 거치지 않고 바로 진료현장에 투입이 가능하다. 물론 일 단 급여 또는 비급여를 통한 추가적인 보상을 받을 수는 없 지만, 이러한 소프트웨어로 인한 진료업무의 효율성 증가는 의료기관들이 이러한 소프트웨어를 구입할 수 있는 충분한 동기가 될 수 있을 것이며, 빠른 시장 진입은 소프트웨어를 개발하는 회사들에게 오히려 도움이 될 수 있다. 또한, 진료 현장에서 일정 기간의 실제 사용과 임상검증을 통해 이 소 프트웨어가 환자 진료에 정말로 유용성이 있다는 것이 확 실히 증명된다면, 급여/비급여 행위 신설이 아닌 기술도입 에 대한 가산료와 같은 별도의 제도적 방법을 이용하여 보 상 및 지원을 할 수도 있을 것이다. Picture archiving and communication system (PACS) 도입 초기에 있었던 PACS 가산료가 유사한 예가 된다. 아울러 산업육성을 위한 목적의 보상이라면 근본적으로 산업계 내 별도의 진흥기금 등을 통 한 보상체계를 마련하는 것이 보다 타당할 것이다. 국민건강 권 보장을 위해 사용되어야 하는 국민건강보험의 재원을 디 지털 헬스케어 산업의 육성을 위해 사용하는 것은 매우 부 적절하며 이는 궁극적으로 국민의 건강에 위해가 되는 정책 이 될 것이다.
올바른 임상검증은 첨단 디지털 헬스케어
기기의 성공을 위한 기초: 외국의 교훈적
사례들
의약품이나 치료기구 등에 적용되는 기존에 정립된 임상 검증, 허가 및 도입 과정을 인공지능 의료용 소프트웨어를 포함한 첨단 디지털 헬스케어 기기에 그대로 적용하기 어려 울 수도 있다는 점이 이러한 디지털 의료기기들에 대한 올바 른 임상검증을 생략하거나 간과하는 구실이 되어서는 안 된 다. 다음 외국의 대표적 성공 사례들은, 디지털 헬스케어 기 기 산업의 진정한 경쟁력 강화와 육성은 올바른 임상검증의 촉진을 통해서 이룰 수 있음을 잘 보여준다. 의료계, 산업계 및 정부가 첨단 디지털 헬스케어 기기 분야에서 의료와 의료 산업 모두의 발전을 위해 어떻게 같이 노력해 나갈 수 있을 지 고민함에 있어 참고가 되는 예들이다. 1. 안저영상을 자동분석하여 당뇨망막병증을 진단하는 인공지능 소프트웨어 현 시점에서 인공지능 기술을 의료에 도입하는 가장 성공 적인 예가 될 것으로 예상되는 사용사례이며 인공지능 기술의 의료적용에 대한 다른 사용사례들과 비교할 때 보다 엄밀 한 임상검증이 이루어진 경우이다. 2016년 말 구글이, 10만 건이 넘는 안저영상으로 학습한 딥러닝을 이용한 당뇨망 막병증 진단 인공지능 소프트웨어를 개발하고 외부자료를 이용하여 진단능을 검증한 결과를 JAMA에 발표하였으며 [35], 인공지능 소프트웨어가 안과전문의와 견줄 만한 높은 진단 정확도를 낼 수 있음을 보였다. 또한, 2017년에는 싱 가폴 의료진이 주축이 되어 수행한 다국적 다기관 연구가 JAMA에 발표되었는데[36], 이 연구는 7만 건이 넘는 영상 으로 학습한 딥러닝기반 인공지능 소프트웨어를 중국, 싱가 폴, 미국, 오스트레일리아, 멕시코, 홍콩에 있는 10개의 다 양한 상황의 외부 의료기관의 자료를 이용하여 진단능을 검 증하였고 인공지능 소프트웨어가 당뇨망막병증 진단에 있 어 높은 정확도를 낼 수 있음을 재차 확인하였다. 이러한 높 은 수준의 근거를 바탕으로 안저영상을 자동분석하여 당뇨 망막병증을 자동진단하는 인공지능 소프트웨어는 다른 인 공지능 소프트웨어들과 비교하여 빠른 속도로 의료현장에 널리 도입될 수 있을 것으로 예상되며, 이를 통해 당뇨병 환 자들의 망막 선별검사에 대한 접근성이 높아지고 보다 많은 환자들이 보다 빠른 시기에 적절한 치료의 기회를 갖게 되 어 궁극적으로 당뇨망막병증으로 인한 시력 손실을 줄일 수 있을 것이라 기대된다. 다수의 외부 의료기관의 자료를 이 용하여 복수의 연구진들이 인공지능 기술의 정확도를 철저 하게 거듭 검증하는 것이 중요하고 가치가 있다는 것을 잘 보여주는 사례이다. 2. 진통 중 산모의 자궁수축과 태아의 심장박동을 자동분석하는 인공지능 소프트웨어 영국의 K2 Medical Systems가 진통 중인 산모의 자궁수 축과 태아의 심장박동을 지속적으로 자동 감시/분석하여 태 아에게 문제가 의심될 경우 의사에게 주의 경고를 실시간으 로 보내주는 소프트웨어를 만들었다. 이어 영국과 아일랜드 의 24개 병원에서 약 47,000명의 고위험 산모들을 무작위 배정에 따라 두 군으로 나누어 한 군은 이 소프트웨어를 사 용하며 진료를 하고 다른 군은 기존의 진료방식에 따라 진 료를 한 후 두 군의 결과를 비교하는 대규모 임상시험을 수 행하였다[37]. 연구결과, 두 군 간에 아기와 산모 모두에 있 어 진료결과에 있어 유의한 차이가 없었으며 이 소프트웨어 를 사용하더라도 아기와 산모에게 추가의 의학적인 이익이 없다는 결론을 Lancet에 발표하였다[37]. 이 연구결과가 나 온 이후 영국의 National Health Service는 이 소프트웨어 의 사용을 National Health Service가 제공하는 의료서비스 에 포함하지 않기로 결정한 것으로 보인다. 이 사례는 일견 보기에 실패한 임상시험처럼 보일 수 있으나, 몇 가지 중요 한 배울 점이 있다. 첫째, 기존에 잘 정립되어 있는 임상시 험 방법론을 인공지능 진단보조 소프트웨어의 임상검증에도 잘 적용할 수 있음을 보여준 사례이다. 둘째, 2009년 영국 에서 환자에 대한 소프트웨어의 사용허가(식품의약품안전처 또는 US FDA 허가에 해당)를 받은 직후 곧바로 무작위 임 상시험이 진행되어 2010년 1월에 대상환자 모집을 시작하 였다는 점을[37,38] 눈 여겨 볼 만하다. 셋째, 임상시험에 6 백만 파운드(약 88억 원)의 연구비가 소요되었는데 영국 정 부의 Department of Health가 연구비를 제공하였다는 점도 [38] 주목할 부분이다. 환자에 대한 사용허가를 받은 직후 해 당 회사와 영국 정부가 보여준 엄격한 임상시험을 통해 이 소프트웨어가 환자에게 정말로 도움이 되는지를 먼저 파악 하려는 적극적인 자세는, 비록 임상시험을 통해 기대하였던 모든 결과를 달성하지는 못하였더라도, 이 소프트웨어의 사 용자가 될 의료인들과 환자들로부터 신뢰를 쌓아가는 중요 한 과정이 되리라 판단한다. 이러한 사례와 임상적으로 충분 히 검증되지 않은 인공지능 소프트웨어지만 어떻게든 빨리 판매해 사업을 하려는 경우를 비교한다면 어느 쪽이 의료인 과 환자의 신뢰를 받고 경쟁력을 키울 수 있을 것인지는 쉽 게 판단할 수 있다. 3. 심장리듬을 지속적으로 감시하여 심방세동을 진단하는 웨어러블 전자 패치 최근 미국에서 수행된, 심장의 리듬을 지속적으로 감시하 는 스티커 형태의 웨어러블 전자 패치가 심방세동의 진단에 있어 도움이 되는지를 밝히는 임상시험 결과가 JAMA에 발 표되었다[39]. 이 임상시험은 심방세동의 위험인자를 가지고 있는 사람들에게 이 웨어러블 전자 패치를 착용하도록 할 경
우 그렇지 않은 경우보다 유의하게 높은 빈도로 심방세동을 진단해 낼 수 있음을 보여 이 전자 패치의 임상적 유용성을 상당부분 잘 입증하였다. 이 임상시험에서 특히 주목할 부분 은, 웨어러블 전자 패치의 임상적 유용성 평가는 기존에 정 립되어 있는 전형적인 임상시험 방법론을 그대로 적용하는 것이 어렵다는 점을 먼저 충분히 고려하여 새로운 디지털 의 료기기에 맞춘 새로운 형태의 실용임상시험 연구설계를 하 였다는 점이다[5]. 먼저, 웨어러블 전자 패치를 착용하는 대 상이 심방세동이 이미 발생되어 병원을 방문하는 환자가 아 닌 심방세동의 위험인자를 가지고는 있지만 질병 발생 이전 상태의 일반인이라는 점을 고려하여 통상의 병원기반의 임 상시험과는 다른 방법으로 임상시험 대상자를 모집하였다. Aetna라는 회사의 의료보험에 가입된 사람들의 데이터 베이 스를 이용하여 대규모의 임상시험 대상자 후보를 발굴한 후, 전자우편 또는 우편을 통한 안내 그리고 인터넷을 통한 임상 시험 설명과 동의획득을 통해 총 6,000여 명 정도의 일반인 을 모집하였다[39]. 연구의 평가 변수인 심방세동의 진단여 부도 같은 의료보험회사의 청구자료 데이터를 분석하여 확 인하였다[39]. 이러한 임상시험 설계를 통해 대규모의 임상 시험을 짧은 시간에 수행할 수 있었고, 그 결과도 빠른 시간 내에 분석하여 발표할 수 있었다. 첨단 디지털 헬스케어 의 료기기의 임상적 유용성을 평가하기 위한 임상시험을 어떻 게 효과적으로 수행할 수 있는지에 대한 좋은 본보기가 되는 연구로 생각된다. 국내의 경우처럼 공공의료보험 환경에서 는 이와 같은 연구가 가능하기 위해서는 관련 정부기관들의 지원과 협조가 필수적이다. 이상의 사례들은 인공지능 진단보조 소프트웨어를 포함한 첨단 디지털 헬스케어 기기 산업의 진정한 경쟁력과 성공은 디지털 예외주의가 아닌 제대로 된 임상검증을 통해 새로운 디지털 의료기기의 의학적 가치를 증명하고 소비자의 신뢰 를 쌓아 나가는 과정을 통해 이루어진다는 것을 잘 보여준 다. 의료계, 산업계, 정부 모두 이러한 높은 수준의 근거 창 출을 위한 노력에 보다 높은 가치를 부여하여야 한다. 산업 계는 의료계와 보다 많은 소통과 협력을 통해 디지털 헬스케 어의 기기의 임상검증에 대한 이해를 넓히고 임상검증에 보 다 적극적으로 투자와 참여를 하여야 할 것이다. 정부도 첨 단 디지털 헬스케어 기기 산업의 진정한 육성과 경쟁력 강화 를 위해서는 단지 기술 개발 지원이나 규제의 완화 및 신속 한 허가와 같은 직접적 사업화 지원뿐 아니라 보다 근본적 으로 제대로 된 임상검증을 촉진/지원하는 것이 매우 중요 하다는 것을 이해하여야 한다. 충분한 임상검증이 이루어지 지 않은 기술을 무리한 급여 또는 다른 종류의 보상을 통해 지원하는 것은 적절하지 않다. 이러한 보상은 산업계에 ‘대 충 만들어도 인공지능 디지털 혁신이란 말만 붙이면 사업을 할 수 있다’는 식의 잘못된 메시지를 전달 할 수 있고 의료계 에 ‘환자에게 도움이 되지 않더라도 급여/보상을 받기 위해 일단 기기를 사고/쓰고 보자’는 도덕적 해이와 오남용을 유 발할 수 있다. 결과적으로, 의료의 질을 의미 있게 향상시키 는 더 좋은 디지털 헬스케어 의료기기를 만들려는 노력과 산 업계의 국제경쟁력은 감소되고, 불필요한 의료비 지출은 증 가하며, 의료인과 국민들로부터 디지털 헬스케어 산업에 대 한 신뢰를 잃게 될 것이다. 첨단 디지털 헬스케어 의료기기 의 발전이 국민건강증진과 산업육성 모두에 균형 있게 도움 이 되기 위해서는 의료계, 산업계, 정부의 상호이해와 협력 이 필수적이다.
결론
첨단 디지털 헬스케어 의료기기와 관련하여, 특히 인공지 능 의료용 소프트웨어의 개발, 임상검증, 허가, 진료현장 도 입 및 지속적 감시에 있어 환자를 최우선으로 생각하고, 기 술과 산업 중심의 편향된 시각을 지양하고 의료와 기술/산업 을 균형 있게 고려하며, 이를 통해 기술과 산업의 발전이 의 료의 발전에 기여하되 환자에게 위해가 되거나 불필요한 의 료비의 증가를 초래하는 일이 없도록 하여야 한다. 대한영상 의학회는 첨단 디지털 헬스케어 의료기기를 진료에 도입할 때, 학술적 원칙과 객관적 근거를 바탕으로 국민건강증진에 기여할 수 있는 가치중립적 전문가의 역할을 하고 있으며, 국민에게 정확한 정보를 제공하고, 합리적인 정책을 제안하 며, 산업계 및 유관정부기관들과의 올바른 관계형성과 협력 을 위해 지속적으로 노력할 것이다.찾아보기말: 소프트웨어 검증; 기기허가; 보험급여; 인공지능
ORCID
Seong Ho Park, https://orcid.org/0000-0002-1257-8315 Kyung-Hyun Do, https://orcid.org/0000-0003-1922-4680 Joon-Il Choi, https://orcid.org/0000-0003-0018-8712 Jung Suk Sim, https://orcid.org/0000-0001-6803-3544 Dal Mo Yang, https://orcid.org/0000-0001-7766-5826 Hong Eo, https://orcid.org/0000-0002-9534-8098 Hyunsik Woo, https://orcid.org/0000-0003-0875-7465 Jeong Min Lee, https://orcid.org/0000-0003-0561-8777 Seung Eun Jung, https://orcid.org/0000-0003-0674-5444 Joo Hyeong Oh, https://orcid.org/0000-0002-1764-3059
REFERENCES
1. Korea Health Industry Development Institute. Medical device weekly newsletter [Internet]. Cheongju: Korea Health Industry Development Institute; 2018 [cited 2018 Aug 10]. Available from: http://www.khidi.or.kr/newsLetter/ preView?newsLetterId=464.
2. US Food and Drug Administration. FDA permits marketing of artificial intelligence-based device to detect certain dia-betes-related eye problems [Internet]. Silver Spring: US Food and Drug Administration; 2018 [cited 2018 Aug 10]. Available from: https://www.fda.gov/newsevents/newsroom/ pressannouncements/ucm604357.htm.
3. Bluemke DA. Radiology in 2018: are you working with AI or being replaced by AI? Radiology 2018;287:365-366.
4. Park SH, Han K. Methodologic guide for evaluating clinical performance and effect of artificial intelligence technology for medical diagnosis and prediction. Radiology 2018;286:800-809.
5. Peterson ED, Harrington RA. Evaluating health technology through pragmatic trials: novel approaches to generate high-quality evidence. JAMA 2018;320:137-138.
6. The Lancet. Is digital medicine different? Lancet 2018;392:95. 7. AI diagnostics need attention. Nature 2018;555:285.
8. Park SH. Artificial intelligence in medicine: Beginner's guide. J Korean Soc Radiol 2018;78:301-308.
9. Chartrand G, Cheng PM, Vorontsov E, Drozdzal M, Turcotte S, Pal CJ, Kadoury S, Tang A. Deep learning: a primer for radiologists. Radiographics 2017;37:2113-2131.
10. Choy G, Khalilzadeh O, Michalski M, Do S, Samir AE, Piany-kh OS, Geis JR, Pandharipande PV, Brink JA, Dreyer KJ. Current applications and future impact of machine learning in radiology. Radiology 2018;288:318-328.
11. Yamashita R, Nishio M, Do RKG, Togashi K. Convolutional neural networks: an overview and application in radiology. Insights Imaging 2018 Jun 22 [Epub]. https://doi.org/10.1007/ s13244-018-0639-9.
12. Lee M, Ahn J. The current status and future direction of Korean health technology assessment system. J Korean Med Assoc 2014;57:906-911.
13. Park SH. Regulatory approval versus clinical validation of arti-ficial intelligence diagnostic tools. Radiology 2018;288:910-911.
14. US Food and Drug Administration. Digital health software precertification (Pre-Cert) program [Internet]. Silver Spring: US Food and Drug Administration; 2018 [cited 2018 Aug 10]. Available from: https://www.fda.gov/medicaldevices/ digitalhealth/digitalhealthprecertprogram/default.htm. 15. Ministry of Food and Drug Safety. Guideline for regulatory
approval · evaluation of medical devices using big-data and artificial intelligence technology (guide for civilians) [Internet]. Cheongju: Ministry of Food and Drug Safety; 2017 [cited 2018 Aug 10]. Available from: https://www.mfds.go.kr/ brd/m_210/view.do?seq=13523.
16. Ministry of Food and Drug Safety. Guideline for evaluation of clinical efficacy of medical devices using artificial intelligence (guide for civilians) [Internet]. Cheongju: Ministry of Food and Drug Safety; 2017 [cited 2018 Aug 10]. Available from: https://www.mfds.go.kr/brd/m_210/view.do?seq=13613. 17. US Food and Drug Administration. National Evaluation
System for Health Technology (NEST) [Internet]. Silver Spring: US Food and Drug Administration; 2018 [cited 2018 Aug 10]. Available from: https://www.fda.gov/aboutfda/ centersoffices/officeofmedicalproductsandtobacco/cdrh/ cdrhreports/ucm301912.htm.
18. Park SH, Kressel HY. Connecting technological innovation in artificial intelligence to real-world medical practice through rigorous clinical validation: what peer-reviewed medical journals could do. J Korean Med Sci 2018;33:e152.
19. Allen B. 2018 Data Science Summit: the economics of arti-ficial intelligence in healthcare [Internet]. Reston: American College of Radiology Data Science Institute; 2018 [cited 2018 Aug 10]. Available from: https://www.acrdsi.org/-/media/DSI/ Files/2018-Summit-Presentations/Regulatory-Payment-and-EcosystemAllen.pdf?la=en.
20. Luo W, Phung D, Tran T, Gupta S, Rana S, Karmakar C, Shilton A, Yearwood J, Dimitrova N, Ho TB, Venkatesh S, Berk M. Guidelines for developing and reporting machine learning predictive models in biomedical research: a multi-disciplinary view. J Med Internet Res 2016;18:e323.
21. Hosny A, Parmar C, Quackenbush J, Schwartz LH, Aerts HJWL. Artificial intelligence in radiology. Nat Rev Cancer 2018;18:500-510.
22. Shah ND, Steyerberg EW, Kent DM. Big data and predictive analytics: recalibrating expectations. JAMA 2018;320:27-28. 23. AlBadawy EA, Saha A, Mazurowski MA. Deep learning for
segmentation of brain tumors: impact of cross-institutional training and testing. Med Phys 2018;45:1150-1158.
24. Yuille AL, Liu C. Deep Nets: what have they ever done for vision? [Internet]. Ithaca: arXiv.org; 2018 [cited 2018 Aug 10]. Available from: https://arxiv.org/abs/1805.04025.
25. Lee JG, Jun S, Cho YW, Lee H, Kim GB, Seo JB, Kim N. Deep learning in medical imaging: general overview. Korean J Radiol 2017;18:570-584.
26. Zech JR, Badgeley MA, Liu M, Costa AB, Titano JJ, Oermann EK. Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: a cross-sectional study. PLoS Med 2018;15:e1002683.
27. Sica GT. Bias in research studies. Radiology 2006;238:780-789. 28. US Food and Drug Administration. De Novo classification
request for IDx-DR [Internet]. Silver Spring: US Food and Drug Administration; 2018 [cited 2018 Aug 10]. Available from: https://www.accessdata.fda.gov/cdrh_docs/reviews/ DEN180001.pdf.
29. US Preventive Services Task Force, Bibbins-Domingo K, Grossman DC, Curry SJ, Davidson KW, Epling JW Jr, García FAR, Gillman MW, Harper DM, Kemper AR, Krist AH, Kurth AE, Landefeld CS, Mangione CM, Owens DK, Phillips WR, Phipps MG, Pignone MP, Siu AL. Screening for colorectal cancer: US Preventive Services Task Force Recommendation Statement. JAMA 2016;315:2564-2575.
30. Kim YJ, Lee WP. The process by which new health technology is listed for insurance coverage. J Korean Med Assoc 2014;57: 927-933.
31. Fenton JJ. Is it time to stop paying for computer-aided mam-mography? JAMA Intern Med 2015;175:1837-1838.
32. Kohli A, Jha S. Why CAD failed in mammography. J Am Coll Radiol 2018;15:535-537.
33. Lehman CD, Wellman RD, Buist DS, Kerlikowske K, Tosteson AN, Miglioretti DL; Breast Cancer Surveillance Consortium. Diagnostic accuracy of digital screening mammography with and without computer-aided detection. JAMA Intern Med 2015;175:1828-1837.
34. Choi YS. For president Moon’s pledge to ease regulations on medical devices to succeed [Internet]. [place unknown]: Yoon Sup Choi's Healthcare Innovation; 2018 [cited 2018 Aug 10]. Available from: http://www.yoonsupchoi.com/2018/07/22/ president-regulation.
35. Gulshan V, Peng L, Coram M, Stumpe MC, Wu D, Naraya-naswamy A, Venugopalan S, Widner K, Madams T, Cuadros J, Kim R, Raman R, Nelson PC, Mega JL, Webster DR. Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photo-graphs. JAMA 2016;316:2402-2410.
36. Ting DSW, Cheung CY, Lim G, Tan GSW, Quang ND, Gan A, Hamzah H, Garcia-Franco R, San Yeo IY, Lee SY, Wong EY, Sabanayagam C, Baskaran M, Ibrahim F, Tan NC, Finkelstein
EA, Lamoureux EL, Wong IY, Bressler NM, Sivaprasad S, Varma R, Jonas JB, He MG, Cheng CY, Cheung GC, Aung T, Hsu W, Lee ML, Wong TY. Development and validation of a deep learning system for diabetic retinopathy and related eye diseases using retinal images from multiethnic populations with diabetes. JAMA 2017;318:2211-2223.
37. INFANT Collaborative Group. Computerised interpretation of fetal heart rate during labour (INFANT): a randomised controlled trial. Lancet 2017;389:1719-1729.
38. K2 Medical Systems. K2 INFANT-Guardian [Internet]. Ply-mouth: K2 Medical Systems [cited 2018 Aug 10]. Available from: https://www.k2ms.com/infant/default.aspx.
39. Steinhubl SR, Waalen J, Edwards AM, Ariniello LM, Mehta RR, Ebner GS, Carter C, Baca-Motes K, Felicione E, Sarich T, Topol EJ. Effect of a home-based wearable continuous ECG monitoring patch on detection of undiagnosed atrial fibrillation: the mSToPS randomized clinical trial. JAMA 2018;320:146-155.
Peer Reviewers’ Commentary
이 논문은 최근 활발하게 개발되고 있는 인공지능을 포함한 디 지털 헬스케어 기기를 다룰 때 진료 현장에서 어떤 점을 주의하 여야 하고, 사전 평가를 어떻게 하여야 하는지에 대해 영상의학 과 차원에서 구체적인 예를 들어 설명해 주고 있다. 인공지능과 영상진단장비의 임상 현장으로의 신속한 도입과 적용이 산업계 로서는 필요한 반면, 의료계로서는 환자 안전과 의료비 지출이 라는 측면이 있으므로 신중해야 한다는 의견이 서로 상충되기도 하면서 또한 보완적이기도 함을 제시하고 있다. 인공지능의 효 과와 안전성이 충분히 규명되어야 함을 고려하더라도, 인공지능 이 진료 효율을 높일 수 있다는 점에서 추가 수가를 받을 수 있 는 안이 구체적으로 논의되고 제안되어야 한다는 점 또한 적절 히 강조하고 있다. [정리: 편집위원회]
