Development of a Real-time Medical Imaging System Combined with Laser Speckle Contrast Imaging and Fluorescence Imaging

학 술 논 문

http://dx.doi.org/10.9718/JBER.2021.42.3.116

116

형광과 레이저 스펙클 대조도 이미징을 결합한 실시간 의료영상 시스템 개발

심민재

· 김이근

· 고택용

· 최진혁

· 안예찬

*

1부경대학교 의공학과, ²유투메드텍 연구개발부, ³고신대학교 복음병원

Development of a Real-time Medical Imaging System Combined with Laser Speckle Contrast Imaging and Fluorescence Imaging

Min Jae Shim

, Yikeun Kim

, Taek Yong Ko

, Jin Hyuk Choi

and Yeh-Chan Ahn

*

1

Department of Biomedical Engineering, Pukyong National University

2

Department of Research and Development, U2Medtek

3

Kosin University Gospel Hospital

(Manuscript received 17 June 2021 ; revised 22 June 2021 ; accepted 23 June 2021)

Abstract: It is important to differentiate between the target tissue (or organ) and the rest of the tissue before incision during surgery. And when it is necessary to preserve the differentiated tissues, the blood vessels connected to the tissue must be preserved together. Various non-invasive medical imaging methods have been developed for this pur- pose. We aimed to develop a medical imaging system that can simultaneously apply fluorescence imaging using indo- cyanine green (ICG) and laser speckle contrast imaging (LSCI) using laser speckle patterns. We designed to collect images directed to the two cameras on a co-axial optical path and to compensate equal optical path length for two optical designs. The light source used for fluorescence and LSCI the same 785 nm wavelength. This system outputs real-time images and is designed to intuitively distinguish target tissues or blood vessels. This system outputs LSCI images up to 37 fps through parallel processing. Fluorescence for ICG and blood flow in animal models were observed throughout the experiment.

Key words: Laser speckle image, Fluorescence, Real-time, Parallel computing, Indocyanine green

I. 서 론

의료 영상이란 질병이나 부상의 원인을 파악하고 진단을 확인하기 위해 신체를 영상으로 관찰하는 다양한 방식을 의 미한다. 진단을 하는 과정에 있어서 사용하는 장비가 많아 져 정보의 양이 많아질수록 해당 기기의 결과가 사용자가 인식하기 쉽도록 만들어주는 것은 중요하다. 특히, 아무리

좋은 장비를 사용하더라도 수술자가 판단하기 어렵고 구분 하기 어려워진다면 일분일초가 중요해지는 수술실에서는 상 당히 위험한 상황이 벌어질 수 있다. 또한 진단에 있어서 많 은 요소들을 확인하고 판단하기 위해서는 그에 따른 보조 기기들도 준비가 되어야 되는데 이를 통합하여 줄이는 것에 목표가 있다. 본 연구는 진단하는데 사용되는 두 가지의 진 단방법을 하나로 결합함으로써 보다 직관적으로 사용자에게 정보를 전달하는 것을 목표로 한다. 다양한 목적의 진단방법 중 에서 형광을 이용한 대상 조직의 위치와 speckle pattern ( 스펙클 패턴)을 분석하여 해당 조직의 혈관을 실시간으로 검출해내는 것에 목표를 두고 연구를 진행하였다.

Laser Speckle Contrast Imaging(레이저 스펙클 대조 이미징, LSCI)와 형광 이미징은 비 침습적이라는 관점에서 결합 가능한 진단 측정 방식으로 사용되고 있고, 동일한 근

*Corresponding Author : Yeh-Chan Ahn

Department of Biomedical Engineering, Pukyong National University, Nam-Gu, Busan 48513, S. Korea

Tel: +82-51-629-5772 E-mail: [email protected]

Contributed equally to this work

이 논문은 부경대학교 자율창의학술연구비(2019년)에 의하여 연구

되었음.

117 적외선 파장대의 레이저를 이용하여 사용 가능하다는 점에

서 보조 기기들의 수를 줄일 수 있었다.

LSCI 는 레이저를 이용하여 비접촉, 비침습적으로 검출하 고자 하는 조직의 관류를 보여주는 방법이다. LSCI는 레이 저가 조직에 산란되어 간섭현상이 발생함으로 나오는 speckle pattern 을 분석하는 것으로 시작하게 된다. 조직 안에서 레이저의 빛을 산란하는 입자가 이동하게 되면 speckle pattern 이 영향을 받아 fluctuation(변동)이 생기고 이것을 받아들이는 카메라의 노출시간을 조절하여 fluctuation되는 시간을 포함하게 되면 해당 입자로 생성된 패턴이 흐려진다 [1]. 인체 내에서 주로 사용되는 산란 입자는 적혈구이며, 레이저를 조사할 때 발생하는 speckle pattern으로 혈관의 위치를 확인 가능하다. 결과 이미지는 흐려진 패턴을 계산 하고 speckle contrast(스펙클 대조)를 구하여 혈관을 시각화 하게 된다. Laser speckle contrast는 국소 영역의 픽셀의 분산을 국소 영역의 픽셀의 평균 제곱으로 나누어 정량화 된다[2].

Speckle pattern 을 가지고 혈류를 시각화 하는 연구는 1981 년에 Fercher와 Briers가 single-exposure speckle(단일 노출 스펙클)촬영법과 공간 필터를 가지고 망막 혈류를 확인하 였고[3], 1990년대에 들어서 컴퓨터의 성능과 가격 저하로 인해 LASCA(Laser Speckle contrast analysis)라는 이 름으로 본격적으로 발전되었다[2]. 이후에도 레이저 도플러 기술이나 다중 노출 LSCI등 여러 연구가 있었다[4,5].

형광 이미징은 대상으로 하는 조직을 확인하기 위해 가장 잘 사용되는 영상기술 중에 하나이다. 광원에 의해 여기된 형 광물질이 방출하는 파장을 정량적으로 측정하면서 높은 대 비와 감도, 사용하고 관찰하기에 간단하며 저렴하다는 특징 등으로 잘 알려져 있다[6]. 원하는 조직의 검출을 위해서 형 광 이미징은 주로 인체 내부에 조영제를 주입한다. 좋은 형 광 이미지를 얻기 위해서는 여기/방출 필터의 설계, 광원과 카 메라의 선택이 중요한 영향을 미친다. 보조 기구들의 수를 줄 이고 임상 응용분야에서의 사용성을 모두 고려했을 때, 조영 제로 Indocyanine Green(인도시아닌 그린; ICG)을 형광 염 료로 결정하였다. ICG의 형광 특성은 775/50 nm의 파장 영역으로 여기되고 845/55 nm의 파장 영역 빛의 방출되며, 이는 LSCI와 같은 광원으로 적용 가능하다.

인체 내에서는 혈관과 조직의 관류 확인, 망막 혈관 조영 술, 뇌척수액 영상화와 심혈관 이미지화 등에서 사용되고 있 다[7]. 형광 이미징을 상용화한 예로는 SPY-PHI (Stryker, USA) [8] 와 FluoBeam 800 (FLUOPTICS, France) [9]

등이 있다.

본 연구의 특징으로는 다음과 같다. 1) speckle pattern을 이 용한 혈류영상처리와 초기 지연시간을 줄이기 위해서 GPU 병렬연산을 사용한다. 2) 실시간에 가까운 프레임 속도를 내

기 위하여 멀티 스레딩으로 30 프레임 속도 이상을 유지한 다. 3) 진단이라는 부분에서 대상을 뚜렷하게 구분짓기 위 해서 LSCI 시스템과 조영제 등을 이용한 형광 이미징 시 스템을 결합한 단일 광원 진단 시스템이다.

개발된 시스템을 확인하기 위해서 토끼 귀를 통한 정맥주 사로 ICG를 투여하여 혈류를 LSCI와 형광으로 동시에 확 인할 수 있는 환경을 만들어 최종적인 결합시스템을 확인하 게 하였다. 해당 실험은 임상환경에서 혈관을 보존 해야하는 경우에 ICG를 투여하여 형광 이미징을 이용하여 혈관을 확 인하는 방법과 Laser speckle pattern을 이용한 LSCI로 혈관을 확인하는 두가지 방법을 하나의 시스템으로 확인 한다.

II. 연구 방법

이 시스템은 두 이미징 시스템이 광학적으로 결합되어 있다.

먼저 광학 시스템과 이로부터 받은 데이터의 흐름과 처리 과정의 전반적 개요를 설명하고 LSCI 시스템, 형광 이미지 시스템을 설명한다.

1. Combined imaging system

결합 이미징 시스템은 모노크롬 카메라 두 대, beam splitter(빔 스플리터), 필터 그리고 레이저 다이오드로 구성 된다. 모노크롬 카메라는 8bit기반, 4.2 메가픽셀 카메라 (MQ042RG-CM, Ximea) 를 사용하였다. 형광 영상을 위한 카메라에는 대상으로부터 나온 형광 빛 만을 보기 위해서 820 nm emission( 방출) 필터를 카메라 렌즈 앞 단에 장착 하였다(그림 1a). LSCI를 위한 카메라에는 거리 보상을 위한 빈 연결자를 렌즈 앞 단에 사용했다. 이 두 카메라의 이미지를 co-axial( 동축) 상의 이미지로 만들기 위해서 beam splitter 를 이용하고, field of view(FOV)를 동등하게 만들기 위해 서 optical path length(광 경로 길이)가 같도록 앞서 언급 한 빈 연결자를 사용했다. 마지막으로 785 nm 파장대의 레 이저 다이오드(LD785-SEV300, ThorLabs)를 동작 전류 150 mA 설정으로 사용하여 50 mW 출력에서 LSCI의 speckle pattern 과 형광의 여기가 동시에 이루지는 광원으 로 설계하였다. 레이저 다이오드 마운트와 컨트롤러를 이용 하여 레이저 다이오드의 온도와 전류를 조정할 수 있게 하 였으며 레이저 다이오드 앞 단에 diffuser(디퓨져, ED1-S20, ThorLabs) 를 부착하여 레이저가 대상의 넓은 부위에 고르 게 조사될 수 있도록 설계하였다.

Beam splitter 에 의해서 각각의 카메라로 들어온 영상 데 이터들은 영상 처리를 할 컴퓨터로 이동이 된다(그림 1b).

랩탑(intel i7-9750H, RTX2060)에서 GPU병렬연산과 멀

티 스레드를 통해 LSCI알고리즘이 처리가 되고 다른 스레

118

그림 1. 하드웨어의 전체적인 구조와 이미지의 흐름도. (a) 785 nm의 레이저가 대상에 조사된다. 대상에서 발생하는 이미지는 단일 광경로 로 입사되어 빔 스플리터에 의해서 두 카메라로 전달된다. 형광 카메라 앞단에는 방출 필터가 설치되어 있다. (b) 두 카메라를 통해서 촬영된 데이터는 GPU 연산 처리 후 모니터로 출력된다. (c) 동물모델 실험에서 사용된 실제 시스템 환경이다

Fig. 1. Overall hardware set up and data flow of images. (a) A 785 nm laser is irradiated to the object. The image generated from the object is incident on a single optical path and transmitted to the two cameras separately by a beam splitter. An emission filter is installed in front of the fluorescent camera. (b) The data captured by the two cameras is output to the monitor after processing by the GPU. (c) This figure shows a system setup used in animal model experiments

119 드로 형광 이미지가 처리되어 화면에 실시간으로 확인이 가

능하도록 한다.

2. Laser speckle contrast imaging algorithm

레이저가 조직에 의해 산란되면 조직 내부에 있는 산란 입자로부터 laser speckle pattern이 생성이 된다. 대상 조 직의 움직임의 유무에 따라서 정적산란 패턴과 동적산란 패 턴으로 나뉘게 된다. 산란 조직의 움직임을 공간적으로 분 석하기 위해서 식 1으로 laser speckle contrast, K를 계 산한다[2]. 여기서 조직의 움직임의 영향을 일정하게 하기 위해 모든 노출 시간은 1 ms으로 진행하였다.

(1)

σ는 표준편차, 은 pixel intensity(픽셀 강도)의 평균을 의미한다. σ와 의 계산은 전체 2048 × 2048의 픽셀에 서 행의 수가 3, 5, 7이 되도록 하는 정사각행렬을 mask(

마스크)로 잡고 계산한다. Mask의 크기에 따라서 공간해상 도가 줄어드나 입력 영상의 픽셀의 수에는 영향을 주진 않 는다. 인터페이스에는 3가지의 mask를 모두 구현했으나 공 간 해상도나 결과 이미지로 미루어 봤을 때 3 × 3 mask가 나은 결과로써 reference(기준)로 설명하고자 한다. 연산 시 에는 입력 픽셀의 수가 유지되도록 reflected padding과 overlapped sliding 을 한다. Overlapped sliding이란 모든 입 력 픽셀이 mask의 origin(중심점)에 의해 연산하는 것이다. 즉, 하나의 mask가 연산이 되면 원본의 다음 픽셀이 연산된다.

3 × 3 mask 에서 σ

의 계산은 식 2로 계산된다.

(I is pixel intensity,n is index of 3 × 3 mask) (2) 3 × 3 mask 에서의 mean의 계산은 식 3과 같이 계산된다.

(I is pixel intensity,n is index of 3 × 3 mask) (3) K

는 GPU를 이용한 병렬 연산을 통해서 계산되어 실제 mask 가 3인 경우나 7인 경우나 계산에 소요되는 시간은 거의 동일하다. 이후 계산된 speckle contrast는 noise correction ( 보정)과 calibration(교정)과정을 거친다. 그림 2는 LSCI 알고리즘의 전반적인 개요를 보여준다.

(1) Noise correction

원본 이미지에서 측정한 분산과 평균은 speckle pattern에 의한 값만 존재하지 않는다. Hultman et al.에 의해 제안 된 모델에 따르면 식 4와 식 5로 측정된 분산과 평균이 노 이즈가 포함되어 있음을 보여준다[10].

(4) (5) , 은 카메라의 암전류로 인해서 생성이 된다. 이를 측정하여 제거하기 위해서는 카메라의 렌즈를 덮고 10장의 분산과 평균의 구하고 각각의 이미지 픽셀 평균을 구하고, 측정된 분산과 평균에서 빼기 연산을 함으로 보정한다.

는 측정하고 있는 환경에서의 주변 광을 의미한다.

K

= σ

/ I 〈 〉

I

〈 〉 I

〈 〉

σ

1

9 --- ∑

( ) I

_⎝ ^{⎛ 1} ₉ ^--- ∑

^I

_⎠ ^⎞

–

=

I

〈 〉 ⁼ ∑

I

σ

= σ

+ σ

I

〈 〉

= 〈 〉 I

+ 〈 〉 I

+ 〈 〉 I

σ

〈 〉 I

I

〈 〉

그림 2. LSCI 연산 알고리즘 순서도. LSCI 프로세서는 3 × 3 mask 생성, 분산과 평균의 국소 계산, 스펙클 대조도 계산, 잡음 보정, 그리 고 교정의 순서로 진행된다

Fig. 2. LSCI algorithm flow chart. The LSCI processor proceeds in the order of 3 × 3 mask generation, local calculation of variance and mean, speckle contrast calculation, noise correction, and calibration

120

광원으로 사용하고 있는 785 nm 레이저를 제외하고 모든 빛이 포함된다. 이를 줄이기 위해서는 notch filter(노치 필 터)를 이용하여 785 nm의 파장대를 제외한 값을 측정하여 보정하거나 785 nm band pass filter(대역 통과 필터)를 사 용하여 영향을 줄일 수 있다. 본 연구에서는 주변 광원을 통 제하여 진행함으로 개입을 감소시켰다.

(2) Calibration

광원의 분포와 세기의 제한이 있기에 speckle contrast는 위 치에 따라 최대/최소 분포도가 생기게 된다. 그리하여 최대 speckle contrast 를 구해 픽셀당 정규화를 해야 한다. 최대 speckle contrast 는 사용될 광원을 측정할 조직의 위치 에서 정지된 이상적으로 난반사를 일으키는 물질을 이용하여 취득할 수 있다. 본 실험에서는 일반적으로 쉽게 구할 수 있는 흰 종이를 이용하였다. 최종 laser speckle contrast는 식 6 으로 계산된다.

(6)

Contrast 의 최소 값인 에 대해서는 이전 연구[11]에 의해 noise correction(잡음 보정)을 하면 0에 수렴함을 확 인되어 무시 가능하다.

3. Multi-threading algorithm for LSCI

LSCI 의 초기 알고리즘으로 단일 스레드를 이용하여 준 실시간으로 되었으나 CPU의 사용량이나 GPU의 부하 정 도로 판단하였을 때, 보다 개선할 여지가 있어 2중 혹은 3 중의 스레드를 이용하여 성능의 발전에 기여하였다.

그림 3에서 보면 LSCI 처리과정을 포함하면 한 장을 처 리하고 화면에 출력까지 하는 시간은 약 47 ms가 소모되 며 총 프레임 속도는 약 21 fps가 된다.

그림 4에서는 단일 스레드 LSCI 성능을 기준으로 개선의 정도를 확인하기 위해 2중 스레드로 만든 표이다. 2번째 프 레임부터는 첫번째 프레임의 LSCI 처리와 현재 프레임의 전처리가 동시에 처리가 되어 수치상으로 약 0.8배의 프레 임 속도 증가를 만들 수 있다. 두번째와 세번째 전처리 프 레임 사이에 지연시간을 준 이유는 지연시간을 주지 않고 K

( )

K

K

K

---

=

K

그림 3. 단일 스레드로 LSCI 처리를 할 때, 세 프레임의 실험적 성능 그래프. LSCI 프로세싱은 전처리에서 20 ms, LSCI 알고리즘 연산에 서 22 ms, 그리고 화면에 출력에서 5 ms의 시간이 평균적으로 소요된다

Fig. 3. Experimental performance graph of three frames with a single thread LSCI processing. LSCI processing takes average of 20 ms for preprocessing, 22 ms for LSCI algorithm operation, and 5 ms for output to the screen

그림 4. 이중 스레드가 적용된 LSCI 프로세서 구조. LSCI 전체 프로세싱은 전처리를 한단계, LSCI 알고리즘 프로세싱 그리고 화면출력을 다른 한단계로 구분하여 각 스레드에 분배되었다. 스레드간 데이터 전달이 각 프레임의 전처리 후 발생한다. 3번째 프레임 전처리의 시작이 첫번째 프레임의 화면 출력 후에 수행되도록 지연시간이 설정되었다

Fig. 4. The structure of a LSCI processor with dual threads. The entire LSCI processing was distributed to each thread by dividing the preprocessing into one stage, the LSCI algorithm processing, and the screen output into the other stage. Inter- thread data transfer occurs after preprocessing each frame. The delay time was set so that the start of the third frame preprocessing is performed after the screen output of the first frame

121 전처리 스레드를 반복시키게 되면 다음 프레임으로 갈수록

전 처리와 LSCI 처리 간의 간격이 커지거나 동일한 시간대 에서 3개의 일을 동시에 처리하게 된다. 이는 CPU에 부하를 걸게 되며, 오히려 연산이 느려질 가능성이 있다.

프레임 속도는 1초 간격의 타이머 이벤트를 이용하여, 1 초당 출력되는 프레임 수를 계산하여 나타낸다.

4. Fluorescence imaging

형광 물질은 여기 파장의 빛을 흡수하고 들뜬 상태에서 원래 상태로 돌아가며 열이나 빛의 형태로 에너지를 방출한 다. 여기서 나오는 빛은 형광이며 정량적으로 검출할 이미 지를 형성한다. 열에너지 등의 다른 형태의 에너지로도 방 출되기에 방출되는 빛의 파장은 여기 파장보다 에너지가 감 소하여 긴 파장으로 방출된다. 형광 이미지는 여기/방출 필 터의 설계, 광원과 카메라의 선택에 주요한 영향을 받는다.

특히 형광 영상의 대비를 높이기 위해서는 여기 필터와 방 출 필터의 선택이 중요하다. 일반적으로 형광 이미징에서는 광원으로부터 여기 파장만 걸러주는 여기 필터가 필요하나 본 실험에서는 선폭이 좁은 레이저를 사용하여 여기필터를 사용하지 않았다. 또 ICG를 형광 시약으로 이용하면서 LSCI를 위한 근적외선 파장 레이저와 형광 이미징의 여기 파장이 겹치게 설계하였다. 여기 파장 필터와 방출 파장 필터의 선 택에 따라서 주변 광으로 인해 SNR(signal to noise ratio)에 영향을 준다. 여기 파장 필터가 없기에 근적외선 레이저의 파장이 이미지에 영향을 줄수있고 ICG의 충분한 형광 광도를 받아들일 수 있는 820 nm 파장 필터를 방출 파장 필터로 선정하였다.

본 실험에서 사용되는 형광 시약인 ICG는 혈관 mapping ( 맵핑) 시에 혈장 단백질에 빠르게 결합하여 추가 누출이 적 은 점, 담즙에서 빠른 배출이라는 점(즉, 짧은 반감기)에서 장점이 있다[6].

5. 실험 설계

조직의 관류로 인한 LSCI와 형광 이미지를 동시에 얻기 위해서 ICG를 사용하여 혈류를 관찰하는 실험을 진행한다. 토 끼 귀의 혈관을 대상으로 측정했으며, 의도적인 혈류의 흐 름을 만들어내지 않고 심장의 펌프에 의한 혈류를 보기 위 해서 한 쪽 귀에 정맥주사를 통해서 ICG를 주입하고 다른 귀의 이미지를 얻도록 시행한다. 실험에 사용된 시스템의 환 경은 그림 1(C)에 표시하였다.

LSCI 를 측정하기 전에 해당 환경에서 더 나은 speckle contrast 를 얻기 위해서 dark noise(암전류 잡음)와 대상과 카 메라 간의 calibration 이미지를 측정하고 광원을 제외한 주변 광의 통제를 진행한다. 조직의 동적인 speckle pattern과 정적인 부분을 통제하기 위해서는 조직의 흔들림이 안정적

으로 유지를 위해 레이저를 조사하는 대상의 부위가 움직이 지 않도록 고정시킨다.

III. 연구 결과

1. 통합 시스템

형광 시스템과 LSCI 시스템을 하나로 결합하여 혈류를 확인하는 LSCI와 형광 이미징, 2개의 다른 이미지를 실시 간으로 확인할 수 있다.

그림 5로부터 동일한 위치에서 토끼 귀의 혈류를 LSCI 와 ICG의 유무로 확인 가능하다. 그림 5의 (a) 우측 형광 사진에서의 혈관이라는 대상과 (a) 좌측 LSCI 사진의 혈액 이 흐름이 거의 일치하는 것을 볼 수 있다. 혈액이 움직임 으로써 혈액에 의해 산란된 speckle pattern이 노출시간동 안 움직인 것을 포착하고 이에 따라 speckle contrast에서 의 분산이 낮아진다. 즉, speckle pattern이 흐려진다. 이 것은 이미지에서 픽셀의 세기가 낮아지는 것으로 표현되어 혈액이 흐르는 부분을 확인하였다.

그림 5의 (a)에서 (d)까지, 시간의 흐름에 따른 형광 이미 지의 변화를 통해서 토끼 귀의 혈류가 뚜렷한 중심 선을 기 준으로 주변으로 뻗어져 나가는 혈관의 모습을 관찰 가능하 다. 육안으로 보이는 것보다 더 미세하고 정확한 구분이 가 능하다. 이때 ICG의 직접적인 주입 속도가 혈류속도에 미 치는 영향을 줄이기 위해서 촬영중인 귀와 반대 귀에 주입을 하여 실험을 진행했다. 따라서 측정된 혈류는 심장의 펌프에 따 른 결과로 해석된다. ICG의 유무에 따라서 붉은색에서 노 랑색까지, 강하면 녹색까지 혈액에서 형광이 검출되었다.

2. LSCI GPU performance

그림 3과 그림 4와 같이 현재 LSCI 처리 알고리즘은 3 가지로 크게 나누었다. 노출시간을 포함한 전처리 부분, GPU 를 이용하여 LSCI를 병렬 계산하는 연산 부분과 처리 된 이미지들을 화면에 띄우는 출력부분으로 구성된다. 그리 하여 단일 스레드를 이용하는 기존의 알고리즘에서 최대 3 개까지의 스레드를 이용하여 다중 연산을 하도록 설계할 수 있었다. 표 1에서는 스레드 수에 따라 성능 비교를 위해서 한 이미지에서 각 구간별 처리 시간을 구한 것을 보여준다.

LSCI 의 연산 부분은 GPU 메모리로 데이터를 전달하고 연 산 된 데이터를 다시 CPU로 가져오는 과정이 포함된다.

카메라의 프레임 속도는 카메라 하드웨어에 전달되는 입력

명령어이며 실제 프레임 속도는 자체 개발한 프로그램에서

모든 처리과정이 수행되고 난 시간을 변환한 ‘현재 프레임

속도’ 행에서 확인된다. 한 프레임을 처리하는데 걸리는 총

시간은 단일 스레드에서 세 과정의 합, 이중 스레드 이상에

서는 LSCI 연산, 출력 시간의 합과 전처리 시간 중에서 더

122

큰 값으로 한다. 여기서 전처리 시간이 다른 두 시간의 합 보다 짧은 경우, 수행 시간을 확인하는 알고리즘 상에서는 그림 4와 같은 전처리 부분 지연시간이 주어지지 않으면 두 값의 차이가 커질수록 CPU병렬 스레드 처리에 부하가 되 어 일정 속도 이상으로 증가하지 못하는 것을 확인했다.

연산과 출력 시간은 거의 일정하며 전처리 시간이 조절되어 입력 프레임 속도가 결정되는 것을 표 1의 스레드당 프레임

속도의 변화를 보아 알 수 있다. 그렇기에 연산 시간과 출력 시 간의 합이 총 시간이 되는 순간이 최대 프레임 속도를 결정 짓는다. 하지만 이 순간에는 전처리 시간에 지연시간이 없어, CPU 에 부하가 걸려 총 처리 시간에 영향을 미칠 수 있으 므로 CPU의 안정을 위해서 연산 시간과 출력 시간의 합과의 차이만큼 지연시간을 추가하는 모델로 선정하였다. 최종적 으로는 그림 6과 같은 형태로 알고리즘을 구현하여 LSCI를

표 1. 스레드 수에 따른 한 프레임당 LSCI 구간별 처리 속도

Table 1. Processing time by LSCI interval in a frame, depending on the number of threads

Single thread Double thread Triple thread

Camera Frame rate [fps] 16 20 25 16 20 25 30 40 16 20 30 35 40

Preprocessing [ms] 42 30 20 61 50 39 30 20 64 47 31 27 25

LSCI [ms] 18 16 20 23 27 29 28 26 18 19 18 21 22

Print [ms] 2 2 2 4 4 3 2 3 2 2 3 4 4

Total time [ms] 62 48 42 61 50 39 30 29 64 47 31 27 26

current Frame rate [fps] 16.1 20.8 23.8 16.4 20 25.6 33.3 34.5 15.6 21.3 32.3 37 38.5 그림 5. ICG가 목표 필드에 유입되는 시간에 따른 혈류 순서 이미지(좌: LSCI, 우: 형광 이미지). 4개의 시간 흐름에 따라 (a) 부터 (d)까지 LSCI와 형광 이미지의 변화가 확인되었다. 전체 이미지에서 혈관은 화살표로 표시되었다. LSCI 이미지에서는 혈류가 큰 변화 없이 균일 하 게 흐르는 것으로 확인된다. 반면 형광 이미지에서는 주입된 ICG가 목표 필드에 도달하는 순간부터 혈관 이미지가 뚜렷하게 확인된다. (a) t = t0, ICG가 아직 들어오지 않은 상태. (b) t = t1, 가장 큰 혈관에 ICG가 유입된 상태. (c) t = t2, 주변 작은 혈관에도 ICG가 유입된 상태 . (d) t = t3, ICG가 목표 필드에 최대로 유입된 상태

Fig. 5. Images of blood flow sequence according to time when ICG is flowed into the target field (left: LSCI image, right:

fluorescence image). Changes in the four LSCI and fluorescence images were observed from (a) to (d) over time. In all images, blood vessels are indicated by arrows. In LSCI images, it is confirmed that blood flows uniformly without significant change. On the other hand, in the fluorescence images, the blood vessels are clearly identified as the injected ICG reaches the target field over time. (a) t = 0, the state in which ICG has not yet entered. (b) t = 1, ICG inflow into the largest blood vessel. (c) t = 2, the state in which ICG was introduced into the surrounding small blood vessels. (d) t = 3, the state in which ICG is maximally flushed into the target field

123 수행하였다. 그리하여 표 1의 삼중 스레드의 부분으로부터

37~38 fps 의 값이 최대 성능임을 확인했다.

IV. 고찰 및 결론

본 연구는 실시간으로 현장에서 적용 가능한 수준의 LSCI 와 형광 이미징을 결합하여 간편하게 사용 가능한 진단 이 미징 장치를 만드는 데 목적이 있다. 병렬 연산을 위한 GPU 와 휴대성을 높이기 위해서 8 bit 기반의 4.2 메가픽셀 모 노크롬 카메라와 i7-9750H/RTX2060 정도의 랩탑 환경에 서 실시간으로 실행이 가능한 LSCI 프로그램을 만들었다.

다중 스레드와 CUDA를 이용한 병렬 컴퓨팅으로 표 1의 삼 중 스레드에서 최고 성능을 보았을 때 37 fps 정도의 실시 간 처리로 충분한 프레임 속도를 가지게 되었다. 삼중 스레 드에서 40 fps 초과의 카메라 프레임 속도를 설정하면 한 프 레임을 처리하는데 걸리는 시간이 더 길어지는 것이 확인되 었다. 이것은 CPU 과부하가 일어나 성능저하가 발생하는 것으로 판단된다.

785 nm 파장의 단일 광원을 사용하여 주변기기의 부피를 줄 이고 형광 이미지와 LSCI이미지를 동시에 확인 가능한 시 스템을 만들었다. 동물 모델의 혈관에 ICG를 주입함으로 ICG에 결합된 혈장 단백질의 위치와 혈류가 시각화 되는 것을 확인하였다. 그림 5의 LSCI 영상을 보면 혈관이 육안 으로 확인될 정도의 대조도를 보이긴 하나, 혈관의 주변으 로 상대적으로 혈류의 정보를 나타내지 못하고 있다. 이는 조영제 투입을 위해서 ambient light(주변 빛)를 모두 차 단하지 못하고, 카메라의 초점거리에 대상의 표면이 고르게

위치하지 못했다는 물리적인 제약으로 발생된 것으로 생각 된다. 이는 LSCI 카메라에 band pass filter를 이용하여 주 변 광을 차단하거나, 주변 광에 대한 보정으로 극복할 수 있 을 것으로 추정된다. 그리고 대상과의 거리가 유동적이게 되 는 경우에 발생하는 노이즈가 실시간으로 재 측정되거나 보 정되어야 한다는 점에서 LSCI의 noise correction(잡음 보 정) 알고리즘의 개선이 필요하다.

실험에서 사용된 LSCI 영상의 최대 출력 성능은 37 fps 이고, 형광카메라의 노출 시간을 27 ms 이하로 설정할 때 동일한 37 fps로 영상확인이 가능하다. 하지만 두 영상사이에 싱크를 보정하는 알고리즘은 구현되지 않아서 두 영상 간에 최대 27 ms의 싱크 차이가 발생할 수 있다. 27 ms의 싱 크 차이는 임상적으로 무시가능한 수준이다.

LSCI 측면에서 GPU를 이용한 실시간 혈류 영상화에 대 한 연구 개발이 이루어져왔다[12]. 대표적으로 Owen Yang et al.에 의해 소개된 알고리즘이 전반적으로 동일하지만, kernel 을 횡방향과 종방향으로 두 번을 나누어 5 × 5 영역 의 연산을 수행했고, 본 연구에서는 mask를 이용하여 분할 없이 한 번에 3 × 3 영역의 연산을 수행했다. 시스템적으론 광원이 633 nm 파장을 사용하여 조직에 대한 침투 깊이가 본 연구에 비해 짧다. 이전 연구에선 GeForce 8800GTS와 1392 × 1040 pixel size 를 가진 12-bit 카메라를 사용하여 9.7 fps 수준의 출력을 보였으나, 본 연구에선 GeForce RTX2060 과 2048 × 2048 pixel size를 가진 카메라에 8- bit 를 적용하여 37 fps의 출력을 통해 15 fps 이상의 실시 간 이미징을 구현하였다.

본 연구로 인하여 영상 진단의 부분에서 부피는 더 작고

Fig. 6. Final LSCI parallel computation model using triple threads. The entire LSCI processing was divided into preprocessing, LSCI algorithm processing, and screen output, and distributed to each thread. Data transfer between threads occurs after each frame process. An intentional delay time is added in order to reduce CPU overload on the first thread that performs the preprocessing process

124

실시간으로 형광 영상과 혈류 영상을 확인 가능한 것을 알 수 있었다.

추후 주변 광을 보정하는 알고리즘 개선을 통해서 잡음 보정 소프트웨어를 개선하고[13], 거리에 따른 초점을 정확 하게 맞출 수 있는 줌 렌즈를 사용하거나 카메라를 좀 더 고성능 제품을 사용하여 하드웨어를 개선하면 시공간적 해 상도가 향상되어 실제 임상에서 적용 가능한 시스템이 될 것으로 생각된다.

References

[1] Draijer M, Hondebrink E, van Leeuwen T, Steenbergen W.

“Review of laser speckle contrast techniques for visualizing tissue perfusion.” Lasers in Medical Science, 2009;24(4):

639-651.

[2] Briers JD, Webster S. “Laser speckle contrast analysis (LASCA): a nonscanning, full-field technique for monitoring capillary blood flow.” Journal of Biomedical Optics, 1996;1(2):

174-179.

[3] Fercher AF, Briers JD. “Flow visualization by means of sin- gle-exposure speckle photography.” Optics Communications, 1981;37(5):326-330.

[4] Briers JD. “Laser Doppler and time-varying speckle: a rec- onciliation.” JOSA A, 1996;13(2):345-350.

[5] Rege A, Murari K, Seifert A, Thakor NV, Pathak AP. “Mul- tiexposure laser speckle contrast imaging of the angiogenic microenvironment.” Journal of Biomedical Optics, 2011;16(5):

056006.

[6] Alander JT, Kaartinen I, Laakso A, Pätilä T, Spillmann T, Tuchin VV, Venermo M, Välisuo P. “A review of indocyanine green fluorescent imaging in surgery.” International Journal of Biomedical Imaging, 2012;2012:26.

[7] Frangioni JV. “In vivo near-infrared fluorescence imaging.”

Current Opinion in Chemical Biology, 2003;7(5):626-634.

[8] Nguyen JM, Hogen L, Laframboise S, Bouchard-Fortier G, Ferguson SE, Bernardini MQ, May T. “The use of indocy- anine green fluorescence angiography to assess anastomotic perfusion following bowel resection in surgery for gyneco- logic malignancies-A report of 100 consecutive anastomo- ses.” Gynecologic Oncology, 2020;158(2): 402-406.

[9] Griffiths M, Chae MP, and Rozen WM. “Indocyanine green- based fluorescent angiography in breast reconstruction.”

Gland Surgery, 2016;5(2):133.

[10] Hultman M, Fredriksson I, Larsson M, Alvandpour A, Strömber, T. “A 15.6 frames per second 1-megapixel multi- ple exposure laser speckle contrast imaging setup.” Journal of Biophotonics, 2018;11(2): e201700069.

[11] Zölei-Szénási D, Czimmer S, Smausz T, Domoki F, Hopp B, Kemény L, Bari F, Iványi I. “Enhancements on multi-expo- sure LASCA to reveal information of speed distribution.”

Journal of the European Optical Society-Rapid publications, 2015;10:15033.

[12] Yang O, Cuccia DJ, Choi B. “Real-time blood flow visual- ization using the graphics processing unit.” Journal of Bio- medical Optics, 2011;16(1):016009.

[13] Wang Y, Lv W, Chen X, Lu J, Li P. “Improving the sensitiv- ity of velocity measurements in laser speckle contrast imaging using a noise correction method.” Optics Letters, 2017;42(22):

4655-4658.