MFP를 이용한 NCC 기반의 의료 영상 정합

(1)

https://www.ksiim.org/ 1

MFP를 이용한 NCC 기반의 의료 영상 정합

김예진, 조승룡

한국과학기술원 원자력 및 양자공학과

NCC-based Stitching Performance in MFP Framework

Yejin Kim, Seungryong Cho

Department of Nuclear and Quantum Engineering, Korea Advanced Institute of Science and Technology, Daejeon, Korea

Background: In clinics, long-length medical images such as lower limb or whole spine are required for diagnostic purposes. Because of limited x-ray detector panel size, long-length images should be acquired by stitching of multiple images with minimum overlap area. To find the stitching point, similarity is measured in overlapped area between two serial images by calculating normalized cross correlation (NCC). Typically, medical image stitching technique introduces a lead ruler as a marker for stitching. However, marker- based stitching can result in discordance of anatomical structures near stitching line when there is a patient movement during se- quential image acquisition. Therefore, anatomical-structure-based stitching is the ideal method. Nevertheless, scattering of x-rays and noise from detector panel decrease the similarity of overlapped area from two serial images, which can lead to erroneous stitching. In this study, we suggested the introduction of multi-frequency processing (MFP) framework for anatomical-structure-based-stitching to reduce the stitching error.

Materials and Methods: To reduce the calculation time, fast Fourier transform (FFT) was used. Sample images for NCC calculation were selected on the overlapped region. MFP was applied for these selected samples to get edged enhanced images. Using MFP applied samples, NCC calculation was carried out to determine stitching point. After determinant of stitching point, seam-line is elimi- nated using triangulation average blending.

Results: NCC-based stitching in MFP framework outperformed the simple NCC-based stitching. Stitching in MFP framework signifi- cantly reduces the possibility of erroneous stitching.

Conclusion: Introduction of MFP before NCC calculation greatly increased the performance of stitching. Anatomical-structure-based stitching without a lead ruler can be successfully achieved without visible error.

Key Words: Stitching; Multi-frequency Processing; Normalized Cross Correlation (NCC); Radiographic imaging; Medical panoramic image

서 론

임상 진단 시, 전(全)척추 또는 전(全)하반신 등의 넓은 인체 부위 를 관찰해야하는 경우 파노라마식 X선 영상을 얻어야 한다[1,2]. 현 디지털 방사선영상(DR) 장비의 검출기 크기가 한정적이므로 한 번 에 원하는 영상을 얻는 데 제약이 있다. 따라서 여러 장의 영상을 연속적으로 촬영 후 이를 하나의 영상으로 정합(stitching)하는 과 정이 필요하다. 상단 영상과 하단 영상 간의 중첩 영역을 두고 여러

장을 촬영한 후, 중첩 영역을 기준으로 일치도가 가장 높은 정합점 을 찾아 연결하는 것이다[3].

의료 영상을 접합하는 데 있어서 가장 중요하고 도전적인 과정 은 올바른 접합점을 추출하는 것이다. 접합점 추출을 위한 방법으 로는 Scale Invariant Feature Transform (SIFT), Speeded-up Ro- bust Features (SURF), Features from Accelerated Segment Test (FAST), Mutual Information (MI) 그리고 Normalized Cross Cor- relation (NCC) 등이 있다[4,5]. SIFT, SURF 와 FAST는 특징점 추 대한의학영상정보학회지 2017;23:1-6

ORIGINAL ARTICLE

KOREAN SOCIETYOF

KSIIM

대한의학영상정보학회

IA

IN INFOR ATICS IN EICINE

KOREAN SOCIETY OF IMAGING INFORMATICS IN MEDICINE

SIIM

^{대한의학영상정보학회}

교신저자: 조승룡

한국과학기술원 원자력 및 양자공학과, 34141 대전광역시 유성구 대학로 291 Tel: +82-42-350-3828, Fax: +82-042-350-3810, E-mail: [email protected]

Received: October 27, 2017 / Accepted: January 28, 2018 / Published: May 16, 2018

(2)

대한의학영상정보학회지 2017;23:1-6 2 https://www.ksiim.org/

출(feature extraction) 기반의 방법이며 MI와 NCC는 일치도 기반 의 방법이다[6].

의료 영상 정합시에는 X선용 납자(lead ruler)를 사용하는 방법 이 일반적이다. X선용 납자를 영상의 가장자리에 환자와 평행하도 록 위치시켜 촬영한 후, 이를 표지자(marker)로 영상을 정합하는 방법이다[1]. 그러나 표지자를 기준으로 영상 정합을 할 경우 촬영 중간에 미세한 환자의 움직임이나 자세변화가 있다면 정합 부위에 불일치가 발생한다. 따라서 가장 이상적인 방법은 표지자 기반이 아닌 해부학적 구조를 기반으로 정합점을 찾는 것이다. 그러나 영 상에서 해부학적 정보는 그 구조가 복잡할뿐만 아니라 X선 산란이 나 영상 잡음 등으로 영상이 오염된다. 따라서 같은 부위를 촬영한 영상일지라도 서로 다른 잡음 분포로 인해 정합점을 찾는 것이 쉽 지 않다.

본 연구에서는 NCC를 기반으로 한 의료 영상 정합에 Multi-Fre- quency Process (MFP)를 도입한다. 이때, 기존의 표지자 기준의 정 합점 탐색이 아닌 해부학적 정보 기준의 탐색으로 접합부위 간의 불일치를 최소화하고자 한다. 해부학 정보 기준으로 NCC를 계산 할 때 MFP를 도입해 영상의 고주파수 성분만을 추출한다. 이는 영 상의 가장자리 성분만을 추출하는 것으로, 영상 경계 강조(edge enhancement)의 효과가 있다[7,8]. MFP를 도입하면 두꺼운 체적 성 분에 특히 많이 발생하는 잡음으로 인한 정합 오류를 줄일 수 있다.

정합점을 기준으로 영상 정합을 한 후 두 영상의 연결부위에 부 자연스러운 경계선을 제거하는 과정이 필요하다. 본 연구에서는 연 결 부위의 두 영상을 triangulation average 방식을 사용해 선형적 으로 합성했다.

재료 및 방법

전체 흐름도

X선 영상을 연속적으로 촬영하여 정합하는 경우 연속된 영상 간의 중첩 부위를 대략적으로 알 수 있다. 위에서 아래 방향으로 촬

Fig. 1. 샘플 영상의 결정. 영상 픽셀 크기가 x× y라 할 때, 두 영상 간의 중첩 부위는 상단 영상의 하단과 하단 영상의 상단에 위치한다. 상단 영상의 하단에

좁은 영역의 샘플 A를, 하단 영상의 상단에 샘플 T를 추출한다. 이때 NCC를 계산하기 위해서는 샘플 T의 영역이 샘플 A의 영역보다 넓어야 한다. 본 연구에 서는 실험적으로 계산 시간과 정합 오류를 최소화하도록 샘플 A와 T를 결정했다.

상단 영상

Sample A

Sample T

0.09y 0.3x

0.5x

0.35y X X

y ^0.9y y

하단 영상

Fig. 2. 전체 흐름도. 상단 영상에서 샘플 A를, 하단 영상에서 샘플 T를 추출

한다. 이때, 두 샘플 영상을 각각 MFP 처리해 해부학적 구조의 윤곽선을 부 각시킨 영상을 생성한다. MFP 처리된 두 샘플로 NCC를 계산하여 영상 간 일치도가 최고인 좌표를 찾아내고, 이를 기준으로 영상을 정합한다. 정합 한 후에는 두 영상의 이음새 부분의 경계선을 제거하여 부자연스러운 연결 부위를 해소한다.

있다^{5, 8)}. MFP를 도입하면 두꺼운 체적 성분에 특히 많이 발생하는 잡음으로 인한 정합 오류를 줄일 수 있다.

정합점을 기준으로 영상 정합을 한 후 두 영 상의 연결부위에 부자연스러운 경계선을 제거하 는 과정이 필요하다. 본 연구에서는 연결 부위 의 두 영상을 triangulation average 방식을 사 용해 선형적으로 합성했다.

재료 및 방법 전체 흐름도

X선 영상을 연속적으로 촬영하여 정합하는 경 우 연속된 영상 간의 중첩 부위를 대략적으로 알 수 있다. 위에서 아래 방향으로 촬영할 때는 상단 영상의 하단과 하단 영상의 상단이 중첩

부위가 된다. 따라서 모든 영상 영역에 대해 일 치도 계산을 할 필요가 없으며, 일치도 계산 영 역을 중첩 부위로 좁힐 수 있다. 그림 1과 같이 상단 영상의 일부를 하단 영상의 넓은 영역에 대하여 일치도를 계산 한다.

상단 및 하단 영상에서 일치도를 비교할 샘플 영상을 선택한 후, 각 영상을 MFP 하여 고주파 수 성분을 추출한다. 고주파수 성분이 부각된 영상으로 NCC를 계산 한 후 일치도의 최고값 을 반환하는 좌표를 정합점으로 삼는다. 정합점 을 기준으로 두 영상을 이어 붙이는데, 이때 정 합 부위에 두 영상 간의 경계선이 생긴다. 이 경계선을 제거하기 위해 triangulation average 방법을 도입했다.

그림 2는 본 연구에 사용된 의료 영상 정합의 전체 알고리즘 흐름도이다.

MFP

파노라마식 X선 영상을 얻을 때 상단의 중첩 부위와 하단의 중첩 부위가 완전히 일치하는 것 은 대체로 불가능하다. 이는 X선 발생장치가 콘 빔 형태이므로 X선과 X선 검출기가 평행하지 않기 때문이다⁴⁾. 또한 X선 산란, 검출기 잡음 등도 두 중첩 부위가 완전히 일치하지 못하게 하는 원인이다. 특히 복부와 같이 두께가 두꺼 운 정합 부위일 경우 정확한 영상 정합점을 찾 는 것은 상당히 까다롭다. 이 문제를 해결하기 위해 MFP로 X선 영상을 처리한다. MFC 과정을 거치면 영상에서 복잡한 구조는 배제하고 가장 자리 성분만을 남겨둘 수 있다. 이렇게 가장자 리를 부각시킨 경계 영상으로 NCC 를 계산하 면 보다 정확한 정합점 도출이 가능하다.

그림 3 과 같이 원본영상에서 흐림 처리 된 영상(blurred image)을 빼면 경계 영상을 얻을

[그림 2] 전체 흐름도. 상단 영상에서 샘플 A를, 하단 영상에서 샘 플 T를 추출한다. 이때, 두 샘플 영상을 각각 MFP 처리해 해부학 적 구조의 윤곽선을 부각시킨 영상을 생성한다. MFP 처리된 두 샘 플로 NCC를 계산하여 영상 간 일치도가 최고인 좌표를 찾아내고, 이를 기준으로 영상을 정합 한다. 정합 한 후에는 두 영상의 이음 새 부분의 경계선을 제거하여 부자연스러운 연결부위를 해소한다.

시작

상단 및 하단 영상에서 샘플 영상 A, T 추출

영상 A, T로 MFP 처리

NCC 계산

NCC 최고값을 가지는 좌표 추출(정합점 추출)

정합점 기준으로 영상 정합

경계선 제거

끝

(3)

MFP를 이용한 NCC 기반의 의료 영상 정합 • ^{김예진 외}

대한의학영상정보학회지 2017;23:1-6 https://www.ksiim.org/ 3

원본 영상 MTF

Response

Low frequency High frequency

흐림 처리 영상 MTF

Response

경계 영상 MTF

Response

A B C

Fig. 3. Multi-Frequency Processing (MFP). 원본 영상(A)에 가우시안 커널(Gaussian Kernel)을 콘볼루션 처리해 흐림 영상(B)을 얻는다. 이때 (B)의 MTF에서

고주파수 성분이 소실된다. 원본 영상(A)에서 흐림 처리 영상(B)를 빼면 경계 영상(C)를 얻을 수 있다. 이때, (C)는 원본 영상에서 고주파수에 해당하는 가장자 리 성분이 부각된 영상이다. 흐림 처리 시 사용하는 가우시안 커널의 크기와 표준편차를 조정하면 경계 영상의 단계를 조정할 수 있다.

Fig. 4. NCC 계산의 모형.

u

f (x, y) t (x, y) (u, v) v

Sample T Sample A

NCC calculation area

(x,y)는 이미지의 우측 하단 끝점

Fig. 5. Triangulation Average. 두 영상 연결부위의 경계선을 제거한다. 영상

이 중첩되는 부위에서 상단 영상에는 가중치 α를, 하단 영상에는 가중치 β 를 각각 곱한다. 두 영상의 중첩부위에서 가중치 α는 1부터 0까지 점점 감 소하고, 가중치 β는 0부터 1까지 점점 증가한다. 이때, 두 가중치의 합인 α+β는 1이 되도록 유지하여 중첩 부위의 이질감을 최소화한다.

경계선 제거

정합 부위의 뚜렷한 경계선은 영상을 부자연스 럽게 하는 요소이다. 따라서 경계선을 제거하기 위한 융합 과정이 필요하다. 본 연구에서는 두 영상의 픽셀값을 triangulation average 하는 방법을 채택했다. 이 방법은 정합할 두 영상에 각각 적절한 가중치를 곱한 후 두 영상을 선형 적으로 합성하는 것이다. 그림 5와 같이 상단 영상에 가까운 부분에서는 상단 영상의 가중치 (α )를 크게 하고 하단 영상에 가까운 부분에서 는 하단 영상의 가중치(β )를 크게 하는 방법이 다. 이때, 같은 위치의 픽셀값에 대해서 서로 다 른 두 가중치의 합이 1이 되도록 가중치에 조건 을 맞춘다(α � β � �).

실험결과

그림 6은 세 장의 파노라마식 X선 영상을 정 합한 것이다. 원본 영상 (a), (b), (c)에 MFP를 적용하지 않고 영상 도메인에서 NCC를 계산하 여 정합한 결과 영상이 (d)이다. 비교적 구조가 복잡하고 두꺼운 부위인 복부에서 정합점이 정 확하지 않음을 확인할 수 있다. 반면 MFP를 사 용한 정합 영상인 (e)는 영상 (d)에 비해 정확한 정합점을 찾았음을 확인할 수 있다.

그림 7 의 (a), (b), (c)가 원본 영상이며, MFP를 사용한 정합 결과가 (d)이다. 정합 결과 (d)에서 는 서로 다른 세 원본 영상 간의 경계선 없이 자연스럽게 정합이 이루어졌음을 확인할 수 있 다.

고찰 및 결론

본 연구에서는 MFP를 활용한 NCC 기반의 의 료 영상 정합을 통해 영상 간의 이질감 없이 자 연스러운 정합 영상을 만들어냈다. 그림 6에서 도 확인할 수 있듯, 원본 영상을 이용한 정합보 다는 원본 영상에 MFP 처리를 하여 정합하는 것이 더 정확한 정합 결과를 보여준다. 또한 그 림 6과 그림 7에서 triangulation average를 이용한 경계선 제거가 효과적으로 이루어졌음을 알 수 있다. Triangulation average는 원본 영 상을 전혀 훼손하지 않고도 두 영상을 이질감이 연결 할 수 있다는 장점이 있다.

본 연구에서는 NCC 기반의 영상 정합에 MFP 를 도입했다. 그러나 SIFT, SUFT 등의 비교적 최신 알고리즘을 이용한 영상 정합에도 MFP를 도입할 수 있을 것이다.

중첩 부위

1 1

0 0

상단 영상 가중치 � 하단 영상 가중치 �

[그림 5] Triangulation Average. 두 영상 연결부위의 경계선을 제거 한다. 영상이 중첩되는 부위에서 상단 영상에는 가중치 �^{를, 하단}

영상에는 가중치 �를 각각 곱한다. 두 영상의 중첩부위에서 가중 치 �는 1부터 0까지 점점 감소하고, 가중치 �는 0부터 1까지 점 점 증가한다. 이때, 두 가중치의 합인 � ��는 1이 되도록 유지하 여 중첩 부위의 이질감을 최소화한다.

상단 영상 가중치 α 하단 영상 가중치 β

중첩 부위

1 1

0 0

영할 때는 상단 영상의 하단과 하단 영상의 상단이 중첩 부위가 된 다. 따라서 모든 영상 영역에 대해 일치도 계산을 할 필요가 없으며, 일치도 계산 영역을 중첩 부위로 좁힐 수 있다. Fig. 1과 같이 상단 영상의 일부를 하단 영상의 넓은 영역에 대하여 일치도를 계산한다.

상단 및 하단 영상에서 일치도를 비교할 샘플 영상을 선택한 후, 각 영상을 MFP 하여 고주파수 성분을 추출한다. 고주파수 성분이 부각된 영상으로 NCC를 계산한 후 일치도의 최고값을 반환하는 좌표를 정합점으로 삼는다. 정합점을 기준으로 두 영상을 이어 붙 이는데, 이때 정합 부위에 두 영상 간의 경계선이 생긴다. 이 경계선

을 제거하기 위해 triangulation average 방법을 도입했다.

Fig. 2는 본 연구에 사용된 의료 영상 정합의 전체 알고리즘 흐름 도이다.

MFP

파노라마식 X선 영상을 얻을 때 상단의 중첩 부위와 하단의 중 첩 부위가 완전히 일치하는 것은 대체로 불가능하다. 이는 X선 발 생장치가 콘빔 형태이므로 X선과 X선 검출기가 평행하지 않기 때 문이다[4]. 또한 X선 산란, 검출기 잡음 등도 두 중첩 부위가 완전히

(4)

Kim Y et al. • NCC-based Stitching Performance in MFP Framework

일치하지 못하게 하는 원인이다. 특히 복부와 같이 두께가 두꺼운 정합 부위일 경우 정확한 영상 정합점을 찾는 것은 상당히 까다롭 다. 이 문제를 해결하기 위해 MFP로 X선 영상을 처리한다. MFC 과 정을 거치면 영상에서 복잡한 구조는 배제하고 가장자리 성분만을 남겨둘 수 있다. 이렇게 가장자리를 부각시킨 경계 영상으로 NCC 를 계산하면 보다 정확한 정합점 도출이 가능하다.

Fig. 3과 같이 원본영상에서 흐림 처리 된 영상(blurred image)을 빼면 경계 영상을 얻을 수 있다. 흐림 처리 시 사용된 가우시안 커널 (Gaussian kernel)을 조정하면 경계 영상의 단계를 조정할 수 있다.

본 연구에서는 17×17 커널(표준편차 3.5)과 53×53 커널(표준편 차 11.5)을 사용하여 얻은 두 경계 영상을 더했다. 커널 크기와 표준 편차는 실험적으로 결정했다.

NCC

NCC 계산식은 다음과 같다.:

이때, f 는 Fig. 4에서 sample T, t는 sample A, 수 있다. 흐림 처리 시 사용된 가우시안 커널 (Gaussian kernel)을 조정하면 경계 영상의 단 계를 조정할 수 있다. 본 연구에서는 ��

커널 (표준편차 3.5)과 �� 커널 (표준편차 11.5)을 사용하여 얻은 두 경계 영상을 더했다.

커널 크기와 표준편차는 실험적으로 결정했다.

NCC

NCC

� � ∑ �� _�� ̅��

��∑ �� _�� ^��∑ �� ̅�� ^��

∙∙∙∙∙∙∙∙∙ (1)

이 때, �� 는 그림 1에서 sample T, � 는 sample A,

�̅ 는 sample A 의 평균값, �� 는 sample A와 겹치��

는 영역의 sample T 평균값이다.

식 (1)의 분자를 �� 라 하고, �^�� ≡

�� ^�� ≡ �� ̅ 라 하면

�� ∑ �� ^�� ∙∙∙∙∙∙∙∙∙ (2) 라 할 수 있다. 즉, 분자는 �^�� 와 ��

의 콘볼루션 이다. 이때, Convolution- Multiplication Theorem 에 의해 분자를

�� ^��^��^∗��^�� } 로 변환할 수 있고, 이 변환은 계산을 가속화한다.

NCC

� �^��^��^∗��^��

��∑ �� ^��∑ �� ̅�� ^��

∙∙∙∙∙∙∙∙∙ (3) 즉, Sample T 와 Sample A 를 푸리에 변환하 여 NCC 계산을 단순화할 수 있다⁶⁾.

NCC 계산에서 최고점을 갖는 좌표를 찾아서 이를 접합점으로 선택한다.

[그림 3] Multi-Frequency Processing (MFP). 원본 영상(a)에 가우시안 커널(Gaussian Kernel)을 콘볼루션 처리해 흐림 영상(b)를 얻는다. 이때 (b)의 MTF에서 고주파수 성분이 소실된다. 원본 영상 (a)에서 흐림 처리 영상 (b)를 빼면 경계 영상 (c)을 얻을 수 있다. 이때, (c)는 원본 영상에서 고주파수에 해당하는 가장자리 성분이 부각된 영상이다. 흐림 처리 시 사용하는 가우시안 커널의 크기와 표준편차를 조정하면 경계 영상의 단계를 조정할 수 있다.

[그림 4] NCC 계산의 모형

는 sample A의 평 균값,

수 있다. 흐림 처리 시 사용된 가우시안 커널 (Gaussian kernel)을 조정하면 경계 영상의 단 계를 조정할 수 있다. 본 연구에서는 ��

NCC

NCC

� � ∑ �� _�� ̅�_��

��∑ �� _�� ^��∑ �� ̅�� ^��

∙∙∙∙∙∙∙∙∙ (1)

식 (1)의 분자를 �� 라 하고, �^�� ≡

�� ^�� ≡ �� ̅ 라 하면

�� ∑ �� ^�� ∙∙∙∙∙∙∙∙∙ (2) 라 할 수 있다. 즉, 분자는 �^�� 와 ��

NCC

� �^��^��^∗��^��

��∑ �� ^��∑ �� ̅�� ^��

는 sample A와 겹치는 영역의 sample T 평균값이다.

식 (1)의 분자를 γnum (u, v)라 하고, 수 있다. 흐림 처리 시 사용된 가우시안 커널

(Gaussian kernel)을 조정하면 경계 영상의 단 계를 조정할 수 있다. 본 연구에서는 ��

NCC

NCC

� � ∑ �� ̅��

��∑ �� ^��∑ �� ̅�� ^��

∙∙∙∙∙∙∙∙∙ (1)

식 (1)의 분자를 �� 라 하고, �^�� ≡

�� ^�� ≡ �� ̅ 라 하면

�� ∑ �� ^�� ∙∙∙∙∙∙∙∙∙ (2) 라 할 수 있다. 즉, 분자는 �^�� 와 ��

NCC

� �^��^��^∗��^��

��∑ �� _�� ^��∑ �� ̅�_�� ^��

NCC

NCC

� � ∑ �� ̅��

��∑ �� ^��∑ �� ̅�� ^��

∙∙∙∙∙∙∙∙∙ (1)

식 (1)의 분자를 �_�� 라 하고, �^�� ≡

�� ^�� ≡ �� ̅ 라 하면

�� ∑ �� ^�� ∙∙∙∙∙∙∙∙∙ (2) 라 할 수 있다. 즉, 분자는 �^�� 와 ��

NCC

� �^��^��^∗��^��

��∑ �� _��^��∑ �� ̅�� ^��

NCC

NCC

� � ∑ �� ̅��

��∑ �� _�� ^��∑ �� ̅�� ^��

∙∙∙∙∙∙∙∙∙ (1)

식 (1)의 분자를 �_�� 라 하고, �^�� ≡

�� ^�� ≡ �� ̅ 라 하면

�� ∑ �� ^�� ∙∙∙∙∙∙∙∙∙ (2) 라 할 수 있다. 즉, 분자는 �^�� 와 ��

NCC

� �^��^��^∗��^��

��∑ �� _�� ^��∑ �� ̅�� ^��

라 하면

라 할 수 있다. 즉, 분자는 f´ (x, y)와 t´(-x, -y)의 콘볼루션이다. 이 때, Convolution-Multiplication Theorem에 의해 분자를 γnum=F^-1 {F(f´) F* (t´)} 로 변환할 수 있고, 이 변환은 계산을 가속화한다.

즉, Sample T와 Sample A를 푸리에 변환하여 NCC 계산을 단순 화할 수 있다[10].

Fig. 6. (A) 원본 영상 1, (B) 원본 영상 2, (C) 원본 영상 3, (D) 원본 영상 기준의 영상 정합 결과, (E) MFP를 이용한 영상 정합 결과.

A

B

C D E

NCC

NCC

� � ∑ �� _�� ̅�_��

��∑ �� ^��∑ �� ̅�� ^��

∙∙∙∙∙∙∙∙∙ (1)

식 (1)의 분자를 �� 라 하고, �^�� ≡

�� ^�� ≡ �� ̅ 라 하면

�� ∑ �� ^�� ∙∙∙∙∙∙∙∙∙ (2) 라 할 수 있다. 즉, 분자는 �^�� 와 ��

NCC

� �^��^��^∗��^��

��∑ �� _�� ^��∑ �� ̅�� ^��

NCC

NCC

� � ∑ �� _�� ̅��

��∑ �� ^��∑ �� ̅�� ^��

∙∙∙∙∙∙∙∙∙ (1)

식 (1)의 분자를 �� 라 하고, �^�� ≡

�� ^�� ≡ �� ̅ 라 하면

�� ∑ �� ^�� ∙∙∙∙∙∙∙∙∙ (2) 라 할 수 있다. 즉, 분자는 �^�� 와 ��

NCC

� �^��^��^∗��^��

��∑ �� _�� ^��∑ �� ̅�� ^��

NCC

NCC

� � ∑ �� _�� ̅�_��

��∑ �� _�� _�� ^��∑ �� ̅�_�� ^��

∙∙∙∙∙∙∙∙∙ (1)

�̅ 는 sample A 의 평균값, �� 는 sample A와 겹치_��

식 (1)의 분자를 �_�� 라 하고, �^�� ≡

�� _�� ^�� ≡ �� ̅ 라 하면

�_�� ∑ �_�� ^�� ∙∙∙∙∙∙∙∙∙ (2) 라 할 수 있다. 즉, 분자는 �^�� 와 ��

�_�� ^��^��^∗��^�� } 로 변환할 수 있고, 이 변환은 계산을 가속화한다.

NCC

� �^��^��^∗��^��

��∑ �� _�� _�� ^��∑ �� ̅�_�� ^��

영상에서 고주파수에 해당하는 가장자리 성분이 부각된 영상이다. 흐림 처리 시 사용하는 가우시안 커널의 크기와 표준편차를 조정하면 경계 영상의 단계를 조정할 수 있다.

NCC

NCC

� � ∑ �� _�� ̅�_��

��∑ �� _�� _�� ^��∑ �� ̅�_�� ^��

∙∙∙∙∙∙∙∙∙ (1)

�̅ 는 sample A 의 평균값, �� 는 sample A와 겹치_��

식 (1)의 분자를 �� 라 하고, �^�� ≡

�� _�� ^�� ≡ �� ̅ 라 하면

�_�� ∑ �_�� ^�� ∙∙∙∙∙∙∙∙∙ (2) 라 할 수 있다. 즉, 분자는 �^�� 와 ��

�_�� ^��^��^∗��^�� } 로 변환할 수 있고, 이 변환은 계산을 가속화한다.

NCC

� �^��^��^∗��^��

��∑ �� _�� _�� ^��∑ �� ̅�_�� ^��

(5)

MFP를 이용한 NCC 기반의 의료 영상 정합 • ^{김예진 외}

대한의학영상정보학회지 2017;23:1-6 https://www.ksiim.org/ 5

경계선 제거

정합 부위의 뚜렷한 경계선은 영상을 부자연스럽게 하는 요소이 다. 따라서 경계선을 제거하기 위한 융합 과정이 필요하다. 본 연구 에서는 두 영상의 픽셀값을 triangulation average 하는 방법을 채 택했다. 이 방법은 정합할 두 영상에 각각 적절한 가중치를 곱한 후 두 영상을 선형적으로 합성하는 것이다. Fig. 5와 같이 상단 영상에 가까운 부분에서는 상단 영상의 가중치(α)를 크게 하고 하단 영상 에 가까운 부분에서는 하단 영상의 가중치(β)를 크게 하는 방법이 다. 이때, 같은 위치의 픽셀값에 대해서 서로 다른 두 가중치의 합이 1이 되도록 가중치에 조건을 맞춘다(α+β=1).

실험결과

Fig. 6은 세 장의 파노라마식 X선 영상을 정합한 것이다. Fig. 6A-C 에 MFP를 적용하지 않고 영상 도메인에서 NCC를 계산하여 정합 한 결과 영상이 Fig. 6D이다. 비교적 구조가 복잡하고 두꺼운 부위 인 복부에서 정합점이 정확하지 않음을 확인할 수 있다. 반면 MFP

Fig. 7. (A) 원본 영상1, (B) 원본 영상2, (C) 원본 영상3, (D) MFP를 이용한

영상 정합 결과.

A

B

C D

를 사용한 정합 영상인 Fig. 6E는 영상 6D에 비해 정확한 정합점을 찾았음을 확인할 수 있다.

Fig. 7A-C가 원본 영상이며, MFP를 사용한 정합 결과가 Fig. 7D 이다. 정합 결과 Fig. 7D에서는 서로 다른 세 원본 영상 간의 경계선 없이 자연스럽게 정합이 이루어졌음을 확인할 수 있다.

고찰 및 결론

본 연구에서는 MFP를 활용한 NCC 기반의 의료 영상 정합을 통 해 영상 간의 이질감 없이 자연스러운 정합 영상을 만들어냈다. Fig.

6에서도 확인할 수 있듯, 원본 영상을 이용한 정합보다는 원본 영 상에 MFP 처리를 하여 정합하는 것이 더 정확한 정합 결과를 보여 준다. 또한 Figs. 6, 7에서 triangulation average를 이용한 경계선 제 거가 효과적으로 이루어졌음을 알 수 있다. Triangulation average 는 원본 영상을 전혀 훼손하지 않고도 두 영상을 이질감 없이 연결 할 수 있다는 장점이 있다.

본 연구에서는 NCC 기반의 영상 정합에 MFP를 도입했다. 그러 나 SIFT, SUFT 등의 비교적 최신 알고리즘을 이용한 영상 정합에 도 MFP를 도입할 수 있을 것이다.

REFERENCES

1. F. Yang, Y. He, W. Sheng Deng, A. Yan, “Improvement of automated image stitching system for DR X-ray images”, Computers in Biology and Med- icine 71 p. 108-114 (2016).

2. A. Goossen, T. Pralow, et al., “Automatic stitching of digital radiographies using Image interpretation”, Medical Image Understanding and Analysis 2008. Proceedings of the Twelfth Annual Conference, University of Dundee, pp204-208 (2008).

3. A. Kumar, R. Sekhar Bandaru, B Madhusudan Rao, S. Kulkarni Ghatpande,

“Automated Image Alignmnet and Stitching of Medical Images with Seam Blending”, International Jounal of Medical, Health, Bioengineering and Pharmaceutical Engineering Vol:4, No.5, (2010).

4. K. Paudel, “Stitching of X-ray Images”, Department of Information Tech- nology, Uppsala University, (2012).

5. M. Capek., et el., “A fully automatic stitching of 2D medical data sets”, BI- OSIGNAL. 16:326-8 (2002).

6. S. Salbiah, et al., “A new approach to medical image stitching using correlation energy filter and peak to side-lobe ratio”, International Journal of Imaging Systems and Technology Vol 22, (2012).

7. J. A. Siebert, “Computed Radiography Technology 2004”, Department of Radiology, University of California Davis Medical Center, (2004).

8. W. Li, et el., “Multi-frequency processing for lumen enhancement with wideband intravascular ultrasound”, Digital Object Identifier: 10.1109/

ULTSYTS. (2008).

9. CARESTREAM Health, Inc., “Advanced image processing with automatic stitching and manual adjustment capabilities produce a composite long- length image without visible seam-line artifacts”, (2012).

10. V. Rankov, et el., “An algorithm for image stitching and blending”, SPIE vol.5701 Three-Dimensional and Multidimensional Microscopy: Image Acquisition and Processing X II, (2005).

(6)

초록

배경:본연구에서는_NCC기반의의료영상정합에서오류를효과적으로감소시키고자_MFT를도입한다_.

재료 및 방법:의료영상을_MTF처리하여엣지가부각된영상을얻은후_,이를바탕으로_NCC계산을하여정합점을도 출한다_.이때_{, NCC}계산은전체영상이아닌정합점이있을것으로추정되는_ROI에대해계산하여가속화한다_.정합점 기준으로상_·하단정합부위에 triangular average 방법으로자연스러운연결을한다_.

결과:실험수행결과_{, MTF}처리하지않은영상에비해_MTF도메인에서의계산결과가더정확한정합점도출을해냈 음을알수있다_.

결론:본연구에서는_NCC기반의영상정합에_MFP를도입했다_.실험결과를통해원본영상을그대로이용해정합하 는것보다_MFP를도입한경우가더좋은성능을보임을알수있다_.이방법은_NCC이외의다른정합방식에도이용될 수있을것이다_.