영상처리 기술을 이용한 의료 영상 분석 기술

(1)

2010. 4. 6

고병철

CVPR Lab.

Department of Computer Engineering Keimyung University

영상처리 기술을 이용한 의료 영상 분석 기술

Open Course Ware

(2)

Presentation Outline

• 의료영상처리의 중요성

• 의료영상의 종류

• PACS & DICOM

• 의료영상에 사용되는 영상처리 기법들

• 백혈구 세포영상 분할 및 분석 알고리즘

• 팀 프로젝트 주제

• Q & A

(3)

의료영상처리의 정의 및 중요성

• 의료영상처리란(Medical Image Processing)?



인체 내부의 조직이나 기관을 포함하여 의학적으로 유용핚 모듞 생체정보를 영상화



이로부터 짂단이나 치료에 소용되는 임상정보를 추출하고 처리하는 모듞 기술을 총칭

• 의료영상처리의 중요성



IT, BT, NT 기술의 발젂과 함께 성장핛 미래 사회 대비형 산업



현재, 미국, 독일, 네덜란드, 일본, 이스라엘 등 주요 선짂국이 주도하고 있으며 지속적인 투자를 하고 있음.

• 우리의 현실



영상압축, 생체인식, 영상검색, 감시 시스템과 같은 특정 연구분야에 영상처리 연구가 집중되어 있음



의료영상 처리 및 분석 연구에 집중적인 투자가 필요함

(4)

의료 영상의 종류

• X-Ray 이미지

• CT (Computerized Tomography) 이미지



인체의 핚 단면 주위를 돌면서 가느다란 X-선을 투사하고 X-선이 인체를 통과하면서 감소되는 양을 측정

(5)

의료 영상의 종류

• MRI (Magnetic Resonance Imaging)



자력에 의하여 발생하는 자기장을 이용하여 생체의 임의의 단층상을 얻을 수 있는 첨단의학기계, 또는 그 기계로 만듞 영상법.

• Ultra Sound Imaging



송싞된 초음파에 대해 생체조직에서 반사된 초음파를 수싞



반사되어 온 초음파를 에코(echo, 반사) 초음파 장치에서 증폭, 검파하여 모니터에 영상

(6)

의료 영상의 종류

• PET (Positron Emission Tomography: 양젂자방출단층촬영기)



짂단 대상이 되는 생체 내에 양젂자를 방출하는 방사성의약품을 정맥주사 또는 흡입으로 주입핚 후 이물질의 체내 분포를 영상화

(7)

의료 영상의 종류

• 혈액 세포 (Blood Cell) 영상



말초혈액은 혈구성분(적혈구,백혈구,혈소판)+혈장(액체성분)로 구성



추출핚 혈액의 극소량을 슬라이드에 도말 하여 고배율 광학현미경으로 관찰



적혈구, 백혈구 등의 모양과 개수를 측정하여 정상수치와 비교

(8)

PACS & DICOM

• PACS (Picture Archiving and Communication Systems )



홖자가 늘어감에 따라 다양핚 종류의 많은 필름들을 보관하고 관리핛 저장 공갂과 인력이 따로 필요



의료영상을 획득핛 때, 기졲의 필름 대싞 디지털 데이터로 저장하고, 저장된 영상 및 검사정보를 워크스테이션에서 조회하여 짂료하는 PACS 시스템이 개발



PACS는 X-ray, CT, MRI, PET등에 의해 촬영된 모듞 검사 결과를 디지털 이미지로 변홖하고 촬영과 동시에 대용량 기억장치에 저장시켜 판독 젂문의가 모니터를 통해 판독핛 수 있도록 해주는 시스템

(9)

PACS & DICOM

• DICOM (Digital Imaging Communications in Medicine)



DICOM은 의료 영상 장치들 사이에서 의료 영상과 정보들을 젂송하는 업계 표준 프로토콜로 PACS의 프로토콜로 사용



사용자가 여러 제조업체의 영상 장비들로부터 영상과 관련 정보들을 표준 포맷으로 받을 수 있도록 하기 위함

(10)

의료 영상에 사용되는 영상처리 기법들(1)

• 영상 화질 향상 기법(Image Enhancement)



명암도의 좁은 동적 범위와 높은 잡음 내용물이 포함된 영상으로 부터 영상을 선명화 시키고, 뼈의 세부 사항을 강조

(a): 원 영상 (b): 5x5 평균처리 필터로 평활화된 소벨 영상

(c): (a)와 (b)의

차로 만들어진 영상

(d): (a)와 (c)의 합에 의하여 얻어진 선명화 영상

(11)

의료 영상에 사용되는 영상처리 기법들(1)

• 내용기반 의료영상 영상 검색 기법(Image Retrieval)



의료영상에 포함된 내용(컬러, 질감, 모양 정보)등을 추출하여 수치화 하고 이를 데이터베이스에 저장 / 검색에 사용

(12)

의료 영상에 사용되는 영상처리 기법들(1)



XM Search System

-

내용기반 세포 영상 검색 시스템

Demo 동영상

(13)

의료 영상에 사용되는 영상처리 기법들(2)



MISS System

- 내용기반 X-Ray영상 검색 시스템

http://cvpr.kmu.ac.kr/miss

(14)

의료 영상에 사용되는 영상처리 기법들(3)

• 의료영상 압축

–

혈액 영상을 효과적으로 압축할 수 있는 방법 제안

–

기졲의 JPEG 2000압축 방법의 한계점 극복

(15)

의료 영상에 사용되는 영상처리 기법들(3)

• 의료영상 압축

Demo 동영상

(16)

백혈구 세포 영상 분할 및 분석 기법

(WBC Segmentation & Analyzing)

(17)

자동혈구 분석기

병리학자

백혈구나 혈소판에 관련된 분석 결과는 현미경을 통핚 말초혈액도말표본의 육앆 관찰이 필요

자동혈구분석기에서 젂체 검사의 20%

이상이 불감지 결과로 나타남

1개의 혈액 세포 영상에서 모듞 백혈구를 찾아서 각각의 백혈구의 종류를 판단하고 각 종류의 백혈구의 수를 세는 젃차

수작업으로 하는 것은 많은 시갂이 소요될 뿐 아니라 분석가의 경험 정도에 따라 정확도가 낮을 수 있음

• 백혈구감별계수 방법의 문제점

백혈구 자동분리 기술필요

INTRODUCTION

(18)

• 백혈구 영상 획득 과정

INTRODUCTION

(19)

• 백혈구의 5가지 카테고리와 상대적 분포율에 따른 임상적 의의

INTRODUCTION

(20)

• 영상처리와 패턴인식 기술을 이용핚 세포영상 자동 분류 기술 개발

연구 방향

(21)

• CellaVision

유사연구

Demo 동영상

(22)

중요도 맵을 이용한 백혈구 세포핵 분할

(23)

중요도 맵과 K-mean Clustering를 이용한 백혈구 세포 영상 분할

• 염색된 세포 영상의 특징



백혈구 세포 영역은 주변 적혈구 세포 및 혈소판에 비해 영역의 크기가 큼



자주색을 가짐



분화단계와 백혈구의 종류에 따라 1개 혹은 여러 개의 핵으로 분리되어 나타남

• 중요도 맵



색상, 밝기, 방향성에 기반을 두고 주변 픽셀과 중앙 픽셀의 값 차이를 통해 이미지에서 두드러짂 부분을 찾아내는 알고리즘

• 중요도 맵을 응용하여 혈액 세포 영상에서 백혈구를 포함하는 sub- image를 분리해내며 mean-shift 수행 후 영역 병합 단계에서 병합을 위핚 최소 임계값으로 사용

I. 중요도 맵 생성

(24)

• 인갂이 지각하는 색상과 유사핚 CIEL*a*b색상모델을 사용



이 중 a*, b* 색상 모델만 사용

•

백혈구 핵 영역은 적혈구에 비해 두드러지게 red와 blue 색상이 강하기 때문에 a*b*를 사용함으로써 대비 정도가 강핚 색상 특징 맵을 획득

a*, b* 이미지를 원본 세포 영상의 ½크기로 다운 샘플링

샘플링

각 이미지에 11x11 , 13x13 필터를 적용

필터링

II. 색상 특징 맵

|

11 11

, 







x i

a i a

y

x c f

C

중요도 맵과 K-mean Clustering를 이용한

백혈구 세포 영상 분할

(25)

• 인갂이 지각하는 색상과 유사핚 CIEL*a*b색상모델을 사용

각 필터의 중심점과 주변 점들과의 차이를 통해 각 색상 특징 맵 생성

색상맵 색상 특징 맵의 합을 정규화

= 최종 색상 특징 맵

 

 



   





) , ( 4 ,

1 } 14 13 , 11 11 {

*}

*, {

s c C C

s b a c

II. 색상 특징 맵

중요도 맵과 K-mean Clustering를 이용한

백혈구 세포 영상 분할

(26)

• 질감 정보를 통해 객체를 식별하기 위해 웨이블릿 변홖을 이용하여 방향 특징 맵 구성



1단계 웨이블릿 변홖 후 수평방향(LH), 수직방향(HL), 대각방향(HH)의 방향성을 가지는 3개의 방향 이미지 획득 가능

• 3개의 방향 이미지에 대해 색상 특징 맵과 마찬가지로 11x11, 13x13 필터를 적용하여 주변 점들과의 차이를 통해 각 방향 이미지의 방향 특징 맵 구성

• 각 방향의 특징 맵을 합하고 정규화하여 최종 방향 특징 맵 획득

 



 

   





) , ( 6 ,

1

} 13 13 , 11 11 { } , , {

s c O O

s LH HL HH c

III. 방향 특징 맵

중요도 맵과 K-mean Clustering를 이용한

백혈구 세포 영상 분할

(27)

IV. 특징 맵 결합

• 생성 된 색상, 방향 특징 맵은 하나의 중요 특징 맵(Saliency map)으로 결합되어야 함



영상마다 백혈구의 크기 및 염색 색상 정도가 다르기 때문에 각각의 특징 맵은 다른 가중치가 적용 되어야 함

방향 특징 맵 색상 특징 맵

W

¹

=0.8 W

²

=0.2

 



 

   





) , ( 4 ,

1

} 14 13 , 11 11 {

*}

*, {

s c C C

s b a c

 



 

   





) , ( 6 ,

1

} 13 13 , 11 11 { } , , {

s c O O

s LH HL HH c

2 1 ( , )

) ,

( i j w C i j w

O

C _m    

중요 특징 맵

중요도 맵과 K-mean Clustering를 이용한

백혈구 세포 영상 분할

(28)

• 혈액 세포의 영상에서 백혈구는 적혈구에 비해 상대적으로 크지만 경우에 따라 영상에 단 핚 개의 백혈구도 포함하고 있지 않은 경우도 졲재

• 이러핚 영상에 대해 핵 추출의 젃차를 모두 수행하게 되면 효율성이 떨어지므로 혈액 세포 영상에 대해 후보 백혈구 영역을 찾은 후 후보 백혈구 영역이 졲재하는 영상에 대해서만 후속 과정을 수행

• Sub-image 분리 방법

①

중요도 맵과 Otsu의 이짂화 알고리즘을 적용

→ Sub-image로 분리핛 부분과 배경으로 갂주핛 부분 결정

②

이짂화 된 영상에서 모폴로지 열림 연산을 수행하여 잡은 제거

③

영역 레이블링 과정을 통해 작은 영역들 제거

④

최종적으로 남은 영역에 대해 X-Y 투영을 실시하여 영역들에 대핚 최소 Sub-image 획득

V. Sub-image 분리

중요도 맵과 K-mean Clustering를 이용한

백혈구 세포 영상 분할

(29)

V. Sub-image 분리

원본 영상 색상 특징 맵 방향 특징 맵

Sub-image 분리 이짂 & 열림 연산 영상

최종 중요도 맵

중요도 맵과 K-mean Clustering를 이용한

백혈구 세포 영상 분할

(30)

• K-Mean Clustering (1)



사젂에 클러스터의 수를 미리 정해주면 그 수에 따라 클러스터(클래스)를 자동으로 분핛 해 주는 알고리즘

VI. K-mean Clustering을 이용한 영역 분할

중요도 맵과 K-mean Clustering를 이용한

백혈구 세포 영상 분할

(31)

VI. K-mean Clustering을 이용한 영역 분할

중요도 맵과 K-mean Clustering를 이용한

백혈구 세포 영상 분할

(32)

VI. K-mean Clustering을 이용한 영역 분할

중요도 맵과 K-mean Clustering를 이용한

백혈구 세포 영상 분할

(33)

VI. K-mean Clustering을 이용한 영역 분할

중요도 맵과 K-mean Clustering를 이용한

백혈구 세포 영상 분할

(34)

• Sub-image에서 k=3으로 설정하고 k-mean clustering을 수행

• Sub-image 앆에는 세포질과 배경 및 적혈구가 일부분 포함되어 있고 세포핵 또핚 염색 정도에 따라 여러 영역으로 나뉘어져 나타나므로 이들을 구분하고 병합 핛 수 있는 추가적인 알고리즘 필요

VI. K-mean Clustering 를 이용한 영역 분할

원본 영상 k-mean

clustering 적용 영상

중요도 맵과 K-mean Clustering를 이용한

백혈구 세포 영상 분할

(35)

백혈구 핵 영역 병합

• 백혈구 핵 영역만을 추출하기 위해 이젂에 생성된 중요도 맵과 컬러 공갂상의 거리를 이용하여 단계적 영역 병합 알고리즘을 적용

• 단계적 영역 병합 알고리즘의 단계

①

분핛된 영역들 중 영역병합의 기준으로 사용될 Seed 영역 집합을 선정

②

완성된 Seed 영역 집합 주변 영역들을 대상으로 병합조건을 테스트하고 조건을 만족하면 핵 영역으로 병합, 그렇지 않다면 배경으로 병합

(36)

• ( : seed 집합)

• ( : 분핛된 영역 집합)

I. Seed 영역 집합 결정 단계

백혈구 핵 영역 병합





S S

} ...

{ r ₁ r _n

R  R

1단계

중요도 맵 과 의 한 영역 의 픽셀 수 을 이용해 각 영역 에 대한 중요도 맵 값의 평균 계산

2단계

각 영역의 중요도 맵

평균값에 따라 아래 조건을 만족하는 집합 의 N개의 영역을 Seed 영역으로 선정하고 는 집합 에서 제거

만약 Seed 집합 에 속하는 영역이 없을 경우

sub-image의 중심점과

의 원소 영역들 갂의 거리가 최소이고 일정크기 이상인 영역을 Seed 영역으로 선정

3단계

C

m

R

r i N

r

r i

)

( 

_r

^R

r i R

S

R

 



r i

m

r C

_i

N

 1

} ,

{

)

( ₁

R r

S r

Then

th If

i r

r





 

R₄ R₂

R₁ R₃ R₅ R₆

R₃

R₄

(37)

• , ,

• : 배경 영역 집합

II. 핵 영역 병합 단계

백혈구 핵 영역 병합

} ...

{ s ₁ s _m

S  R  { s ₁ ... s _m } S  R  



 B

2단계

집합의 한 영역 가

sub-image의

가장자리와 만나는 길이를 라 했을 때 조건에 따라 를 배경집합으로 선정하고 집합 에서 제거

R r _i

} ,

{

) 3 /

(

R r B r Then

th N

B If

i i

r

_i _i





 　　　　

r i

R

ri

B

r

¹

r

⁴

r

³

r

²

B B B

B

(38)

• , ,

• : 배경 영역 집합

II. 핵 영역 병합 단계

백혈구 핵 영역 병합

} ...

{ s ₁ s _m

S  R  { s ₁ ... s _m } S  R  



 B

의 와 집합의 한 영역 가 아래의 조건을 만족하면 두 영역을 병합

while( )

if( &&

) then { , } else { , }

3단계

S s i ^R _r _i

최종 S집합의 원소를

백혈구 핵으로 선언 4단계

 R 

)

4

,

( s r th CDist

_i _i



0 ) , ( s

_i

r

_i

 SDist

i i

i s r

s   _r _R

i 

B

r _i  r _i  R

s ¹

R ¹

(39)

백혈구 핵 영역 병합

• 백혈구 세포 핵 영역 병합 결과 예

(40)

Team Project 주제

• 1. 백혈구 세포 핵 영역 세그멘테이션

– 파워포인트 자료 및 논문 내용을 참고하여 백혈구

영상에서 핵 영역만을 세그멘테이션 하는 방법롞 개발

• 2. 자동 약 분류 알고리즘 개발 – 중심점 자동 검출

– 약의 종류별 개수 파악 – : 2개

– : 1개 – …..

(41)

Team Project 주제

• 3. X-Ray 가슴 영상에서 종양(Tumor)의 위치 자동 검출 CT-영상에서 갂 영역과 종양의 위치 자동 검출 중 선택

• 4. 자유주제

– 의료 영상 중 하나의 범주를 선택하고 해당 영상에서 적용 가능핚 영상처리 알고리즘 개발

(42)

Team Project 주제

• 1. 조원 선정

- 3인 1조로 개별적으로 조원을 구성

• 2. 제앆서 발표

– 중갂고사 이후 제앆서 발표: 추후공지 – 팀 프로젝트 발표 및 데모

: 16주차 수업시갂에 발표 및 데모

(43)

Q & A

Thank you.