논문 2014-51-6-21
한방 설진을 위한 컴퓨터 지원 진단 소프트웨어 구현
( Implementation of Computerized Assistant Diagnosis Software for Tongue Diagnosis in the Oriental Medicine )
이 우 범**
( Woo Beom Lee
ⓒ)
요 약
한방에서 설진은 초기 병증을 진단할 수 있는 방법으로 객관적인 진단 지표의 개발은 중요한 연구 분야 가운데 하나이다.
그러나 이전의 대부분의 설진 시스템은 한의사의 간섭을 배제한 자동 진단을 위한 전문가 시스템으로서 진료를 위한 객관화 된 진단 지표의 생성에 있어서 어려움이 있었다. 따라서 본 논문에서는 한방 설진에 있어서 한의사의 진료 행위에 의해서 최 적화된 설진을 위한 진단 지표를 계산하는 컴퓨터 지원 진단 소프트웨어를 제안한다. 개발한 소프트웨어는 반자동 방식으로 설질 추출을 위해서는 한의사의 매뉴얼 방식을 이용하고, 설태 영역을 자동 분할하여 비설태와 설태의 색상, WTCI 등에 대 한 수치적 진단 지표를 한의사에게 실시간으로 제공한다. 또한, 설태 비율을 이용하여 소태, 박태, 후태의 분류 확률 추정 값 과 진료 편의를 위한 전자의무기록 차트 기능도 제공한다. 구현된 컴퓨터 지원 진단 소프트웨어의 유효성 평가를 위해서는 60명의 피실험자를 대상으로 혀 영상을 구축하고, 설진 소프트웨어를 실험한 결과 피실험자의 95%가 소프트웨어 사용-유효 성을 나타냈다.
Abstract
Development of an objective diagnosis index for diagnosing a the beginning nature of a disease is the most one of tongue diagnosis in the oriental medicine. However, previous systems have a difficult problem in the creation of objective diagnosis index, and focused on the expert system that can diagnose automatically without an oriental doctor behavior.
Therefore, computerized assistant diagnosis software for calculating an optimized diagnosis index is proposed in this paper.
This software is operated by the diagnosing behavior of oriental doctor. As developed software is a semi-automatic system, manual method is used to segment a tongue body. Futhermore, numerical diagnosis indices including the color information of non-tongue coating and tongue coating, WTCI are provided to oriental doctor automatically and real-timely.
Also, probability estimation value for classifying no coating, thin coating, and thick coating is presented by using the tongue coating area ratio, and EMR chart can use for convenience of diagnosis. In order to evaluate the effectiveness of the our developed software, after building a various tongue image from 60 subjects, we experimented on diagnosis image with our software. As a result, the developed software showed the 95% use-effectiveness of subjects.
Keywords: Tongue Diagnosis, Diagnosis Index, Tongue Coating, Tong Body, Oriental Medicine, Computerized Assistant Diagnosis Software, EMR chart.
* 정회원, 상지대학교 컴퓨터정보공학부
(School of Computer Information Engineering, Sangji University)
ⓒ Corresponding Author(E-mail: [email protected])
※ 이 논문은 2013년도 상지대학교 교수 연구년제 지 원에 의한 것임.
접수일자: 2014년05월12일, 수정일자: 2014년05월19일 수정완료: 2014년05월28일
Ⅰ. 서 론
설진(Tongue diagnosis)은 환자의 상태를 육안으로 관찰하여 진단하는 방법인 망진의 한 종류로서 혀를 관 찰하는 한의학적 진단 방법이다. 육안으로 관찰하는 망
진의 특성상 간단하면서도 비침습적인 진단 방법의 장 점이 존재하나 이를 관찰하는 한의사의 주관적인 견해 가 개입될 요소가 많으며 진단 환경이나 환자의 상태나 습관 등으로 인해 진단에 심각한 오류를 야기할 가능성 이 높아 많이 활용되지 못했다[1].
최근 들어 예방 의학의 관심도가 높아지고 정보기술 의 급격한 발전으로 인하여 정보 시스템의 신뢰도가 높 아짐에 따라 IT 의료 융합 기술을 이용하여 기존 설진 의 문제점을 해결하려는 연구가 계속되고 있다[2∼3]. 이 러한 연구의 대부분은 혀 영상 획득 시 빛 간섭 등의 주변 환경의 영향으로부터 획득되는 혀 영상의 훼손을 최소화하고, 사용하는 설진기에 의존적이지 않는 보다 객관적인 진단 지표의 제시가 가능한 하드웨어적 설진 시스템의 개발이 목적이다[4]. 우리의 이전 연구에서도 설진을 위한 객관적 혀 영상의 획득이 가능한 그림 1과 같은 3파장 혀 영상 획득기를 개발하였다[5∼6].
그러나 혀 영상 획득 방법 개선에도 불구하고 획득한 영상을 효과적으로 활용하여 분석하는 컴퓨터 진단 보 조 소프트웨어는 하드웨어와 더불어 필수적인 요소로서 연구되고 있다. 그러나 대부분의 설진 소프트웨어는 한 의사의 간섭을 가급적 배제하고 혀 영역 추출이나 설태 영역의 추출 등에 있어서 컴퓨터의 의존성을 높인 자동 화를 목적으로 하고 있기 때문에 사용의 편의성은 있으 나, 설진기를 이용한 진료 중에 제시되는 진단 지표 (diagnosis index)는 그 정확성이나 객관성에 있어서 효 율이 떨어진다. 따라서 본 논문에서는 기존 컴퓨터 지 원 설진 소프트웨어의 단점을 개선하고 객관적인 기준 에 따른 진단 지표의 생성 및 사용자의 편의성을 개선 하는 설진 보조 소프트웨어를 제안한다.
제안한 소프트웨어는 정확하고 객관적인 진단 지표 를 위해서 설질 분할에 있어서 한의사의 매뉴얼 방식을 적용한 반자동(semi-auto) 방식으로 개발하며, 각 진료 과정을 실시간으로 한의사에게 제공함으로서 한의사의 간섭에 의한 진단 효율의 향상이 가능하다.
또한 제안 시스템은 설진에 필수적인 진단 지표로서 비설태 및 설태의 6 채널 색상 정보와 설태 분석을 위 한 WTCI 지표를 제공한다. 특히, 설질에 대한 설태 비 율을 이용하여 설태의 무태(no coating), 박태(thin coating), 후태(thick coating)의 분류 확률 추정치와 진 료 관리를 위한 전자의무기록(EMR: Electronic Medical Record) 차트 기능도 지원한다.
Ⅱ. 컴퓨터 지원 설진 소프트웨어
본 논문에서 구현하는 한방 설진을 위한 컴퓨터 지원 설진 시스템은 그림 2와 같이 혀 영상 획득, 설질 및 설 태 분할, WTCI 분석, 혀 색상 분석 그리고 EMR 차트 의 5개의 세부 모듈로 구성된다.
혀 영상 획득은 그림 1과 같이 우리가 이전 연구에서 개발한 외부 광원 차폐 장치가 장착된 3파장 설진 영상 획득 장치[5∼6]를 사용한다. 개발한 혀 영상 획득기는 혀 영상을 자외선, 적외선, 가시광선의 3파장 대역에서 촬 영이 가능하나, 본 논문에서는 일반적 카메라 사용에 의한 구현된 설진 소프트웨어의 연동성을 높이기 위하 여 가시광선 대역에서의 RGB 칼라모델의 혀 영상을 촬 영하여 사용한다.
촬영된 혀 영상은 설질과 설태 영역의 분할을 목적으 로 먼저 설질 영역의 분할을 위한 윤곽 제어점(CCP:
Contour Control Points)을 생성한다. 윤곽 제어점은 설 질에 근사한 17개의 제어점을 그림 3의 (a)와 같이 2차 포물선의 형태로 생성한다. 따라서 번째 윤곽 제어점
의 위치는 아래 식 (1)로 정의할 수 있다.
(a) 전면부 (b) 측면 (c) 후면부
그림 1. 개발한 혀 영상 촬영기
Fig. 1. Developed Tongue Image Acquisition Device.
그림 2. 컴퓨터 지원 설진 소프트웨어 구성 Fig. 2. Computerized Assistant Tongue Diagnosis
Software Organization.
(1)
× ≤ ≤
식 (1)에서 은 윤곽 제어점의 반으로 실제 제어점 의 개수는 에 상응한다. 그리고 는 전체 제어점의 개수가 정의된 후에 마지막 번째의 제어점을 설질 영 역의 최고점으로 정의함으로써 구할 수 있다.
17개의 윤곽 제어점이 생성되면 한의사는 매뉴얼 방 식으로 정확한 설질의 윤곽 설정을 위하여 각 윤곽 제 어점을 조절한다. 설질의 모양에 적합된 설질 윤곽이 완성되면 설질 분할을 위한 블랙-아웃(black-out) 템플 릿 영상을 생성한다. 이때 블랙-아웃 템플릿 영상,
은 완성된 윤곽 도형의 내부를 채움(filling) 처 리한 것으로 윤곽 제어점들의 최소 근접 사각형(MBR:
Minimum Bounding Rectangle)의 중심으로부터 그림 3의 (b)와 같이 식 (2)에 의해서 인접한 두 제어점을 연결하는 삼각형을 연속적으로 채움 연산함으로서 생 성한다.
(2)
식 (2)에서 ⋅ 는 세 인수로 연결되는 삼각형 영역을 채움 연산하는 함수이고,
은 영역의 영상합 연산에 해당한다. 그리고 인수 은 윤곽 제어점들의 MBR 영역의 중심을 의미한다. 따라서 설질의 최종 분그림 3. 설질 윤곽 제어점과 블랙-아웃 템플릿 채움 과정
Fig. 3. Tongue Contour Control Points and Black-out Template Filling Process.
할 영상 ⋅ 은 아래 식 (3)에 의해서 원영상
⋅ 과 ⋅ 영상의 영상곱 연산에 의해서 획득한다.
∧
(3)
혀 영상으로부터 설질 영역이 분할되면 설질 영역에 내재한 설태 영역의 추출을 위해서 분할된 설질 영역을 CIE LAB 칼라 공간으로 변환한다. 변환된 칼라 모델로 부터 L, a, b의 채널을 분리하고, 이 가운데에서 설질의 빨강색 색상 특성을 나타내기 용이한 a 채널을 이용하 여 설태 영역을 분할한다. 설태 영역 ⋅ 의 추 출은 아래 식 (4)에 의해서 설질 영역의 a 채널
⋅ 을 임계 처리한다.
(4)
식 (4)에서 ⋅ 함수는 임계값 T에 의한 임계 계단 함수로서 이진 설태 영역 영상을 생성한다.
설태 영역의 추출이 완료되면 설태의 분포, 형태 및 양에 대한 가시적 정보를 한의사에게 제공하기 위해서 식 (5)와 같이 추출된 설태 영역에 케니-에지 검출 (canny-edge detection)[7]을 적용한다. 추출된 윤곽성분
⋅ 과 설질 분할 영상을 영상합하여 윤곽뷰 (contour view) 영상 ⋅ 을 생성하고, 한의사에게 미리보기의 형태로 제시하면 한의사는 영상을 확인하면 서 설태 면적을 수동으로 조절할 수도 있다.
∨
(5)
또한, 본 논문에서 구현한 설진 소프트웨어는 한의사 에게 설질에 내재한 설태 및 비설태 영역의 색상 정보 와 설태량에 관한 객관적인 진단 지표를 제공한다.
먼저 설태량 측정을 위해서는 Winkel이 고안한 WTCI(Winkel Tongue Coating Index) 방법[8]을 참조하 여 설질 영역의 최소근접각형을 종으로 2등분, 횡으로 3등분하고, 영역에서의 설태의 양 을 아래 식 (6)을 이용하여 계산한다.
∈
∈
× (6)
식 (6)에서 는 WTCI 영역의 번째 영역 범위를그림 4. 컴퓨터 지원 설진 소프트웨어의 처리 과정
Fig. 4. Processing Task of Computerized Assistant Tongue Diagnosis Software.
나타내고, 는 번째 영역의 면적으로 영역 내에서 설태가 차지하고 있는 수치적인 분포율을 의미한다.
설질을 구성하는 설태 및 비설태 영역에 대한 색상 진단 지표는 RGB 칼라 모델과 CIE Lab 칼라 모델에 대해서 채널을 분리하여 6가지 채널에 대한 색상 지표 를 계산한다.
비설태 영역은 설태를 제외한 혀 영역의 고유 색상 정보를 제공하기 위한 목적으로 추출된 설질 영역에서 설태 영역을 제외한 영역의 각 채널에서의 평균값을 의 미하는 것으로, 채널에서 비설태 영역의 색상 진단 지 표 는 아래 식 (7)에 의해서 계산된다.
(7)
식 (7)에서 는 칼라모델에서 분리된 채널을 나타내 는 인수이고, 는 채널 분리된 채널의
위치에서 해당 화소의 강도값을 의미한다.
또한 설태의 색상 정보는 환자의 병증 진단에 매우
중요한 요소이다. 따라서 본 진단 소프트웨어에서는 비 설태 영역의 색상 정보와 동일한 방법으로 설태 영역의 각 채널에 대한 색상 정보를 식 (8)과 같이 계산한다.
(8)
∧
식 (8)은 설질에서 식 (7)의 나머지 영역 즉, 비설태 영역의 여집합 영역에 대한 연산으로 실제 식 (7)의 비 설태 영역의 색상 정보와 식 (8)의 설태 영역의 색상 정보는 동시에 같이 계산될 수 있다.
특히 본 진단 소프트웨어의 추가적인 기능 중의 하나 는 설태가 혀에 덮여 있는 면적 분포에 따라서 무태, 박 태, 후태로의 분류 확률 추정치를 한의사에게 진단 소 견으로서 제공한다. 이 때 추정 확률의 계산은 Kim 등
[9]의 연구에서 비례오즈모델(proportional odds model) 을 근거로 한 아래 식 (9)의 누적 확률(cumulative probability) 값으로 측정한다.
(a) ⋅ (b) CCP (c) (d) ⋅
(e) ⋅ (f) ⋅ (g) ⋅ (h)
(i) ⋅ (j) ⋅ (k) ⋅ (l) ⋅
(n) ⋅ (m) ⋅ (o) ⋅ (p) ⋅
(q) ⋅ (r) ⋅ (s) ⋅ (t) ⋅
그림 5. 컴퓨터 지원 설진 소프트웨어의 진단 영상의 예: (a) 원영상, (b) 윤곽조절영상, (c) 설질 블랙-아 웃 템플릿, (d) 설질추출영상, (e) 이진설태추출영상, (f) 설태윤곽영상, (g) 설태뷰영상, (h) WTCI 영상, (i)∼(m) 채널별 비설태영역 추출영상, (o)∼(t) 채널별 설태영역 추출영상
Fig. 5. Example of Diagnosis Image in the Computerized Assistant Tongue Diagnosis Software:
(a) original image (b) contour control image, (c) tongue body black-out template, (d) tongue body extracted image, (e) binary tongue coating extracted image (f) tongue coating edge image, (g) tongue coating view image, (h) WTCI image, (i)∼(m) non-tongue coating region extracted image by channel, (o)∼(t) tongue coating region extracted image by channel.
exp
exp
(9)
exp
exp
×
식 (9)에서 , , 는 각각 무태, 박태, 후태의 확 률 추정 값이며, 와 는 각각 설태의 총면적과 설질의 총면적을 의미한다.
이상에서 설명한 컴퓨터 지원 설진 진단 소프트웨어 의 각 처리 과정은 그림 4에 도식화한다. 그림 4에서 사 각형은 처리 영상을 의미하고, 원형은 처리 내용을 나 타낸다. 그리고 각 단계별 처리 영상은 한의사의 정교 한 매뉴얼 조작이나 효율적 진단을 위해서 실시간으로 한의사에게 뷰의 형태로 제공되고 있다. 또한 실시간 저장 기능은 진단 영상의 오동작으로 인한 훼손의 방지 나 행위 취소(undo) 기능을 수행함으로써 설진 소프트 웨어 사용의 편의성을 향상시킨다.
Ⅲ. 실 험
본 논문에서 구현한 컴퓨터 지원 설진 소프트웨어의 각 단계에서의 영상 처리 알고리즘은 MathWorks사의 MATLAB 2010b에서 Image Processing Toolbox를 추 가한 버전을 사용하여 성능 검증을 위한 시뮬레이션 하 였다. 그리고 UI를 포함한 실제 설진 소프트웨어는 우 리가 이전 연구에서 개발한 USB 타입의 혀 영상 촬영 기를 부착하여 인텔사의 컴퓨터비전 라이브러리인 OpenCV를 기반으로 MS Windows 7 환경 하에서 C++
언어를 사용하여 각 처리 단계를 구현하였다.
구현한 설진 소프트웨어의 효율성 판정을 위해서는 60명의 피실험자를 대상으로 혀 영상을 수집하여 설진 소프트웨어를 이용한 설진 완료 작업을 수행하고, 설진 과정 중에 생성되는 약 60명x30장=1800개의 중간 진단 영상을 검증하였다. 그 결과 피실험자의 95%가 설태 평가를 위주로 하는 설진에서의 소프트웨어의 사용-유 효성(use-effectiveness)을 나타냈다. 이것은 진단 영상 및 진단 지표가 95%의 피실험자에게 사용 가능성을 보 인다는 것을 의미한다. 그러나 본 논문에서 진단 영상 의 사용-유의성 평가는 한의사 1인의 평가에 의해서 이
피실험자 검증영상 성공 실패 유효성
수 60 1800 57 3 95%
표 1. 컴퓨터 지원 설진 소프트웨어의 유효성 평가
Table 1. Effectiveness evaluation of computerized assistant tongue diagnosis software.
그림 6. 개발된 컴퓨터 지원 설진 소프트웨어 Fig. 6. Developed Computerized Assistant Tongue
Diagnosis Software.
그림 7. 전자의무기록 차트의 예 Fig. 7. Example of EMR Chart.
루어졌기 때문에 보다 객관적인 평가를 위해서는 다수 의 한의사에 의한 실제적 임상 실험이 요구된다.
본 논문에서 구현한 설진 소프트웨어가 높은 유효성 을 보이는 이유 가운데 하나는 우리가 이전에 개발한 3 파장 혀 영상 촬영기에서 혀 영상의 촬영 시에 외부 광 원을 차폐하는 차폐 구조의 효과로 입력 혀 영상 자체 의 잡음이 적기 때문이다. 그리고 실패를 보이는 경우 는 촬영된 혀 영상이 전체 혀 영상을 포함하지 못하여
설태량 측정에 있어서 잘못 계산된 진단 지표를 나타내 는 경우나, 설태와 비설태 영역의 색상 차의 근소함으 로 인해서 설질로부터 설태의 분할이 완성되지 못한 경 우이다. 그림 5는 본 논문에서 구현한 컴퓨터 지원 설 진 소프트웨어의 각 단계별 처리 결과 영상의 예이다.
또한 본 논문에서 구현한 설진 소프트웨어는 그림 6 과 같이 한의사의 다양한 UI에 의해서 객관화된 진단 지표를 제공한다. 제공되는 UI로는 윤곽제어, 윤곽 추 출, 설태 추출, 관심 영역 설정 그리고 한의사의 주관적 평가를 위한 임계값 설정 기능을 포함하며, 특히 각 과 정의 처리 결과 영상과 진단 지표의 값이 실시간으로 제시됨으로써 피드백 처리가 가능하다.
그리고 본 소프트웨어는 그림 7과 같이 EMR 차트 기능을 제공한다. EMR 차트는 한의사가 설진 과정 중 에서 생성된 설질 영역, 설태 영역, 관심 영역에 대한 6 채널의 색상 지표와 WTCI 평가를 위한 6개 구역의 설 태 분포, 그리고 설태 분류를 위한 설질에 대한 설태 비 율의 값을 포함하고 있다.
Ⅳ. 결 론
본 논문에서 구현한 한방 설진을 위한 컴퓨터 지원 진단 소프트웨어는 한의사의 진료 행위를 구체적으로 지원할 수 있는 반자동 방식으로 진단 지표에 있어서 객관성과 정확성을 향상시켰다. 또한 설진을 위한 중요 한 진단 지표인 비설태 및 설태의 색상 진단 지표를 두 개의 칼라 모델에서 6개의 채널 값으로 다양하게 제공 하고 있으며, 병증 판단에 중요한 지표인 WTCI와 무 태, 소태, 박태의 설태 분류 소견을 확률값으로 지원하 고 있다. 또한 환자의 지속적 관리를 위한 EMR 차트도 제공된다.
그러나 설질 추출 과정에서 한의사의 윤곽 제어점 조 절을 쉽게 하기 위한 조절점 생성에 있어서의 혀 윤곽 근접성 문제, 제공되는 색상 진단 지표의 효율적 활용 을 위한 전문가 시스템과의 연동 문제, 그리고 3파장 혀 영상의 통합 사용 등이 향후 과제로 남아 있다. 현재 이들 문제에 대한 해결 방법에 대해서 연구가 진행되고 있으며, 성능 향상도 기대할 수 있다.
그럼에도 불구하고 구현한 컴퓨터 지원 설진 소프트 웨어는 최적의 진단 영상 정보를 제공할 뿐만 아니라, 한의사의 객관적인 진료을 위해 각 영상의 수치적인 정
보를 진단지표로 제공함으로써 객관성 있는 진료를 보 장한다. 따라서 본 논문에서 구현한 소프트웨어는 한방 설진에서 한의사에게 컴퓨터 진단 보조 소프트웨어로서 그 활용성이 크다.
REFERENCES
[1] G. Kim, “the past and future trends in tongue diagnosis”, IEIE, vol.37(7), pp.702-211, 2010. 7.
[2] Y. Wang, et al., “Region partition and feature matching based color recognition of tongue image”, Pattern Recognition Letters, vol.28(1), pp. 11–19, 2007. 1.
[3] X. Wang, “A high quality color imaging system for computerized tongue image analysis”, Expert
Systems with Applications, vol.40(15), pp. 5854–
5866, 2013. 11.
[4] C. Jung, et al., “Review on the current trends in tongue diagnosis systems”, Integrative Medicine
Research, vol.1(1), pp. 13-20, 2012. 12.
[5] C. Choi, W. Lee, et al., “Coated Tongue Region Extraction using the Fluorescence Response of the Tongue Coating by Ultraviolet Light Source”, IIBC, vo.12(4), pp. 181-188, 2012. 8.
[6] W. Lee, et al., “Computerized assistant diagnosis system for tongue diagnosis in oriental medicine”, IPIU2012 Jeju KOREA, P-114, 2012.
2.
[7] J. Canny, “A Computational Approach to Edge Detection”, IEEE Trans. on Pattern Analysis
Machine Intelligence, vol.8(6), pp.679-698, 1986.
[8] E. G. Winkel, et al., “Clinical effects of a new mouthrinse containing chlorhexidine, cetylpyridinium chloride and zinc-lactate on oral halitosis”, Journal of Clinical Periodontology, vol.30(4), pp.300-306, 2003.
[9] J. Kim, et al., “Development of differential criteria on tongue coating thickness in tongue diagnosis”,
Complementary Therapies in Medicine, vol.20(5), pp. 316-322, 2012. 10.
[10] Rafael C. Gonzalez, “Digital Image Processing Using MATLAB”, Prentice Hall, 2003
저 자 소 개 이 우 범(정회원)
1995년 2월 영남대 컴퓨터공학과 (공학사)
1997년 2월 영남대 컴퓨터공학과 (공학석사)
2000년 8월 영남대 컴퓨터공학과 (공학박사)
2000년∼2004년 대구과학대 컴퓨터공학과 교수 2004년∼2007년 영남대 컴퓨터공학과 특임교수 2007년∼현재 상지대 컴퓨터정보공학부 교수
<주관심분야 : 뉴로비젼컴퓨팅, IT융합의료기(한 방의료영상), 제스쳐인식>
