물체 블록의 삼진 패턴을 이용한 컬러 영상의 연기 검출 방법
이용훈*, 김원호* 종신회원
Smoke Detection Method of Color Image Using Object Block Ternary Pattern
Yong-Hun Lee, Won-Ho Kim* Lifelong Member
요 약
컬러 영상 처리 기반의 연기 검출은 화재의 조기 검출에 적합한 검출 대상이다. 연기 검출을 위한 방법으로 움직임과 색상이 전처리 로서 처리되며, 확산, 질감, 형태, 방향성 등의 성질이 후처리로서 사용된다. 본 논문은 연기의 특성 중 밀도적인 분포 특성 검출 방법을 제안한다. 연기의 움직임을 10Frame 간격으로 1초 동안 축적한 이미지에 색상을 문턱치 처리해 후보영역을 생성하고, OBTP(Object Block Ternary Pattern)을 적용해 연기의 패턴임을 확인한다. 모든 처리는 Block 기반으로, 움직임 검출은 차분 영상 에 적응 문턱치를 적용해 움직이는 물체의 후보영역을 결정했다. 결정된 후보영역을 1초간 축적하고 연기 색상의 문턱치 조건을 적용한다. 각각의 연기 후보 영역을 특정 위치의 16개 Block 값을 중앙 Block 값과 비교하고 삼진화 된 패턴을 연기의 패턴과 비교하 여 연기를 결정한다.
Key Words : OBTP, Smoke, Detection, Diffusion, Density distribution
ABSTRACT
Color image processing based on smoke detection is suitable detecting target to early detection of fire smoke. A method for detecting the smoke is processed in the pre-processing movement and color. And Next, characteristics of smoke such as diffusion, texture, shape, and directionality are used to post-processing. In this paper, propose the detection method of density distribution characteristic in characteristics of smoke. the generate a candidate regions by color thresholding image in Detecting the movement of smoke to the 10Frame interval and accumulated while 1second image. then check whether the pattern of the smoke by candidate regions to applying OBTP(Object Block Ternary Pattern). every processing is Block-based processing, moving detection is decided the candidate regions of the moving object by applying an adaptive threshold to frame difference image. The decided candidate region accumulates one second and apply the threshold condition of the smoke color. make the ternary pattern compare the center block value with block value of 16 position in each candidate region of the smoke, and determine the smoke by compare the candidate ternary pattern and smoke ternary pattern
*공주대학교 전기전자제어공학부, 교신저자 : 김원호 ([email protected])
※ 본 연구는 2014년도 지식경제부의 재원으로 한국에너지 기술평가원(KETEP)의 지원을 받아 수행한 연구 과제입니다.
접수일자 : 2014년 9월 29일, 수정완료일자 : 2014년 10월 20일, 최종게재확정일자 : 2014년 10월 30일
I. 서 론
컬러 영상 처리 기반의 연기 검출은 화재의 조기 검출에 적합한 검출 대상이다. 화재의 검출 대상 중 화염의 경우 영 상에 감지되기 위해서는 화염이 확장되기까지의 일정 시간 이 필요로 되는 반면, 연기는 발화 초기라도 빠른 확산으로 영상에 감지되어 가시성이 뛰어나다. 연기 검출을 위한 방법 은 전처리로서 움직임과 색상 검출이 기본이 되며, 후처리로 서 확산, 질감, 형태, 방향성 등의 성질이 사용된다. 움직임을 검출 하는 방법은 크게 2가지로 배경 차분 방법과 이미지 차
분 방법이 있다. 배경 차분 방법은 배경을 현재의 입력 이미 지와 차분하는 방법으로 배경을 주기적인 업데이트가 요구 되나 움직이는 물체의 전체적인 형태를 검출 할 수 있다[1].
이미지 차분 방법은 이전 이미지와 현재의 이미지를 차분하 는 방법으로 별다른 연산이 필요치 않으나 차분의 간격에 따 라 움직이는 물체의 외곽적인 형태가 주로 검출된다. 색상검 출은 여러 색상 공간 중 RGB, HSI가 주로 사용되는데, 이는 연기의 주 색상인 범위인 무채색을 검출하기에 용이한 색상 공간이다. 후처리에 사용되는 연기의 성질은 다양한데, 확산 [2], 질감[3], 형태[4], 방향성[5]등 또는 성질 2~3가지 정도 복
수 사용 하는 방법이 있다[6]. 본 논문은 전처리로서 이미지 차분을 사용하되, 1초간 축적하여 연기의 특성을 반영한다.
RGB색상 공간과 I색상 공간을 이용해 색상 검출을 행하여 후보 영역을 검출한다. 검출된 연기 후보 영역을 후처리로서, 연기의 밀도 분포 특성과 확산 성질을 검출하는 방법인 OBTP를 적용하여 연기를 검출하는 알고리즘을 제안하고자 한다.
Ⅱ. 연기 검출 방법
연기의 검출 방법은 크게 3단계로 이루어진다. 움직임 검 출, 색상 검출, 연기 후보 영역에 대한 OBTP이다. 모든 연산 은 Block 기반으로 행해진다. 움직임 검출은 연기의 특성을 나타내는 간격인 10Frame을 간격으로 이미지 차분을 행하 고, 이를 3장의 차분 이미지가 축적이미지 1장을 생성할 때 까지 실행한다. 축적된 움직임 후보 영역은 Block 기반의 색 상 검출을 하고 검출 된 연기 후보 영역의 OBTP 결과를 확 인 한다. 그림 1은 이에 대한 알고리즘 순서도이다.
그림 1. 연기 검출 알고리즘 순서도
1. 움직임 검출
움직임 검출은 일반적인 이미지 차분 기법을 사용한다. 이 미지 차분의 프레임 간격은 10Frame이며 이는 1~3Hz에서 움직임을 보이는 연기의 특성을 나타내는 조건이다[7]. 현재 프레임 Framek과 이전 프레임 Framek-10의 차분 이미지 변 수 DI(i,j)에 저장하고, DI의 8x8크기 Block 평균값을 BD
(n,m)에 저장하여 8x8 크기의 Block 차분 이미지 BD를 생성 한다. i와 j는 영상의 열과 행 위치이며, n과 m은 i/8와 j/8, k는 프레임 숫자이다. 이는 수식1과 같이 표현된다.
- (1)연기의 움직임을 결정하는 조건은 문턱치 처리로 문턱치 값 이상이면 움직임으로 판단한다. 문턱치 값은 적응 문턱치 로 수식 2와 같이 BD내의 0을 제외한 각각의 차분 값을 BTh 에 저장한다.
-(2)
저장된 BTh 값을 평균 낸 값의 +1 값을 문턱치 Th 값으 로 정하며, 이는 연기의 특성상 희미한 연기부터 짙은 연기 까지 연소의 시간에 따라 달라지는 연기의 움직임 특성을 배 경의 영향을 최소화하기 위한 문턱치 검출 방법이다. 최종적 으로 수식3과 같이 BD 이미지 내에서 Th1값 이상이면 움직 이는 연기 후보 영역으로 결정한다.
- (3)움직이는 연기 후보 영역이 결정되면 다시 이미지를 입력 받고, 3번을 반복해 움직임 차분 이미지 3장을 생성하고 이 를 축적(OR)한다. 연기검출에서의 축적은 확정된 연기 후보 영역을 시간의 경과로 결정하기 위해 사용된다[8]. 하지만 본 논문에서는 물체의 윤곽선만을 잡게 되는 이미지 차분 기법 을 축적해 전체적인 형태를 잡기 위해서 사용한다. 연기는 기체로 이루어진 움직임 물체로서 이미지 차분에 의해서 외 곽만이 변화를 보이는 일반적인 물체와는 달리, 연기는 하나 의 물체에서 내부에서도 움직임을 보이는 기체로서의 특징 을 지니고 있다. 그러므로 연기의 경우 이미지 차분을 하여 이를 축적하면, 연기의 내부에서 일어난 변화들이 축적되어 연기의 전체적인 형태를 후보 영역으로서 생성한다. 그에 반 해 연기가 아닌 사람이나 차 같은 물체의 경우, 외곽선 부분 들이 움직임으로 축적되어, 10 Frame 간격의 3장의 이미지 가 축적되는 1초 뒤엔 축적된 움직임 이미지가 현재의 이미 지에서의 물체보다 다른 영역들을 포함하게 된다. 이를 이용 해 축적된 이미지에서 현재이미지의 색상 검출을 행하면, 연 기는 축적된 이미지와 현재 이미지의 차이가 거의 없고, 비 연기 물체는 실제 움직임 물체를 포함한 배경이 상당 부분 포함하게 된다. 그림 2와 3은 각각 입력 이미지로 현재 이미 지와 1초전(30Frame)의 이미지이다. 이들 입력 이미지 사이 에 10 Frame 간격으로 입력을 받게 되며 각각 현재 Frame 과 10Frame 이전 프레임간의 차분과 수식1,2,3의 조건으로
그림 4,5,6과 같은 움직임 검출 결과를 생성한다. 그림4는 K-30과 K-20의 차분 이미지이며, 그림5는 K-20과 K-10의 차분이미지, 그림6은 K-10과 K의 차분 이미지이다. 이 3장 의 차분 이미지 결과를 OR연산으로 하나의 이미지로 축적하 면 그림 7과 같은 연기의 움직임 후보 영역 이미지가 생성된다.
그림 2. 입력 이미지 K-30 그림 3. 입력 이미지 K
그림 4. K-30, K-20 그림 5. K-20, K-10 그림 6. K-10, K
그림 7. 1초간 축적한 움직임 후보 영역 이미지
2. 색상 검출
색상의 검출은 논문[9]의 색상 검출 조건을 기반으로 한 다. 다만 픽셀 기반의 색상 검출이었던 [9]과는 달리 Block 기반의 검출이기에 추가적인 조건과, 문턱치 값의 변경이 있 다. 연기는 검은색에서 흰색에 해당하는 무채색으로 이를 검 출하기 위한 색상 검출의 조건은 다음과 같다. 기본 입력인 RGB 색상 채널을 이용한 조건과 무채색을 나타내는 RGB의 평균값인 I를 조건으로 하여 연기 색상의 조건을 정한다.
RGB 색상 채널을 이용한 조건은 수식3과 같다. 무채색의 색 상은 RGB 채널에서는 각각의 채널의 값이 차이가 적은 특 성이 있어 R과 G, G와 B, R과 B의 차이 값이 일정 문턱치 이하일 때 연기로 판단한다. 이에 이어 연기의 색상 중 흰색 의 연기는 완전한 흰색이 아닌 푸르스름한 흰색 (Wite-Bluish)의 연기가 있다. 이를 검출하기 위한 조건으로 RGB 채널 중 Blue의 값이 가장 높을 때, R과 G의 차 값만을 확인하는 조건을 추가한다. 다만 Block 기반의 색상 검출이 기에 픽셀 기반의 검출 문턱치 보다는 보다 높게 설정된다.
R,G,B 간의 문턱치 Th2는 30, B가 Max일 때 R,G,간의 문턱
치 Th3는 40의 값을 설정하며, 이는 희미한 연기의 영역까지 잡기 위해 좀 더 넓게 설정된 문턱치 이다.
& &
&
- (4)다음으로, 연기 후보 영역의 무채색 조건을 정하였다면 해 당 무채색의 색상의 범위를 정한다. 연기는 주로 흰색에서 회색의 범위의 연기가 주로 이루어지며 검은색의 연기는 불 연소 물질이거나 고온에 의해 연소체가 타오르며 생기는 연 기다. 즉, 화재가 발생하고 시간이 경과된 시기의 연기로 본 논문은 초기 발생의 연기에 초점을 두고자 회색에서 흰색 범 위의 연기 색상에 조건을 맞춰 수식 4와 같이 조건을 정한다.
연기의 무채색 범위인 I의 최소 범위인 Th4는 75, 최대 범위 인 Th5는 250으로 설정한다.
- (5)
연기의 색상 조건은 수식 4과 수식5로 만족하나, 픽셀 기 반이 아닌 블록 기반의 연기 검출이기에 하나의 조건이 추가 된다. 8x8크기의 블록의 평균값을 사용하기에 실제 연기의 조건 내에 적합하지 않는 값이라도 큰 편차의 픽셀 값이라도 평균값에선 적합 되는 경우가 있다. 이를 방지하기 위한 조 건수식6은 8x8의 한 블록 내에서 최소 픽셀 값과 최대 픽셀 값의 차에 제한을 설정한다. 픽셀 값의 차이 값인 Th6은 연 기 색상의 범위 제한 조건을 고려, 140으로 설정한다. BV는 한 Block인 8x8 범위 내에서 최대값과 최소값의 차이 값이다.
- (6)그림 8은 그림 7의 움직임 후보 영역 이미지에 수식4, 5, 6을 적용해 검출된 색상 검출 결과 이미지이다. 축적된 이미 지로부터 연기의 색상에 적합한 영역만이 검출되고, 연기가 아닌 물체는 축적된 영역에서 상당부분 제거가 된다. 이 후 보영역에 OBTP를 적용할 경우 연기는 연기의 특성을 나타 내고, 비연기 물체는 제거 된다.
그림 8. 색상 검출된 연기 후보 영역 이미지
3. OBTP 검출
OBTP(Object Block Ternary Pattern)은 움직임 검출과 색상 검출로 확정된 연기 후보 영역에 행해지는 최종 연기 검출 방법이다. 연기 후보 영역으로 확정된 영역에서 17개의 위치를 특정하여 삼진화해 연기의 삼진화 패턴과 비교하여 연기임을 판단하는 방법이다. 이는 LBP(Local Binary Pattern) 알고리즘에 착안해 만든 방법으로, 연기의 확산적이고 밀도 분포가 다른 특징을 검출하기 위해 만들어낸 방법이다[10].
OBTP 검출 방법은 연기 후보 영역들 마다 행해지며, 각 후 보 영역들의 위치를 특정 하여, 각각의 Block값을 중앙의 Block값과 비교해 낮으면 –1, 일정 범위(TH±5) 내면 0, 높 으면 1의 3진화를 거쳐 패턴화 한다. 위치는 총 17개로 중앙 Block을 기준으로 주변의 8개 Block인 내부 Block 값들, 외 곽 영역인 8개의 Block으로 나뉘어 그림 9와 같이 총 17개의 Block으로 이루어진다. 붉은 색의 영역이 중앙 Block을 포함 한 내부8개 방향의 블록 값이고, 검은 색의 영역이 외부 8개 방향의 블록 값이다.
그림 9. OBTP 블록 형태
연기는 기체로, 발화점으로부터 시작해 하늘로 올라가는 성질이 있다. 초기 연기는 발화점 지점에서는 밀도가 높은 짙은 연기의 뭉치가 생성 되지만, 공기 중으로 흩어지면서 밀도가 낮아져 옅은 연기가 된다. 또한 바람의 영향을 받아 좌나 우로 치우쳐 있거나 위로 뻗어나가는 부채꼴의 기둥형 태 된다. 즉, 연기의 후보 영역에 OBTP를 적용하면 그림10 과 같은 패턴을 예상 할 수 있다. OBTP는 이러한 연기의 특 성을 검출하는 수단이 된다.
그림 10. 연기의 예상 OBTP 모습
예상되는 연기의 패턴으로부터 결정된 연기 검출 조건은 다음과 같다.
1) 외부 5개의 Block(붉은 색 영역) 삼진 값의 합 < 2
그림 11. 1) 블록 위치
2) 후보 영역 내의 Block 최소 값, 최대 값 차이 > 50
3) 연기 방향에 따른 OR 연산 조건
□ 좌측 아래 발화점 : 좌측5개 블록(붉은 영역) 합 > 3
□ 우측 아래 발화점 : 우측5개 블록(주황 영역) 합 > 3
□ 중앙 아래 발화점 : 아래6개 블록(붉은 영역) 합 > 3
□ 내부 양옆 밑, 외부의 블록(주황 영역) 8개의 합 > 3
그림 12. 좌,우측 발화점
그림 13. 중앙 아래, 양옆
연기의 후보 영역에 OBTP를 적용 하면 그림 14와 같이 Block 위치가 나오게 되며. 각 Block 들의 패턴을 조건과 비 교하여 연기를 검출한다.
그림 14. OBTP 위치 특정 결과 이미지
Ⅲ. 실험 및 결과
실험환경은 PC기반의 시뮬레이션 프로그램을 사용했으 며, 영상의 크기는 720X480이다. 사용된 영상은 11개로 그림 15와 16은 실험에 사용 된 영상의 이미지다.
그림 15. Test 영상 0~4
그림 16. Test 영상 5~10
검출율의 계산은 연기 결정 주기인 1초를 기준으로 한다.
검출율 계산 방법은 오검출의 경우 전체 검출 주기와 오검출 이 일어난 검출 주기와의 비율이며, 검출율은 전체 검출 주 기 중 실제 연기가 존재하는 주기와 그 주기 중 연기를 검출 한 주기와의 비율이다. 미검출은 검출 되지 않은 주기이다.
- (7)
실험의 결과를 표1에 나타냈으며, 각각의 항목은 다음의 축약어다. TF : Total Frame, SF : Smoke Frame, EF : Extract Frame, FD : Fasle Detection, MD : Miss Detection DR : Detection Rate. TF 항목의 숫자는 검출 주기의 개수이 고, 괄호안의 숫자는 프레임의 개수이다.
실험 결과 12.9%의 검출율과 0.3%의 오검출 결과가 도출 되었다. 매우 낮은 오검출을 갖는 한편 검출율 또한 매우 낮 다. 미검출이 많은 이유는 예상된 조건과는 달리 실제 연기
의 패턴에 차이가 있어 연기가 검출 되지 않았다. 알고리즘 적용 후 분석 결과 실제 연기는 발화점으로부터 시작된 밀도 높은 연기의 덩어리가 공기 중으로 흩어져 밀도가 낮아지는 특성은 부합했다. 그러나 발화점에서 연기는 지속적으로 생 성되고, 생성된 밀도 높은 연기는 다시 공기 중으로 흩어지 는 순환이 계속되어 연기의 후보 영역 중, 밀도가 높은 연기 의 위치를 특정하기가 어렵다는 사실을 확인했다. 또한, 연기 의 불규칙한 형태로 인해 후보 영역에서 각 Block들의 위치 가 정확하게 원하는 위치에 생성되지 않아 잘못된 Block 값 들을 읽어 들이는 경우도 발생함을 확인했다. 그림 17, 18 19 는 각각 연기 검출이 된 경우와 미검출, 오검출의 결과 그림 이다. 푸른색의 박스는 값이 중앙 Block 값 보다 낮은 –1 값 들을 표시하고, 보라색의 박스는 값이 높은 1 값들을 표시하 고 있다. 그림 17의 연기는 Test10의 우측 아래가 발화점인 연기로 좌측 위로 올라가는 형태의 연기다. OBTP 결과 발화 점인 우측 아래의 값들이 1의 값을 나타내고, 외곽 부분인 우 측위와 좌측 아래가 –1의 값으로 낮은 값을 나타내고 있어 연기의 특성을 나타내고 있다. 그림 18은 Test3 영상 중 미 검출로 미검출은 연기의 뭉치가 발화점에서 시작되어 공기 중으로 올라오는 도중에 검출된 연기로 밀도가 높은 지점이 중앙에 위치하고 발화점에서의 연기 생성이 끊긴 시점이 되 어 연기로서의 특성이 검출되지 않는 상태이다. 그림19는 Test2 영상의 오검출로 지나가는 사람에 의해 연기의 특성 이 검출되는 상황이다. 블록 기반의 처리이기에 사람과 배경 의 경계선이 평균되면서 연기 색상 조건에 적합해 검출 되었 다. 위는 경계선으로 낮은 연기의 값을, 아래는 흰색의 옷이 기에 연기의 발화점과 같은 상태가 되어 오검출 되었다.
영상 TF SF EF FD MD DR
Test0 37
(1101) 32 2 1 30 6.3%
Test1 39
(1161) 32 6 0 26 18.8%
Test2 40
(1191) 34 1 0 33 2.9%
Test3 60
(1791) 60 4 0 54 6.7%
Test4 59
(1761) 59 10 0 49 16.9%
Test5 59
(1761) 59 20 0 39 33.9%
Test6 62
(1851) 60 16 0 44 26.7%
Test7 59
(1761) 59 0 0 59 0%
Test8 60
(1791) 60 0 0 60 0%
Test9 60
(1791) 60 7 0 53 11.7%
Test10 60
(1791) 60 8 0 52 13.3%
평균 595
(17751) 575 74 2
(0.3%) 501 12.9%
표 1. OBTP 알고리즘 Test 결과
그림 17. 연기 검출 예시(Test10)
그림 18. 연기 미검출 예시(Test3)
그림 19. 연기 오검출 예시(Test2)
Ⅳ. 결론
본 논문은 블록 기반의 차분 이미지 축적을 이용한 움직 임 물체의 검출과 연기의 색상 검출을 전처리로서 연기의 후 보영역을 생성하고 후처리로서 연기의 후보 영역에 OBTP 를 적용하여 연기를 판단하였다. 검출 결과 0.3% 오검출율과 12.9%의 검출율로 오검출은 낮으나 검출이 제대로 되지 않 았다. OBTP의 후처리에서 예상과는 달리 연기의 특성이 부 합되지 않았고, 불규칙한 연기의 형태로 인해 블록 값의 위 치도 정확하게 비교하지 못했다. 실험을 통해 연기의 밀도에 따른 분포의 차이가 있는 것은 확인이 됐으나 밀도의 분포가 순환함에 따라 검출 방법에 문제가 있음을 확인 할 수 있었 다. 이러한 연기의 밀도 분포적인 특성은 하나의 연기의 특 성으로서 후처리에서 하나의 검출 파라미터로서 사용될 수 있다. 차후, 제안한 방법을 개선하거나, 분포적인 특성을 검 출하는 알고리즘을 개발 한다면, 높은 검출율과 낮은 오검출 율이 기대된다.
참 고 문 헌
[1] Yongquan Xia, Weili Li,Shaohui Ning,“Moving Object Detection Alogorithm Based on Variance Analysis”Computer Science and Engineering, p.347 – 350, Volume.1, 28-30 Oct.
2009, Qingdao
[2] TH Chen, YH Yin, SF Huang,“The Smoke Detection for
Early Fire-Alarming System Base on Video Processing”
Intelligent Information Hiding and Multimedia Signal Processing, 2006
[3] Yue Wang, Teck Wee Chua, Richard Chang and Nam Trung Pham,“Real-Time Smoke Detection Using Texture and Color Features”,Pattern Recognition (ICPR), 2012
[4] DongKeun Kim, Yuan-Fang Wang2, “Smoke Detection In Video”,Computer Science Information Engineering, 2009 [5] S. Lin and D. J. “Improvement of a Video Smoke Detection
Based on Accumulative Motion Orientation Model”, Electronics, Robotics and Automotive Mechanics Conference (CERMA), p.126 –130, 15-18, Nov. 2011
[6] Zheng Wei, Xingang Wang, Wenchuan An, Jianfeng Che,“Target-Tracking Based Early Fire Smoke Detection in Video” Image and Graphics, p.172 – 176, 20-23 Sept. 2009 [7] Hidenori Maruta, Fujio Kurokawa, Yusuke lida, “Image Based Smoke Detection with Two- Dimensional Local Hurst Exponent”Industrial Electronics(ISIE), p.1651-1656 ,4-7 July. 2010
[8] BU Treyin, Y Dedeoglu, AE Cetin “Wavelet Based Real-Time Smoke Detection In Video” 13th European Signal Processing Conference EUSIPCO 2005, Antalya
[9] 이용훈, 김원호, “화재 영상감시를 위한 표준 색상모델의 연기 색상 분석”, 한국산학기술학회논문지, Vol.14, NO.9, p.4472-4477, 2013.
[10] Hidenori Maruta, Fujio Kurokawa, Yusuke lida,
“Anisotropic LBP descriptors for robust smoke detection”, Industrial Electronics Society, IECON 39th Annual Conferecne of the IEEE, 10-13, Nov. 2013, vienna
저자
이 용 훈(Yonghun Lee) 정회원
․2013년 2월：공주대학교 전자공학 학 사졸업
․2014년 12월 ∼ 현재：공주대학교 전 기전자제어공학과 석사과정
<관심분야> : 영상 처리, 신호 처리
김 원 호 (Won-Ho Kim) 종신회원
․1987년 2월：경북대 전자공학 석사
․1999년 2월：충남대 전자공학 박사
․1989년 2월 ∼ 1999년 8월：한국전자 통신연구원(ETRI) 선임연구원
․1999년 8월 ∼ 현재：공주대학교 전기 전자제어공학부 교수
<관심분야> : 영상 및 통신 신호처리, 위성멀티미디어통신, 지능형 영상감시 및 비젼센서
