* Corresponding Author: [email protected]
+ 이 논문은 2020년 과학기술정보통신부에서 지원하는 대구경 북과학기술원의 기관고유사업(20-IT-02) 지원에 의해 연구 되었음.
Manuscript received March 24, 2020 / revised April 20 ,2020 / accepted April 22, 2020
1) DGIST 미래자동차연구부, 제1저자 2) DGIST 미래자동차연구부, 공동저자 3) DGIST 미래자동차연구부, 교신저자
1. 서 론
가로등은 주변의 통행량에 관계없이 미리 결정 된 시간에 따라서 켜지거나 꺼지기 때문에 불필요 한 에너지가 낭비 된다. 이에 따라 스마트 빌딩이 나 스마트 가로등 시스템 등 에너지 절약에 관련 된 연구가 진행되고 있다 (Kovacs et al., 2016;
레이다 및 카메라 내장형 스마트 조명에서 실종자 탐지용 색상 검출 향상 기법+1)
(Enhancement Techniques of Color Segmentation for Detecting Missing Persons in Smart Lighting System using Radar and Camera Sensors)
송 승 언1), 김 상 동2), 진 영 석2), 이 종 훈3)*
(Seungeon Song, Sangdong Kim, Young-Seok Jin, and Jonghun Lee)
요 약 본 논문은 레이더와 카메라를 이용한 스마트 조명 시스템에서 실종자 탐지를 위한 색상 검출 방안을 제안한다. 최근 레이더와 카메라가 내장된 스마트 조명 시스템이 에너지 절약과 동시에 효율적인 실종자 검색에 도움이 된다고 보고 된 바 있다. 스마트 조명 시스템에서 레이다 센서는 조 명 주변에 움직임을 감지한다. 조명 주변에서 움직임이 감지되면, 조명이 작동하고 카메라는 녹화기능 을 수행한다. 여기서, 스마트 조명에 녹화된 영상은 실종자를 탐색하는 데 활용한다. 특히, 녹화된 영 상에서 실종된 사람이 입고 있는 옷의 색상은 실종자를 찾는 데 중요한 단서 중의 하나이다. 이러한 단서인 옷의 색상을 식별하기 위한 방법으로 색상 검출을 활용한다. 또한, 색상 검출 과정에서 배경의 영향을 줄이기 위해서 대상체를 고려한 ROI(Region of interest)를 적용한다. 실험 결과에 따르면, ROI 를 적용한 경우 색상 검출의 정확도는 97% 이상을 보였다.
핵심주제어: 스마트 조명 시스템, 레이다, 카메라, 색상 검출, 센서 융합, 실종자 탐지
Abstract This paper proposes color segmentation for detecting missing persons in a smart lighting system using radar and camera sensors. Recently, smart lighting systems built-in radar and cameras have been efficient in saving energy and searching for missing persons, simultaneously. In smart lighting systems, radar detects moving objects and then the lights turn on and camera records. The video recorded is useful to find out missing persons. The color of their clothes worn in missing persons is one of critical hints to look for missing persons.
Therefore, color segmentation is an effective means for detecting the color of their clothes. In this paper, during the color segmentation step, the ROI(Region of interest) setting based on the size of an object is applied and the background is reduced. According to experimental results, the color segmentation has good accuracy of more than 97%.
Keywords: Smart lighting system, Radar, Color, Segmentation, Sensor fusion, Missing person detection
using Radar and Camera Sensors
Chew et al., 2017; Zou et al., 2018). 스마트 조명 시스템은 에너지 절약 및 빛 공해 감소를 위해서 조명 주변 통행량이나 조도에 따라서 조명의 조도 조절 및 조명의 동작을 조정한다. 스마트 조명에 적용된 다양한 기술들은 단순히 조명만을 컨트롤 하는 것이 아니라 인체 검지기, 차량사각지역 검지 기, 교통정보 수집용 VDS (Vehicle decetion subsystem), UTMS (Urban traffic management system) 정지선 검지기, 교차로 검지기, 대기행렬 포켓차선 검지기, 과속단속 감지기, 보행자 안전지 원 검지기 등 다양한 용도로 활용할 수 있다. 특히 스마트 조명 시스템에서 가로등은 모든 거리에 설 치되고, 가로등에는 카메라가 내장되기 때문에 실 종자를 찾는데 많은 도움이 된다.
한국에서 아동, 지적장애인 및 치매질환자의 실 종은 2015년 36,785건, 2016년 38,281건, 2017년 38,789건, 2018년 42,992건으로 점차 증가하고 있 다 (Korean National Police Agency, 2019). 이러 한 실종자를 찾기 위해 카메라 녹화 기능이 내장 된 스마트 가로등 시스템을 Song et al. (2018)이 이미 제안했었다.
스마트 조명 시스템에는 레이다와 카메라가 내 장되어 있다. 레이다는 조명 주변의 움직임을 탐 지하여 조명의 가동 여부와 카메라는 녹화에 관 여 한다 (Chun et al., 2014; Hyun et al., 2016;
Kim et al., 2017; Kim et al., 2018; Lee et al., 2019; Yun and Lyou, 2014). 실종자 탐지를 위해 녹화된 영상을 활용한다. 실종된 사람이 입는 옷 의 특정 색은 실종된 사람을 찾는 중요한 단서이 다. 이에 본 논문에서는 스마트 조명의 색 검출 기반 실종자 탐지기술을 제안한다. 이때, 실종자 의 옷 색상과 배경색상의 유사성에 의해서 실종 자 탐지의 정확도가 열화되는 문제가 발생한다.
이러한 문제를 해결하기 위해서 조명의 설치 위 치와 대상체의 크기를 고려한 결정한 관심영역 (Region of interest: ROI)를 미리 설정함으로써 배경색상에 의한 정확도를 개선하고자 한다.
2. 시스템 구성 2.1 시스템 구성
스마트 조명 시스템은 Song et al. (2018)이 제 안한 방법으로 LED 조명, 레이다, CCTV 카메라, Wi-Fi 네트워크 및 외부 메모리 모듈로 구성된 다. Fig. 1은 구현된 스마트 조명 시스템이다.
스마트 조명은 Fig. 2와 같이 레이다는 움직이 는 보행자와 차량을 감지하고 LED 조명과 CCTV 카메라를 동작시킨다. Wi-Fi 통신을 사용 하면 녹화된 비디오를 스마트폰이나 태블릿 PC 와 같은 모바일 전자 패드에서 편리하게 다운로 드하고 확인할 수 있다. 본 논문에서는 스마트 조
Fig. 1 Smart Lighting System
Fig. 2 Smart Lighting Functional Blocks based on Radar and Camera Sensor
명 시스템에서 실종자 탐색을 위해서 녹화된 영 상에서 실종자의 착용의상과 유사한 색 검출을 수행하는 방법을 제안한다.
2.2 색 검출 알고리즘
본 논문에서는 스마트 조명의 색 검출 기반 실 종자 탐지기술을 제안한다. 스마트 조명에서 색 검출의 전체적인 알고리즘은 Fig. 3과 같다.
스마트조명에 녹화된 영상은 RGB 형식으로 저 장되어 있다. RGB 형식은 색을 Red, Green, Blue 비율로 표현하는 방법이다. 하지만, 이러한 RGB 형식은 색을 직관적으로 알기 어려운 단점이 있 다. 본 논문에서는 RGB 형식을 HSV 형식으로 변환한다. HSV 형식은 색을 Hue, Saturation, Value의 비율로 나타낸다 (Naik and Murthy, 2003). RGB 형식을 HSV 형식으로 변환하는 수 식은 식 (1)∼(3)과 같다. Fig. 4는 RGB 형식을 HSV 형식으로 변환을 간략히 나타낸 것이다.
max (1)
min
i f≠
otherwise
(2)
min
i f
min
i f
min
i f
(3)
여기서 R이 0∼255, G가 0∼255, B가 0∼255 범위를 가질 때, H는 0∼360, S는 0∼1, V는 0∼
255 범위를 갖는다.
변환된 영상은 표시 형식만 변환될 뿐 원본과 동일한 영상이기 때문에 움직이는 사람뿐 아니라 주변의 건물과 같은 불필요한 정보가 혼합되어 있다. 이를 위해서 불필요한 정보를 제거하기 위 해 녹화된 이미지에 ROI를 적용할 필요가 있다.
Fig. 5는 직육면체로 가정된 ROI 설정에 의한 이 미지의 물리적인 탐색공간을 나타낸다.
카메라 렌즈로 들어온 빛은 이미지 센서를 통 해서 저장되게 된다. 일반적으로 카메라가 고정되 어 있으면 촬영되는 영상에서 사람들이 존재할 수 있는 거리의 위치는 고정되어 있다. 이때, 카 메라의 화각과 이미지 센서의 해상도를 고려한다 면 원하는 위치와 범위의 사람의 높이와 폭을 고 려해서 미리 결정된 기준에 따라서 ROI를 설정한 다. Fig. 6은 생성된 ROI Mask의 예이다.
일반적으로 색은 Fig. 7과 같이 경계의 구분이 없이 연속적으로 존재한다. 이런 연속적인 특성은 색의 경계 구분이 어렵기 때문에 본 논문에서는
Fig. 3 Color Segmentation Algorithm
Fig. 4 Transform RGB Cube to HSV Cylinder
using Radar and Camera Sensors
Fig. 8과 같이 색 분할을 명확하게 하기 위해서 색을 묶음 처리함으로써 색마다 분명한 경계 구 분처리 한다.
3. 실험결과 3.1 색 검출
색 검출 알고리즘에서 색 검출 성능을 검증하 기 위해서 Fig. 9와 같이 지정된 색 판자를 들고 움직이며 영상을 촬영하였다. 촬영된 영상에서도 주차된 자동차나 건물과 같은 불필요한 정보를
제거하기 위해서 색 검출 알고리즘에서 카메라에 서 5m에서 7m까지의 거리범위와 3m의 폭을 특 정할 수 있는 별도의 ROI Mask를 적용하였다.
3.2 결과분석
색 검출은 ROI Mask를 적용하지 않는 경우, 배경색에 의해서 검출성능에 상당한 영향을 받게 된다. 예를 들어 붉은색의 경우 자동차 후미등의 영향으로 매 프레임마다 검출되고, 색판자를 전혀 구분하지 못하는 결과를 나타내었다.
이런 결과로 인해서 재현율 (Recall:
) 은 100%의 성능을 보여주고 있으나, 정밀도 (Precision:
)는 22%의 성능으로 상당한 큰 오류값을 보여주었다.
Table 1은 ROI Mask를 적용한 경우, 색 검출 알고리즘 수행 결과를 보여준다. 개별 색의 재현 율은 주황색과 푸른색을 제외하고 대략 98% 성 능이고, 주황색과 푸른색의 재현율도 91% 이상의 성능을 나타내었다. 개별 색의 정밀도는 붉은색을 제외하고 대략 99% 이상의 성능을 나타내고, 붉 은 색도 대략 90% 이상의 성능을 나타내었다. 개
Fig. 5 ROI Fig. 6 ROI Mask
Fig. 7 H-Region Color in HSV
Fig. 8 Segmentation H-Region Color in HSV
Fig. 9 Experiment Environment
별 색의 정확도 (Accuracy:
) 는 실험에 사용된 모든 색에서 대략 97% 이상의 성능을 나타내었다. 붉은색의 정밀도가 상대적으 로 낮은 이유는 빛의 반사에 따라서 주황색 판자 의 일부가 붉은색으로 인식되는 때문이다. 여기서 재현율은 실제 True인 것 중에 True라고 판단한 것이고, 정밀도는 True라고 판단한 것 중에 실제 True의 비율이며, 정확도는 전체 결과에서 True 를 True, False를 False로 판단한 비율이다.
4. 결 론
실종 지역의 모든 CCTV 영상을 사람이 메뉴 얼로 영상마다 관찰하는 것은 상당한 노력과 시 간적 소요된다. 이에 본 논문에서는 실종자를 찾 기 위해 레이다 및 카메라가 내장된 스마트 조명 에서 색 검출 기반 실종자 탐지 기술을 제안하였 다. 색 검출 성능을 향상하기 위해서 조명의 설치 위치와 대상체의 크기를 고려해서 결정한 관심영 역을 적용하는 방법을 제안하고, 실험 결과 91%
의 재현율과 97%의 정확도의 색 검출 결과를 확 인할 수 있었다. 추후 배경 영향을 더욱 줄이기 위하여 영상에서 움직임을 탐지하는 Optical Flow 등과 같은 방식을 적용하여 정교한 ROI를 적용하면 색 검출 알고리즘에서 더 나은 성능이 나타날 것이라 여겨진다.
본 논문에서는 색을 입힌 판자로 색을 검출하 였지만, 색 검출을 통하여 실종 당시의 옷의 색을
검출하면, 사람이 일일이 CCTV 영상을 분석하지 않아도 색이 검출된 영상만을 분석함으로서 영상 분석 시간을 줄일 수 있다. 배경 ROI 기법을 적 용하는 경우 색 검출의 정밀도는 22%에서 90%
로 향상되었고, 실종자를 탐지하는데 유용하게 활용될 수 있는 수준으로 여겨진다.
References
Chew, I., Karunatilaka, D. Tan, C., and Kalavally, V. (2017). Smart Lighting: The Way Forward? Reviewing the Past to Shape the Future, Energy and Buildings, 149, 180-191,
https://doi.org/10.1016/j.enbuild.2017.04.083.
Chun, J., Lee, H., Sohn, J., and Kim, T.
(2014). Development of a FMCW Radar using a Compensation Algorithm for VCO Nonlinearity, Journal of the Korea Industrial Information Systems Research, 19(1), 25 – 30,
https://doi.org/10.9723/jksiis.2014.19.1.025 Hyun, E., Jin, Y., and Lee, J. (2016). A
Pedestrian Detection Scheme using a Coherent Phase Difference Method based on 2D Range-Doppler FMCW Radar, Sensros, 16(1), 124-136,
https://doi.org/10.3390/s16010124.
Color Recall Precision Accuracy False discovery
rate
True Positive
(TP)
False Positive
(FP)
False Negative
(FN)
True Negative
(TN)
TRUE
Red 97.90 89.95 97.13 10.05 841 94 18 2947 859 Orange 91.34 100.00 97.82 0.00 897 0 85 2918 982 Yellow 98.33 99.46 99.15 0.54 1474 8 25 2393 1499
Green 99.51 99.88 99.87 0.12 812 1 4 3083 816 Blue 94.11 98.61 94.56 1.39 2766 39 173 922 2939 Violet 98.77 99.85 99.51 0.15 1369 2 17 2512 1386
Table 1 Color Detection Result
using Radar and Camera Sensors
Kim, B., Kim, S., and Lee, J. (2018). A Novel DFT-Based DOA Estimation by a Virtual Array Extension Using Simple Multiplications for FMCW Radar, Sensros, 18(5), 1560-1576, https://doi.org/10.3390/s18051560.
Kim, S., Kim, B., and Lee, J. (2017).
Low-complexity Spectral Partitioning Based Music Algorithm for Automotive Radar, Elektronika ir Elektrotechnika, 23(4), 33-38, https://doi.org/10.5755/j01.eie.23.4.18719.
Korean National Police Agency, (2019). 2018 Police Statistical Yearbook, Statistical Yearbook, 62, 102-102.
Kovacs, A., Batai, R., Csaji, B., Dudas, P., Hay, B., Pedone, G., Revesz, T., and Vancza, J. (2016). Intelligent Control for Energy-positive Street Lighting, Energy, 114, 40-51,
https://doi.org/10.1016/j.energy.2016.07.156.
Lee, D., Chung, D. Shin, H., Yang, H., Kim, S., Kim, B., and Jin, Y. (2019). Increment Method of Radar Range using Noise Reduction, J ournal of the Korea Industrial Information Systems Research, 24(6), 1-10, 10.9723/jksiis.2019.24.6.001
Naik, S., and Murthy, C. (2003), Hue-preserving Color Image Enhancement without Gamut Problem, IEEE Transactions on Image Processing, 12(12), 1591-1598, https://doi.org/10.1109/TIP.2003.819231.
Song, S., Kim, S., Jin, Y., Lee. D., and Lee, J.
(2018). A New Proposal of Smart Lighting System based on Radar and Camera Sensors for Smart City, 2018 International Conference on Computational Science and Computational Intelligence, Dec. 12-14, Las Vegas, USA.
Yun, S., and Lyou, J. (2014). Flight Trajectory Generation through Post-processing of Launch Vehicle Tracking Data, J ournal of the Korea Industrial Information Systems Research, 19(6), 53-61.
Zou, H., Zhou, Y., Jiang, H., Chien, S., Xie, L., and Spanos, C. (2018). WinLight: A WiFi-based Occupancy-driven Lighting Control System for Smart Building, Energy and Buildings 158, 924-938,
https://doi.org/10.1016/j.enbuild.2017.09.001.
∙제주대학교 전자공학과 공학사
∙제주대학교 전자공학과 공학 석사
∙(현재) DGIST 미래자동차연 구부 연구원
∙관심분야: 레이다, 신호 처리
김 상 동 (Sangdong Kim)
∙한양대학교 전자통신컴퓨터 공학과 공학사
∙한양대학교 전자통신컴퓨터 공학과 공학석사
∙경북대학교 전자공학과 공학 박사
∙(현재) DGIST 미래자동차연구부 선임연구원
∙관심분야: 우주/항공/국방용 레이다, 레이다 신호처리 알고리즘 등
진 영 석 (Young-Seok Jin)
∙대구대학교 정보통신공학과 공학사
∙대구대학교 정보통신공학과 공학석사
∙(현재) DGIST 미래자동차연 구부 전임연구원
∙관심분야: 레이다, 임베디드 시스템
이 종 훈 (Jonghun Lee)
∙정회원
∙성균관대학교 전자공학과 공학사
∙성균관대학교 전기전자및컴퓨 터공학과 공학석사
∙성균관대학교 전기전자 및컴퓨 터공학과 공학박사
∙(현재) IEEE Senior Member
∙(현재) DGIST 책임연구원 및 미래자동차연구부장
∙(현재) DGIST 대학원 융합전공 교수
∙관심분야: 레이다 신호처리, 레이다 인식 및 검 출, 센서 융합
