CCTV 영상과 합성곱 신경망을 활용한 해무 탐지 기법 연구
김나경*ㆍ박수호*ㆍ정민지*ㆍ황도현*ㆍ앵흐자리갈 운자야*ㆍ박미소*ㆍ김보람*ㆍ윤홍주**
Study on Detection Technique for Sea Fog by using CCTV Images and Convolutional Neural Network
Na-Kyeong Kim
*ㆍSu-Ho Bak
*ㆍMin-Ji Jeong
*ㆍDo-Hyun Hwang
*ㆍUnuzaya Enkhjargal
*ㆍMi-So Park
*ㆍBo-Ram Kim
*ㆍHong-Joo Yoon
**요 약
본 논문에서는 합성곱 신경망을 기반으로 CCTV 이미지를 통한 해무 탐지 방법을 제안한다. 학습에 필요한 자료로 시정 1km 기준으로 총 11개의 항만 또는 해수욕장(부산항, 부산신항, 평택항, 인천항, 군산항, 대산항, 목포항, 여수광양항, 울산항, 포항항, 해운대해수욕장)에서 수집된 해무와 해무가 아닌 이미지 10004장을 랜덤 추출하였다. 전체 10004장의 데이터셋 중에 80%를 추출하여 합성곱 신경망 모델 학습에 사용하였다. 사용된 모델은 16개의 합성곱층과 3개의 완전 연결층을 가지고 있으며, 마지막 완전 연결층에서 Softmax 분류를 수행 하는 합성곱 신경망을 활용하였다. 나머지 20%를 이용하여 모델 정확도 평가를 수행하였고 정확도 평가 결과 약 96%의 분류 정확도를 보였다.
ABSTRACT
In this paper, the method of detecting sea fog through CCTV image is proposed based on convolutional neural networks. The study data randomly extracted 1,0004 images, sea-fog and not sea-fog, from a total of 11 ports or beaches (Busan Port, Busan New Port, Pyeongtaek Port, Incheon Port, Gunsan Port, Daesan Port, Mokpo Port, Yeosu Gwangyang Port, Ulsan Port, Pohang Port, and Haeundae Beach) based on 1km of visibility. 80% of the total 1,0004 datasets were extracted and used for learning the convolutional neural network model. The model has 16 convolutional layers and 3 fully connected layers, and a convolutional neural network that performs Softmax classification in the last fully connected layer is used. Model accuracy evaluation was performed using the remaining 20%, and the accuracy evaluation result showed a classification accuracy of about 96%.
키워드
Sea fog, Ocean Remote Sensing, CCTV, Machine Learning , Convolutional neural network 해무, 해양 원격탐사, CCTV, 기계 학습, 합성곱 신경망
* 부경대학교 지구환경시스템과학부
(gnknk8852@pukyong.ac.kr, shbak91@pukyong.ac.kr, hming34@pukyong.ac.kr, rupine725@hanmail.net, unzaya.e@gmail.com,talkplay48@gmail.com, boram5987@naver.com)
** 교신저자 : 부경대학교 공간정보시스템공학과 ㆍ접 수 일 : 2020. 10. 26
ㆍ수정완료일 : 2020. 11. 21 ㆍ게재확정일 : 2020. 12. 15
ㆍReceived : Oct. 26, 2020, Revised : Nov. 21, 2020, Accepted : Dec. 15, 2020 ㆍCorresponding Author : Hong-Joo Yoon
ㆍDivsion of Earth Environmental System Science Major of Spatial Information Engineering, Pukyong National University,
Email : yoonhj@pknu.ac.kr
http://dx.doi.org/10.13067/JKIECS.2020.15.6.1081
그림 1. 연구지역 Fig. 1 Research area
Ⅰ. 서 론
안개는 지표 부근에 있는 대기 중의 수증기가 응결 하여 작은 물방울 또는 얼음 알갱이 형태로 떠 있는 기상 현상으로 가시거리가 1km 미만으로 감소하는 경우 우리는 안개라고 판단한다[1-2]. 안개는 주로 저 층에서 수증기가 응결하여 발생하는 기상 현상으로 발생 기전에 따라 복사안개, 이류안개, 전선안개 등으 로 나뉘며, 이 중 해상에서 발생하는 안개를 해무라고 한다. 한반도 연안에서 발생하는 해무는 해수면 온도 보다 기온이 높은 4~10월에 주로 나타난다[2].
해무는 해면 근처에서 가시성이 심하게 감소하기 때문에 해상활동에 있어 위험한 요소이다[3]. 구체적 으로 해무는 해상 교통, 해군 작전 및 어업 등에서 일 어나는 해양 사고의 29.5 %를 차지한다[4]. 특히 섬, 연안 지역으로 유입될 경우 도로 운행이나 선박, 항공 기 운항에 차질을 일으키기도 한다[5].
앞에서 언급했듯이 안개의 척도는 시정으로 판단 하며 시정은 산란을 기반으로 한 시정 센서로 측정한 다. 하지만 시정계로 시정을 측정할 경우, 해안과 같 은 넓은 지역에 대한 포괄적인 가시정보를 얻기에 경 제성이 떨어진다. 특히 삼면이 바다로 이루어진 한국 에서는 배를 이용한 물류 운송이나 항구의 규모가 크 고 어업활동이 많다. 이로 인해 연안의 해무 탐지가 중요하다[6].
시정계가 연안과 같은 넓은 지역을 포괄할 수 없으 므로 다수의 선행연구에서는 위성을 활용하여 해무를 탐지하기 위한 연구가 많이 수행되고 있다. 인공위성 을 이용한 대표적인 해무 탐지 기법은 가시채널의 반 사도를 이용하여 구름과 지표를 구분한 뒤, 적외채널 의 밝기 온도를 이용하여 구름과 안개를 분리하여 안 개를 탐지하는 방법이 있다[7-8]. 이 방법은 주간에만 사용이 가능하기 때문에 야간에는 근적외 채널과 적 외 채널의 밝기 온도 차이를 이용한 DCD(Dual Channel Diffrence) 방법이 많이 활용되고 있다[9-10].
최근에는 국내 정지궤도 위성인 GOCI를 활용한 연구 가 수행되고 있는데 레일리 산란을 보정한 반사율 값 을 이용하여 해무를 탐지하였다[11-12]. 특히 최근 기 계학습의 발달로 인하여 의사결정 모델을 기반으로한 정지궤도 위성 이미지 해무 탐지 기법도 수행되었다 [13-15].
하지만 인공위성을 활용한 해무 탐지는 해상도가 떨어진다. 극궤도 위성일 경우 매시간 같은 곳을 촬영 할 수 없어 시간 해상도의 한계를 지니고 정지궤도 위성인 경우 공간 해상도가 현저히 떨어진다는 단점 을 지니고 있다. 특히 해무는 선박 활동과 어업활동이 많은 연안에 자주 끼는 점을 고려하면 공간 해상도와 시간 해상도가 낮은 인공위성은 해무 관측에 한계를 지니고 있다.
이러한 위성에 대한 한계점을 보완하여 본 연구에 서는 24시간 관측이 가능한 CCTV 이미지를 기반으 로 딥러닝 기법을 활용하여 연안 해무 탐지 모델 기 법 연구를 수행하였다.
Ⅱ. 자료 및 방법
2.1 연구자료
본 연구에서는 합성곱 신경망을 활용한 해무 탐지 기법을 개발하기 위해 CCTV 영상과 시정계 관측 자 료를 활용하였다.
총 11개 항만(부산항, 부산신항, 평택항, 인천항, 군
산항, 대산항, 목포항, 여수광양항, 울산항, 포항항) 또
는 해변(부산 해운대해수욕장)에 시정계와 CCTV를
설치하여 관측하였다(그림1).
그림 2. 연구흐름도 Fig. 2 Flow chart of research
2018년, 2019년 2년간 매 4월부터 10월까지 관측하 였다. 관측 시간은 일조시간을 고려하여, 매일 새벽 5 시부터 오후 4시까지로 설정하였으며 자료 간격은 5 분 단위이다.
CCTV는 HIKVISION사의 DS-2DF8836IV-AELW 를 사용하였다. CCTV는 1/1.9″ CMOS를 탑재하고 있으며, HD(High Definition) 화질로 녹화 가능하다.
시정계는 AANDERAA사의 Mira Visibility Sensor 3544S와 Vaisala사의 PWA 22를 활용하였다(표 1).
Mira Visibility Sensor 3544는 최대 3km까지 시정 산출이 가능하며, PWA 22는 최대 20km까지 시정산 출이 가능하다.
합성곱 신경망 훈련을 위한 데이터셋은 CCTV를 통해 녹화된 동영상을 프레임 단위로 분리하여, 시정 계 자료를 활용하여 해무 발생과 미발생을 분류하였 다. 해무 발생 유무는 기상학적 정의에 따라 시정계로 산출된 시정이 1km 미만인 영상을 해무로 분류하였
다 .
ID Visibility Sensor Point 1 PWA22 of Vaisala Busan Port, 2 PWA22 of Vaisala Busan New
Port 3 PWA22 of Vaisala Pyeongtaek
Port 4 PWA22 of Vaisala Incheon Port 5 PWA22 of Vaisala Gunsan Port 6 Mira Visibility
Sensor Daesan Port 7 Mira Visibility
Sensor Mokpo Port 8 Mira Visibility
Sensor
Yeosu·
Gwangyang Port 9 Mira Visibility
Sensor Ulsan Port 10 Mira Visibility
Sensor Pohang Port 11 Mira Visibility
Sensor
Haeundae Beach 표 1. CCTV 설치 위치별 시정계 종류 Table 1. Type of Visibility Sensor by CCTV
installation point
..
총 10004장(해무 5002장, 비해무 5002장)의 CCTV 프레임 영상을 추출하였으며, 이 중 80%를 합성곱 신 경망의 학습에 활용하였다. 나머지 20%를 활용하여 합성곱 신경망의 정확도 평가에 활용하였다(그림2).
2.2 합성곱 신경망
합성곱 신경망(Convolutional Neural Network)은 합성곱 연산을 활용하는 신경망으로 정해진 격자 형 태로 배열된 자료를 처리하는 데 특화되었다[16-17].
전통적인 Neural Networks에서는, 모든 output unit 이 모든 input unit과 상호작용 하는 것에 반해, CNN 에서는 특정 영역의 feature와 output이 상호작용한다.
이것을 전통적인 신경망에는 없는 희소 상호작용 (sparse interaction)이라 하며 이를 통해 이미지 데이 터를 좀 더 효율적으로 학습할 수 있다[17].
본 연구에서는 해무 발생 유무를 분류 문제로 해결 하고자 하였다. 이를 위해 16개의 합성곱층 (Convolution Layer)과 3개의 완전 연결층(Fully Connected Layer)을 가지고 있으며, 마지막 완전 연 결층에서 Softmax 분류를 수행하는 합성곱 신경망을 활용하였다(그림2). 또한 본 연구에서는 그림 3과 같 이모델의 파라미터를 줄이기 위해 커널(Kernel) 크기 가 3×3인 합성곱층과 커널 크기가 1×1인 합성곱층을 교대로 사용하는 합성곱 모듈을 사용하였다.
그림 3. 해무 탐지를 위한 합성곱 신경망의 네트워크 구조.
Fig. 3 Architecture of convolutional neural network for sea fog detection.
그림 4. 합성곱 모듈. (A)Type 1 (B)Type 2.
Fig. 4 Convolutional Module. (A)Type 1 (B)Type2
2.3 정확도 평가
본 연구에서는 분류 정확도를 평가하기 위해 오차 행렬(Confusion Matrix, 표 2)를 이용한 전체 정확도 (accuracy), 정밀도(Precision), 재현율(Recall), F1-측 정(F1-measure)을 평가 측도로 사용하였다.
Prediction True False
Reference True TP FN
False FP TN
※ TP : True Positive / FP : False Positive FN : False Negative / TN : True Negative
표 2. 오차행렬 Table 2. Confusion Matrix
Accuracy =
(3)
Precision =
(4)
Recall =
(5)
F1-measure= × Pr
Pr ×
(6)
이 때, 전체 정확도, 즉 Accuracy는 식 (3)과 같이
정의된다. 전체 정확도(Accuracy)는 전체 예측에서
옳은 예측의 비율을 의미한다. 정밀도(Precision)는 식
(4)와 같이 정의되며 True라고 예측한 것 중에 실제
그림 5. 해무라고 옳게 예측한 결과 Fig. 5 The result of correctly predicting that
it is sea fog 로 True인 비율이다. 재현율(Recall)은 식 (5)와 같이
정의되며 실제 True인 것 중에 True 라고 예측한 비 율이다. 마지막으로 F1-측정(F1- measure)은 식 (6) 과 같이 정의되며 Precision과 Recall의 조화평균을 한 값으로 Precision과 Recall이 둘 다 중요하다는 하 에 똑같은 가중치를 준 정확도 값이다.
Ⅲ. 결과 및 토의
3.1 정확도 평가 결과
본 연구는 총 4가지의 정확도 평가 척도를 사용하 였다.
Prediction
0 1
Reference 0 1009 26
1 47 919
※ 0 : Sea fog / 1 : Non Sea fog
표 3. 오차행렬 결과 Table 3. Confusion Matrix Result
오차 행렬의 결과를 살펴보면 Y축은 Reference로 실 제 정답값을 의미하고 X축은 예측한 값을 의미한다.
그리고 0은 해무를 나타내고 1은 비해무를 말한다. 전 체 10004장 중 20%인 전체 2001개 Test Data 중 해 무를 해무라고 맞춘 개수는 1009개, 비해무를 비해무 라고 맞춘 개수가 919개로 총 2001개의 데이터 중 1928개의 데이터 예측을 성공했다. 반대로 실제로 해 무인 것을 비해무라고 예측한 데이터는 26개, 비해무 를 해무라고 예측한 경우는 총 47개로 예측하지 못한 데이터는 총 73개이다.
accuracy precision recall F1- measure
0.96 0.97 0.95 0.96
표 4. 정확도 평가 결과 Table 4. Accuracy Assessment Results
전체 정확도는 약 96%, 모델 Precision은 약 97%, Recall 값은 약 95%, F1-measure 값은 약 96%로 예측 이 대부분 고르게 높은 값을 나타내는 것을 볼 수 있다.
3.2 해무 탐지 사례
2001개의 test data 중 예측에 성공한 데이터는 1928개이다. 탐지에 성공한 사례를 살펴보면 그림 5 와 같이 해무를 해무라고 옳게 예측한 경우와 그림 6 과 같이 비해무를 비해무라고 옳게 예측한 두 가지 경우가 있다.
예측에 실패한 73개의 데이터를 분석한 결과, 해무 를 해무가 아니라고 예측한 경우와 해무가 아닌 경우 를 해무라고 예측한 경우 두 가지로 나눠진다.
그림 7과 같이 해무를 해무가 아니라고 예측한 경 우는 총 26개로 모델 정확도의 한계로 인한 결과이다.
이는 그림6의 (a)와 (b)를 보면 데이터가 해무와 비해 무의 경계에 있는 경우로 해무가 얕게 낀 이미지를 해무가 아니라고 판단하였다.
반대로 해무가 아닌 것을 해무라고 예측한 경우는
총 47개로 대부분 시정계의 오류로 판단된다. 그림 7
과 같이 육안으로 해무라고 식별할 수 있는 이미지의
시정을 살펴보면 그림7 (a)와 같이 시정계 값이 1km
이상으로 측정되어 있거나 (b)와 같이 시정계가 감지
할 수 있는 최대치의 거리인 20km로 측정이 되어있
그림 6. 해무를 비해무라고 예측한 결과 Fig. 6 The result of predicting that there is
no sea fog as the sea fog
다. 이는 시정계의 오류로 인하여 데이터 자체의 문제 로 시정을 기준으로 하는 데이터 전처리 과정에서 생 긴 오류이다.
Ⅳ. 결 론
본 연구에서는 합성곱 신경망을 기반으로 CCTV 이미지를 통한 해무 이진 분류를 수행하였다. 모델의 정확도 평가 결과 전체 정확도는 약 96%의 분류 정 확도를 보였다.
Test data 2001개 중, 예측에 성공한 데이터는 1928개로 대부분의 데이터가 해무와 해무가 아닌 데 이터를 분류하였지만 2001개 중, 73개의 데이터가 옳 게 분류하지 못했다. 이는 모델의 정확도로 인하여 얕 은 해무를 해무로 분류하지 못하고 비해무로 분류하 였기 때문이다. 본 연구에서는 시정을 기준으로 해무 를 분류하였는데 시정 센서의 오류로 인하여 데이터 자체에 대한 문제가 존재하였다. 이러한 한계는 검증 데이터로 사용된 시정계의 정확성이 확보된다면 정확 도가 더 개선될 것으로 보여진다.
향후 연구에서는 시정계 오류를 감소시키기 위해
해무 발생 인자들을 더 조사하고 해무 발생 여부 조 건을 시정을 포함한 습도, 수온, 기온 등을 추가하여 연구를 진행할 것이다.
감사의 글
이 연구는 기상청 「미래유망 민간기상서비스 성장기술개발」(KMI2019-00510)의 지원으로 수 행되었습니다.
References
[1] K. Heo, S. Min, K. Ha, and J. Kim,
"Discrimination between Sea Fog and Low Stratus Using Texture Structure of MODIS Satellite Images," Korean J. of Remote Sensing, vol. 24, no. 6, 2008, pp. 571-581.
[2] M. Kim, Characteristics of sea fog distribution around the Korean Peninsula,” Master’s Thesis, Chonnam National University Graduate School, 1998.
[3] H. Byun, D. Lee, and H. Lee, “Analysis on the Characteristics and Predictablility of the Marine Fog over and near the East Sea,”
Korean Meteorological Society, vol. 33, no. 1, 1997, pp. 41-62.
[4] D. Wu, B. Lu, T. Zhang, and F.Yan, "A method of detecting sea fogs using CALIOP data and its application to improve MODIS-based sea fog detection," J. of Quantitative Spectroscopy &Radiative Transfer, vol. 153, 2015, pp. 88-94.
[5] D. Koračin, C. E. Dorman, J. M. Lewis, J. G.
Hudson, E. M. Wilcox, and A. Torregrosa,
“Marine fog: A review,” Atmospheric Research, vol. 143, 2014, pp. 142–175.
[6] T. Bae, J. Han, K. Kim, and Y.Kim, "Coastal
Visibility Distance Estimation Using Dark
Channel Prior and Distance Map Under
Sea-Fog: Korean Peninsula Case," Sensors, vol.
19, no. 20, 2019, pp.4432-4447.
[7] M. Ahn, E. Sohn, and B. Hwang, "A new algorithm for sea fog/stratus detection using GMS-5 IR data," Advances in Atmospheric Sciences, vol. 20, no. 6 , 2003, pp. 899-913.
[8] J. Yoo, M. Yun, M. Jeong, and M. Ahn, "Fog Detection over the Korean Peninsula Derived from Satellite Observations of Polar-orbit (MODIS) and Geostationary (GOES-9)," J. of the Korean Earth Science Society, vol. 27, no. 4, 2006, pp. 450-463.
[9] J. Eyre, J. Brownscombe, and R. Allam,
“Detection of fog at night using Advanced Very High Resolution Radiometer (AVHRR) imagery,”
Meteorological Mag, vol. 113, no. 1346, 1984, pp.
266-271.
[10] G. Ellrod, “Advances in the detection and analysis of fog at night using GOES multispectral infrared imagery,” Weather and Forecasting, vol. 10, no. 3, 1995, pp. 606-619.
[12] Y. Yuan, Z. Qiu, D. Sun, S. Wang, and X. Yue,
"Daytime sea fog retrieval based on GOCI data:
a case study over the Yellow Sea," Optical Society of America, vol. 24, no. 2, 2016, pp.
787-801.
[13] K. Lee, B. Kwon, and H. Yoon, "Sea Fog Detection Algorithm Using Visible and Near Infrared Bands," J. of The Korea Institute of Electronic Communication Sciences, vol. 13, no. 3, 2018, pp. 669-676.
[14] D. Kim, M. Park, Y. Park, and W.Kim,
"Geostationary Ocean Color Imager (GOCI) Marine Fog Detection in Combination with Himawari-8 Based on the Decision Tree," remote sensing, vol. 12, no. 1, 2020, pp. 149-165.
[15] S.B ak, H. Kim, B. Kim, D. Hwang, E. Unuzaya and H. Yoon, "Study on Detection Technique for Cochlodinium polykrikoides Red tide using Logistic Regression Model and Decision Tree Model," J. of the KIECS, vol. 13, no. 4, 2018, pp.
777-786.
[16] Y. LeCun, B. Boser, J. S. Denker, D. Henderson,
R. E. Howard, W. Hubbard, and L. D. Jackel,
“Backpropagation applied to handwritten zip code recognition,” Neural computation, vol. 1, no.
4, 1989, pp. 541-551.
[17] I. Goodfellow, Y. Bengio, and A. courvil, Deep Learning. Massachusetts: MIT Press book, 2016.
저자 소개
김나경(Na-Kyeong Kim)
2020년 부경대학교 공간정보시스템 공학과 졸업(공학사)
2020년 현재 부경대학교 대학원 지구환경시스템과학 부(석사과정)
※ 관심분야 : 해양 원격탐사, Deep Learning
박수호(Su-Ho Bak)
2013년 부경대학교 공간정보시스템 공학과 졸업(공학사)
2017년 부경대학교 공간정보시스템 공학과 졸업(공학석사)
2020년 현재 부경대학교 대학원 지구환경시스템과학 부 공간정보시스템공학전공(박사수료)
※ 관심분야 : 해양 원격탐사, GIS, Deep Learning
정민지(Min-Ji Jeong)
2017년 부경대학교 해양학과 졸업 (이학사)
2020년 현재 부경대학교 대학원 지구환경시스템과학 부 공간정보시스템공학과(석사과정)
※ 관심분야 : 해양 원격탐사
황도현(Do-Hyun Hwang)
2011년 부경대학교 공간정보시스템 공학과 졸업(공학사)
2013년 부경대학교 대학원 공간정 보시스템공학과 졸업(공학석사) 2020년 현재 부경대학교 대학원 지구환경시스템과학 부 공간정보시스템공학전공(박사수료)
※ 관심분야 : 해양 원격탐사, GIS
엥흐자리갈 운자야 (Enkgjargal Unuzaya)
2014년 몽골 과학기술대학교 정 보 및 전기통신기술학과 졸업(공 학사)
2020년 현재 부경대학교 대학원 지구환경시스템과학 부(석사수료)
※ 관심분야 : 무선 통신, 해양원격탐사, GIS
박미소(Mi-So Park)
2019년 부경대학교 공간정보시스템공학과 재학(학사 과정)
※ 관심분야 : 해양 원격탐사
김보람(Bo-Ram Kim)
2019년 부경대학교 공간정보시스템공학과 재학(학 사과정)
※ 관심분야 : 해양 원격탐사
윤홍주(Hong-Joo Yoon)
