development of face mask detector

2020

년 한국방송 미디어공학회 추계학술대회 대학생 논문

·

딥러닝 기반 마스크 미 착용자 검출 기술

이한성 황찬웅 김종범 장도현 이혜진 임동주 정순기

,

,

,

,

,

,

*

경북대학교 대학 컴퓨터학부

IT

[email protected], [email protected]*

development of face mask detector

Hanseong Lee, Dohyeon Jang, Jongbeom Kim, Chanwoong Hwang,

Hyejin Lee, Dongju Im, Soonki Jung

School of Computer Science and Engineering, Kyungpook National Univ.

요약

본 논문은 코로나 방역의 자동화를 위한 Deep learning 기술 적용에 대해 연구한다. 2020년에 가장 중요한 이슈 중 하나인 와 그 방역에 대해 많은 사람들이 분야에서 떠오르고 있는 에 주목하고 있다

COVID-19 IT artificial intelligence(AI) . COVID-19 로 인해 마스크 착용이 선택이 아닌 필수가 되며 이를 통제하기 위한 모델이 필요한 상황이다, . AI, 그 중에서도 Deep learning의

기술을 일상생활 곳곳에 존재하는 영상 장치들에 적용하여 합리적인 비용으로 방역의 실시간 자동화를 구현할 Object detection 수 있다 이번 논문에서는 인터넷에 공개되어 있는 사물인식 오픈소스를 활용하여 이를 구현하기 위한 연구를 진행하였다 또 . . 이를 위한 Dataset 확보에 대한 조사도 진행하였다.

서론

1.

현재 COVID-19바이러스 때문에 세계적으로 큰 혼란이 일고 있다 이. 걸 극복하기 위해 우리나라에선 마스크 쓰 운동 등의 마스크 착용 “ go ” 운동을 행하고 있다 실내 다중이용시설의 경우 . CCTV와 출입 카메라로 출입자의 마스크 착용 여부를 관리한다 현재는 사람이 직접 카메라 화. 면을 보며 마스크 착용 여부를 확인하고 있다 이는 건물의 규모가 클수. 록 감시 시간이 길어질수록 인력을 낭비한다 실내 공공시설들 중 시, . 24 간 감시체제가 필요한 곳도 있으며 호텔 등의 대형 건물들도 있다 그래. 서 사물 인식 기술을 활용한실시간 마스크 미착용자 검출 기술을 통해 사람이 아닌 프로그램으로 마스크 착용 여부를 시간 자동으로 확인하24 여 경제적 낭비 인력 낭비를 줄이고자 한다, . 질병관리본부 홈페이지에 명시되어 있는 마스크 착용 기준은 코와 입을 완전히 가리도록 마스크를 착용하는 것이다 따라서 마스크 미착용자 확. 인을 위해 마스크를 감지하는 대신 사람의 얼굴에서 코와 입을 확인할 것을 제안한다 이를 위한 기술로 사물인식기술을 사용할 것이며 실시간 . 검출을 목표로 하고 있기 때문에 다른 모델보다 검출속도가 빠른 모델이 요구된다.

관련연구

2.

기술 개발에 사용될 Object detection기법의 성능은 실시간 탐지, 가 가능할 정도의 속도와 유의미한 효과를 가질 수 있을 특정 수준, 의 정확도 확보 또한 여러 종류의 , class들을 동시에 여럿 인식할 수 있는 기능이 요구되었고 이에 가장 부합되는 기법을 찾기 위해 조사를 진행하였다. 는 년

Yolo 2016 ‘Joseph Redmon’과 ‘Santosh Divvala’의 논문 ‘You Only Look Once: Unified, Real-Time Object Detection’ 소개된 Image detection 기법으로 한 눈에 장면 속 , 사물들을 빠르고 정확하게 인식하는 인간의 시각 시스템을 모방하 여 만들어진 기술이다. Yolo는 최신 딥러닝 기법들이 추가적으로 등장함에 따라 해당 기술들을 적용하여 성능과 효율이 개선된 새, 로운 버전들을 소개하는데 이번 연구에서는 그러한 버전 중에서도 , 년에 공개된 를 사용하였다 2018 Yolo v3[2] . 270

2020

년 한국방송 미디어공학회 추계학술대회 대학생 논문

·

그림1 Yolo v3와 타 기법들의 성능 비교 그래프[1] 의 특징으로는 를 기준으로 이 yolo . yolo v3 mAP-50 51.5,

은

inference time 22(ms) 로 다른 Object detection 기술과 비교 하여 빠른 속도를 가지고 그에 비해 크게 뒤쳐지지 않는 정확도를 , 가지고 있다. 를 바탕으로 한 수많은 오픈 소스들 중 를 지원하는 yolo Windows 를 사용하였다 이로써 데이터 확보와 훈련을 AlexeyAB darknet[3] . 통해 마스크 미착용자의 실시간 검출이 가능하게 되었다.

데이터 셋

3.

데이터 셋 확보 전략 3.1 필요한 성능을 위해선 충분한 데이터 셋이 필요하고 또한 이를 위한 , 충분한 이미지 셋 확보가 필요하다 하지만 너무 많은 데이터는 너무 큰 . 훈련비용이 발생하므로 회의를 통해 , 1000장 가량의 이미지 셋을 확보 하기로 하였다. 그림 이미지 레이블링 범주2 그리고 이미지 확보의 용이성과 더 엄밀한 착용 여부 인식을 위해 , 마스크 착용자 미착용자 이미지 두 가지를 모으지 않고 미착용자, 의 이미지만을 모은 후 눈 코 입 얼굴을 레이블링 하여 데이터 셋, , , 을 생성하였다 질병관리본부의 올바른 마스크 사용법에 따르면 마. 스크로 입과 코를 완전히 가려야 하므로 코나 입이 인식된다면 그 것은 미착용자로 판단하여야 한다고 결정하였다 또한 눈과 얼굴을 . 추가로 인식하여 사람을 정확히 인식한 경우에만 해당하도록 하였 다. 차 데이터 셋 3.2 1 가장 처음으로 훈련한 데이터 셋은 인터넷에 공개되어 있는 이미 지 셋 1000장을 확보하여 직접 레이블링 하여 진행하였다 하지만 . 차에서는 목표로 설정한 성능에 비해 미흡한 결과를 보였다 정면 1 . 의 경우에는 준수한 성능을 보여주었다 하지만 측면과 상하 각도. 에 따라 인식률이 급감하였고 인식할 수 있는 거리가 매우 짧았다, . 원인을 분석한 결과 확보한 이미지 셋이 너무 정면 이미지로 편중 되어 있음을 확인하였고 이를 개선하여 2차 데이터 셋을 제작하였 다. 차 데이터 셋 3.3 2 차 데이터 셋에서는 기존 정면 이미지에 추가로 차 데이터 셋의 문2 , 1 제점을 보안하기 위한 다각도의 이미지들을 추가하기로 하였다. 그림3. 3d모델링 데이터 레이블링[5] 인터넷에 공개되어 있는 이미지 셋에서 다각도 이미지들을 특정하 여 확보하는 것은 어려운 일이다 그래서 다양한 각도의 이미지를 . 구하기 위해 가상모델을 사용할 것을 제안한다 참조된 논문을 통. 해 가상모델을 사용하여도 현실 이미지를 사용한 결과와 크게 다르 지 않다는 것을 알 수 있다.[6] 추가로 웹 크롤링을 통하여 최대한 다각도 이미지들을 데이터 셋 에 더하였다 결론적으로 차 데이터 셋은 기존 정면 이미지 . 2 1000 장 웹 크롤링 이미지 , 1200 , 3d장 모델링 이미지 300 , 장 총 2500장 으로 구성하여 훈련하였다.

결과

4.

먼저 개선 전 후 성능에 대한 결과이다 성능 비교는 정면 측면 먼 거. , , 리 이미지에 대한 자료를 준비하여 개선 전의 가중치 파일과 개선 후의 가중치 파일을 사용하여 사물인식을 진행하였다. 그림 개선 전후 결과 비교4 271

2020

년 한국방송 미디어공학회 추계학술대회 대학생 논문

·

정면 인식률 변화 < > 얼굴 : 0.89 -> 1.00 (+0.11) 눈 : 0.78, 0.59 -> 0.99, 0.98 (+0.21, +0.39) 코 : 0.35 -> 0.98 (+0.63) 입 : 0.61 -> 1.00 (+0.39) 측면 인식률 변화 < > 얼굴 : 0.78 -> 1.00 (+0.22) 눈 : 0.41 -> 0.93 (+0.52) 코 : 0.62 -> 1.00 (+0.38) 입 미 인식 : -> 0.99 (+0.99) 먼 거리 인식률 변화 < > 얼굴 미 인식 : -> 0.91 (+0.91) 눈 미 인식 : 0.47, -> 1.00, 0.78 (+0.53, +0.78) 코 미 인식 : -> 0.74 (+0.74) 입 : 0.33 -> 0.93 (+0.60) 결과를 보면 개선을 통해 전반적으로 인식률이 상승했음을 알 수 있다 개선 전에 다소 미흡하게 인식되던 대상들은 개선 후 거의 . 에 일치하게 개선되고 미 인식되던 대상들이 개선 후에는 인 100% , 식되는 결과를 보여주었다 하지만 이 경우에 . 70~80%의 인식률을 보이므로 개선의 여지를 보여주고 있다. 그림 테스트 결과5 두 번째로 최종 버전을 활용한 실시간 영상 테스트 결과이다 테스. 트는 마스크 미착용자들과 마스크 착용자들이 동시에 여럿 등장하 는 영상으로 진행하였다. 테스트 결과 빠르게 움직이는 대상들이나 거리가 너무 먼 대상은 , 인식률이 다소 떨어졌다 완전하진 않지만 충분한 인식률을 보여주. 었으며 수많은 사람들이 등장하는 부분에서는 사람의 인식보다 더 , 강력한 성능을 보여주었다.

결론

5.

총 2500장의 이미지 데이터 셋과 yolo v3를 사용하여 실시간 마 스크 미착용자 검출 기술을 개발하였다 목표로 하였던 마스크 미. 착용자의 실시간 검출은 유의미한 성능을 보여주며 많은 인원들의 , 경우 사람의 능력보다 더 강력할 것으로 예상된다. 하지만 여전히 개선의 여지가 존재한다 명암 채도 등에 대한 다양. 한 데이터가 부족하여 밤이나 실외의 경우 인식률이 다소 떨어지 며 인식거리도 인간의 인식능력에 비하면 아직 부족하다 하지만 , . 이번 연구 결과를 볼 때 이 같은 문제점들은 데이터 셋 추가로 효율 적으로 해결이 될 것으로 예상된다 이번 연구 결과에서 충분한 데. 이터 셋을 통해 더 높은 인식률을 보이는 기술로 발전시키고자 한 다.

ACKNOWLEDGMENT

본 연구는 과학기술정보통신부 및 정보통신기획평가원의

"

SW

중심대학사업의 연구결과로 수행되었음"(2015-0-00912)

"This research was supported by the Korean MSIT

(Ministry of Science and ICT), under the National

Program for Excellence in SW)(2015-0-00912) supervised

by the IITP(Institute of Information & communications

Technology Planning & Evaluation)"(2015-0-00912)

REFERENCE BY

[1] Joseph Redmon, Santosh Divvala, Ross Girshick , Ali Farhadi.

You Only Look Once: Unified, Real-Time Object Detection. arXiv:1506.02640v5, 2016

[2] Joseph Redmon, Ali Farhadi. YOLOv3: An Incremental Improvement. arXiv:1804.02767v1, 2018

[3]https://github.com/AlexeyAB/darknet

[4] https://afad-dataset.github.io/

캐릭터모델링 온라인게임 검은 사막

[5] - ‘ (PearlAbyss)’ [6] Kamil Židek , Peter Lazorík, Ján Pitel’ and Alexander Hošovský ;An Automated Training of Deep Learning Networks

by 3D Virtual Models for Object Recognition.Symmetry 2019, 11, 496