*
정회원, 한국산업기술대학교 지능형ICT융합공학과
**
정회원, 한국산업기술대학교 컴퓨터공학과
***
정회원, 한국산업기술대학교 전자공학과
접수일자 2021년 8월 4일, 수정완료 2021년 9월 4일 게재확정일자 2021년 10월 8일
Received: 4 August, 2021 / Revised: 4 September, 2021 / Accepted: 8 October, 2021
*
Corresponding Author: jhchoi@kpu.ac.kr
Dept. of Electronics Engineering, Korea Polytechnic University, Korea
https://doi.org/10.7236/JIIBC.2021.21.5.203
JIIBC 2021-5-27
인공지능형 스마트공장 데이터셋 구축 방법에 관한 연구
A Study on Establishment Method of Smart Factory Dataset for Artificial Intelligence
박윤수
*
, 이상덕**
, 최정훈***
Youn-Soo Park
*
, Sang-Deok Lee**
, Jeong-Hun Choi***
요 약 제조현장에서 작업자는 작업 지시서에 따라 제조 공정에 소재를 투입하고 투입 기록을 남기는 방식으로 운영해왔 으나, 누락하는 경우가 많아 제품 LOT 추적이 안되는 경우가 발생하고 있었으며, 최근 스마트공장 구축으로 RFID-Tag 를 활용하여 소재 투입 정보를 자동입력 하는 시스템으로 진행되고 있다. 특히, 생산라인에 투입되는 RACK에 부착된 TAG 정보를 수신하여 RACK(TAG) ID와 RACK 투입시간 데이터 분석을 통한 투입정보를 자동으로 생성토록 하여 초 기 자동인식률이 97%로 양호하였으나 멀티소재 사용 RACK, TAG분실, 신규 제품 투입 이슈 등이 발생하면서 자동인식 률이 계속 낮아지는 상황이다. 인공지능형 스마트공장 데이터셋 구축 방법은 자동인식률 향상과 실시간 모니터링이 가능 해지므로 생산 공정의 전반에 있어 속도와 수율(정상제품 비율)을 높이는데 기여할 것으로 기대한다.
Abstract At the manufacturing site, workers have been operating by inputting materials into the manufacturing process and leaving input records according to the work instructions, but product LOT tracking has been not possible due to many omissions. Recently, it is being carried out as a system to automatically input materials using RFID-Tag. In particular, the initial automatic recognition rate was good at 97 percent by automatically generating input information through RACK (TAG) ID and RACK input time analysis, but the automatic recognition rate continues to decrease due to multi-material RACK, TAG loss, and new product input issues. It is expected that it will contribute to increasing speed and yield (normal product ratio) in the overall production process by improving automatic recognition rate and real-time monitoring through the establishment of artificial intelligent smart factory datasets.
Key Words : Artificial Intelligence, Training dataset, Object Classification, Smat Factory, YOLOv4(Optomal Speed and Accuracy of Object Detection), Smart Factory
Ⅰ. 서 론
인공지능 연구는 IoT, 빅데이터, 알고리즘, 네트워크, 네트워크, 클라우드, 컴퓨팅 파워 등 기반기술이 고도화
되면서 문제인식과 학습(데이터 수집, 처리, 분석), 결과 도출(의사결정)등 모든 단계에서 높은 성과를 내고 있다.
특히 인공신경망 기반의 딥러닝 기술은 이미지 판독뿐
아니라 영상을 인식하고 실행할 정도로 발전하여 학습
데이터셋만 있으면 소프트웨어 개발을 최소화하고 인공 지능을 적용할 수 있는 환경이 되었다. 최근 컴퓨팅 파워 가 높아지고 GPU(Graphics Processing Unit)를 활용 한 병렬처리 기법이 확대되고 기계학습과 딥러닝 기술의 발전으로 영상처리 분야에 활발히 적용되고 있다
[1].딥러닝 구조중 하나인 CNN(Convolution Neural Network) 연구가 활발히 이루어지면서 AlexNet
[2], VGGNet
[3], Residual Net
[4], CNN
[5]구조를 활용한 사 진 분류 알고리즘이 개발되고 있다. 딥러닝 학습은 지도 학습과 비 지도학습으로 구분한다. 지도학습은 학습에 필요한 Ground Truth 정보를 함께 제공하여 학습을 하 며 학습 데이터셋은 수집된 데이터의 Ground Truth 정 보를 판단하는 작업을 사용자가 직접 수행해야 하기 때 문에 작업 시간이 오래 걸리고 작업 오류 또한 발생하기 쉽다. 반면 비 지도학습은 비슷한 데이터들끼리 군집화 하여 미래를 예측하는 방법으로 지도학습의 적절한 특징 을 찾아내기 위해 전처리 방법으로 사용된다
[6]. 최근 많 은 기업들이 스마트 공장을 도입하고 있으나, 스마트공 장 운용효율이 낮아 투자 손실이 큰 경우가 발생하고 있 다. 특히, 자동차 분야의 스마트 공장 운용효율이 낮아지 는 원인으로는 4가지로 분류해 볼 수 있다.
첫째, 여러 다른 제품을 생산하는 경우 공용 RACK이 다수임에 따라 RACK과 제품의 매칭 비율이 낮은 문제 가 있다. 둘째, RACKING후 실제 생산투입이 당일 이루 어지지 않아 자동 매칭 오류가 발생 한다. 셋째, RACK 의 생산제품 매칭이 미완료되어 자동 매칭이 되지 않은 문제로 전체 오류가 40%에 달한다. 특히 중요한 도금공 정(RACK도금)에서 작업자가 객체 투입 이력 Key In을 누락하면 다음 품질공정에서 전산 입력 오류가 발생한 다. 넷째로, 긴급 투입으로 생산 투입되는 경우 매칭이 되지 않는다. 특히 4종 객체를 동시 투입시(그림 1) 에는 작업자 입력 오류 및 RFID 노이즈 에러가 증가하여 데이 터 오류가 증가한다.
그림 1. 4종 객체의 동시 투입
Fig. 1. Simultaneous input of 4 types of objects
객체를 투입할 때 투입 기록을 기록하여야 하지만 객 체 정보가 누락되는 경우, 제품 LOT 추적이 안되어 진행 성 불량 발생 시 대응이 어렵다. 비효율적인 업무 프로세 스를 인공지능형 스마트공장 데이터셋 구축을 통해 개선 하는 것이 필요하므로, 본 연구에서는 데이터셋 클라우 드로 부터 객체 정보를 추출하기 위한 딥러닝 학습 데이 터셋 구축을 위한 방법에 대해 연구하였다. 스마트공장 데이터셋을 구축하기 위해 투입부에 카메라를 설치하고 AI(인공지능) 영상인식 기술을 활용하여 객체를 자동 인 식하여 자동 계수를 할 수 있도록 하였으며, 객체가 자동 라벨링 되어 인식된 객체 정보가 MES에 자동으로 전송 되면 투입되는 객체의 투입수량이 MES Database에 자 동 기록되어 LOT 추적을 용이하게 할 수 있도록 하였다.
타당성 검증 및 실제 딥러닝 모델의 구현을 위해 CNN 입력 데이터 처리 및 CNN 모델을 구성하여 데이터셋 구 축의 실효성을 검증하였다.
Ⅱ. 관련연구
본 연구에서는 객체 형상 검출 기반 데이터셋 구축을 위해 프로세스를 설정하였다. 첫째, 클라우드 기반의 데 이터셋 환경을 구축한다. 둘째, 객체별 데이터셋을 취득 하기 위해 카메라 센서로 각 객체를 스캔하여 딥러닝 모 델의 입력데이터로 사용될 데이터셋을 구축하고, 해당 데이터셋을 통해 전처리과정을 거쳐 CNN 네트워크 모 델을 학습시킨다. 셋째, 데이터셋을 통해 학습된 CNN 모델이 정상작동을 하는지 확인하기 위해 이미 공개된 데이터셋을 이용하여 비교 및 분석하는 절차를 통해 검 증한다. 인공지능 최적화 데이터셋 학습 계획은 그림 2 와 같다.
그림 2. 인공지능 최적화 데이터셋 학습 계획 Fig. 2. AI-optimized dataset training plan
CNN 네트워크 모델은 텍스트, 이미지, 비디오, 사운
드 데이터의 특장점을 검출하여 분류하는 모델로 특히,
이미지 패턴을 찾아 분류하는데 용이하다. CNN에서 이
용되는 각각의 필터는 학습된 가중치를 기반으로 전체
데이터가 아닌 일부분의 데이터만 사용하기 때문에 데이
터 변경, 왜곡 등에 따라 분류 성능에 큰 영향을 받지 않 아 높은 강인성을 가진다.
1. YOLOv4 지도학습
본 연구에서 CNN에 입력되는 그림 2와 같은 객체 형 상 검출된 영상에서 사전 이미지 처리를 하여 형상을 추 출하고 데이터셋 소재 촬영 동영상 이미지 추출행하여 각각 라벨 추출 작업을 하여 라벨인식을 할 수 있도록 하 였다. 데이터셋 소재 촬영 동영상 이미지 추출정보는 그 림 3과 같다.
그림 3. 데이터셋 소재 촬영 동영상 이미지 추출정보 Fig. 3. Dataset material shooting video image
extraction information
효율적인 생산관리를 지원하는 인공지능 데이터셋을 구축할 수 있도록 AI 모델 설계, 개발, 시뮬레이션을 수 행하여 투입 소재 형상 이미지에 대하여 전처리를 진행 하고, 훈련, 테스트, 성능검증에 대하여 7:2:1로 Hold out 교차검증방법으로 시뮬레이션을 수행하였다. 적용되 는 딥러닝 분류 모델(Object Detection)은 효과적인 지 도학습이 가능하도록 라벨링, 바운딩 박스 처리를 하였 다. 개선된 YOLOv4의 네트워크 구조는 그림 4와 같다
[7][8][9]
.
그림 4. 개선된 YOLOv4의 네트워크 구조
Fig. 4. Network structure of improved YOLOv4
2. 시스템 구성
생산라인 현황과 Key in data를 MES 서버에 입력하 고, 작업지시서와 현황데이터를 제공받아 RFID 모니터 링 서버를 통해 TAG 인식시간 및 회수와 노이즈 필터 알고리즘 등 RFID-TAG 주기관리 소프트웨어에 제공한 다. RFID-TAG의 RACK 주기관리 소프트웨어는 MES 서버에 생산투입 품명과 품번 정보와 품목별 투입수량과 투입시간의 생산정보를 제공한다. 또한 RACK, TAG 정 보와 품명, 품번 정보, 작업지시 정보, RACKING 정보, RACK 입고 폐기, TAG 입고 폐기의 설비정보를 제공한 다. 전체시스템 구성도는 그림 5와 같다.
그림 5. 전체시스템 구성도
Fig. 5. Overall system configuration
Ⅲ. 시뮬레이션 환경 및 검증 결과
1. 시뮬레이션 환경 구성실시간 촬영을 통해 jpg 이미지로 변환하여 특정 메모 리 및 DB에 전송하여 AI 인식을 하도록 한다.
구현 방법은 형상(엠블럼) 이미지 전처리 후 훈련테스
트 및 성늠 검증을 위한 데이터 분할 7:2:1로 Hold out
교차 검증 수행을 하고 딥러닝 분류 모델 개발(Object
Detection)을 Yolo v4 모델 기반 모델 설계와 라벨링
및 바운딩 박스처리, 모델 최적화 및 재학습 계획을 수립
하여 구현한다. AI 지도학습 설계 개발 시뮬레이션은 그
림 6과 같다.
그림 6. 전체시스템 구성도
Fig. 6. Overall system configuration
2. CNN 학습 데이터셋 추출
객체 이미지 수집 및 라벨링은 도금 소재별 이미지 2 천장 이상 데이터 수집을 하여 MES 시스템의 IP 카메라 장착을 통한 비전 데이터를 수집 하였다. 도금 소재별 이 미지 라벨링을 통한 image id(이미지 파일), label(소재 별 id) 및 Json(소재별 id와 소재명 매핑)처리를 하여 AI 이미지 분류와 예측 모델적용 및 검증을 하였으며. AI 지 도학습 모델의 설계 개발에 필요한 데이터 셋 전처리 라 벨링 작업과 모설 설정 및 최적화와 재학습을 YOLO v4 모델을 통하여 구현 하였다. 간소화된ㅤYOLO v4 네트워 크 구조는 그림 7과 같다.
그림 7. 간소화된ㅤYOLO v4 네트워크 구조 Fig. 7. SimplifiedㅤYOLO v4 network structure
3. CNN 모델 학습 결과
CNNㅤ모델의 최적화 및 재학습 후 1차 검증 테스트 진행시 그림 7과 같이 신제품 데이터 추가와 모델 재학 습을 실시한다. 모델 검증 및 시스템의 배포는 데이터베 이스 구축과 현장 데이터 적용 검증과 시스템 배포를 통 하여 진행한다.
3.1 학습용 이미지 외 추가 이미지 캡쳐 저장 관리 학습용 데이터는 소재별 2,000개 이상으로 구현하여 구축된 데이터셋을 기반으로 학습을 수행하고 학습이된 CNN 모델을 바탕으로 구축한 Dataset를 이용하여 CNN 모델을 검증하였다. 학습용 이미지 캡쳐 데이터와 데이터셋 모니터링 관리 현황은 그림 8과 그림 9와 같 다.
그림 8. 학습용 이미지 캡쳐 데이터 Fig. 8. Image capture data for learning
그림 9. 데이터셋 모니터링 관리 현황
Fig. 9. Dataset monitoring management status
Ⅳ. CNN 모델 학습 검증 결과
그림 9는 기존 RFID-Tag일 때 제조 생산 시 공개된 데이터와 인공지능 데이터셋을 구축하고 비교 검증을 위 한 순서를 나타낸다. 그림 8에서 학습용 이미지와 추가 이미지를 캡쳐 정보를 수집하여 데이터셋을 구축 하였 다. 이후 그림 9에서와 같이 구성한 CNN 모델을 통해 구축된 데이터셋을 기반으로 학습을 수행하고 학습이된 CNN 모델을 바탕으로 구축한 Dataset을 이용하여 CNN 모델을 검증하였다. 최종적으로 나온 결과 값을 기 존의 RFID-Tag 결과와 비교하였다.
표 1. 투입 소재 수동 KEY IN 대비 AI 자동 인식 결과 비교 Table 1. Comparison of AI automatic recognition result
compared to manual KEY IN of input material
초기 생산정보의 실시간 수집 및 분석단계는 21% 수 준이였으나, RFID-TAG를 활용한 직접 자동화 수준은 76%대로 운영이 되었다. 본 연구에서 실제 시스템을 운 영하여 검증한 결과는 정확도 97% 이상으로 자동 판별 이 가능함을 확인하였다. 투입 소재 수동 KEY IN 대비 AI 자동 인식 결과 비교는 표 1과 같다.
Ⅴ. 결 론
본 연구를 통해 클라우드 기반으로 객체 분류용 딥러 닝의 학습 데이터셋을 구축하고, 데이터셋의 타당성을 검증하였다. 학습용 데이터셋 구축 시 사용자에 의해 수 작업으로 각 객체의 종류를 파악하고 이후 객체에 라벨 링 작업을 하는 동안 작업자의 오류와 물리적 시간이 많 이 소요된다는 단점을 보완할 수 있는 클라우드 기반의 인공지능형 스마트공장 데이터셋 구축은 자동인식률 향
상과 실시간 모니터링이 가능해지므로 생산 공정의 전반 에 있어 생산효율을 높이는데 기여할 것으로 기대된다.
References
[1] Soonduck Yoo, “Artificial intelligence, Ecosystem, Business ecosystem”, Data acquisition, Stake holders, pp. 21-27, 2020.
DOI: https://doi.org/10.7236/JIIBC.2020.20.2.21 [2] A. Krizhersky, I. Sutskever and G. E. Hinton, “ImageNet
Classification with Deep Convolutional Neural Networks”, Communications of the ACM, Vol.60, Issue 6, pp. 84-90, 2017.
DOI: https://doi.org/10.1145/3065386
[3] K. Simonyan and A. Zisserman, “Very Deep Convolutional Networks for Large-scale Image Recognition”, International Conference on Learning Representations, 2015.
DOI: https://arxiv.org/abs/1409.1556
[4] K. He, X. Zhang, S. Ren and J. Sun, “Deep Residual Learning for Image Recognition”,The IEEE Conference on Computer Vision and Pattern Recognition, PP.
770-778, 2016.
DOI: 10.1109/ITNEC.2017.8284852
[5] Sam-Keun Kim, Jae-Geun Ahn, “Tomato Crop Diseases Classification Models Using Deep CNN-based Architectures”, Journal of the Korea Academia-Industrial cooperation Society Vol. 22, No. 5 pp. 7-14, 2021.
DOI : http://dx.doi.org/10.14801/jkiit.2021.19.4.1 [6] Hyeongjun Jang, Weonil Son, Taewon Ahn, Yongki
Lee, Kihong Park, “A Study on Methods for Constructing Deep Learning Training Datasets for Object Classification Using Virtual 3D Lidar Sensor”, Transaction of the Korean Society of Automotive Engineers 28(6), pp.427-437, 2020.
DOI : https://doi.org/10.7467/KSAE.2020.28.6.427 [7] Alexey Bochkovskiy, Chien-Yao Wang, Hong -Yuan
Mark Liao, “YOLOv4: Optimal Speed and Accuracy of Object Detection”, Computer Vision and Pattern Recognition (cs.CV); Image and Video Processing (eess.IV), 2020.
DOI: https://arxiv.org/abs/2004.10934
[8] Xufei Wang, Le Chen, Qiutan Li, Jinku Son, Xilong Ding, Jeongyoung Song, “Influence of Self-driving Data Set Partition on Detection Performance Using YOLOv4 Network”, Vol. 20, No. 6, pp.157-165, Dec.
31, 2020.
DOI: https://doi.org/10.7236/JIIBC.2020.20.6.157 [9] Jae-Jung Kim, Chang-Bok Kim, “Implementation of
Robust License Plate Recognition System using YOLO and CNN”, Journal of KIIT. Vol. 19, No. 4, pp.1-9, Apr. 30, 2021.
DOI: http://dx.doi.org/10.14801/jkiit.2021.19.4.1
저 자 소 개
