◆ 특집 ◆ 초정밀 사출성형 지능화 기술
모바일 증강현실 기반 사출성형공정 관리시스템
An Injection Molding Process Management System based on Mobile Augmented Reality
홍원표1,, 송준엽2 Won-Pyo Hong1, and Jun-Yeob Song2
1 한국생산기술연구원 IT 융합공정연구실용화그룹 (IT Converged Process R&BD Group, KITECH) 2 한국기계연구원 초정밀시스템연구실 (Department of Ultra Precision Machines & Systems, KIMM)
Corresponding author: [email protected], Tel: +82-31-8040-6166 Manuscript received: 2014.5.13 / Revised: 2014.5.28 / Accepted: 2014.6.12
Augmented reality is a novel human-machine interaction that overlays virtual computer-generated information on a real world environment. It has found good potential applications in many fields, such as training, surgery, entertainment, maintenance, assembly, product design and other manufacturing operations. In this study, a smartphone-based augmented reality system was developed for the purpose of monitoring and managing injection molding production lines.
Required management items were drawn from a management content analysis, and then the items were divided into two broad management categories: line management and equipment management. Effective work management was enabled by providing those working on the shop floor with management content information combined with the actual images of an injection molding production line through augmented reality.
Key Words: Augmented Reality (증강현실), Injection Molding Process (사출성형공정), Management System (관리시스템), Smartphone (스마트폰), Marker (마커)
1. 서론
증강현실(AR, Augmented Reality)이란 가상현실 (VR, Virtual Reality)의 한 분야로 실제 환경에서 가 상 사물이나 정보를 합성하여 원래의 환경에 존재 하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법 이다. 부가정보를 가지는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(MR, Mixed Reality) 이라고도 한다. 증강현실은 사용자가 눈으로 보는 실제 영상에 가상영상을 겹쳐 보여줌으로써, 현실 과 가상화면과의 구분이 모호해지도록 현실성을 부여한다. 의료, 방송, 교육 등 다양한 분야에서
증강현실 기술의 적용이 시도되었다.1,2
특히 제조분야에서는 컴퓨터와 제조기술 발전 에 따라 사용자가 제조공정과 관련된 생산정보를 즉시 파악하고 관리하려는 경향이 증가하고 있다.
증강현실은 실제 작업환경에서 생산활동에 유용한 정보를 실시간으로 통합할 수 있다는 장점을 가지 고 있다.3 이를 통해 제품 설계, 항공기의 전선 조 립, 자동차 수리⋅진단, 가공 시뮬레이션 등 다양한 적용 연구들이 진행되고 있다.4-8
주로 데스크탑 환경에서 구현되었던 증강현실 시스템 개발이 최근에는 모바일기기 환경에서도 가능해지면서 모바일 관련 증강현실에 관심이 집
의 웹기반 관리 솔루션들은 시간적, 공간적 제약 과 오류사항에 대한 신속한 지원요구 및 실시간 긴급조치가 어려운 문제가 있다.3,6,9,10
이에 본 과제에서는 모바일기기의 카메라를 이 용한 마커(marker) 인식 기술과 모바일기기에 기본 적으로 탑재된 모바일센서를 이용한 콘텐츠 추적 기술을 활용하여 증강현실 기반 사출성형공정 현 장관리용 시스템을 개발하고자 하였다.11,12 현장의 생산현황 정보를 모바일기기를 통해 도식화된 유 저인터페이스(user interface)로 용이하게 확인하고, 필요한 정보를 즉시 획득할 수 있도록 시각적인 정보를 제공한다. 이를 통해 경영자는 의사결정 및 수주 · 발주, 납기 등 진척 현황을 파악할 수 있 으며, 중간관리자는 전반적인 생산현황 및 설비운 용, 생산제품, 수율 등을 관리하고, 현장작업자는 장비가동, 공정변수, 고장진단 등 생산현장의 작업 을 관리하는데 용이할 것이다.
2. 사출성형공정 관리 콘텐츠
모바일 증강현실 기반 사출성형공정 관리를 위 해서는 사출성형공정의 생산현황 정보를 수집 및 분석하여 증강현실로 가시화하기 위한 콘텐츠를 도출하는 것이 필요하다. 본 연구에서 대상으로 한 휴대폰 카메라 렌즈 모듈의 사출성형공정 관리 는 크게 라인 관리와 장비 관리로 구분하였다.
2.1 사출성형공정 라인 관리
사출성형공정의 라인 관리는 공정 특성을 반영 하여 여러 대의 장비로 구성된 생산라인에 설치한 마커 인식을 통해 장비번호가 증강되어 나타나도 록 하였다. 증강된 장비의 번호를 선택하면 해당 장비의 정상가동 유무, 일반현황, 장비위치 등의 콘텐츠를 확인할 수 있도록 하였다. 이때 장비위 치는 Fig. 1(c)와 같이 라인 마커로부터의 거리와 화살표로 나타내도록 하였다.
2.2 사출성형공정 장비 관리 콘텐츠
(a) Log-in (b) Main (c) Line management Fig. 1 Mobile augmented reality applications
Fig. 2 Equipment management contents
사출성형공정의 장비 관리는 Fig. 2의 콘텐츠를 대상으로 하였다. 휴대폰 카메라 렌즈 모듈의 사출 성형공정 분석으로부터 관리 콘텐츠를 도출하였다.
생산현황 정보는 크게 장비, 제품, 납품, 고장, 4가지 항목으로 구분하였고, 구분한 각 항목별로 관리가 필요한 15가지 세부항목을 도출하였다.
장비 관련 상세 현황정보는 장비, 금형, 가동시 간의 항목으로 구분하였고, 라인 관리에서 확인할 수 있는 해당 장비의 일반현황과도 연계하였다.
장비 항목에서는 장비번호, 장비명, 공정(사출 · 코 팅 · 조립), 위치, 관리자를 관리하고, 금형 항목에 서는 설치시기, 주요이력, 관리자를 관리하며, 가 동시간 항목에서는 가동시간, 예열 · 준비시간을 관 리하도록 하였다.
3. 모바일 증강현실 기반 사출성형공정 관리 3.1 제품 관리
제품 관리 상세 현황정보는 생산제품, 사출수 량, 코팅수량, 조립수량으로 구분하였다. 생산제품 항목에서는 장비별 생산제품 번호와 이름을 관리
하고, 사출 · 코팅 · 조립수량 각 항목에서는 장비별 로 전체 사출 · 코팅 · 조립수량과 장비별 불량 사 출 · 코팅 · 조립수량을 관리하도록 하였다.
장비 마커 인식을 통해 Fig. 3과 같이 해당 장 비에서의 전체 사출수량, 양품수량, 불량수량 및 생산수율(production yield rate)을 확인할 수 있도록 하였다.
3.2 납품 관리
납품 관리 상세 현황정보는 발주 · 수주, 진척확 인으로 구분하였다. 발주 · 수주 항목에서는 발주업 체, 수주일자, 수주수량, 납기를 관리하고, 진척확인 항목에서는 납품 콘텐츠의 발주 · 수주 항목과 제품 콘텐츠의 생산수량 항목으로부터 수주대비 생산 진 척 및 납기예정을 산출하여 관리하도록 하였다.
Fig. 4와 같이 진척도, 수주수량, 현재수량, 일일 사출수량, 납품가능 예정일로 분류하여 증강현실 로 나타내었다. 이를 통해 스마트폰의 장비 마커 인식으로 해당장비에서의 수주수량에 대한 생산진 척도를 이미지로 확인할 수 있도록 하였다.
3.3 고장 관리
고장 관리 상세 현황정보는 이상발생, 고장발생,
수리, 정비경고, 이상경고, 고장대처로 구분하였다.
이상발생 항목에서는 장비 동작이상 내용을 관 리하고, 고장발생 항목에서는 장비 고장내용을 관 리하며, 수리 항목에서는 수리내용 · 수리방법 · 시 간과 같은 장비의 고장수리 정보와 고장수리 담당 자를 관리하도록 하였다. 정비경고 항목에서는 장비 또는 금형의 과거 이력(가동시간 · 교체주기 · 정기점 검)으로부터 사전 정비 경고 활용을 통해 관리하고, 이상경고 항목에서는 장비별 불량수량 변동을 감 지하여 생산장비의 이상 경고 활용을 통해 관리하 며, 고장대처 항목에서는 과거 고장 이력으로부터
Fig. 3 Product management
Fig. 4 Delivery management
(a) Trouble alarm (b) Warning alarm Fig. 5 Trouble management
(a) Maintenance warning
(b) Abnormality warning
Fig. 6 Mobile abnormality warning on a smartphone
Fig. 6(a)는 정비경고를 선택하여 상세 내용을 확인하는 것이다. 사출성형공정에서 금형은 정기 적으로 점검 또는 교체하여 사용한다. 이에 누적 사출수량이 지정된 사출수량을 초과할 경우, 작업 자에게 금형 정비경고를 알려주도록 하였다.
Fig. 6(b)는 이상경고를 선택하여 상세 내용을 확인하는 것이다. 사출성형공정에서 생산하는 제 품의 양품 생산수율을 모니터링하여 실제 양품 생 산수율이 지정된 제품 수율 제한값보다 낮아질 경 우, 작업자에게 장비 이상경고를 알려줌으로써 생 산현장에서 바로 생산제품의 불량 발생을 억제할 수 있도록 하였다.
4. 모바일 증강현실 기반 사출성형공정 교육 · 훈련
4.1 사출성형공정 시뮬레이션 교육 · 훈련 사출성형장비에서 스마트폰의 카메라를 이용하 여 장비의 일부분 실제 영상을 입력하면, 영상 분 석을 통해 어느 부분이 입력되었는지를 판단하고, 해당 부분의 작동을 증강현실 기반으로 시뮬레이 션함으로써 교육 · 훈련 정보를 획득하도록 하였다.
이때 영상 분석시에는 별도의 마커 부착 없이도 실제 환경의 대상물을 기반으로 인식하는 방법인 마커리스(markerless) 인식 기술을 활용하였다.13-15
전체영상보기에서는 사출성형장비의 3차원 모 델링 영상을 통해 장비의 전체적인 작동을 확인하 도록 하여, 작업현장에서 실제 장비의 작동과 비 교를 통한 효과적인 교육이 가능하도록 하였다.
AR영상보기에서는 사출성형장비의 주요 부분 인 사출부와 형체부로 구분하여, 실제 장비에서 각 부분을 스마트폰으로 인식한 후, 증강현실 구 현을 통해 사출부와 형체부의 3차원 작동을 시뮬 레이션하면서 확인하도록 하였다.
사출부의 노즐 · 호퍼 · 사출용 서보모터와 형체 부의 금형 · 토글링크 · 형체용 서보모터 등 주요 명 칭을 확인하고, 또한 세부 작동 순서에 따른 설명 을 증강현실로 구현하였다.
(a) Execution procedure
(b) Injection part
(c) Molding part
Fig. 7 Education/Training system for injection molding process simulation
4.2 카세트금형관리 교육 · 훈련
제조 현장에서 실제 금형을 보면서 스마트폰을 이용하여 금형 관리 작업에 필요한 정보를 효과적 으로 교육 · 훈련하기 위한 증강현실 시스템을 개 발하였다.
기존의 문서화된 카세트금형 관리 매뉴얼 분석 으로부터 금형 상측과 하측을 대상으로 각각 분해, 세척, 조립의 순서로 구성하였다.
마커리스 인식 기법 적용으로 금형 실물의 상측 또는 하측을 자동 인식하여 실행되도록 하였고, 증 강현실 기법을 적용하여 실제화면과 가상의 화면을 결합하여 보여줌으로써 교육 효과를 증대시켰다.
(a) Execution procedure
(b) Cassette mold upper part
(c) Cassette mold lower part
Fig. 8 Education/Training system for cassette mold maintenance
5. 결론
본 연구에서는 사출성형공정의 모니터링과 관 리를 위하여 스마트폰 기반 증강현실시스템을 개 발하였다. 사출성형공정 라인 및 장비의 실제영상 에 관리 콘텐츠 정보를 증강현실로 결합함으로써 생산현황 정보를 용이하게 확인하여 생산현장에서
의 작업 관리가 가능하도록 하였다. 그리고 이상 발생시에도 즉각 대응이 가능해짐으로써 제품생산 효율성 증대에 기여할 것으로 기대된다.
또한 모바일 증강현실 기반 사출성형공정 시뮬 레이션 및 금형관리 교육 · 훈련 시스템 개발로 현 장에서 작업에 필요한 정보를 직관적으로 쉽게 획 득할 수 있도록 하였다. 본 연구의 결과는 특히 제조분야에서 유용하게 활용될 것으로 기대된다.
후 기
본 논문은 산업통상자원부 산업융합원천기술개 발 사업으로 지원된 연구결과입니다. [10040952, 신 속대응 가능한 BIS기반 자율지능형 사출 성형 시 스템 개발]
REFERENCES
1. Carmigniani, J., Furht, B., Anisetti, M., Ceravolo, P., Damiani, E., Ivkovic, M., “Augmented Reality Techn ologies, Systems and Applications,” Multimedia Tools and Applications, Vol. 51, No. 1, pp. 341-377, 2011.
2. Bae, H., Golparvar-Fard, M., and White, J., “High- precision Vision-Based Mobile Augmented Reality System for Context-aware Architectural, Engineering, Construction and Facility Management (AEC/FM) Applications,” Visualization in Engineering, Vol. 1, No. 1, pp. 1-13, 2013.
3. Ong, S., Yuan, M., and Nee, A., “Augmented Reality Applications in Manufacturing: A Survey,” Internati onal Journal of Production Research, Vol. 46, No. 10, pp. 2707-2742, 2008.
4. Wang, Z. B., Ong, S. K., and Nee, A. Y. C.,
“Augmented Reality Aided Interactive Manual Asse mbly Design,” International Journal of Advanced Ma nufacturing Technology, Vol. 69, No. 5-8, pp. 1311- 1321, 2013.
5. Valentini, P. P., “Interactive Cable Harnessing in Augmented Reality,” International Journal on Interac tive Design and Manufacturing, Vol. 5, No. 1, pp. 45- 53, 2011.
6. Nee, A., Ong, S., Chryssolouris, G., and Mourtzis, D.,
“Augmented Reality Applications in Design and Manufacturing,” CIRP Annals-Manufacturing Techn ology, Vol. 61, No. 2, pp. 657-679, 2012.
Augmented Reality,” Journal of Visualization, Vol. 9, No. 3, pp. 319-329, 2006.
9. Fernández, V., Orduña, J. M., and Morillo, P., “How Mobile Phones Perform in Collaborative Augmented Reality (CAR) Applications,” The Journal of Superc omputing, Vol. 65, No. 3, pp. 1179-1191, 2013.
10. Lee, M. K., “Implementation of Real-time Wireless Remote Control System based on Public Key Infra structure,” Journal of Korea Institute of Information Security & Cryptology, Vol. 13, No. 3, pp. 71-79, 2003.
11. Dangelmaier, W., Fischer, M., Gausemeier, J., Grafe, M., Matysczok, C., and Mueck, B., “Virtual and Aug mented Reality Support for Discrete Manufacturing System Simulation,” Computers in Industry, Vol. 56, No. 4, pp. 371-383, 2005.
12. Neubert, J., Pretlove, J., and Drummond, T., “Rapidly Constructed Appearance Models for Tracking in Augmented Reality Applications,” Machine Vision and Applications, Vol. 23, No. 5, pp. 843-856, 2012.
13. Barandiaran, I., Paloc, C., and Graña, M., “Real-time Optical Markerless Tracking for Augmented Reality Applications,” Journal of Real-Time Image Processi ng, Vol. 5, No. 2, pp. 129-138, 2010.
14. Lin, L., Wang, Y., Liu, Y., Xiong, C., and Zeng, K.,
“Marker-Less Registration based on Template Tracki ng for Augmented Reality,” Multimedia Tools and Applications, Vol. 41, No. 2, pp. 235-252, 2009.
15. Watanuki, K. and Hou, L., “Augmented Reality- based Training System for Metal Casting,” Journal of Mechanical Science and Technology, Vol. 24, No. 1, pp. 237-240, 2010.
