A Study on Modeling Automation of Human Engineering Simulation Using Multi Kinect Depth Cameras

(1)

<학술논문> pISSN 1226-0606 eISSN 2288-6036

여러 대의 키넥트 뎁스 카메라를 이용한 인간공학 시뮬레이션 모델링 자동화에 관한 연구

전찬모

¹

· 이주연

¹

· 노상도

^2†

1

한국생산기술연구원 IT융합공정연구실용화그룹,

²

성균관대학교 공과대학 시스템경영공학과

A Study on Modeling Automation of Human Engineering Simulation Using Multi Kinect Depth Cameras

Chanmo Jun

¹

, Ju Yeon Lee

¹

, and Sang Do Noh

^2†

1

IT Converged Process Group, Korea Institute of Industrial Technology

2

Department of Systems Management Engineering, Sungkyunkwan University Received 3 November 2015; received in revised form 11 December 2015; accepted 15 December 2015

ABSTRACT

Applying human engineering simulation to analyzing work capability and movements of opera- tors during manufacturing is highly demanded. However, difficulty in modeling digital human required for simulation makes engineers to be reluctant to utilize human simulation for their tasks. This paper addresses such problem on human engineering simulation by developing the technology to automatize human modeling with multiple Kinects at different depths. The Kinects enable us to acquire the movements of digital human which are essential data for implementing human engineering simulation. In this paper, we present a system for modeling automation of digital human. Especially, the system provides a way of generating the digital model of workers’ movement and position using multiple Kinects which cannot be generated by single Kinect. Lastly, we verify the effects of the developed system in terms of modeling time and accuracy by applying the system to four different scenarios. In conclusion, the proposed system makes it possible to generate the digital human model easily and reduce costs and time for human engineering simulation.

Key Words: Automation, Depth Camera, Digital Human Modeling, Ergonomics, Kinect, VRPN (Virtual Reality Peripheral Network)

1. 서 론

제조산업의 급속한 발전과 제품 라이프 사이클 의 단축으로 인한 기업들간의 경쟁 심화 속에 각

기업별로 경쟁력 확보와 생존을 위한 다양한 노력 과 투자가 이뤄지고 있다. 이를 위한 방안 중 하나 로 컴퓨터를 이용한 다양한 시뮬레이션 기술들이 활용되고 있다. 즉, 제조산업에서의 시뮬레이션 기 술은 생산 이전 단계에서 제품 생산 시 발생할 수 있는 문제들을 예측하고 검증해 생산 시점에서 발 생가능 한 문제점을 미리 해결함으로써 제품의 생

†Corresponding Author, [email protected]

(2)

산비용 절감 및 품질 향상에 큰 역할을 하고 있 다

^[1]

. 특히, 최근 제품을 생산하는 작업자에 대한 생산능력, 작업 효율, 작업자 부하 등에 대한 분석 의 중요도가 높아짐에 따라 이를 분석하는 연구도 활발하게 이뤄지고 있다

^[2]

. 그러나, 이러한 필요성 에도 불구하고 인간공학 시뮬레이션을 수행하기 위해 필수적으로 요구되는 digital human 모델링 과정에서의 반복적이고 비생산적인 작업은 인간 공학 시뮬레이션의 효과를 반감시키고 있다. 또 한, digital human 모델링을 위해서는 일반적으로 모델링 전문 엔지니어가 필요하기 때문에 일반 사 용자는 인간공학 시뮬레이션을 수행하기 어렵다 는 한계가 있다

^[3]

. 모델링 과정에서의 이러한 문제 를 해결하기 위해 Vicon 카메라

^[4]

, 센서 부착

^[5]

등 카메라와 센서 기술을 이용한 다양한 모델링 자동 화 방법론이 개발되었으나 비용 등의 문제로 보편 적인 활용에는 어려움이 있었다. 최근에는 비용과 센서 기술을 모두 충족시킬 수 있는 Microsoft사 의 콘솔용 게임 입력 장치인 키넥트 뎁스 카메라 를 활용한 인간공학 연구

^[6]

가 수행되고 있지만 한 대의 키넥트 뎁스 카메라를 이용하는 연구에서는 간섭 등의 문제로 인해 피사체의 모든 움직임을 캡처 할 수 없는 한계가 있다.

본 논문에서는 이러한 인간공학 시뮬레이션이 갖는 비용, 사용성 측면의 문제점을 해결하기 위 해, 인간공학 시뮬레이션 수행에 필수 데이터인 digital human의 모션 데이터를 여러 대의 키넥트 뎁스 카메라를 이용해 모델링 자동화 하는 기술을 개발한다. 그리고, 개발된 내용으로부터 모델링에 필요한 Skeleton 정보를 추출하여 인간공학 시뮬 레이션 프로그램인 Jack과 연동함으로써, 자동화 된 인간공학 시뮬레이션 모델링을 수행할 수 있는 시스템을 제공한다. 마지막으로, 시스템 적용 전 후의 digital human 모델링 과정을 비교해 본 연구 의 효과를 검증한다.

2. 활용 시스템 및 기존연구

2.1 활용 시스템

2.1.1 키넥트 뎁스 카메라

키넥트 뎁스 카메라 센서는 Microsoft에서 개발 한 Xbox 콘솔 장비의 입력장치로 사용되는 기기 로 Depth 이미지를 생성하기 위한 IR Emitter와 Depth 센서, 카메라 기능을 하는 Color Sensor로

구성되어 있다. 구조광 방식을 사용하는 키넥트 뎁 스 카메라 센서는 카메라가 향하는 방향으로 픽셀 단위의 무수히 많은 적외선 패턴을 투사하고 이를 카메라가 피사체에 투사된 적외선 패턴의 위치를 확인 하는 과정을 반복해 카메라와의 거리를 계산 한다

^[7]

. 특히, Microsoft사는 이런 과정을 Software Development Kit(이하 SDK)로 제공해 기본적인 거리 계산, 피사체의 Skeleton Data 등을 일반 사 용자가 활용할 수 있도록 하고 있다. 사용자는 키 넥트 SDK를 활용해 Skeleton Data로부터 각 관절 의 위치와 회전 값 등을 별도 프로그램 개발없이 사용할 수 있다. 저렴한 가격과 사용 및 개발상의 편의성을 바탕으로 인간공학 분야에서 다양한 연 구들이 수행되고 있으며 자세한 내용은 2.2.3절에 기술한다.

2.1.2 VRPN(Virtual Reality Peripheral Network) VRPN 방법론은 미국의 Taylor II

^[8]

의 '01년 발 표한 연구 내용으로 가상현실 구현을 위해 사용되 는 다양한 기기들 간의 통신 프로토콜을 제안한 방법론이다. 가상현실의 구현을 위해서는 장갑, 조 이스틱, 카메라 등 다양한 장비가 필요한데 종래 에는 기기간의 데이터 통합문제, 각 기기의 이벤 트 발생 시간 체크 등의 문제로 여러 장비를 동시 에 사용하는데 어려움이 있었다. VRPN 방법론은 이러한 문제를 해결하기 위해 네트워크(TCP/IP) 활용을 통한 장비 별 독립 환경제공과 각 기기간 의 시간 확인 기능을 통해 VR 장비간 결합과 장 비간 시간 조율, 장비와의 자동 접속 등의 기능을 제공해 여러 기기의 입력 정보를 통합된 가상현실 환경으로의 적용을 가능하게 했다.

VRPN 환경은 Fig. 2와 같이 Tracker, Gloves, Joysticks, Kinects 등 여러 개의 입력장비와 입력 입력장비로부터 입력받은 데이터를 통합하는 VRPN

Fig. 1 Kinect Depth camera structure

(3)

Server, VRPN Server로부터 정보를 입력 받아 VR Application과 연결해 주는 VRPN Client로 구성 된다. 특히, VR 구현 환경에 따라 VRPN Server 는 여러 개로 구성될 수 있고 VRPN Client는 VRPN Server의 수와 관계없이 데이터를 입력받 아 다양한 종류의 VR Application과 결합할 수 있다

^[8]

.

본 연구에서는 여러 대의 키넥트 뎁스 카메라 를 여러 개의 VRPN Server로 연결한 뒤 하나의 VRPN Client에 전달해 통합하는 연구를 수행한 다. 최종적으로, 통합된 정보는 인간공학 시뮬레 이션 틀과 연동해 데이터 획득에서부터 분석까지 자동화된 인간공학 시뮬레이션이 가능한 시스템 을 제안한다.

2.2 기존연구

2.2.1 모델링 자동화 관련 연구

육안으로 작업자의 움직임을 확인하고 분석하 는 기존 인간공학연구의 한계를 해결하기 위해 제 안된 작업자 움직임 모델링 자동화에 관한 연구는 모델링 방법에 따라 Active Sensing 방법과 Passive Sensing으로 구분할 수 있다

^[10]

. Active Sensing 방 법론은 움직임을 Tracking 하려는 대상에 직접 센 서를 부착하는 방식으로 측정 장비에 따라 Mechanic Device, Accelerometer, Electromagnetic Device, Acoustic Device, Optic fiber Device 등으로 세분 화된다

^[11]

. 움직임을 측정하고자 하는 대상에 물리 적 장치를 부착하는 특성상 높은 정확도를 보이지 만 사용자가 직접 장비를 착용해야 한다는 단점 과 특정 사용자만으로 한정해야 한다는 단점이 있다

^[12]

. 반면 Passive Sensing 방법론은 움직임을 Tracking 하려는 대상에 센서를 부착하지 않고 모 델링 대상을 카메라로 촬영 후 움직임을 추출하는 방법을 사용한다. 초기 Passive 방법론은 2D 사진 으로부터 3D 이미지를 추출하는 방법이 많이 사 용되었는데 장비 부착 없이 이미지로부터 움직임 을 추정하는 방법의 특성상 모델링 대상의 움직임

이 깨지는 Photogrammetric reconstruction 문제가 발생했다

^[13]

. Ladin

^[4]

은 이러한 문제를 해결하기 위 해 Tracking 목표 대상의 Joint에 Marker를 부착해 오류를 줄이는 방법을 제안했고 해당 방법론은 최근 스포츠, 엔터테인먼트 분야에서 많이 활용되 는 Vicon Camera System(Fig. 3 참고)으로 발전 했다.

Passive 방법론은 최근 3D Depth 카메라를 이용 해 3D Depth 이미지로부터 객체의 움직임을 추출 해 모델링 하는 수준까지 발전했다. 특히, Microsoft 사에서 콘솔 게임 입력장치로 개발한 키넥트 뎁스 카메라는 저렴한 가격으로 3D 뎁스이미지를 얻을 수 있어 다양한 관련 연구가 이뤄지고 있다.

2.2.2 키넥트 뎁스 카메라를 이용한 인간공학 연구 키넥트 뎁스 카메라는 다양한 API 등을 통한 보 급 및 개발의 용이성으로 인간공학 관련 연구분야 에서 다양하게 활용되고 있다. Schönauer

^[14]

는 자 신의 연구에서 여러 대의 키넥트 뎁스 카메라를 이용해 특정 공간에서 객체의 이동을 Tracking하 는 연구를 수행했다. 관절 분석을 수행하지는 않 았지만 여러 대의 키넥트 뎁스 카메라로부터 좌표 정보를 입력 받고 데이터의 가중치를 업데이트해 유효한 skeleton 값을 추출하는 형태의 연구를 진 행했다. Martin

^[15]

은 키넥트 뎁스 카메라를 이용해 작업자의 움직임을 관찰하고 특정 동작을 했을 때 경고를 주는 연구를 수행했다. 특히 OSHA (Occupational Safety and Health Administration), RWLs(Regularized Weighted Least-Squares) 방법 론을 18가지 시나리오를 기반으로 키넥트 뎁스 카 메라를 이용해 분석한 결과와 비교해 키넥트를 활 용한 인간공학 시뮬레이션의 타당성을 입증했다.

그러나 관절이나 물체에 가릴 경우 skeleton 값을 추출하기 어렵다는 문제와 키넥트 뎁스 카메라를 Fig. 2 VRPN Workflow

^[9]

Fig. 3 Vicon Camera System

(4)

병렬로 연동했을 때 발생하는 인식 문제 등이 있 다. Joung

^[1]

은 '14년 자신의 연구에서 키넥트 뎁스 카메라를 이용한 인간공학 시뮬레이션 방법론을 제안했고 Checklist 방법론, PTS 방법론 등과 비교 한 결과를 정확도, 시간 측면에서 분석하였다. Table 1을 통해서 본 Joung의 연구는 분석 시간의 경우 현행 대비 92%, 정확도는 10~20% 가량 향상된 것 으로 나타났다. 모델링 속도 및 정확도는 높아졌 지만 Martin의 연구와 동일하게 간섭이 있을 경우 분석이 부정확하다는 한계를 갖는다. 이진호

^[7]

는 여러 대의 키넥트 뎁스 카메라를 이용한 모델링

방법을 연구했으나 인간공학 시뮬레이션과의 자 동화된 연동은 고려하지 못한 한계를 갖는다.

키넥트 뎁스 카메라를 활용한 기존의 연구들을 분석해보면 해당 기기를 활용한 인간공학 시뮬레 이션 방법 적용의 타당성은 검증되었다고 판단되 지만 한대의 키넥트 뎁스 카메라를 이용한 연구는 기존의 인간공학 연구가 갖고 있던 간섭 문제를 해결하기에는 어려운 것으로 보여진다.

이러한 문제를 해결하기 위해서는 여러 대의 키 넥트 뎁스 카메라를 활용한 인간공학 시뮬레이션 모델링 자동화에 관한 연구가 필요하다.

Table 1 Result of comparison between processes of ergonomics analysis

^[1]

Process of checklist

Process of PTS analysis

Process of current ergonomics simulation

Proposed ergonomics simulation process Target work (work

time, Second)

Door trim main assembly work (41s)

Total task time for

ergonomic analysis 928 s 10,964 s 75,805 s 82 s (save 92% vs existing process)

Accuracy of analysis

result 70% 70% 80% 80-90%

Analysis usage Musculoskeletal

disorder analysis Work-time analysis

Musculoskeletal disorder analysis

Work-time Analysis Work moving line analysis Work space layout analysis,

etc.

Musculoskeletal disorder analysis

Work-time Analysis Work moving line analysis Work space layout analysis,

etc.

Fig. 4 MDCC Framework configuration

(5)

3. Multi-Depth Camera Calibration System

3.1 MDCC 개요 3.1.1 시스템 프레임워크

본 논문에서는 여러 대의 키넥트 뎁스 카메라로 부터 정보를 합치기 위해 Fig. 4와 같은 Multi-Depth Camera Calibration System(이하 MDCC)을 제안 했다. MDCC는 인간공학 시뮬레이션에 필수적인 Human의 움직임 데이터를 여러 대의 키넥트 뎁스 카메라로부터 정보를 입력 받아 모델링에 사용할 수 있도록 지원하는 시스템이다. MDCC는 키넥트 뎁스 카메라로부터 정보를 입력받기 위한 VRPN Server, VRPN Client, Data Checker & Integration Module, Converter Module로 구성된다.

VRPN Server는 여러 개의 키넥트 뎁스 카메라 로부터 정보를 입력받아 TCP/IP를 통해 Client로 전달하는 역할을 한다. 본 연구에서는 USC Institute for Creative technology에서 개발한 FAAST(The Flexible Action and Articulated Skeleton Toolkit) 를 VRPN Server로 사용하였다

^[16]

.

MDCC 세부 모듈인 VRPN Client, Data Checker

& Integration Module, Converter Module에 대해서 는 3.2장에서 자세하게 설명한다.

3.2 모듈구성

MDCC 전체 모듈 구성은 Client, Data Checker, Data Integrator, Server 형태로 구성되며 모듈 내부

시퀀스는 Fig. 5와 같다. 세부 내용은 아래에서 설 명한다.

3.2.1 VRPN(Virtual-Reality Peripheral Network) 본 논문에서 사용하고 있는 VRPN Client와 VRPN Server 개념은 '01년 Taylor II

^[8]

에 의해 제 안된 개념으로 가상 환경의 입력 정보를 여러 다 른 인터페이스를 가진 장비들로부터 입력 받아 활 용하기 위해 설계되었다. Taylor II는 그의 연구에 서 여러 대의 장비로부터 입력받은 데이터간의 시 간을 맞추기 위해 각 장비로부터 입력 된 데이터 에 대해 Timestamp를 생성하고 해당 정보를 기준 으로 여러 host로부터 입력된 정보를 결합하는 방 식을 사용하였다.

3.2.2 VRPN Client Module

VRPN Client 모듈은 n개의 VRPN Server로부터 TCP/IP를 통해 좌표정보를 입력받아 각 좌표가 생 성된 시간 정보를 검증하는 역할을 수행한다. 여 러 대의 VRPN Client에서 생성된 데이터는 초당 30개의 데이터가 생성되는 특성상 각각 좌표의 생 성 시간이 다를 수 있기 때문에 시간 정보를 교정 하는 과정이 필수적으로 요구된다. 시간 정보를 교 정하는 과정을 거친 후 Skeleton Data Class의 Skeleton Data Class에 담는데 여러 대의 키넥트 뎁 스 카메라로부터 초당 30개씩의 정보를 담는 특성 상 해당 정보를 관리하기 위한 Class 구조를 아래 Table 2와 같이 설계하였다.

Fig. 5 Sequence diagram of MDCC

(6)

List 형태로 설계된 Human_Skeleton Class는 Device_Name, Device_Address, Device_Loaction, Human_Joint_Data로 구성되어 있다. Human_Joint_

Data class는 List 형태로 time, angle, validity의 attribute와 Human_Joint_list class로 구성되고 Human_Joint_List class는 enumType의 JointType, quaternion, skel_point, distance, validity로 구성 된다.

각각의 키넥트 뎁스 카메라로부터 입력된 좌표 정보들은 Human_Joint_Data의 list 값으로 시간 별 Joint List 값으로 정리된다. JointType은 20개 의 관절 좌표로부터 정보를 입력받을 수 있도록 20개의 enumType으로 정의되어 있다. Quaternion 값은 관절 별로 회전값을 의미하고 Skel_point는 관절 별 x, y, z 좌표를 저장한다. Distance 값은 키넥트 뎁스 카메라와 피사체 간의 거리 정보를 의미하고 마지막 Validity는 해당 좌표 정보가 타 당한지 타당하지 않은지에 대한 판단 정보를 담 게 된다.

3.2.3 Skeleton Data Checker Module

Skeleton Data Checker 모듈은 키넥트 뎁스 카메 라로부터 입력받은 좌표 정보의 이상 유무를 판단 하는 모듈로 정확하지 않은 좌표 값이 입력됐을 때 정확도가 높은 데이터를 선택하는 기능을 수행 한다. 좌표정보의 이상유무를 판단하기 위해 키넥 트 SKD에서 제공하는 이상여부 알고리즘과 관절 별 길이값을 이용해 판별하는 알고리즘, 카메라와 피사체간의 각도를 통해 이상유무를 판단하는 알 고리즘 총 세 가지 방법을 사용하였고 세 가지 방 법에서 문제가 발생했을 때 해당 좌표 값을 오류 로 판별하도록 구현하였다.

관절 별 길이 값을 이용한 방법은 초기 피사체 를 정면으로 바라본 카메라를 통해 관절 별 길이 값을 획득하고 해당 관절 별 거리값에 +−5 cm 정 도를 반영해 기준값으로 설정하고 해당 길이 값보 다 길거나 짧을 경우 해당 포인트를 오류로 판별 하였다. 오차범위 +−5 cm는 인간공학 시뮬레이션 에 널리 활용되는 Vicon 장비와 키넥트 깊이 카메 Table 2 Skeleton Data Class

Level 0 Level 1 Level 2 Level 3 Type

Human_Skeleton List<>

DeviceName string

Device_Address string

Device_Loation double[]

Human_Joint_Data List<>

time string

angle double

validity boolean

Human_Joint_List List<>

JointType JointType quaternion double[]

skel_point double[]

distance double

validity boolean

Table 3 Type of JointType class

HipCenter ShoulderLeft ShoulderRight HipLeft HipRight

Spine ElbowLeft ElbowRight KneeLeft KneeRight

ShoulderCenter WristLeft WristRight AnkleLeft AnkleRight

Head HandLeft HandRight FootLeft FootRight

(7)

라의 정확도를 비교해 파킨슨병 연구에 활용 타당 성을 검증 한 Galna

^[17]

의 '14년 연구를 기반으로 +−2 cm로 초기 설정 후 연구를 진행하였다. 그러 나, +−2 cm로 설정 후 시뮬레이션을 수행할 경우 정상 상황에서도 오류로 인지하는 경우가 많아 오 차 값을 조금씩 올리며 실험을 반복 수행하였고 +−5 cm로 설정 후 시뮬레이션을 수행했을 때 분 석 결과에는 영향을 미치지 않으면서도 자연스러 운 Digital Human의 움직임을 모델링 할 수 있었 다. 본 연구의 목적은 키넥트의 정확도를 검증하 는 논문이 아닌 관계로 해당 값에 대한 추가적인 연구는 진행하지 않았집만, 어느 정도까지의 거리 를 오차범위로 인정할 수 있는 가에 대해서는 추 가 연구가 필요할 것으로 생각된다.

카메라와의 각도 확인을 통한 오류 확인 방법은 '12년 Obdrzalek

^[18]

이 수행한 키넥트 뎁스 카메라 와 피사체 간의 각도와 자세에 따른 정확도 판별 연구를 기반으로 피사체와 카메라 간의 각도가 정 면을 기준으로 30도, 60도, 90도 틀어질 때 정확도 가 낮아지는 문제를 해결하기 위해 시작되었다. 카 메라별로 양 어깨와 hip Center 평면을 기준으로 피사체와 카메라의 각도를 추출했고 각도가 수평 에 가까울수록 값 계산시 가중치를 갖도록 설계하 였다. 여러 대의 키넥트로 부터 길이 오차 범위 내 에 있는 여러 좌표값이 입력되었을 때 각각의 카 메라와 피사체간에 평행인 좌표값을 우선 사용하 도록 구현하였다.

두가지 판별 방법을 통해 이상유무를 판단하고 해당 내용을 Human_Joint_List의 validity 항목에 enumType으로 저장하게 된다. 여러 대의 카메라

가 있을 때 해당 값들을 평균내게 되는데 이상이 라 판단된 값은 평균 계산시 제외하도록 구현하였다.

세부 Data Check flow는 Fig. 6와 같다. 초기 세 팅을 통해 각 관절간의 길이에 대한 기준값을 정 리하고 여러대의 키넥트 뎁스 카메라로부터 받은 20 종류(Table 3 참고)의 관절 데이터를 기준값과 비교해 데이터에 오류가 있는지 여부를 판단한 다. 길이 값에 대한 검증이 끝나면 카메라와 피사 체의 각도 측정을 통해서 여러 대의 키넥트 뎁스 카메라로부터 입력받은 데이터 중 신뢰도가 높은 정보의 값을 기준값으로 판단해 진행한다.

3.2.4 Multi-Skeleton Data Integration &

Conversion Module

Multi-Skeleton Data Integration 모듈은 n대의 깊 이 카메라로부터 입력받은 좌표 값(Skeleton Data) 을 하나의 좌표 값으로 합치는 기능을 한다. n대 의 깊이 카메라로부터 촬영된 좌표 값은 VRPN Server와 TCP/IP를 통해서 VRPN Client로 전달되 는데 이때 전달된 값은 모두 각 깊이 카메라 별 자 신의 시점에서 본 Local 좌표 계를 갖고 있기 때 문에 하나의 통일된 좌표 값을 얻기 위해서는 각 카메라 별 Local 좌표 값을 하나의 좌표 계로 합 치는 과정이 필수적으로 요구된다.

각 카메라 별로 Chest Point인 Shoulder Right, Shoulder Left, Hip Center 점들을 하나의 평면으 로 가정하고 각 카메라의 평면을 기준 카메라의 평면으로 회전 이동시키는 방법을 통해 Calibration 을 수행했다. 시뮬레이션 수행 과정에서 키넥트 뎁 스 카메라가 피사체의 앞과 뒤를 구분하지 못하는 문제를 해결하기 위해 시뮬레이션 초기에 키넥트 SDK에서 제공하는 Face Recognition 기능을 이용 해 얼굴을 인식한 뒤 양쪽 어깨와 Hip Center 점 을 평면으로 해당 평면에 수직인 법선 벡터를 생 성해 해당 위치를 정면으로 인식하도록 하였다.

Data Checker Module로부터 이상 유무가 판단 된 n개의 카메라로부터 입력된 정보는 기준평면 과의 각도 계산을 통해 하나의 통일된 좌표 계로 변환된다. 변환된 좌표들 간의 각도를 기반으로 한 우선순위 판단작업을 통해 하나의 통일된 좌표 값 이 도출된다. 통일된 좌표 데이터는 Fig. 7과 VRPN Client 화면에서 정보를 확인할 수 있다. VRPN Client는 서버를 설정할 수 있는 VRPN Server Setting 기능, 파일 저장기능, Calibration을 위한 기 Fig. 6 Skeleton data check flow

(8)

능 등으로 구성되어 있다.

통일된 좌표 값은 상용 인간공학 소프트웨어와 연결되는데 이 과정을 위해 Inverse Kinematics 방 법론을 사용했다

^[19]

. 각 관절 별로 도출된 관절 별 3D Point 값을 Point와 Point 사이의 Vector 값으로 변환한 뒤 해당 Vector 값을 Jack Simulation 모델 의 회전 값으로 변환하여 최종 Jack에서 구현되도 록 하였다. Inverse Kinematics 방법론의 적용을 통 해 유효하지 않은 좌표 값이 인간공학 시뮬레이션 툴로 넘어가는 것을 한번 더 방지할 수 있었다.

4. 시나리오 검증

본 연구의 모델링 속도 및 정확도에 대한 효과 검증을 위해 아래 Table 4와 같이 총 4개의 케이 스 시나리오를 작성하고 이를 바탕으로 검증을 수 행했다. 모델링 대상 동작은 Joung

^[1]

의 연구에서 검증에 사용한 제품 도어트림 생산 상황을 가정하 여 이동, 정지, 회전, 팔의 움직임 상황 등 총 2분 정도의 움직임을 대상으로 수행하였고 인간공학 시뮬레이션 모델 상의 움직임과 시뮬레이션 분석 결과가 시나리오 1의 분석 결과와 어느 정도 유사

한가에 대한 정합성 검증에 주안점을 두고 평가를 진행했다. 시나리오 2는 한대의 키넥트 뎁스 카메 라를 사용해서 모델링을 진행한 상황, 시나리오 3 은 여러 대의 키넥트 뎁스 카메라를 Data Checker 모듈을 사용하지 않고 단순 평균에 의해 모델 한 경우, 시나리오 4는 여러 대의 카메라를 바탕으로 Data Checker 모듈을 사용한 경우를 가정하였다.

4.1 시나리오 1: 기존 인간공학 시뮬레이션 방법 시나리오 1은 기존 전통적인 인간공학 시뮬레이 션 기법과 본 연구의 개발 방법론을 비교하는 시 나리오로 인간공학 시뮬레이션 소프트웨어를 이 용해 비디오로 촬영한 객체의 움직임을 확인하고 여러 번의 클릭을 통해 모델링 하는 방법과 본 연 구 결과를 비교하였다. 기존 방법론을 사용할 때 는 총 20분 정도로 정지, 이동의 움직임에는 5분 정도 소요됐지만 팔과 다리의 움직임, 허리의 움 직임을 모델링 하는데 15분 정도로 시간이 소요됐 다. 키넥트 뎁스 카메라를 이용한 연구에서는 움 직임과 동시에 실시간 모델링이 가능했고 후 보 정 시간이 5분 정도 소요됐다. 기존 방법론 대비 15분 정도의 시간 단축 효과가 있는 것으로 나타났다.

4.2 시나리오 2: 키넥트 뎁스 카메라를 이용한 시뮬레이션

시나리오 2는 기존 키넥트 뎁스 카메라 관련 연 구 방법론에 VRPN 방법론을 결합한 형태로 모델 링을 수행 할 경우 VRPN 방법론이 전체 모델에 있어 어떤 영향을 미치는가에 대해 검증할 수 있 는 Case로 VRPN의 유무와 관계없이 키넥트 뎁스 카메라만 이용할 경우 객체의 일부가 카메라 밖으 로 벗어난 경우나 회전 과정에서 객체에 팔이 가 렸을 경우 이전과 동일하게 오류가 나는 것을 확 인할 수 있었다. Fig. 8을 보면 카메라가 피사체에 의해 가려졌을 때 발생할 수 있는 오류를 확인 할 수 있다.

Fig. 7 MDCC System screen

Table 4 Summary of Scenarios condition

상황 깊이 카메라

(KINECT) VRPN Skeleton Data Checker

Multi-Skeleton Data Integration

Jack Conversion Module

시나리오 1 X X X X X

시나리오 2 O O X X O

시나리오 3 O O X O O

시나리오 4 O O O O O

(9)

4.3 시나리오 3: 데이터 확인 모듈을 사용한 시 뮬레이션

시나리오 3은 기존의 방법론에 좌표 값의 정합 성을 판단하기 위한 Data Checker 모듈을 사용한 경우로 실험결과 팔이 겹치거나 회전상황에서 몸 이 가려지는 경우 초당 프레임 수가 감소하면서 모델의 움직임이 느려지고 부자연스러운 모습이 나타났지만 시나리오 2의 상황처럼 움직임이 완 전히 깨지는 경우는 없었다. 하지만 부정확한 데 이터가 발생하는 시간이 길어질수록 움직임이 더 둔화되고 최악의 경우 움직임이 멈추는 현상까지 발생했다.

4.4 시나리오 4: 다중 카메라 데이터 결합 모듈 사용

시나리오 4는 본 연구를 통해 제안된 모든 모듈 을 사용한 경우로 VRPN 방법론을 이용해 Data를 모았고 Data Checker Module, Data Integration Module, Conversion Module을 모두 사용하고 기 존의 시나리오들과 비교를 수행했다. 시나리오 검 증을 위해 Fig. 9와 같이 3대의 키넥트 뎁스 카메 라를 배치했고 각 카메라 간 거리는 4 m, 4 m, 3.5 m 로 설정했다.

모델링 시간은 5분, 자동화 정확도는 시나리오 1과 동일하게 나타났다. 시나리오 4는 시나리오 1~3까지의 효과를 모두 얻을 수 있었고 기존의 방 법론으로 모델링 한 인간공학 시뮬레이션 모델과 매우 유사한 움직임을 보이는 것으로 보아 인간공 학 연구에 사용될 수 있을 것으로 판단된다.

4가지 시나리오의 결과를 시간과 정확도 기준으 로 정리하면 Table 5와 같다. 시뮬레이션 시간의

경우 기존의 방법인 시나리오 1 대비 시나리오 2~4 의 경우 900초(75%) 향상되었다. 시나리오 2의 경 우 피사체가 카메라에서 벗어났을 때와 신체의 일 부분에 가려졌을 때 모델링이 불가능해 정확도가 시나리오 1 대비 40%로 매우 낮게 나타나 인간공 학 시뮬레이션을 수행하기는 어려운 상황이었다.

시나리오 3은 각도(피사체의 움직임에 따라 카메 라로부터 가려지는 상황)에 따라 분석이 가능한 경우와 불가능한 경우도 나타나 시나리오 1 대비 80%의 정확도를 보였다. MDCC 모든 모듈을 사 용한 시나리오 4의 경우 기존 손으로 모델링을 진 행한 시나리오 1과 시뮬레이션 결과와 동일한 수 준의 정확도(100%)를 보여 모든 모듈을 사용한 경 우 키넥트 뎁스 카메라를 활용한 인간공학 시뮬레 이션이 가능할 것으로 판단된다.

5. 결 론

인간공학 시뮬레이션은 제품을 생산하는 작업 자에 대한 분석을 통해 생산과정에서의 지속적인 작업과정에서 발생할 수 있는 문제들을 미리 예측 Fig. 8 Modeling error in scenario2 Fig. 9 Scenario verification condition

Table 5 Scenarios result

상황

결과 시간(sec) 총 시간 움직임 모델링 정확도

시나리오 1 1200 s 120 s 11880 s ● (100%) 시나리오 2 300 s 120 s 180 s ○ (40%) 시나리오 3 300 s 120 s 180 s ◑ (80%) 시나리오 4 300 s 120 s 180 s ● (100%)

(10)

하고 지원함으로써 제품 개발 비용과 품질, 작업 자 효율 향상에 기여한다. 그러나, 인간공학 시뮬 레이션을 수행하기 위해서는 생산을 수행하는 작 업자에 대한 모델링 정보가 필요하고 이러한 모델 링 정보를 만들기 위해서는 자세와 동작을 일일이 조작해야 하는 반복적인 작업이 필요하다. 이러한 반복적인 작업은 인간공학 시뮬레이션을 전 분야 에 확대하는데 있어 큰 걸림돌로 작용하고 있다.

기존 Marker를 부착한 Vicon 카메라 시스템이 개 발되었지만 고가의 비용 문제로 일반 기업에서 활 용하기는 쉽지 않은 현실이다.

본 연구에서는 인간공학 시뮬레이션의 효율적 인 모델링 작업을 위해 작업자의 움직임 정보를 자동으로 모델링 할 수 있는 방법을 제시하였다.

본 연구를 통해 기존 인간공학 시뮬레이션 방법론 에서 제기되었던 작업자 모델링에 있어 시간과 비 용을 절약할 수 있을 것으로 기대한다.

References

1. Joung, Y.K. and Noh, S.D., Integrated Modeling and Simulation with In-line Motion Captures for Automated Ergonomic Analysis in Product Lifecycle Management, Concurrent Engineering, p.1063293X14537002, 2014.

2. Kim, J.Y., Kim, J.I., Kim, B.K., Hong, Y.S., Kim, D.I. and Jung, G.Y., et al., 2002, Occu- pational Ergonomics : Work Related Musculo- skeletal Disorders of the Upper Limb and Back.

3. Zhou, W., Armstrong, T.J., Reed, M.P., Hoffman, S.G. and Wegner, D.M., 2009, Simulating Com- plex Automotive Assembly Tasks Using the HUMOSIM Framework, SAE Technical Paper.

4. Peak, V., Vicon Motion Capture System, ed:

Lake Forest, CA, 2005.

5. Roetenberg, D., Luinge, H. and Slycke, P., 2009, Xsens MVN: Full 6DOF Human Motion Track- ing Using Miniature Inertial Sensors, Xsens Motion Technologies BV, Tech. Rep.

6. Jeong, Y.K. and Noh, S.D., 2012, A Study on the Automated Ergonomic Simulation using Kinect, Proceedings of the Society of CAD/CAM Engineers Conference, 2012, pp.606-610.

7. Lee, J.H., 2014, Advanced Human Body Tracking Method using Multiple Kinect Sensors, Thesis, Sejong University, Seoul.

8. Taylor II, R.M., Hudson, T.C., Seeger, A., Weber, H., Juliano, J. and Helser, A.T., 2001, VRPN:

A Device-independent, Network-transparent VR

Peripheral System, in Proceedings of the ACM Symposium on Virtual Reality Software and Tech- nology, pp.55-61.

9. V. Team (2011, August 8). Virtual Reality Mod- els. Available: http://3dvrm.com/vrpn/

10. Moeslund, T.B. and Granum, E., 2001, A Survey of Computer Vision-based Human Motion Cap- ture, Computer Vision and Image Understanding, 81, pp.231-268.

11. Lu, P. and Huenerfauth, M., 2009, Accessible Motion-capture Glove Calibration Protocol for Recording Sign Language Data from Deaf Sub- jects, in Proceedings of the 11th International ACM SIGACCESS Conference on Computers and Accessibility, pp.83-90.

12. Moeslund, T.B., 2001, Interacting with a Virtual World Through Motion Capture, in Virtual Inter- action: Interaction in Virtual Inhabited 3D Worlds, ed: Springer, pp.221-234.

13. Allard, P., Stokes, I.A. and Blanchi, J.-P., 1995, Three-dimensional Analysis of Human Move- ment: Human Kinetics Publishers.

14. Schönauer, C. and Kaufmann, H., 2011, Wide Area Motion Tracking Using Consumer Hard- ware, in ACM Advances in Computer Entertain- ment Technology Conference (ACE 2011), Lisbon, Portugal.

15. Martin, C.C., Burkert, D.C., Choi, K.R., Wiec- zorek, N.B., McGregor, P.M. and Herrmann, R., et al., 2012, A Real-time Ergonomic Monitoring System Using the Microsoft Kinect, in Systems and Information Design Symposium (SIEDS), 2012 IEEE, pp.50-55.

16. Suma, E., Lange, B., Rizzo, A.S., Krum, D.M., and Bolas, M., 2011, Faast: The Flexible Action and Articulated Skeleton Toolkit, in Virtual Real- ity Conference (VR), 2011 IEEE, pp.247-248.

17. Galna, B., Barry, G., Jackson, D., Mhiripiri, D., Olivier, P. and Rochester, L., 2014, Accuracy of the Microsoft Kinect Sensor for Measuring Movement in People with Parkinson’s Disease, Gait Posture, 39, pp.1062-1068.

18. Obdrzalek, S., Kurillo, G., Ofli, F., Bajcsy, R., Seto, E. and Jimison, H., et al., 2012, Accuracy and Robustness of Kinect Pose Estimation in the Context of Coaching of Elderly Population, in Engineering in Medicine and Biology Society (EMBC), 2012 Annual International Conference of the IEEE, pp.1188-1193.

19. Li, Q.R., Jeong, Y.K. and Noh, S.D., 2012, A Study on Modeling and Simulation of Asembly Workers' Moving Path Using Depth Camera, Proceedings of the Society of CAD/CAM Engi- neers Conference.

(11)

전 찬 모

한밭대학교 산업경영공학과 학사 성균관대학교 산업공학과 석사 성균관대학교 산업공학과 박사과정 현재 한국생산기술연구원 융합생산

기술연구소 연구원

관심분야: e-Manufacturing, Modeling

& Simulation, Interoperability, Smart Manufacturing

노 상 도

한국과학기술원 기계공학과 학사 서울대학교 대학원 기계설계학과

석사, 박사

고등기술연구원 생산기술센터 선임 연구원

GM Global R&D Center, Visiting Researcher

현재 성균관대학교 공과대학 시스 템경영공학과 교수