R&D연구결과보고서

병사들에게 실전과 같은 가상훈련 환경을 제공하기 위한 전 방향 이동 지원 상호작용 소프트웨어 기술 개발

미 래 창 조 과 학 부 주관기관 한국전자통신연구원 참여기관 도담시스템스

케이벨

한국기계연구원 국방기술품질원 서울대학교 연세대학교

Ⅰ. 해당 연도 추진 현황

Ⅰ-1 기술개발 추진 일정

일련

번호 개발내용 추진 일정 (개월)

1 2 3 4 5 6 7 8 9 10 11 12 달성도

0-1 시스템 및 사용자

요구사항 정의 100%

0-2 시스템 관련 기술 및

특허 분석 100%

0-3 시스템 개념 설계 및

상위 설계 100%

0-4 시스템 상세 설계 및

인터페이스 정의 100%

0-5

연구개발 프로세스에 따 른 품질관리 지원 및 과

제 협력위원회 운영 100%

Ⅰ-1

다중센서 기반의 훈련자 및 무기류의 정밀 자세 인식기술 개념 및 상세

설계 100%

Ⅰ-2

다중센서 기반의 훈련자 의 정밀 위치인식 기술 개념 및 상세 설계

Ⅰ-3

실전과 유사한 체력 훈 련을 제공하기 위한 이 동거리 정밀제어 기술 개념 및 상세 설계

100%

Ⅱ-1 훈련자 행동 분석기술 개념 및 상세 설계

100%

Ⅱ-2 보행단계 인식 및 행동 예측기술 개념 및 상세 설계

Ⅱ-3

안정된 훈련자 보행을 위한 전 방향 이동장치 실시간 정밀제어 개념 설계 및 능동제어 제어 기 상세설계

100%

Ⅲ-2

기존 병사 훈련시뮬레이 터와 전 방향 이동 지원 상호작용 기술과의 연동 기술 상위 및 구현

100%

Ⅲ-3

훈련자에 대한 입체적인 실시간 모니터링 및 가 시화 기술 상위 및 상세 설계

100%

Ⅳ-1 성능분석 및 평가시스템

개념/상위 및 상세 설계 100%

Ⅳ-2

ODM (부채꼴 롤러방식) 시제품 개발 : 설계, 가

공 및 조립, 시험 100%

Ⅳ-3

ODM과 가상전장 영상장 치 연동 : 설계, 가공 및

조립, 시험 100%

당초계획

개발내용

Ⅰ-2 해당 연도 추진 실적

구분 목 표 계 획 실 적 달성도(%)

시스템 공통

시스템 수준의 요구사항

정의 및 설계

Ÿ 시스템 요구사항 정의 Ÿ 사용자 요구사항 정의 Ÿ 시스템 개념 및 상세설계

Ÿ ODM-I¹⁾ 운용개념 기술서 작성완료 Ÿ ODM-I 시스템 요구사항 정의서 작성완료 Ÿ ODM-I 사용자 요구사항 정의서 작성완료 Ÿ ODM-I 시스템 인터페이스 정의완료 Ÿ ODM-I 서브시스템별 상세설계서 작성

100%

Ÿ 세계 기술 및 특허동향 분석에 따른 기술개발 추진방안 수립

Ÿ ODM-I 구성요소 기술의 선행특허 분석

Ÿ 유효특허 분석 및 트렌드 분석을 통한 핵심특허 추출

Ÿ R&D Seed 기술항목 도출

110%

품질관리

Ÿ 과제 결과물 품질 관리 및

점검 Ÿ HW 및 SW 품질관리 지원 및 점검 실시 - 수시점검 4회, 정기점검 1회

- 산출물(사용자/시스템요구사항정의서) 동료 검토

- 국방규정기반 산출물 점검 기준과의 호환성 검토

Ÿ 군 관련기관과 PMO 구성 및 운영 - 군 요구조건 검토 2회

- 군 자문회의 1회

- 합동검토위원회 1회 (예정)

Ÿ 국방분야 활용가능한 연구결과물 획득 지원 - 국방 IT융합 발전세미나 개최

- 관련 세미나 참석 2회

- 해외 과학화 훈련 및 관련 군사동향 조사

100%

훈련자 와 총기류

의 정밀자 세 및 위치인 식기술

훈련자/무기 류의 자세정확도

Ÿ 1차년도 목표: 5도 Ÿ 자세인식/위치인식 알고리즘 검증에 적용된 모션센서※의 자세정확도 ±1° (동적조건, 모든 방향) 제공

※ 모션센서: YEI 3-Space Sensor

100%

자세인식기 술 상세설계

Ÿ 훈련자 및 무기류의 정밀 자세인식 기술 개념 및 상세설계

Ÿ 깊이영상 기반

자세/위치인식 알고리즘 설계

Ÿ 자세인식 기술 동향 분석서 작성완료 Ÿ 자세인식 서브시스템 상위설계서 작성완료 Ÿ 자세인식 서브시스템 상세설계서 작성완료 Ÿ 깊이영상기반 다중시점 자세인식 알고리즘

설계/검증

100%

위치인식 기술 상세설계

Ÿ 훈련자의 정밀 위치인식 기술 개념 및 상세설계

Ÿ 다중센서 기반

자세/위치인식 알고리즘 설계

Ÿ 이동거리 정밀제어 기술 개념 및 상세설계

Ÿ 위치인식 기술 동향 분석서 작성완료

Ÿ 훈련자의 정밀 위치인식 기술 구조 및 상세설계서 작성

Ÿ 다중센서 기반 자세/위치인식 알고리즘 설계 Ÿ 다중센서 기반 이동거리 추정 알고리즘의

프로토타입 구현 및 검증

100%

훈련자 행동예

측 기반의 전방향 이동장 치 정밀

제어 기술

행동분석 및 예측기술

Ÿ 훈련자 행동 분석 기술 개념 및 상세설계

Ÿ 다중센서 기반

행동판단/예측 알고리즘 설계

Ÿ 깊이영상 기반

행동판단/예측 알고리즘 설계

Ÿ 보행단계 인식 및 행동예측 기술 개념 및 상세설계

Ÿ 훈련자 행동 분석 동향 분석서 작성

Ÿ 단일센서 기반의 행동판단 알고리즘 설계 및 검증 (시뮬레이션)

Ÿ 다중센서 기반 특징점 추출 알고리즘 설계 및 검증 (시뮬레이션)

Ÿ 행동분석 기술 동향 분석서 작성완료 Ÿ 행동분석 서브시스템 상위설계서 작성완료 Ÿ 행동분석 서브시스템 상세설계서 작성완료 Ÿ 깊이영상기반 다중시점 행동분석 알고리즘

설계/검증

100%

정밀 제어기술

Ÿ 전 방향 이동장치 실시간 정밀 제어 기술 개념 및 상세 설계

Ÿ ODM 정밀제어 기술 동향 분석 완료 Ÿ ODM 정밀제어기 개념(상위) 설계 완료 Ÿ ODM 정밀제어기 상세 설계 완료

100%

I-3. 해당년도 추진 목표

¡ 시스템 수준의 요구사항 정의 및 설계

§ 시스템 요구사항 정의

§ 사용자 요구사항 정의

§ 시스템 개념 및 상세설계

§ 세계 기술 및 특허동향 분석에 따른 기술개발 추진방안 수립

¡ 과제 결과물 품질 관리 및 점검

¡ 훈련자 및 무기류의 정밀 자세인식 기술 개념 및 상세설계

§ 깊이영상 기반 자세인식 알고리즘 설계

§ 다중센서 기반 자세인식 알고리즘 설계

1) ODM-I : ODM-Interactive SW의 줄임말

구분 목 표 계 획 실 적 달성도(%)

상용게임 및 기존

병사 전술 모의훈련 시뮬레이

터와 연동기술

센서정보의 시뮬레이터

반응속도

Ÿ 0.5초 이하 Ÿ 테스트베드의 총기류 격발정보가 시범 콘텐츠에 연동되기까지 소요되는 시간 0.5초 이하 구현 (30 frame/s 이하의 반응속도) 100%

군전술 시뮬레이터

연동

Ÿ 기존 병사 전술 모의훈련 시뮬레이터와 연동 기술 설계

Ÿ 해군 특수전 시뮬레이터의 연동을 위한 동작, 특징 등 분석 완료

100%

2종이상 의 전방향 이동장

치 시제품 기반의 성능분

석 및 평가

전방향 이동장치의

반경크기

Ÿ 전방향 이동장치의

반경크기 3m 이하 Ÿ 원형 부채꼴형태의 롤러 컨베이어 방식 전방향 이동장치 테스트베드를 반경 3m 로 설계 및

제작 완료 100%

전방향 이동장치 시제품

Ÿ 전방향 이동장치 1차 시제품 설계/개발 및 테스트베드 구축

Ÿ 전방향 이동장치 2차 시제품 설계

Ÿ 실린더 형 전 방향 영상시현 시스템, 모의 병기 개발 및 통합

Ÿ 타 시뮬레이터 훈련체계 기술동향 분석 및 분석서 작성 완료

Ÿ 360도 전방향 이동장치 모션 구축 - 8CH 전방향 실린더 영상시현시스템 구축 - 가상 전장 콘텐츠 모델 제작

- HK-416 소총, Sig Sauer 권총 격발인식 레이저 모듈시스템 제작

Ÿ 실시간 모니터링 가시화 GUI 구축

100%

성능분석 및 평가

Ÿ 성능분석 및 평가 시스템 상위 설계

Ÿ 성능분석 및 평가 시스템 상세 설계

Ÿ 성능분석 및 평가를 위한 통합 모니터링 도구 설계

Ÿ 성능분석 및 평가시스템 상세 설계서 작성 Ÿ 성능분석 및 평가를 위한 통합 모니터링 도구

설계서 작성 100%

특허 국제출원 5건

국내출원 10건

Ÿ 국제출원: 5건 (3건 출원신청, 2건 출원진행중) Ÿ 국내출원 : 10건 (6건 출원완료, 4건

출원진행중)

100%

논문 5건 Ÿ 국내 : 4건

Ÿ 국제 : 2건 120%

SW 5건 Ÿ 등록신청 : 6건 (4월초 신청예정) 120%

¡ 훈련자의 정밀 위치인식 기술 개념 및 상세설계

§ 깊이영상 기반 위치인식 알고리즘 설계

§ 다중센서 기반 위치인식 알고리즘 설계

§ 이동거리 정밀제어 기술 개념 및 상세설계

¡ 훈련자 행동 분석 및 예측 기술 개념 및 상세설계

§ 깊이영상 기반 행동판단/예측 알고리즘 설계

§ 다중센서 기반 행동판단/예측 알고리즘 설계

¡ 전 방향 이동장치 실시간 정밀 제어 기술 개념 및 상세 설계

¡ 기존 병사 전술 모의훈련 시뮬레이터와 연동 기술 설계

¡ 전방향 이동장치 시제품 개발

§ 1차 시제품 설계/개발 및 테스트베드 구축

§ 전방향 이동장치 2차 시제품 설계

§ 실린더 형 전 방향 영상시현 시스템, 모의 병기 개발 및 통합

¡ 성능분석 및 평가 시스템 개념 및 상세설계

I-4. 해당년도 연구 추진 내용

1) 시스템 수준의 요구사항 정의 및 설계 완료

¡ ODM-I 시스템 운용개념 기술서 작성완료 (2013. 10. 1.)

§ 과제 착수후 운용개념 설정을 위하여 많은 토론 및 현황파악을 추 진하였으며, 군 및 참여기관 워크샾(10. 17. ~ 18.)을 통하여 확정

§ 내용으로는 현재 활용중인 시뮬레이터의 현황을 분석하고, 개발하 고자 하는 SW시스템의 운용개념, 운용방식 및 운용시나리오 등을 기술함

§ 운용개념 : 훈련자가 높은 체감안정도를 유지한 상태에서 이동하면 서 훈련할 수 있는 모의이동훈련 시뮬레이터 제어 및 운용 프로그 램을 개발함

§ 운용방식 : 향후 전력화계획 수립 이후 군에서 결정하는 것이 타당 하며, 제한 사항도 제시함

§ 운용시나리오 : 훈련 전 사전준비 단계, 훈련실시 단계, 사후검토 단계로 구분

¡ ODM-I 사용자 요구사항정의서 작성완료 (2013. 10. 31.)

§ 과제 착수후 운용개념 설정과 함께 사용자요구사항 정의를 위하여 토론 및 현황파악을 추진하였으며, 군 및 참여기관 워크샾(10. 17.

~ 18.)을 통하여 확정

§ 전체 시스템을 16개의 서브시스템으로 구분하고, 기능적 요구사항 27항, 비기능적 요구사항 8항목을 도출하였음

§ 기능적 요구사항 : RFP의 내용에 따라 정의하였으며, 세부 분류는 다음과 같이 구분하여 제시함

① 훈련자/무기류의 정밀자세 및 위치인식 요구 사항

② 훈련자 행동예축기반의 전방향 이동장치 정밀제어기술

③ 상용게임 및 기존병사전술 모의훈련시뮬레이터와 연동요구사항

④ 실시간 모니터링/가시화 요구사항

⑤ 전방향 이동장치 요구사항

⑥ 성능분석 및 평가 요구사항

⑦ 테스트베드 운용관리(원격실험, 관제, 화상회의 등 포함)

§ 비기능적 요구사항 : RFP의 계량적 목표를 반영하였으며, H/W, S/W 로 구분하여 제시함

¡ ODM-I 시스템 요구사항정의서 작성완료 (2013.12.31.)

§ 시스템 요구사항 정의 : ODM-I 시스템 요구사항을 정의하기 위해 서브시스템 내 모듈별 기능에 대한 요구사항, 인터페이스 요구사항 (사용자 인터페이스/하드웨어 인터페이스/소프트웨어 인터페이스)과 함께 기타 비기능 요구사항을 모두 고려하여 총 261 항목의 요구사 항을 정의함

§ 각 서브 시스템별로 도출된 요구사항은 아래와 같음

① 센서 데이터 처리 서브 시스템 (11항목)

② 영상센서 기반의 자세인식 서브 시스템 (26항목)

③ 영상센서 기반의 위치인식 서브 시스템 (8항목)

④ 모션센서 기반의 자세인식 서브 시스템 (6항목)

⑤ 모션센서 기반의 위치인식 서브 시스템 (30항목)

⑥ 융합센서 기반의 자세/위치인식 서브 시스템 (7항목)

⑦ 훈련자 행동분석 서브 시스템 (14항목)

⑧ 훈련자 행동예측 서브 시스템 (8항목)

⑨ 훈련자 행동예측 기반의 전 방향 이동장치 정밀 제어 서브 시 스템 (23항목)

⑩ 상용게임 연동 서브 시스템 (4항목)

⑪ 군 전술 시뮬레이터 연동 서브 시스템 (24항목)

⑫ 실시간 모니터링 및 가시화 서브 시스템 (22항목)

⑬ 전 방향 영상시현 서브 시스템 (32항목)

⑭ 전 방향 이동장치 테스트베드 서브 시스템 (13항목)

⑮ 성능분석 및 평가 서브 시스템 (11항목)

⑯ 테스트베드 운용관리 서브 시스템 (원격실험, 관제 등 포함) (22 항목)

[그림 1–1] ODM-I 서브시스템 단위

¡ 시스템 개념 및 상세설계

§ 전체시스템을 구성하는 서브시스템들을 역할구분에 따라 센서부, 인식처리부, 행동분석부, 응용컨텐츠부, 전방향인터페이스부로 범주 를 나누어 각 서브 시스템간의 공통 인터페이스를 도출

[그림 1-2] 서브시스템간 공통 인터페이스 정의

¡ 주요 데이터 정의

­서브시스템간 공통 인터페이스 중 주요 데이터들에 대한 형식정의

데이터 명 설명 구성요소

Skeleton 인식된 훈련자의 자세를 표 현하는 데이터, 신체의 각 관절에 대한 정보를 포함

+Timestamp

+Jionts : ID, Position/Orientation, TrackingState - HEAD

- SHOULDER_CENTER/LEFT/RIGHT - ELBOW_LEFT/RIGHT

- WRIST_LEFT/RIGHT - HAND_LEFT/RIGHT - SPINE

- HIP_CENTER/LEFT/RIGHT

- KNEE_LEFT/RIGHT

- ANKLE_LEFT/RIGHT

- FOOT_LEFT/RIGHT

Location 인식된 훈련자의 위치를 표 +Timestamp

¡ ODM-I 특허동향 분석 및 추진전략 보고서 작성완료 (2014.03.31.)

§ ODM-I 핵심 요소기술들의 지식재산권 분석 및 조기확보를 위해 전 문 특허분석을 실시함

§ 특허분석은 아래 그림과 같이 크게 5단계로 진행됨

[그림 1-3] ODM-I 권리분석 진행 프로세스

¡ 각국의 관련 기술 특허 현황중에, 일본의 주요출원인 세부기술별 동향을 살펴보면, SONY가 자세 및 위치인식 기술 분야에 10건, 전방향 이동장치 제어기술 분야에 3건을 출원하며 다출원인 1위를 기록하였음

§ 특히, 다른 국가에 비해 전방향 이동장치 제어기술 분야에 대한 특 허 출원이 활발한 것으로 나타남

§ 한국 시장과 미국 시장 모두에서 두각을 나타내었던 삼성과

현하는 데이터, 훈련자의 보폭 중심(또는 무게중심) 의 이동 정보 포함

+Position/Orientation +VelocityVector

Weapon

훈련자가 파지하고 있는 무 기류에 대한 각종 정보를 표현하는 데이터

+WeaponID +ImpactPoint(x,y) +Position/Orientation +FireEvent

ActionType

훈련자의 자세정보를 이용 하여 현재 행동타입을 표현 하는 데이터, 상용게임 및 전술시뮬레이터의 입력정보 로 활용됨

+ActionType

- Pose : STAND, CROUCH

- Direction : FORWARD, BACKWARD, LEFT, RIGHT

- Move : RUN, WALK, JUMP - Weapon : CHANGE, AIM, FIRE, RELOAD

- Etc : ETC_ACTION, INIT

- Gaze : LEFT_TURN, RIGHT_TURN,

UPPER_TURN, LOWER_TURN

MICROSOFT가 일본에서는 주요출원인 Top10에 포함되지 않은 것 으로 보아, 삼성과 MICROSOFT는 일본 시장을 한국 시장과 미국 시장에 비해 상대적으로 중요하지 않은 시장으로 판단하여 적극적 으로 진입하고 있지 않은 것으로 판단됨

[그림 1-4] 일본의 관련기술 특허 출원 현황

§ 특허 기술흐름 분석 결과 (그림 1-5 참조)

ü Depth 정보를 이용한 영상분석 기술은 Microsoft의 주 관심 분야 ü 모션센서와 Depth 정보를 융합하는 기술 분야로 삼성전자가 2건 의 특허를 보유하고 있으므로 R&D 방향을 모니터링 하는 것이 필요

[그림 1-5] ODM-I 특허 기술 흐름 분석 결과

2) 과제 결과물 품질 관리 및 점검 가) 연구목표 대비 실적

¡ 시스템 수준의 요구사항 정의

­과학화 훈련 해외 선진 사례 조사서 작성 완료 (’14. 3. 28.)

¡ 과제 품질관리 체계

­ETRI 의 품질프로세스를 준용하여 (그림 1-6)과 같이 본 과제에 대하 여 품질프로세스를 수립, 적용

­운용개념기술서는 ETRI 품질프로세스에는 없으나, 군에서의 요구에 따 라 추가로 제시하였으며,

­상위설계서를 전체 시스템에서 16개 서브시스템으로 구분하여 작성을 추진하였음

­작성된 모든 문서는 국방기술품질원에서 정기 또는 수시 점검을 통하 여 확인하는 절차도 추진함

[그림 1-6] 본 과제의 품질 프로세스

¡ 국방기술품질원의 품질관리 지원

­HW 및 SW 품질관리 지원 및 점검 ü 요구사항 분석단계 산출물 검토

§ 사용자요구사항정의서 : 요구사항 35건, 제약 및 제한사항 6건

§ 시스템요구사항정의서 : 요구사항정의서 체크리스트 기준 15건 ü 수시 및 정기 점검

- 군 관련기관과 PMO 구성 및 운영

ü 군 요구조건 검토 회의 1회 (13. 8. 27.)

§ 요구사항 분석단계 품질향상 지원계획 설명

구분 수행일 대상 기관 점검 내용

수시 점검

1차 14. 1. 16 ETRI 국방규정 기반 SW 개발 및 지원 프로세스 적절성

2차 14. 2. 7 도담시스템즈 참여기관 SW 개발관리 및 SW 프로세스 이행 적절성 점검

3차 14. 2. 27 기계연구원 참여기관 SW 개발관리 및 SW 프로세스 이행 적절성 점검

4차 14. 3. 4 케이벨 참여기관 SW 개발관리 및 SW 프로세스 이행 적절성 점검

정기점검 14. 3. 27 - 요구사항 분석 및 설계 단계 품질요소 /

산출물 점검

§ 요구사항 정의서 중간 점검 및 토의

ü 군 요구조건 검토 민․군 합동 워크샵 개최 (13. 10. 17. ~ 10. 18.)

§ 요구사항 분석단계 산출물 검토

: 운용개념기술서, 사용자요구사항정의서, 시스템요구사항정의서

§ 국방 품질관리 계획 설명

§ 참여기관 별 과제 진행상황 및 이슈사항 토의

ü 군 자문회의 1회 (14. 2. 7.)

§ 교육사 현역 장교(4명) 참석하여 총 28건 자문 의견 수렴 ü 합동검토위원회 수행 예정 (14. 4월 중)

- 국방 분야 활용 가능한 연구결과물 획득 ü 관련 세미나 개최 및 참석 3회

§ 국방 IT융합 발전 세미나 개최 (13. 8. 8.)

§ 항공무기체계SW 세미나 참석 (13. 12. 12.)

§ 국방SW 동계 워크샵 참석 (14. 2. 14.)

ü 과학화 훈련시설 해외 선진 사례 조사서 작성 완료 (14. 3. 28.)

나) 기술동향 분석 결과

(a) 해외 과학화 교육훈련 및 관련 군사동향

¡ 개요

- 조사 목적

‧ 소부대급 과학화 훈련체계 필요성 검토

‧ 선진 군 과학화 훈련 현황 및 군사 동향 파악 ‧ 전방향 이동장치의 국방 적용방안 검토

- 조사대상 및 내용

‧ 해외 주요국 과학화 훈련 동향(미국, 노르웨이, 독일 등) ‧ 국내‧외 과학화 훈련 최근 군사동향(’13. 10. ~ ’14. 2.)

¡ 미국의 과학화 교육훈련

구분 NTC JRTC CMTC

훈련 목표

Ÿ 21세기 전장에서의 승리를 위해 실전적인 합동 및 제병 협동

Ÿ 전투발전을 위한 전투실험 실시

Ÿ 전쟁이외의 작전수행을

Ÿ 저·중·고강도

분쟁하에서 유럽에

전개된 육군 사단들을

¡ 노르웨이의 과학화 교육훈련

­노르웨이의 과학화 훈련시설은 NACMTC(Norweglan Army Combat Maneuver Training Centre)로 CTC(Combat Training Centre), CTS(small staff organized as a battalion staff), OPFOR Sqn(Opposing Force Squadron, 대항군), Gunnery Wing(해상사격대) 와 Armor Drivers School을 포함하고 있음

[그림 1-7] NACMTC Organization

훈련을 실시함으로써 미

육군의 병사, 지휘자 및 부대의 전투력을 향상시키는 것 Ÿ 여단/대대급 분석 및

사후 검토

Ÿ 훈련, 교리, 편성, 장비 등 전투발전을 위한 자료 제공

위한 합동훈련 실시 Ÿ 미래의 전장에서 승리할

수 있는 2가지 열쇠를 제공 (전투기술과 기민한 정신을 보유한 지휘관 양성, 첫번째 전투에서 승리)

대상으로 힘들고 실질적인 훈련실시 Ÿ 부대의 전투준비태세를

향상시키고, 강도높은 훈련으로 대담하고 창의적인 지휘자를 개발하며, 훈련부대에 군사교리를

주입시키면서 교훈을 제공

운영 특징

Ÿ 전투능력시험 : 편성시험 등 50개 이상의 서로 다른 전투/정보체계들의 상호운용성과 전투력 상승효과가 가능한지 시험

Ÿ 미 육군 건설을 위한 TF 21 AWE (전투능력시험) 을 97년 3월 실시

Ÿ 미공군 장병들이 실질적 근접 항공지원환경에서 훈련할 수 있도록 고안된 공중전투지휘가 포함된 훈련

Ÿ 1982년 최초의 훈련 실시

Ÿ 임무위주 훈련 (시나리오는 외국의 침략을 받은 가상의 작은 국가를 특수임무 부대가 지원을 위해 파견되는 상황에서 시작)

Ÿ 미공군 훈련 :

전략/전술적 공중수송, 항공수색 및 구조, 전투통제팀과 공군기지 방어부대 훈련

Ÿ 해군과 해병대 :

F-14,F-18기까지 투입한 실질적인 훈련 실시 Ÿ 1986년 최초의 훈련실시 Ÿ 평화유지파트너 훈련

실시

Ÿ 나토 13개국과 연합훈련 실시

Ÿ 최악의 시나리오 Ÿ COB(Civilians On the

Battle)라는 훈련장내 민간인들이 거주

Ÿ 1988년 최초의 훈련실시 Ÿ 평화유지작전을 위한

예행연습을 실시 (보스니아 평화유지 작전부대 투입을 위해 사전 훈련실시)

Ÿ 독일, 프랑스, 네덜란드,

스페인 등은 자국 육군

훈련을 실시

­훈련 목표를 효율적으로 달성하고, 훈련제반 비용을 줄이기 위하여 시뮬레이터를 사용하여 훈련을 수행중이며, 시뮬레이터는 북부 노 르웨이 3곳의 캠프에 나뉘어 시뮬레이터 외에 컴퓨터, 네트워크 장 비, 모니터링 및 상황 추적 장비까지 포함함.

­NACMTC에서 진행되는 훈련은 군의 기동부대에만 적용되며 총 4단 계로 구성되며, 개인 훈련부터 여단 이상까지 고급 교육을 제공함

­사격훈련부터 기동 훈련까지 모든 유형의 통합 LVC 합동 훈련을 실제 훈련과 같이 최대 20,00명까지 인원 제한 없이 실시할 수 있 도록 제공하며 훈련하는 모습은 실시간으로 전송되어 온라인으로 모니터링할 수 있으며 선별적으로 다시 보기가 가능함

[그림 1-8] 실시간으로 전송받은 훈련자들의 모습

¡ 독일의 과학화 교육훈련

­GüZ는 독일연방군의 주요 과학화 훈련시설로, 훈련목적에 맞는 시 뮬레이션 모델을 적용함으로써 국가적 단위의 군사 훈련을 적은 비 용과 친환경적으로 진행

­이 훈련시설은 독일의 Colbitz 지역의 Altmark Training Grounds에 위치하고 있으며, Altmark Training Grounds의 대략적인 크기는 450

㎢로 훈련 임무를 수행하기에 적합한 시설을 갖추고 있고, 훈련은 대대급 대전차전 및 시가지 전투가 가능한 IT기반의 실시간 시뮬레 이션으로 군사훈련 수행

­GüZ의 핵심 팀 인원은 대항군과 시뮬레이션을 하는 시민을 포함해 서 대략 1,150명(병사 700명, 시뮬레이션 시민 450명)으로 구성되어 있으며, 훈련의 현실성을 높이기 위해서 현지인 역할을 하는 배우 들이 그곳의 시위대의 의상을 입고서 현지 언어를 구사함

­훈련과 조직력으로 싸운다는 구호는 모든 훈련의 기초가 되며, 컴 퓨터 워크플레이스 담당 및 훈련 프레임워크 제작 그룹은 전투 시 나리오를 시뮬레이션 시스템으로 현실적이며 상세히 구성해야만 함

[그림 1-9] AGDUS를 착용한 훈련자의 모습

¡ 국내‧외 과학화 훈련 주요 군사동향(’13. 10. ~’14. 2.)

NO. 주 요 내 용

1 美 육군, 훈련에 가상 및 증강현실 이용한 장비 사용 확대 예정

(Army To Expand Use Of Virtual Tools, Augmented Realty For Training) 2

美 , 실제 기상조건 및 360도 시야를 제공하는 보병훈련 시뮬레이션시스템 도입 임박 (Ender's Game is Already a Reality for the US Military)

* 참조 : : 그림 왼쪽 3

美 육군, 운전병 양성을 위한 시뮬레이션 영상출력장치 도입 계획 (VDC to supply display units for US Army common driver trainers) * 참조 : : 그림 가운데

4 美 특전사, ‘아이언 맨’ 갑옷의 첫 시제품을 올해 6월에 선보일 예정 (Admiral: ‘Iron Man’ Prototypes Coming In June)

5 軍, 美 방위산업체가 개발한 첨단 조준경 장착된 스마트 소총 실험 실시 (TrackingPoint Offers US Army Smart Rifle Technology)

6 美 육군, 현실성 높은 사격훈련을 위해 ‘훈련용 도시’ 건설 (US Army builds fake city to shoot at during training)

7 韓, DMZ 감시를 위해 상용게임기 동작인식 센서 도입 (It's No Game: Xbox Sensors Guards Korean Border)

8 美 언론, 2030년까지 육군 전투요원 1/4을 로봇으로 대체 전망 (Robots May Replace One-Fourth Of US Combat Soldiers By 2030) 9

韓 해군, 특수전 시뮬레이션 훈련체계 전력화 계획

(South Korea Navy to commission a new soldier-mounted T&S system) * 참조 : 그림 오른쪽

10 韓, DMZ 감시를 위해 상용게임기 동작인식 센서 도입

(It's No Game: Xbox Sensors Guards Korean Border)

¡ 전방향 이동장치의 국방 적용방안

­첫째, 전방향 이동장치(ODM) 및 훈련체계는 군 교육훈련의 4대 특 성에 부합되어야 함

[그림 1-10] 전방향 이동장치 및 훈련체계의 교육훈련 지원개념

­둘째, 소부대 전술훈련에 필요한 전투 시나리오를 플랫폼(훈련용 콘

[그림 1-11] CPND 모델로 본 전방향 이동장치 서비스 개념

­셋째, 경량화된 체계로 구성되고, 표준화(예 : LVC 연동) 개발로 보 급확산 및 타 체계와 상호운영성이 향상되어야 함

美 , 보병훈련 시뮬레이션시스템 美 ,시뮬레이션 영상출력장치 韓, 해군, 특수전 시뮬레이션

­넷째, 소부대급 과학화 훈련의 효과달성을 위한 군 전문가(예 :

다) 품질관리 및 점검 결과

¡ 개발 및 지원 프로세스의 적절성

­수시 및 정기 점검 결과 : 적절

미국(NTC / JRTC) 한국(KCTC)

∙관찰통제관

(Observer Controller)

∙관찰통제관(Observer Controller)

∙일반적으로 관찰통제관, 분석관(Analyst), 모의 관을 포함함

∙훈련부대 관찰, 지도 및 조언, 안전통제, 사 후검토

∙훈련부대 지도 및 조언, 관찰 및 평가관, 안전 통제, 사후검토

대상기관 점검 결과

ETRI

Ÿ 개발관리 및 지원 프로세스 활용 : 적절

- ETRI 자체 품질인증제도(Q-MARK)에 기반한 과제 수행 - 개발부서와 독립된 품질보증 조직 운영

- 총괄 책임자의 프로세스 이해 역량 우수

- 과제 적용 표준 프로세스를 참여기관에 전파하여 체계적인 사업 수행을 주도함 Ÿ 참여기관과의 협업 프로세스 : 적절

- 참여기관별 담당 POC를 선정하고 주기적인 회의체를 구성하여 협업업무 효율성 확보 - 개발 단계별 산출물 템플릿 제공 및 통합을 주관하며 동료 검토를 통하여 산출물 신

뢰성 확보

- 기관별 주간보고와 이슈관리대장을 통하여 사업 참여기관간의 체계적인 협업 수행

한국기계 연구원

Ÿ 개발관리 및 지원 프로세스 : 적절

- 자체 프로세스가 있으나 본 사업수행은 주관기관의 표준 프로세스를 우선적으로 적 용하여 개발함

- 유사 환경(소방훈련 가상환경) 기반 개발기술에 대한 시험 및 검증을 통한 신뢰성 확 보 추진

Ÿ 개발주관기관과의 협업 프로세스 : 적절 - 주기적인 회의를 통한 이슈 관리

도담 시스템즈

Ÿ 개발관리 및 지원 프로세스 : 적절

- 자체 프로세스(CMMI Level3)에 기반하여 과제를 수행 (현재, CMMI 3 재인정 추진 중)

- 개발부서와 독립된 품질보증 조직 운영

- 다수의 국방사업 수행 경험으로 국방사업 개발 프로세스에 대한 이해도 높음 - 시제품 제작을 위한 별도의 실험 공간을 구축하여 보안성 확보

Ÿ 개발주관기관과의 협업 프로세스 : 적절 - 주관기관의 표준 프로세스 적극 협조

- 자체 프로세스와 주관기관의 표준 프로세스 호환성 확보를 위하여 테일러링하여 적 용

케이벨 Ÿ 개발관리 및 지원 프로세스 : 적절

­개발 관리 및 점검 기준 : 적절

점검 항목 존재

여부 검토 결과

프로세스 현황 O

o 주관기관 자체 표준 프로세스 내에 개발관리 지원 점검기 준 정립되어 있음.

o 참여기관간 프로세스 호환성 확보는 주관기관의 통제 하 에 단계 별로 필요 시 공유하여 적용하고 있음.

o 산출물은 승인 전 동료 검토 프로세스에 따라 점검 리스 트 기준으로 동료 검토를 수행함.

o 국방사업 표준 프로세스와의 호환성 확보를 위하여 지속 적인 지원 및 논의가 필요하다고 판단됨.

프로젝트 관리양식 O

프로젝트 도구 보유 및

사용현황 O

참여기관 간 프로젝트

관리호환성 확보여부 O

산출물 검토활동 기록문

서 O

형상관리 O

¡ 단계별 산출물 점검 기준 호환성 (국방기준 vs 과제 적용 프로세스)

­산출물(요구사항 정의서, 설계명세서) 점검 기준 : 호환성 적절

본 사업 적용 표준 프로세스 구

분 국방사업 개발 및 관리 프로세스 요

구 사 항 정 의 서 점 검

Ÿ 일반사항 점검 기준 : 14 Ÿ 기능 점검 기준 : 6 Ÿ 인터페이스 점검 기준 : 3 Ÿ 제약사항 점검 기준 : 3 Ÿ 비기능/기타 점검 기준 : 4

구 성

Ÿ 일반사항 점검 기준 : 4 Ÿ 기능 요구사항 점검 기준 : 4 Ÿ 인터페이스 점검 기준 : 4 Ÿ SW 품질 요구사항 점검기준 : 2 Ÿ 비기능/기타 점검 기준 : 2 Ÿ 각 분류 별로 점검 내용이 구성됨

Ÿ 요구사항 작성 방법에 대한 내용도 점검 항목으로 포함됨

예) 사용자 요구사항을 실현하는 시 스템에 대한 개념도가 시스템 요구

비 교

Ÿ 산출물(SW 요구사항명세서)의 장절에 따라 점검 항목이 구성됨

Ÿ 요구사항의 일관성, 추적성, 무결성 등 이 주요 점검 내용

Ÿ 참조 문서 및 요구사항 식별자 부여 체 - 자체 프로세스가 체계화되어 있지는 않으나 개발주관기관의 표준 프로세스에 따라

과제를 수행

- 개발 서버를 구축하여 산출물 형상관리 및 내부 개발자간 협업체계 구축

- 설계 진행 간 의사결정 필요 사항은 의사 결정 및 분석서를 작성하여 협의를 추진하 고 관리함

Ÿ 개발주관기관과의 협업 프로세스 : 적절

- 주관기관의 담당 POC와 주기적 회의체를 통하여 결정사항 확정 및 협업 추진

종합 의견

Ÿ 원천기술획득 사업과 무기체계 개발 사업 각 특성을 고려한 프로세스 호환성 확보를 위하여 지속적인 지원 및 논의 필요

Ÿ 무기체계 개발 프로세스 적용 시 적절한 보상 체계 정립을 위한 노력 필요

Ÿ 적기의 국방사업화를 위한 품질 및 프로세스 측면의 지원 요소 발굴 및 지원 필요

¡ 군 요구사항 자문 현황

기 준

사항에 잘 표현되어 있는가?

Ÿ 표준문서양식(ETRI QA팀 제공) 준 수성과 예외사항처리에 대한 점검 기준 있음

계에 대한 점검 기준 있음

Ÿ 예외처리, 우선순위, 개발환경 제약사항 등에 대한 요구사항이 표준문서양식에 는 있으나 점검 기준 항목으로 정의되 어 있지는 않음

Ÿ 국방규정의 점검 기준 항목과 약 84% 유사성을 가지므로 호환성 확보 가능

Ÿ Unmatched 점검 기준 항목 3개는 무기체계 체계 개발과 관련한 일반적인 내용으로 (참조문서(ICD), 요구사항 식별자 부여체계 등) 점검 기준의 호환성에는 영향성이 없 을 것으로 판단됨

설 계 명 세 서 점 검 기 준

Ÿ 일반사항 점검 기준 : 8 Ÿ 구조설계 점검 기준 : 5 Ÿ 상세설계 점검 기준 : 10

구 성

Ÿ 일반사항 점검 기준 : 14 (SW설계 시 고려사항 포함) Ÿ 구조설계 점검 기준 : 12 Ÿ 상세설계 점검 기준 : 4 Ÿ 점검 기준의 분류는 일반, 구조설계,

상세설계로 국방기준과 유사함 Ÿ 설치, 유지보수 등 점검 기준이 포

함됨

Ÿ 재사용된 코드에 대한 정의, 변경에 대한 점검 기준이 포함됨

비 교

Ÿ 산출물(SW 설계명세서)의 장절에 따라 점검 항목이 구성됨

Ÿ 설계 내용 뿐 아니라 기술 순서, 사용 되고 있는 용어 에 대한 점검 기준 포 함

Ÿ SW 설계명세서 점검 기준이므로 CSCI 에 대한 점김 기준 포함

Ÿ 국방규정의 점검 기준 항목과 약 73% 유사성을 가지므로 호환성 확보 가능

Ÿ Unmatched 점검 기준 항목 중 대부분은 설계서의 기술 순서 및 참조 문서에 대한 내 용으로 점검 기준의 호환성에는 영향성이 없을 것으로 판단됨

Ÿ 단, HW/SW 연계 구조도 및 데이터베이스 설계에 대한 점검 항목은 본 과제 설계 내 용과 연관이 있는 경우 반영을 검토할 필요 있음

실시일 목적 결과

13. 8. 26

Ÿ 요구사항 정의 및 운영개념 기술서 작성 지원

Ÿ 과학화 전투훈련 고려사항 반영

- 실전성, 편리성, 다양성, 효율성, 미래성, 안전성, 표준화 등

Ÿ 동일한 전장환경을 상이한 장소에서 동시 훈련이 가능하 도록 미래 합성전장환경(LVC)을 지원할 수 있는 기능 반 영

13.

10. 17 ~ 10. 18

Ÿ 요구사항 검토를 위한 민․군 합동 워크샵 (System Requirement Review)

Ÿ 요구사항단계 산출물(운용개념 기술서, 사용자 요구사항 정의서, 시스템 요구사항 정의서)에 대한 공유를 통해 군 요구사항 부합성 검토 및 의견 수렴

Ÿ 수집된 자문 내용은 각 관련 산출물에 반영하여 산출물 버전 1.0 완료

(1차 형상기준선)

14. 1. 7

Ÿ 훈련챔버에 대한 군 요구조건 자문

(체감안정도,

Ÿ 교육사 실무급 장교를 대상으로 1차년도 시제품 진행 현 황 견학

Ÿ 전 방향 이동장치에 대한 기능, 안전성 등을 포함한 28건

의 자문 의견 수렴

3) 훈련자 및 무기류의 정밀 자세인식 기술 개념 및 상세설계 가) 연구목표 대비 실적

¡ ODM-I 자세인식 기술 동향 분석서 작성

¡ ODM-I 자세인식 서브시스템 구조/상세 설계서 작성

¡ 깊이영상 기반 자세인식 알고리즘 설계

§ 깊이영상 3차원 정합 알고리즘 설계

§ 깊이영상 기반 훈련자 관절과 무기류의 자세인식 알고리즘 설계

§ 깊이영상 기반 훈련자/무기류의 자세인식 실시간 처리 기술 연구

나) 자세인식 기술 동향 분석 (참조: 자세인식 기술 동향분석서)

¡ 기술의 분석 결과

안전성 등) Ÿ 군 적용 가능

분야 자문

Ÿ 주요 자문 의견

- 좌/우/전/후/이동 및 급작 이동 정지 등이 실시간으로 이 루어져야 함

- 전방향 이동지원 장치의 체감안정도 향상을 위한 기계적 특성 고려 장치 개발/보완 필요

- 인식센서의 센서 인식 반응을 고려하여 센서 위치 조절 필요

- 트레드 밀(발판)의 안전성 추가 확보 필요

- 사용자 편의성 및 몰입감 향상을 위하여 인간 공학적 측 면 고려

- 군의 효용성, 운용적합성 향상 고려

- 군용사업이므로 군의 요구에 대한 수렴 절차 필요

- 특수전부대(대테러부대 등)의 개인 전술 상황 조치 또는 즉각 조차 사격 훈련 등으로 활용 가능할 것으로 판단됨 등

기술명 장점 단점/제약사항 비고

Microsoft Kinect

기계학습 기반으로 단일 시점 깊이 영상으로부터 실 시간으로 자세를 인식함

단일 시점에 특화되어 있어서 사람이 바라보고 있는 방향을 완 벽하게 추정하지 못함

PrimeSense

시스템-온-칩으로 실시간으 로 깊이 영상과 3차원 자세 제공함

단일 시점에 특화되어 있어 다 시점의 센서를 활용한 정보 융합 이 어려움

Leap Motion 시시간으로 정교하게 손 의 동작을 인식함

특수 센서를 활용하여 인식 범 위가 매우 좁아 사람의 전신 인식 이 불가능함

Real-time, full 3-D reconstruction of moving foreground objects from multiple consumer depth cameras

Calibration 및 Registration 에서의 성능 향상, 사람에 대한 Full 3-D Reconstruction

계산 복잡도가 높음, 본 연구에 서 Full 3-D Reconstruction을 수행할 필요성이 적음

Real-time markerless human body tracking with multi-veiw 3-D voxel reconstruction

다시점 영상을 이용한 Blob Fitting의 우수성, Kinematic 모델을 이용한 자세 인식

깊이 정보를 따로 추출하지 않 고 RGB영상만을 이용함으로써 발 생하는 자세인식에의 한계 Human Full-body 낮은 복잡도 복잡한 자세에는 성능 저하가

¡ 개발 기술의 설계 방향

ü 운용환경에 따라 영상센서(Depth, RGB) 및 모션센서 등으로부터 훈 련자의 자세를 스켈레톤 형태로 추정하여 타 서브시스템으로 스켈 레톤 정보를 전달하는 기능을 구현

ü 다중시점(3~6대의 서로 다른 설치지점) 영상센서를 통해 훈련자와 무기류를 분리하여 인식하고 추적하는 기술 개발 필요

ü 신체의 최소 17지점에 설치하는 다중 모션센서의 신호분석 및 이중 필터 설계를 통해 초기 스켈레톤을 기본으로 하여 각 관절의 움직 임 및 위치정보를 글로벌 좌표로 추정하는 위치추적 기술개발 필요 ü 보다 정확한 모션캡처를 위해 훈련자별 신체치수를 입력받아 초기

스켈레톤 구조를 생성

ü 개발하는 기술은 실시간으로 훈련자의 자세를 추정하고, 행동을 인 식 및 예측하는 것을 목표로 함

ü 시스템의 입력으로는 동기화 된 다시점 RGB 영상, 깊이 영상 및 SDK에서 제공하는 불완전한 스켈레톤 정보를 포함

ü RGB 영상 및 깊이 영상을 사용하여 각 시점에서의 이미지 상 사람 위치를 찾아내고 배경을 분리

ü 각각의 시점에서 획득한 정보를 하나의 공통된 좌표계를 갖는 3차 원 공간 속에 취합한 후 RGB 영상 및 깊이 영상으로부터 특징을 추출

ü 추출한 특징을 활용하여 현재 프레임의 훈련자 자세를 인식하여 스 켈레톤 형태로 만들어냄

Tracking Method 구현 용이함 나타남 Unsupervised Skeleton

Extraction

낮은 복잡도 구현 용이함

Motion Feature 사용

움직임이 없는 자세는 자세 추 출 불가능

불규칙적 움직임에 대해서는 자 세 추출 성능이 저하됨

상황 모니터링을 적용 한 실시간 물체 인식 및 자세 추정시스템 및 방법

실시간으로 동작함 사람이 아닌 물체에 적용 특허

3차원 물체 인식 및

자세 추정 방법 자세를 3차원상에서 추정 사람이 아닌 물체에 적용 특허 골프 스윙 분석을 위한

신체 부위별 위치 추 적 장치 및 방법

각 신체 부위별 위치를

판별 골프 스윙 동작에 한정됨 특허

Pose estimation based on critical point analysis

스켈레톤을 추출하여 자

세를 예측 상반신에 제한됨 특허

¡ 확보 가능한 IPR

ü 다양한 센서(영상, 관성, 모션센서 등) 정보에 기반하여 일반 보행 자 또는 VR을 체험 및 훈련하는 사람의 자세, 위치 및 이동거리를 추정하는 이동성(locomotion) 분석기술

ü 영상센서를 통해 사람과 물체를 구분하여 인식하고 추적하는 기술 ü 가상 병사 훈련 시스템에서의 훈련자 자세인식을 위한 효율적 데이

터 베이스 구축방안

다) 자세인식 기술 구조 및 상세설계

¡ 블록/모듈의 구조

[그림 1-12] 영상센서 자세인식 모듈의 구조도

ü 센서 캘리브레이션 모듈 : 단일 RGB 카메라와 깊이 카메라의 좌표 동기화를 위해 카메라 내의 내부 파라미터 간 센서 캘리브레이션을 수행하는 모듈임

ü 다중시점 센서 캘리브레이션 모듈 : 센서 캘리브레이션이 각각 수 행된 다수의 RGB카메라 및 깊이 카메라 간의 상대적 3차원 좌표 동기화를 위해 다수 센서 간의 캘리브레이션을 수행하는 모듈임 ü 신체 모델 초기화 모듈 : 훈련자의 골격 초기값을 미리 계산하고

이를 시스템 내 저장하여, 추후 3차원 자세 추정 시 활용할 수 있 도록 하는 모듈로 실제 신체 정보를 사용자가 수동으로 측정하여 입력 받거나 또는 초기 지정된 자세로부터 자동적으로 골격 모델을 추출하는 두 가지 방법이 고려됨

ü 사람 추적 및 분리 모듈 : 실제 훈련자의 훈련 상황 시, 촬영되는 RGB 또는 깊이 영상 데이터에서 필요한 영역은 훈련자의 정보이므

로, RGB 및 깊이 데이터를 활용하여 훈련자의 신체를 추적하고, 훈 련자만을 추출하는 모듈로 추출된 훈련자 데이터를 이후 처리과정 에서 사용될 수 있도록 함

ü 영상 특징 추출 모듈 : 훈련자의 자세를 추정하기 위해 각 단일 카 메라에서의 깊이 정보로부터 유효한 특징을 추출하는 모듈로서, 깊 이 정보를 활용한 훈련자의 현 자세에 대한 관절 및 다양한 특징을 추출하여 현 자세를 추정할 수 있는 데이터를 제공할 수 있도록 함 ü 다중 시점 특징 통합 모듈 : 다수의 RGB 및 깊이 카메라에서 각각

획득된 다양한 영상 특징을 다중 시점의 기하학적 성질을 고려하여 통합하는 모듈로서, 앞서 선행된 다중시점 센서 캘리브레이션 정보 를 기반으로 동일한 3차원 공간 상에서 각 영상 특징 및 정보들을 통합할 수 있고, 이를 통해 자세 추정에서의 에러를 최소화 할 수 있도록 함

ü 화기류 3차원 자세 추정 모듈 : 훈련자가 훈련 시, 소지하고 있는 개인 화기에 대한 고유의 RGB 및 깊이 특징을 추출하여 해당 화기 류의 종류 및 자세를 추정하는 모듈로서, 개인화기에 부착된 고유 마커를 통해 해당 화기류를 분석하거나 또는 영상 내 RGB 및 깊이 정보만을 활용하여 훈련자의 개인 화기류 정보를 추출하는 두 가지 방법이 고려됨

ü 3차원 자세 추정 모듈 : 해당 모듈은 현재 훈련자의 3차원 자세를 추정하는 모듈로서, 앞서 선행된 다양한 모듈의 출력값 (훈련자 골 격 초기값, 다중 시점 영상 특징점 등) 을 활용하여, 보다 정확한 현재 프레임에서의 3차원 훈련자 자세를 추정할 수 있도록 함

¡ 블록/모듈의 클래스 정의

¡ 주요 알고리즘 시험 검증 결과

[다시점 자세 측정 실험을 위한 캘리브레이션]

­다시점의 깊이 및 RGB 센서로부터 입력받는 데이터들을 하나의 좌표계로 통합시키기 위해 캘리브레이션 과정이 필요함

­미리 정의된 테스트 패턴을 사용하여 카메라의 내부 및 외부 캘리브레이션 정보를 획득

블록명 입력데이터 입력소스 출력데이터 출력대상

영상센서 자세인식 RGB/Depth 영 상, Skeleton

센서 데이터 처

리 서브시스템 현재 Skeleton 융합 자세인식

­이 때, 각각의 카메라에 들어오는 캘리브레이션 패턴은 동기화 를 시켜야 함

­각각의 시점에 대하여 캘리브레이션 행렬 및 방향 및 위치를 나타내는 카메라 행렬을 획득

[그림 1-13] 다시점 캘리브레이션

[다시점 자세 융합 결과]

­다시점 캘리브레이션을 통해 얻은 카메라 위치 정보를 활용하 여 스켈레톤을 통합

­각각의 시점이 독립적으로 작동 시에는 잡음 및 센서의 정확도 한계로 인해 부정확한 스켈레톤을 얻게되지만, 다시점의 스켈레 톤을 정합함으로 인해 정확도를 향상시킴

­가려지는 부분은 다른 시점의 관절 정보를 이용하여 360도 전 방향의 스켈레톤을 획득

[그림 1-14] 다시점 스켈레톤 정합

4) 훈련자의 정밀 위치인식 기술 개념 및 상세설계 가) 연구목표 대비 실적

¡ ODM-I 위치인식 기술 동향 분석서 작성

¡ ODM-I 위치인식 서브시스템 구조/상세설계서 작성

¡ 깊이영상 기반 위치인식 알고리즘 설계

§ 깊이영상 기반 훈련자 위치 추정 기술 연구

¡ 다중센서 기반 위치인식 알고리즘 설계

§ 관성센서 기반 걸음검출 알고리즘 설계

§ 단일센서 기반 보폭 추정 및 위치 추정 알고리즘 설계

§ 다중센서 기반 보폭 추정 및 위치 추정 알고리즘 설계

§ MATLAB 기반의 코드구현을 통한 알고리즘 검증

¡ 이동거리 정밀제어 기술 개념 및 상세설계

§ 실 보행과 가상 콘텐츠에서의 이동간의 매핑구조 연구

§ 모션센서 스켈레톤 기반 보폭추정과 영상센서 Foot-print 기반 보폭추정 방법 연구

나) 위치인식 기술 동향 분석 (참조: 위치인식 기술 동향분석서)

¡ 기술의 분석 결과

논문명(저자) 장점 단점/제약사항 비고

A Survey of

Indoor Inertial 다양한 형태의 보행항법에

대해 쉽게 접근 할 수 있으며 본 과제 특성상 일반적인 PDR의 상황에서 고려하는 보폭 상황과는 Surve

y

Positioning Systems for Pedestrians (R. Harle)

기술동향을 파악하기 쉽다. PDR 을 구성하기 위해 사용할 수 있는 추가 센서에 대해 고려의 폭을 넓힐 수 있으며, Particle fitler 등을 적용할 때 참고할 연구에 쉽게 접근할 수 있다.

매우 다른 특별한 환경이므로 적용할 수 있는 센서 및 알고리즘들이 색다르고 독특하게 적용될 것이다. 일반적인 PDR의 알고리즘에 대한 패턴과의 차이로 인하여 조사 결과가 직접적 연관성이 적다.

논문

Heuristic Reduction of Gyro Drift for Personnel Tracking Systems (Johann Borenstein et al.)

직선으로 걷은 상황을 검출하여 이동방향 알고리즘에서 발생하는 센서의 오차를 보정해줄 수 있다. 시간이 지날수록 쌓이는 이동 방향의 오차를 효과적으로 제거할 수 있다. 본 과제의 경우 훈련자의 움직임이 직진으로 이동할 가능성이 많으며 저가의 센서를 사용하기 때문에 센서의 오차를 효과적으로 보정할 수 있는 방법으로 쓸 수 있다.

오랜 시간 가정되지 않은 상황에서 보행할 경우 이동방향 추정 결과를 신뢰 할 수 없다. 본 과제에서 훈련자는 ODM 장치 위라는 특수한 조건 하에서 걷는 방향과 동작이 굉장히 다양하며 정확한 직선 방향 걸음이라고 검출 될 경우에 사용하게 되면 효과적이면 그렇지 않을 경우 오히려 정확한 방향 추정에 방해가 될 가능성이 크다.

Twin IMU-HSGPS integration for pedestrian navigation (Bancroft et al.)

양 신발에 장착된 두 센서를 하나의 EKF로 구현하며 양 신발 사이의 상대위치를 추정함으로써 위치추정오차를 줄일 수 있다.

본 과제의 경우 다중 센서를 사용한 보행 항법에 대하여 연구가 진행될 것이며, 그 중 양 발은 보행자의 위치를 정확하게 추정할 수 있는 가장 중요한 위치 중 하나이다. 이 논문의 알고리즘은 양 신발 및 다중 센서를 이용하여 보행자의 위치를 추정할 때, 필터 구성에 대한 기초 및 아이디어를 제공할 수 있을 것이다.

본 논문에서 사용하는 가정인 수평방향 높이의 일치나 보폭 한계의 가정이 ODM 장치 위에서의 다양한 동작 상황에서는 적합하지 않다. 본 과제의 경우에는 더 많은 센서의 정보를

이용하고 비선형필터를

구성함으로써 다양한 동작 상황에서의 정확한 센서의 오차를 추정할 수 있을 것이다.

Data Fusion Dual

Foot-Mounted INS to

Reduce the Systematic Heading Drift, (Prateek. G.

V.)

양 신발에 장착된 두 센서사이의 거리가 최대 보폭을 넘지 못하게 함으로써 보폭추정오차 및 위치추정오차를 줄일 수 있다.

신발 이동거리에 제한을 두는 것으로써 발산 상황에서의 보폭 추정오차를 줄일 수 있으나

정확성이 떨어지며

이동방향추정오차의 발산은 막을 수 없다. 또한 보폭 추정의 정밀도가 떨어지게 되며 센서 오차로 인해 발생하는 거리 오차에 대한 적합한 해결 방안이라고 할 수 없다.

A particle filter approach to indoor navigation using a foot mounted inertial navigation

외벽 정보가 있는 map data 가 존재할 경우 particle filter를 통해 보행자의 이동 방향 및 위치 오차를 추정하여 오차를 줄일 수 있다. 본 과제의 경우 보행자의 위치가 가상 공간을 보여주는 시뮬레이터 상에서 외벽 정보가 존재할 경우 보행자의 실제 의도를 파악해서 외벽에서 벗어나지 않는 위치를 제공해줄 수 있을 것이다.

가상현실에서 제공하는 3차원

적인 외벽상황에 대한 지도

정보가 있어야 하며, 이를

보행자의 위치 정보와 결합 시킬

수 있어야 한다. 굉장히 많은

정보가 요구되며 계산량이 많은

PF를 사용하게 되면 계산 과정도

복잡할뿐더러 계산 시간에 많이

소요될 수 있어 하드웨어 적인

한계가 발생할 수 있다.

¡ 개발 기술의 설계 방향

ü 크게 세 가지 방향으로 추진. High-end 추정방식은 자세인식 서브 시스템에서 도출된 훈련자의 스켈레톤 정보를 기반으로 양 다리의 보폭과 이동방향을 추출하여 위치를 추정. Low-end 추정방식은 최 소한의 모션센서(양발 2개)를 사용하는 PDR 기반의 훈련자 위치 추정 지원. 세 번째로, 영상센서 정보를 융합하여 모션센서의 발산 오차 및 이동방향 보정에 적용

ü ODM 장치 위라는 특수한 상황에서 다중 센서를 이용한 보행 항법 시스템을 개발

ü 기존의 PDR 기술에서는 ODM 장치 위라는 고려가 없기 때문에 ODM 장치에 의한 관성 신호들을 Decoupling 하는 과정을 수행 ü 보행특성을 이용한 다중센서 신호들의 결합을 통해 보행항법시스템

의 신뢰도를 높이고 기존의 다중센서 기반 알고리즘의 단점 보완 및 개선

ü 이 후 여러 가지 타입의 ODM 장치 위에서의 알고리즘 적용 시 단 점을 보완하여 알고리즘 완성도를 높이는 과정을 수행

¡ 확보 가능한 IPR

ü ODM 장치 위에서 다중 센서를 바탕으로 한 보폭, 위치, 이동방향 추정 알고리즘

다) 위치인식 기술 구조 및 상세설계

¡ 블록/모듈의 구조

system and

heuristic

heading

information

(Pinchin et

al.)