2018년 12 월 18ZS1300-01-1440P
주력산업 고도화를 위한
지능형 상황인지 기반 기술 개발
The development of smart context-awareness foundation technique
for major industry acceleration
본 문서에서 음영처리된 부분은 (
) 정보공개법 제9조의
비공개대상정보와 저작권법 및 그 밖의 다른 법령에서 보호하고 있
는 제3자의 권리가 포함된 저작물로 공개대상에서 제외되었습니다.
제 출 문
본 연구보고서는 ETRI 주요사업인 “주력산업 고도화를 위한 지능형 상황인지 기반 기술 개발” 연구의 결과로서, 본 과제에 참여한 아래의 연구진이 작성한 것입니다. 2018 년 12 월 연구책임자 : 책임연구원 장 병 태 (ETRI) 책임연구원 박 정 호 (ETRI) 책임연구원 김 재 명 (ETRI) 책임연구원 진 광 자 (ETRI) 책임연구원 임 동 선 (ETRI) 책임연구원 최 유 희 (ETRI) 책임연구원 이 승 용 (ETRI) 책임연구원 유 대 승 (ETRI) 책임연구원 오 문 균 (ETRI) 선임연구원 정 우 성 (ETRI) 선임연구원 이 좌 형 (ETRI) 연구원 윤 태 현 (ETRI) 책임연구원 최 현 균 (ETRI) 책임연구원 김 도 현 (ETRI) 책임연구원 김 경 호 (ETRI) 책임연구원 윤 창 락 (ETRI) 책임연구원 최 진 규 (ETRI) 선임연구원 이 경 희 (ETRI) 선임연구원 황 윤 숙 (ETRI) 선임기술원 권 영 진 (ETRI) 선임연구원 전 주 일 (ETRI) 연구원 김 휘 (ETRI) 선임연구원 윤 성 률 (ETRI) 책임연구원 박 선 택 (ETRI) 책임연구원 박 승 구 (ETRI) 책임연구원 박 봉 제 (ETRI) 책임연구원 임 정 묵 (ETRI) 책임연구원 정 희 범 (ETRI) 선임연구원 황 인 욱 (ETRI)선임연구원 문 성 철 (ETRI) 기술실무원 최 미 정 (ETRI) 박사후연구원 표 동 범 (ETRI) 책임연구원 오 현 서 (ETRI) 책임연구원 송 유 승 (ETRI) 책임연구원 이 정 우 (ETRI) 책임연구원 이 신 경 (ETRI) 선임연구원 강 도 욱 (ETRI) 공동연구책임자 : 대표 진 석 식 (세인전장) 이사 민 종 식 (세인전장) 상무 김 근 옥 (세인전장) 수석 박 영 근 (세인전장) 과장 석 해 옥 (세인전장) 선임 이 준 호 (세인전장) 대리 최 혜 지 (세인전장) 대리 오 미 숙 (세인전장) 사원 장 자 청 (세인전장) 사원 김 나 현 (세인전장) 사원 조 선 희 (세인전장) 공동연구책임자 : 이사 이 희 상 (스퀘어네트) 부장 박 순 영 (스퀘어네트) 부장 김 동 규 (스퀘어네트) 부장 김 영 진 (스퀘어네트) 대리 박 재 근 (스퀘어네트) 공동연구책임자 : 대표 오 경 모 (유피시앤에스) 이사 신 정 범 (유피시앤에스) 수석 류 송 범 (유피시앤에스) 책임 권 영 철 (유피시앤에스) 선임 팽 효 성 (유피시앤에스) 선임 윤 재 일 (유피시앤에스) 선임 설 현 철 (유피시앤에스) 연구원 김 세 영 (유피시앤에스) 연구원 박 희 철 (유피시앤에스) 연구원 유 준 영 (유피시앤에스) 연구원 김 평 자 (유피시앤에스) 연구원 한 승 수 (유피시앤에스) 공동연구책임자 : 대표 최 정 식 (대명엘리베이터)
책임 김 병 복 (대명엘리베이터) 책임 김 병 건 (대명엘리베이터) 책임 설 재 원 (대명엘리베이터) 선임 황 원 일 (대명엘리베이터) 대리 이 상 현 (대명엘리베이터) 대리 문 성 태 (대명엘리베이터) 대리 백 석 헌 (대명엘리베이터) 연구원 이 민 주 (대명엘리베이터) 공동연구책임자 : 공동대표 이 규 홍 (팀솔루션) 공동대표 김 지 인 (팀솔루션) 연구원 김 세 정 (팀솔루션) 연구원 김 준 태 (팀솔루션) 연구원 김 동 찬 (팀솔루션) 연구원 최 민 석 (팀솔루션) 연구원 차 준 (팀솔루션)
세부과제 연차실적 보고서
연차실적 보고서
과제유형
1. 기초미래선도형 ( ) 2. 공공인프라형 ( ) 3. 산업화형 ( ○ )
대과제명
차세대 AI 컴퓨팅 원천기술 연구
세부과제명
주력산업 고도화를 위한 지능형 상황인지 기반 기술 개발
세부과제
책임자
소속 및 부서 주력산업IT융합연구그룹
직위
(직급)
그룹장
(책임연구원)
성명
장 병 태
총연구기간
2018년 1월 1일 부터 2020년 12월 31일 까지 (36 개월)
당해연도
연구기간
2018년 1월 1일 부터 2018년 12월 31일 까지 (12 개월) ( 1 차년도)
총
연
구
비
정부출연금
13,071,000 천원
당
해
년
연
구
비
정부출연금
4,357,000 천원
민간부담금
177,000 천원
민간부담금
59,000 천원
계
1,593,000 천원
계
531,000 천원
참여인력(M/Y)
총 연 구 기 간
279 명 ( 151.8 M/Y)
당해연도 연구기간
93 명 ( 50.59 M/Y)
참여기관
기관명
연구책임자
기관명
연구책임자
참여연구기관
㈜팀솔루션
이규홍
㈜유피시앤에스
오경모
㈜대명엘레베이터
최정식
㈜세인전장
진석식
㈜스퀘어네트
이희상
위탁연구기관
울산대학교
김종면
울산대학교
오 훈
울산과학대학교
김호철
UNIST
권오상
UNIST
김성필
키워드
(6~10개)
작업장 상태정보, 작업자 상태정보, 자동차 정보 센싱, 운전자 정보 센싱
작업장 및 작업자 상황인식, 자동차 및 운전자 상황인식, 체감형 UI/UX
정부출연금사업 연차평가 보고서를 제출합니다.
2018년 11월 28일
세부과제책임자 : 장 병 태 (인)
직 할 부 서 장 : 한 동 원 (인)
한국전자통신연구원장 귀하
목 차
제 1 장 서 론 ·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
1
제1절 필요성 및 중요성 ·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·1
제2절 국내·외 기술현황 및 접근방법 ·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·4
제3절 연구개발과제 수행결과 기대효과 ·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·10
제 2 장 연구 개발 목표 및 내용 ·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·14
제1절 최종 목표 및 연차 목표 ·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·14
제2절 연구 범위 및 연구 수행 방법 ·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·17
제3절 성과 목표 ·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·22
제 3 장 1차년도(2018년) 연구 개발 결과 ·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·25
제1절 1차년도 성과 목표 달성도 ·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·25
제2절 연구 수행 내용 및 결과 ·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·27
제3절 연구 성과 ·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·168
제4절 연구결과의 활용 가능성 및 파급 효과 ·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·180
부록 ·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
182
1. 성과지표 시험결과 ·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
182
2. 위탁과제 리스트 ·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
190
3. 자체보안관리진단표 ·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
205
제 1 장 서 론
제1절 필요성 및 중요성
1. 연구개발과제의 필요성
가. 기술적 필요성 1) 기존 기계중심 자동차 및 조선 기술에 지능형 상황인지 IT 기술을 융합함으로써 주력산업 브 랜드 가치 제고 및 신규시장 창출에 기여하여 성장한계에 도달한 주력산업의 재도약 기회 제 공이 필요함 2) 최근 자동차 및 조선산업의 전자화 및 지능화가 글로벌 산업 트랜드로 대두됨에 따라 국내 주력 산업 고도화를 통한 경쟁력 강화를 위해서는 운전자 및 작업자 맞춤 정보제공을 위한 개방형 및 지능형 상황인지 플랫폼 기술의 확보가 중요함 3) 복잡한 주행 상황을 지능적으로 분석하고 자율적으로 운행할 수 있는 스마트자동차는 인프라, 원천기술, 제품기술, 마케팅의 각 분야별로 집중적인 경쟁력 강화가 필요함 가) 인프라, 마케팅은 글로벌 자동차 기업과 대등한 경쟁력을 확보하고 있으며, 국내 자동 차기업의 꾸준한 연구개발과 양산차 생산을 통해 우수한 제품기술도 확보하고 있음 나) 하지만, 원천기술은 장기적인 계획 하에 많은 소요비용이 필요하나 상용화에 대한 다양 한 이슈로 인하여 세계 유수 자동차 기업에 비하여 경쟁력이 낮은 편임 4) 특히 스마트자동차의 원천기술 중, 주행환경에서의 휴먼/환경 센싱 및 모델링 기술, 상황판단 및 예측 기술, 지능형 상황인지 플랫폼 기술 등은 글로벌 자동차 기업에서는 다양한 연구개발 시도를 통해 관련 핵심 기술을 축적하고 있으나 국내 자동차 기업은 개발이 미진한 상황임 5) 이에, 스마트자동차의 디지털 기반 지능형 상황인지 기술을 국내 자동차 기업이 주도하기 위 해서는 기업밀착형 연구개발을 통한 기술 선점 및 적용이 중요하게 요구됨 6) 현재의 각종 기기 및 시스템은 모두 전자기기화 및 다기능화 되어가고 있으며, 이에 적합한 직관적이면서도 인지력을 높을 수 있는 적합한 사용자 인터페이스에 관한 연구가 필요함 7) 플랜트 및 대형 공사 발주처에서는 작업자 건강 및 안전관리 체계를 갖춘 제조사를 선호하는 추세이기 때문에, 이와 같은 시스템을 갖춘 기업의 수주경쟁력 향상을 위해 작업자 안전관리 시스템에 대한 연구개발이 필요함 나. 정책적 필요성 1) 문재인 정부의 20대 국정전략 중 하나인 “과학기술 발전이 선도하는 4차 산업혁명” 실현을융합 플랫폼 구축이 선정되었으며 이는 본 주력산업 고도화를 위한 지능형 상황인지 기반 기술 개발과 부합하는 내용임 2) 또한 “주력산업 경쟁력 제고로 산업경제의 활력 회복”국정 과제의 주요 내용으로, 주력산업의 선제적인 사업 재편을 활성화하고 스마트화, 융복합화, 서비스화를 통해 산업 전반의 경쟁력을 제고하는 내용이 명시되어 있으며 이는 본 사업의 핵심 목표인 개방형 구조의 지능형 상황인지 플랫폼 개발을 통한 자동차와 조선해양 등의 주력산업 고도화 달성과 부합함 3) 세부적으로는 <내 삶을 책임지는 국가>의 32개 국정과제중에 안전사고 예방, 통합적 재난관리 체계에서는 IoT 기반의 위험 예측, 예측 모델 등이 포함되어 본 과제의 상황인지 분야에 부합 되며, 4) 본 사업의 중요 목적이 중소기업과의 밀착 협력을 통한 중소기업 기술 경쟁력 확보와 이를 기반으로한 주력산업 경쟁력 강화이므로 이는 또한 “중소기업의 튼튼한 성장 환경 구축”국 정과제와도 부합함
2. 연구개발과제의 중요성
가. 지능형 상황인지 플랫폼을 통한 운전자 특성 적응형 UI/UX 제공 1) 초보/여성/고령운전자 등 교통약자 또는 고위험군 운전자들의 안전 운전 지원을 통한 교통 사고율 감소와 사회적 비용을 절감할 수 있음 2) 스마트자동차의 보급 확산을 위해서는 주행환경에서의 휴먼/환경 특성을 반영하여 계기판 등의 콘텐츠와 UI가 적응적으로 변하는 맞춤형 콘텐츠 제공 기술의 확보가 요구됨 3) 날씨/조도/주야간 등 주행환경에 따라 적응적으로 변하여 안전운전 및 운전자 UX 만족도를 최대화할 수 있는 지능형 상황인지 플랫폼 기술의 확보가 필수적임 나. 주행환경에서의 휴먼/환경 상황판단 및 예측 기반 인터랙션 제공을 통한 운전자 및 탑승자의 만족도 향상 1) 자동차-IT 융합 기술에 기반한 운전자 맞춤형 운전환경 제공으로 자동차 브랜드 가치 제고 및 신규 시장 창출에 기여하여 자동차 산업의 재도약 기회를 제공할 수 있음 2) 운전자 특성에 기반한 인터랙션을 제공하기 위하여 기존의 운전자 행동분석 모델의 한계를 도출하고, 운전자 특성별 위험상황요인, 지각/인지특성요인, 판단능력요인, 심리적 특성요인을 반영한 총체적 운전자 인지심리행동 모델의 개발이 요구됨 3) 쾌적한 운전환경 제공을 통하여 운전자의 감정을 안정시키고 안전운전을 도모하기 위한 운 전자 맞춤형 인터랙션 및 운전환경 제공 기술 개발로 기존의 자동차 환경과 차별화된 서비스 도출 및 핵심 IPR 확보가 필수적으로 요구됨다. 주력산업 고도화를 위한 지능형 상황인지 플랫폼에 기반한 차별화된 스마트 전장 시스템 제공 1) 운전자 인지심리행동 모델에 기반한 Component를 포함하는 개방형 상황인지 플랫폼 제공
으로 운전자 맞춤형 앱/서비스 및 3rd Party 제품을 개발할 수 있는 생태계 조성이 가능함 2) 운전환경 제공을 위해 최적 공조 모델을 개발하고 실시간 실내환경/운전자 상태 모니터링을
통해 운전자 주의 상태 최적화를 위한 스마트 공조시스템 HVAC(Heating Ventilation Air Conditioning) 제어 기술 확보가 필요함 라. 고위험 작업장에서의 상황인지 기반의 안전 시스템 확보에 의한 작업자의 안전사고 예방 1) 선박 및 플랜트 건조 작업 현장은 언제든 사고가 발생할 수 있는 위험한 환경이며, 작업자의 사고를 예측하고 미연에 방지함으로서 작업장 환경을 크게 개선할 수 있음 2) 작업자의 안전사고 예방을 통해 재해율을 최소화 하고 생산성을 향상하여 기업의 경쟁력을 높일 수 있음 마. 발주처에서 수주조건으로써 작업장 안전관리 시스템을 필수적으로 요구하고 있으므로, 글로벌 경쟁력 강화를 위해 해당 분야의 연구개발이 시급히 추진되어야 함 1) 해양플랜트를 비롯한 국가 차원의 대형공사 수주는 국가 경제발전을 위한 매우 중요한 당면 과제이므로 작업장에서의 안전관리를 위한 ICT 기술 개발은 반드시 추진되어야 함 2) 또한, 매년 발생되는 공사 현장의 사고는 공사 지연과 품질 저하의 주요 요인이며, 이는 수주 경쟁력을 약화시키는 원인이므로 사고 예방을 위한 국가적 사회적 노력이 필요한 시점임 바. 고도화 및 다기능화 되어가고 있는 현대의 기기 및 장비의 사용에 익숙하지 않은 고령층, 장애 인층의 사회활동 및 산업현장 진출을 위해서, 사용자의 인지력을 증강시키는 사용자 체험형 UI 를 연구함으로써 건강한 사람에게도 최적의 환경을 제공하는 차세대 사용자 인터페이스를 위한 기반기술 확보
제2절 국내·외 기술현황 및 접근방법
1. 국내·외 기술 현황
가. 휴먼/환경 상황정보 센싱 및 분석 기술 - 휴먼 상황정보 센싱 기술은 최근 딥 러닝 기반의 얼굴 인식 기술을 기반으로 얼굴의 방향, 시선, 표정을 식별하는 분야에서 매우 빠르게 발전하고 있으며 앞으로 RF나 레이저를 기반으로 한 센싱 기술보다 더 정확도가 높아질 것으로 기대됨. 국내외 완성차 제조사들은 영상을 이용한 졸음 방지 시스템을 자동차 인포테인먼트 시스템에 연동하는 시스템, 손의 움직임(제스쳐)나 음성을 인식하여 차량 설정이나 오디오를 제어하는 시스템, , 심장 박동수의 변화를 감지하는 운전석 내장 센서 등을 개발하고 있음<운전자 시선 센싱 기술 (출처: F. Vicente, IEEE Tras. on ITS, 2015)>
- 휴먼 상황정보 분석 기술은 휴먼 상황정보를 센싱하여 수집된 데이터들로부터 특징들을 추출 하고 상황정보를 분석하는 모델을 만드는 기술로서 대표적으로 사람의 얼굴 영상 카메라와 생체 정보를 이용하여 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 랜드마크 정보를 이용하여 특 징을 추출하고, 사람의 상태에 따른 특징들을 학습하여 사람의 피로, 졸음, 감정상태 까지 분 석하는 단계로 발전하고 있음.
- 실내 측위 기술로는 Wi-Fi, BLE Beacon, UWB, Geo-Magnetic 등의 기술이 있으며, 최근에는 카메라와 관성센서를 활용한 측위 기술도 개발되고 있음. UWB 기반 위치인식 시스템은 Decawave 사의 칩을 기반으로 개발되며 Infsoft 사에서는 WiFi, BLE, UWB등에 기반한 위치 추적 시스템을 판매중이고 Speedshield 사에서는 UWB 기반 태그에 가속도계를 추가하여 작 업자의 위치뿐만 아니라 자세도 추정 가능한 위치추적 시스템을 판매중
- Honeywell 사는 작업자가 몸에 장착할 수 있는 센서들과 데이터를 수집하는 Mobile Hub로 구 성된 Connected Worker개념을 개발하였는데 Mobile Hub는 센서들과 BLE를 통해 수신한 데이 터에 패턴 매칭, 패턴 인식 등의 기술을 적용하여 데이터를 검증하며 WiFi나 Cellular망을 통해
Cloud로 데이터를 전송하는 기능을 가지며 Fujitsu사에서는 IoT 솔루션으로 센서, 마이크로컨트 롤러 그리고 무선통신장치로 구성되는 Ubiquitousware를 개발하였는데 센서로는 생체신호 측 정센서, 위치 측정 센서, 기울기 센서 등을 활용할 수 있도록 하였으며 BLE를 통해 센서들로 부터 수신한 데이터를 분석하기 위한 미들웨어에서는 Human Centric Engine을 통해 작업자의 상태를 분석할 수 있도록 함. 시범장치로 작업자의 열 스트레스를 측정할 수 있는 AI기반 알고 리즘과 손목착용형 장치를 개발하였으며 Kawasaki 공장에서 테스트를 진행하였음 <Fujitsu사의 Ubiquitousware> - 최근 국내조선소에서는 중량추정, 용접각장 및 도장 면적, 물량 추정이 가능하고, 구조해석 모 델링에 소요되는 시수를 줄이기 위하여 기본설계용 3D CAD를 요구하고 있으며, 반드시 수행 해야 하는 구조해석이 급격하게 늘어나고 있어, 이를 지원할 기본설계용 3D CAD의 필요성이 더욱 커지고 있으며 생산설계 단계에서만 적용되던 선박 3D 모델링을 이용한 설계 프로세스가 기본설계 단계로 고급화되는 추세이며, 이러한 움직임은 기본구조설계를 지원하는 외산 기본 설계 3D CAD가 국내시장에 도입되며 가속화되고 있음 - 뇌파 신호 처리 기술로 뇌기능 저하가 발생하면 알파파 신호의 피크가 퍼지면서 주파수가 낮은 쪽으로 이동하고 노화, 치매가 진행되거나 심해질수록 알파파 고유리듬의 피크주파수가 느려 지며 후두엽에서 측정하는 알파파의 표준패턴이 무너지는 신호 특성을 활용하여 뇌파신호별 특성을 활용한 우울증, 뇌진탕, 치매 등 진단함 나. 휴먼/환경 상황 판단 및 예측 플랫폼 - 운전 환경에서 휴먼/환경 상황판단 및 예측 기술은 대표적으로 휴먼의 상태를 분석하여 부하, 피로, 졸음을 판단 및 예측하는 기술, 휴먼의 음성을 인식하여 운전자의 조작 의도, 운전 의도 등을 판단 및 예측하는 기술, 휴먼의 생체 정보로부터 휴먼의 조작 의도, 감정 상태, 스트레스 레벨을 판단하거나 예측하는 기술 등으로서 글로벌 차량 제조업체들은 주행 중 갑작스러운 발 병 등으로 긴박한 위험에 처할 수 있는 운전자들을 돕기 위한 차량과 의학을 결합한 연구가
- 국내 소프트웨어 기업인 Genesis Lab은 카메라 영상 기반의 얼굴 인식, 랜드마크 검출, 얼굴 방향, 나이와 성별 예측, 얼굴 표정 인식, 음성 감정 인식 기술 등을 바탕으로 졸음이나 부정적 정서를 감지하는 기술을 개발하고 있음
<Genesis Lab의 졸음, 운전 부주의, 부정적 정서 감지 기술>
- 노르웨이 과학기술 대학에서는 Ontology, case based reasoning(CBR), 자연어 처리 등의 기술을 바탕으로 안전 분석(Safety Analysis)와 위험 인지(Hazard Identification)을 처리하는 기술을 연 구하였으며 SEAsy사에서는 영역별 작업 건강과 안전 규정, 직무와 책임, 필요 자격증, 사용할 장비 등 목록을 관리하고 작업시 작업을 생성, 작업할 위치 입력, 작업 탬플릿을 선택하면 세부 작업, 잠재적 위험(Hazard)등을 확인한 후 적합한 개인보호장구를 선택하도록 하는 과정을 거 치도록 하는 소프트웨어 패키지를 판매중이며 이란의 Hamadan Medical Science 대학에서는 휴 먼에러를 줄이고, 전문가 지식을 생성하고, 대량의 데이터를 분석하기 위하여 HSE시스템의 성 능평가를 위한 Fuzzy expert system을 연구하였음. IBM 사에서는 헬멧, 안전조끼 등의 안전장 구에 위치센서, 생체센서 등을 설치하고 스마트폰을 통해 데이터를 수집하여 상황에 따른 위 험을 탐지하고 작업자, 관리자, 구조팀 등에 전달하고 Cloud 서버로 데이터들 전송하여 실시간 으로 위험을 감지하거나 사전에 사고를 예방하는 WorkRight 시스템을 개발하였음
다. 응용 기술
- 국내외 완성차 제조사들은 영상을 이용한 졸음 방지 시스템을 자동차 인포테인먼트 시스템에 연동하는 시스템, 손의 움직임(제스쳐)나 음성을 인식하여 차량 설정이나 오디오를 제어하는 시스템, 사용자의 습관, 일정, 선호도를 학습하여 목적지, 음악, 실내 온도 등을 제안하는 시스 템, 동승자의 시선을 인식하여 유리창에 관광 정보를 제공하는 시스템 등을 개발하고 있음
<Panasonic의 관광정보 제공 HUD와 Mercedes-Benz사의 목적지, 음악 제안 시스템>
- 광주과학기술원은 카메라 움직임에 강건한 객체 탐지기 검출 기반의 다중 객체 추적 기술을 개발하였으며 포항공대에서는 사람 검출기와 추적기를 결합하여 신체 일부의 가려짐, 자세의 변형, 장면 전환 등에 강인한 추적 기술을 개발하였으며 미국 MIT 대학의 Chris Staufer 교수는 학습에 기반한 보안 카메라용 자동 객체 추적 기술을 개발하였으며 독일 뮌헨 대학에서는 Automated SPort Game Analysis MOdel (ASPGAMO) 과제를 통해 여러 대의 TV 방송 카메라 영상 내에서 선수들을 검출하고 추적하여 선수들의 움직임 정보를 생성하는 기술을 개발함. - 미국 GE 글로벌 리서치는 제한된 개수의 PTZ 카메라로 감시 대상의 근접 영상을 효과적을 얻을 수 있도록 PTZ 스캐줄링을 위한 목적 함수(objective function)를 제시하였고, PTZ 카메라별 감시 영역을 객체와 PTZ 카메라와의 거리, 화각 을 이용해 분할함으로 광역 보안 시스템에 대해 연 구하였으며 이탈리아 Florence 대학은 PTZ 카메라 네트워크를 이용해 고정식 카메라 영상 내 사람의 발 위치와 PTZ 카메라 영상에서의 머리를 매칭하도록 하는 실시간 변환 관계를 예측 함으로 다수 PTZ 카메라를 이용해 협조적으로 추적하는 기술을 개발함 - Creaform Handyscan은 파이프라인 프로젝트의 진척도를 추적하고 검사하기 위해 개발된 스캐닝 장치로 3D point cloud를 자동으로 생성하며 작업 상태가 설계 모델과 자동으로 비교되는 기능을 제공하고 BIManywhere 소프트웨어는 BIM모델을 건설현장 어디에서나 접근 가능하도록 해주며
서는 작업현장을 촬영한 영상을 바탕으로 작업현장에 대한 3D 입체 모델인 point cloud를 생성 하고 이를 CAD나 BIM의 입체 모델과 비교하는 방안 연구 - 다중이동물체 추적은 다양한 응용목적에 맞게 연구가 진행되어 왔으며, 서로 다른 분류기준에 따라 여러 가지 분류가 가능함. 카메라의 움직임에 기준을 둔, 정지카메라를 사용하는 방법과 이동카메라를 사용하는 방법, 추적대상에 따라 강체추적, 비강체추적이 있을 수 있고, 적용기 법에 따라 정합기반방법과 에너지 기반의 이동물체를 추적하는 방법으로 크게 나눌 수 있으며 다중 카메라를 이용하여 다중이동물체를 추적하는 경우 감시영역의 중복에 따라 감시영역이 겹치는 경우와 겹치지 않는 경우로 나눌 수 있음
2. 접근방법
- 최근 우리나라가 OECD 회원국 중에서도 가장 빠른 고령화가 진행되면서 고령, 여성, 초보운전자 등 교통약자 중에서도 특히 고령 운전자의 교통사고로 인한 인적 물적 피해가 사회문제로 대두되고 있으므로 이에 대한 사회적인 합의와 기술적인 해결책 마련이 시급함. 따라서 고령, 여성, 초보 운전자 등 교통 약자들의 인지, 행동, 심리적 특성 분석에 기반하여 운전자 맞춤형으로 시각적, 청각적 정보를 제공함으로써 안전 운전을 지원할 수 있는 기반 기술 개발이 필요함 - 최근 인터스트리 4.0이 대두되면서 논의되고 있는 스마트 팩토리는 IIoT, 빅데이터, 사이버 물리 시스템 등 최신 기술들을 바탕으로 더욱 정교하고 세밀한 수직적·수평적 통합 구현하는 방향으로 개발되고 있음. 수평적 통합 지원 기술로는 설계 도구인 CAD/CAE 등을 포함하는 PLM 솔루션, 가상과 실재의 연동이 가능한 사이버 물리 시스템, 작업 공정 프로세스 분석을 위한 공정 시뮬레 이션 등이 포함되며 수직적 통합 지원 기술로는 작업 현장의 많은 데이터를 획득하기 위한 스마 트센서와 IoT 기술, 생산현장 영상 촬영 기술, 현장 데이터 분석을 위한 빅데이터 기술 등이 포함 - 스마트 팩토리를 통해 작업장이 스마트해짐에 따라 작업자와 작업장을 안전하게 관리하는 HSE도 스마트하게 진화되고 있음. 스마트 팩토리에서 사용되는 IIoT, 빅데이터, 사이버 물리 시스템 등의 개념이 HSE에 적용되면서 스마트 HSE를 개발하는 연구가 진행되고 있음 - IIoT를 통해 유무선 통신을 통해 설비와 작업장에 대한 실시간 모니터링이 가능해지면서 작업장 상태와 생산 프로세스를 가상공간에서 연동하는 사이버 물리 시스템이 스마트 팩토리의 핵심역할을 담당하는데 HSE에서도 작업자의 위치, 상태, 작업자가 활동하는 공간에 대한 정보를 데이터베이 스를 구축하고 작업장에 대한 3차원 모델링을 통해 작업자와 작업장 상태를 입체적으로 분석, 관 리하는 HSE를 위한 사이버 물리 시스템이 연구되고 있음 - 작업설비들을 외부와 연결하는 Connected factory개념을 도입하여 작업자의 위치, 상태 등을 파악 하고 작업내역, 위험도 등의 데이터를 전달, 공유 connected worker 개념이 연구되고 있으며 스마트 팩토리에서 사이버 물리 시스템을 통해 설비 상태와 공정을 시뮬레이션하고 분석하여 생산 프로 세스를 최적화하듯이 작업자의 일정, 상태, 작업 환경 등을 분석하고 기계학습 등을 통해 위험도를 파악하여 사고 발생 가능성을 최소화하는 시도가 이루어지고 있음제3절 연구개발과제 수행결과 기대효과
1. 기술적 기대효과
가. 지능형 상황인지 플랫폼 기술 확보로 스마트 자동차 및 스마트 조선해양 핵심기술 조기 확보를 통한 기술 경쟁력 제고 및 현장 적용 상용화 기술 우위 선점 1) 자동차의 경우 현재 개발되고 있는 디지털 Cockpit 시스템은 운전자 취향에 따라 계기판의 스 킨을 변경하는 정도의 단순한 인터랙션을 제공하는 수준임 2) 운전자 및 작업자 개인의 차별화된 요구사항을 반영하고 인지심리적인 특성을 반영한 지능화된 자동차-운전자, 조선해양-작업자 상호작용 기술의 확보가 가능함 3) 개방형 및 지능형 상황인지 플랫폼 제공으로 다양한 애플리케이션 및 서비스의 융합이 가능 해짐에 따라 차세대 UI/UX 플랫폼 기술의 비교 우위를 확보할 수 있음 나. 울산광역시는 자동차 및 조선해양 등 지역 주력 산업의 기술 경쟁력 향상을 위해 지역 산학연과의 연구협력체계를 통해 핵심기술을 개발하고 상용화함으로써 고부가가치 기술 확보 및 파급 가능 1) 2020 울산산업경제비전의 핵심 결과물인 친환경전기자동차와 자동차-IT 융합 제품 개발 실현을 위해 핵심기술 확보를 통한 경쟁력을 강화하고 상용화 제품 개발의 기반을 마련함 2) 울산광역시의 지역 주력산업-IT융합을 통하여 신규 비즈니스 영역을 개척하고 실용화를 통한 연관 산업 육성 및 중소기업 기술 경쟁력 강화를 도모함 다. 사회 전반 제조 및 산업 현장에서의 근로자 복지 및 안전 예방 시스템에 적용 라. 조선산업 작업자 안전관리 시스템 전문업체 발굴 및 육성, 지원, 기술 확산을 유도할 수 있으며, 이로 인해 안전관리 기술에 대한 타 산업으로 전파 가능2. 산업적 기대효과
가. 글로벌 기업들은 스마트 자동차 및 스마트 조선해양 분야에서 운전자 및 작업자의 안전을 위한 혁신적인 인터랙션 기술로 차별화 전략을 확대하고 있어 미래 산업 경쟁력을 높이고 있음 1) 아우디, 테슬라모터스, 엔비디아 등의 자동차 기업 및 IT 기업에서는 ICT 융복합 기술을 적용 하여 지능형 상황인지 기반 디지털 Cockpit 시스템 기술을 개발하고 있음 2) MIT, GM, 비스테온 등은 운전자 주의분산 탐지 또는 운전부하 정량화를 위한 현상학적 기초 연구를 수행하고 있으며 이를 적용한 HMI(Human Machine Interface) Cockpit 으로의 확대를 도모중임나. 국내의 경우, 스마트 자동차 및 스마트 조선해양을 위한 지능형 상황인지 플랫폼 및 시스템 기술 개발이 미진하여 본 과제를 통한 주력 산업 경쟁력 확보가 가능 1) 운전자 및 작업자의 특성/상태 적응형 UI/UX 및 환경 제공을 위한 개방형 상황인지 플랫폼은 친환경 운전, 안전 운전 및 쾌적한 운전과 작업자 안전을 가능하게 함 2) 이로 인해, 운전자 및 작업자의 만족도를 향상시키고 스마트 자동차와 스마트 조선해양 보급을 촉진하고 관련 산업 육성 및 일자리 창출에 기여가 가능함 다. 전통적 주력 산업에 ICT 기술 중심의 새로운 융합기술을 적용함으로써 산업 가치사슬 발굴 및 신 시장 창출 1) 작업자 통합 안전 지원시스템, 정보기기, 장치 등 다양한 부품 및 장치 산업 분야와 연계한 3rd Party의 참여를 촉진하여 신산업 생태계 조성 및 시너지 창출 2) ICT에 기반한 디스플레이, 조명, 공조, ADAS, 센서 산업의 동반성장 효과 달성 가능 라. 조선소 현장의 낮은 산업재해율 및 안정된 산업장 운용으로, 제품의 품질이 개선되어 산업 경쟁 력이 강화될 수 있음 마. IT기술을 융합한 안전 시스템 적용으로 효율적인 안전수칙 준수 가능 1) 현재 안전요원 1인당 50명 이상 다국적 근로자 관리 시스템의 개선 바. 제조분야에 IT융합 HSE 중소/중견 기업 발굴 및 육성 사. 안전·보건·환경의 통합적인 관리를 통하여 사고 방지 및 생산성 향상의 극대화 아. 조선소 HSE 시스템 개발을 통해 조선분야 세계 1위의 수주를 통해 글로벌 리더의 위치를 공고이 하여 IT 기반 융합산업 세계시장 주도 및 국가 경제성장 견인 자. 사용자 체험형 UI/UX기술은 선진국 또한 연구적인 수준인 경우가 많으므로, 본 기술을 선도 개 발하여 선점할 경우 독자선도기술 확보에 유리할 뿐 아니라 향후 국내에서 출시되는 장비 및 기 기들의 부가가치를 높이는데 기여할 수 있음
3. 경제적 기대효과
가. 개방형 지능형 상황인지 플랫폼 핵심기술을 확보함으로써 스마트 자동차 및 스마트 조선해양의 기반 기술로 활용이 가능하고 증가하는 콘텐츠를 수용하기 위한 개발 비용을 절감하여 경제적 이득, 수입 대체 및 신규 고용 창출이 예상됨 나. 스마트 자동차 주력산업의 경우, 지능형 상황인지 플랫폼 핵심기술을 확보하여 2020년 17억 달러 수출, 1만2천명의 고용효과 유발에 기여할 수 있음 (2010 산업융합원천기술 로드맵) 다. 또한 자동차의 전자화 및 지능화로 인하여 자동차 부품 신산업을 창출하고, 전자, 전기, IT 등 유관 산업의 발전으로 시너지 효과를 극대화 할 수 있음 라. 소비자들의 개인화 욕구가 증대함에 따라 개인 맞춤형 지능형 상황인지 플랫폼을 탑재한 자동차에 대한 니즈 및 판매 시장이 증가할 것으로 기대됨 1) 미국의 경우, 60세 이상의 고령자가 신차 판매량의 23% 이상을 차지할 만큼 고령층의 자동차 소비 비중이 증가하는 추세임 2) 따라서, 새로이 부각되는 소비자 집단(고령/여성/초보/청년)의 요구를 충족시킬 수 있는 특화된 기능, 세련된 디자인, 차별화된 사용자 경험을 제공하는 제품 개발을 통해 시장 경쟁력을 강 화할 수 있음 마. 산업용 HSE 스마트 단말기(산업용 헬맷)는 플랜트당 8,000~10,000개의 실수요 발생 바. 아날로그 방식의 업무 프로세스를 시스템적으로 개선하여 HSE 활동 시간 및 비용 절감 사. 산업재해의 60% 이상을 차지하는 인적 요인을 획기적으로 제거하여 근로자 건강 보호 및 사고 예방 아. 사람의 행동 및 판단 오류로 발생하는 사고를 시스템을 통해 예방함으로써 생명 및 재산을 보호 하여 산업현장에 대한 안정성 신뢰회복
4. 사회문제해결 기대효과
가. 고령자운전자, 여성운전자, 초보운전자의 증대에 따른 교통·사회적 비용 감소 1) 여성/고령/초보 운전자 등 교통 취약자 사고율 감소로 인한 사회적 비용 절감 2) 세대간/성별간 교통 갈등 감소로 인한 사회적 비용 절감나. 안전하고 편리하고 친환경적인 자동차-IT 융합 기술 개발로 국민 삶의 질 개선 1) 인포테인먼트 등 편의성을 극대화시킴으로써 국민의 삶의 질을 제고 2) 자동차 연료소모량 감소로 인해 경제적이고 쾌적한 삶을 실현 다. IT 융합화 촉진으로 고용효과 창출 1) 자동차 및 조선해양 주력산업 분야의 지속적인 전문 IT융합인력 양성지원 및 산업체 프로그 램을 통한 고용창출 극대화 2) 미래유망 융합 전통산업의 성장을 통한 벤처 및 중소기업 활성화와 신규 고용창출 라. 사람의 행동 및 판단 오류로 발생하는 사고를 시스템을 통해 예방함으로써 생명 및 재산을 보호 함으로서 산업현장에 대한 안정성 신뢰회복 마. 대기업이 솔선수범하여 사고 예방을 위한 HSE 인프라 구축의 투자 사례가 늘어날수록 사회로부 터 대기업의 사회적 도덕성이 회복되는 선순환 하는 사회 구조가 이루어질 것으로 예상함
제 2 장 연구 개발 목표 및 내용
제1절 최종 목표 및 연차 목표
1. 최종목표
구 분 내 용 최종목표 ⧠ 주력산업 경쟁력 향상을 위한 작업자/운전자 및 작업장/자동차 정보 기반 지능형 상황인지 플랫폼 기술 개발 [핵심기술-1] 운전자 정보 수집 및 분석 기술 [핵심기술-2] 운전자 맞춤형 UI/UX 플랫폼 기술 [핵심기술-3] 작업자 및 작업장 정보 기반의 3D 모델링 기술 [핵심기술-4] 작업자의 상황인지 기반의 위험도 예측 기술 [핵심기술-5] 시촉각 인터페이스 사용성 고도화 기술 [핵심기술-6] 프로그래머블 촉각 인터페이스 기술 <시스템 개념도> 세부목표 [세부목표] 1. 작업자/운전자 및 작업장/자동차 정보 센싱 및 분석 기술 개발 가. 기술정의 ü 작업자/운전자 및 작업장/자동차에 부착된 센서를 통해 입력되는 데이터를 수집, 저장 관리하고 데이터의 유효성 검증 및 데이터의 특징을 분석하기 위한 기술나. 핵심기술 ü 운전자 상태 분석 기술 ü 운전자 정서 분석 기술 ü 작업장 실내에서의 작업자 위치 추적 기술 ü 작업장 정보의 3D 모델 생성 기술 2. 작업자/운전자 및 작업장/자동차 상황 판단 및 예측 기술 개발 가. 기술정의 ü 작업자/운전자 및 작업장/자동차에서 수집된 다양한 정보를 기반으로 작업자 및 운전자의 상태를 모델링 하고 기계학습 기반에 의한 위험 상황을 예측하는 기술 나. 핵심기술 ü 운전자 맞춤형 인터랙션 엔진 기술 ※ 고령운전자, 여성운전자, 초보운전자 등 교통사고 위험성이 높거나 운전 미숙자의 신체적, 행동적, 인지적 특성을 모델링 하고 사고위험성이 높거나 운전시 어려움을 겪는 주행상황을 판단한 후 차량 내 디지털 클러스터 및 차량환경을 제어함으로써 안전 운전을 지원함 ü 운전자 맞춤형 UI/UX 제공 기술 ü 기계학습 기반의 작업자 위험 상황 예측 기술 3. 작업자/운전자 및 작업장/자동차 지능형 상황인지 시스템 개발 가. 기술정의 ü 작업자/운전자 및 작업장/자동차 정보 및 사전에 학습된 다양한 정보를 기반으로 작업자와 운전자의 상태를 실시간으로 관리하기 위한 통합 모니터링 시스템 나. 핵심기술 ü 클라우드 기반 운전자 정보관리 기술 ü 단말 기반 운전자 정보관리 기술 ü 3D 모델 기반 작업장 통합 모니터링 시스템 4. 사용자의 상황에 적합한 최적의 상호작용 환경을 제공하는 사용자 체험형 인터페 이스 개발 가. 기술정의 ü 휴먼 인지 모델을 기반으로 시촉각 인터페이스의 사용성을 고도화하여 작업자와 운전자에게 최적의 사용자 경험을 제공하는 체감형 UI/UX ü 나. 핵심기술 ü 인지 모델 기반 시촉각 인터페이스 사용성 고도화 기술 ü 능동소자 기반 프로그래머블 촉각 인터페이스 기술
2. 연차별 연구개발 목표
- 3D 모델 및 기계학습 기반의 고위험 작업장 통합 모니터링 시스템 - 운전자 맞춤형 인터랙션 엔진기반 가변형 디지털 클러스터 시제품 - TLX 60이하의 사용자 평가 지수를 갖는 시촉각 UI 시제품 - 프로그래머블 촉각 출력 인터페이스 시제품 구분 목표 내용 1차년도 (2018) 주력산업용 지능정보 기반의 작업자/운전자 및 작업장/자 동차 상황인지 알고리즘 개발 및 상황인지 단위 플랫폼 설계 - 작업자/운전자 및 작업장/자동차 상황 정보 센싱 및 분석 알고리즘 개발 및 단위 플랫폼 설계 - 작업자/운전자 및 작업장/자동차 상황 판단 및 예측 알고리즘 개발 및 단위 플랫폼 설계 - 작업자/운전자 인지 특성 모델링 및 체감형 UI/UX 방 안 연구 및 단위 시스템 설계 - 알고리즘 시험 및 검증 2차년도 (2019) 주력산업용 지능정보 기반의 작업자/운전자 및 작업장/자 동차 상황인지 단위 플랫폼 개발 및 상황인지 통합 플랫 폼 설계 - 작업자/운전자 및 작업장/자동차 상황 정보 센싱 및 분석 단위 플랫폼 개발 및 통합 플랫폼 설계 - 작업자/운전자 및 작업장/자동차 상황 판단 및 예측 단위 플랫폼 개발 및 통합 플랫폼 설계 - 프로그래머블 UI/UX 모듈 설계 및 프로토타입 개발 - 단위 플랫폼 시험 및 검증 3차년도 (2020) 주력산업용 지능정보 기반의 상황인지 통합 플랫폼 개발 및 시험/검증 - 작업자/운전자 및 작업장/자동차 상황인지 단위 플랫 폼 고도화 및 상황인지 통합 플랫폼 개발 - 체감형 UI/UX 고도화 및 시험 검증 - 통합 플랫폼 시험 검증용 테스트 베드 기반의 시험 및 검증제2절 연구 범위 및 연구 수행 방법
1. 당해연도(2018년) 연구 개발 내용 및 범위
연구목표 ○ [ 상황인지 알고리즘 개발 및 단위 플랫폼 설계 ] 주력산업용 지능정보 기반의 작업자/운전자 및 작업장/자동차 상황인지 알고리즘 개발 및 상황인지 단위 플랫폼 설계 <정량적 목표> - 주요성능 규격 . 운전자 상태 판단 정확도 : 80% 이상 . 운전자 정서 판단 정확도 : 80% 이상 . 작업자 위험 예측 정확도 : 80% 이상 . 작업자 위치 정합도 : 70% 이상 . 사용자 인터페이스 부하 지수 : 80이하 . 촉각 자극 수준 : 8 이상 - SCI(1)/국제특허(2)/국내특허(3)/기술이전(1) 연구 목표 내용 정보 센싱 및 분석 ⵔ 휴먼/환경 정보 센싱 및 분석 플랫폼 설계 ‑ 복합 센서(영상, 가속, 핸들, 위치, 생체, 가스, 화재 등의 환경 상태 정보 센싱) 기반 작업자/운전자 및 작업장/자동차 정보 센싱 기술 및 상태 분석 알고리즘 개발 ‑ 작업자/운전자 및 작업장/자동차 상태 분석 정보의 시각화 시스템 설계 ‑ 작업장 정보의 3D 모델링 기술 설계 ‑ 작업자/운전자 및 작업장/자동차 정보 센싱 및 분석 플랫폼 설계<작업장 구역 내에서의 시각화 시스템> 상황 판단 및 예측 ⵔ 휴먼/환경 상황 판단 및 예측 플랫폼 설계 ‑ 영상 및 생체 센서 기반 작업자/운전자 감성 및 행동 예측 알고 리즘 개발 ‑ 복합 센서 기반 환경 변화 예측 알고리즘 개발 ‑ 작업자/운전자 및 작업장/자동차 상황 판단을 위한 데이터 모델링 ‑ 기계학습 기반 작업자/운전자 및 작업장/자동차 상황(감성, 위험 여부 등) 인식 알고리즘 개발 ‑ 작업자/운전자 및 작업장/자동차 상황 판단 및 예측 플랫폼 설계 <주행상황 판단 기반 운전자 맞춤형 인터랙션 기능> 모델 분석 및 모델링 ⵔ 휴먼 인지 모델 분석 및 체감형 UI/UX 방안연구 및 단위 시스템 설계 ‑ 최소 10dB 이상을 사용자가 체험할 수 있는 사용자 인지특성 모 델링 ‑ 체감형 UI/UX 단위 시스템 설계 및 초기 프로토타입 제작/시험
‑ UI/UX 단위 시스템 제어 SW 설계 ‑ GUI 등과 연계하는 사용자 인터페이스 설계 및 산업체, 대학 등 전문기관과 연계하여 시촉각 체험 패턴 분석 < 휴먼 인지 모델 기반 시촉각 인터페이스 사용성 연구> 시험 및 검증 ⵔ 알고리즘 시험 및 검증 ‑ 작업자/운전자 및 작업장/자동차 센싱 및 분석 알고리즘 정확도 시험 및 검증 ‑ 작업자/운전자 및 작업장/자동차 상황판단 및 예측 알고리즘 정 확도 시험 및 검증 ‑ 단위 플랫폼 시험 및 검증
2. 연구 개발 추진 체계 및 방법
2-1. 연구 개발 추진 체계
가. 주력산업이 밀집된 울산지역 자동차(현대자동차), 조선해양(현대중공업), 에너지) 산업에 지능정보 ICT 기술을 융합하여 주력 산업 고도화 실현을 목표로 지역 협력을 통한 현장 중심의 기술 개발 나. ETRI는 자동차 및 조선해양 산업계로부터 실용화 요구사항을 도출하고 위탁연구 기관과의 기초 연구를 통해, 산업체 기술 수요를 반영한 지능형 상황인지 플랫폼을 개발함 - 시스템 설계는 주관기관과 참여기관 및 최종 수요기관의 요구사항을 충분히 수용하여 진행하며, 과제 수행중에는 독립적으로 개발을 진행하지만 주기적인 미팅을 통하여 최종 결과물은 관련 기관간의 협력을 통해 통합함 다. 지역 ICT 중소기업에서는 ETRI에서 개발한 지능형 상황인지 플랫폼과 연동할 수 있는 센서 개발과 부가가치를 높일 수 있는 스마트 전장시스템 및 스마트 HSE 시스템 시제품을 개발하고, 라. 이를 통한 ICT 중소기업의 경쟁력 강화에 기여하여 지역 발전 및 산업 생태계 안정화를 도모함 마. 연구수행 기간 동안 운영위원회를 운영하며, 기술자문, 동향파악 및 결과물 활용성 검토를 통해 기술 개발의 방향을 지원함 <연구개발 추진체계 및 역할>바. 참여기관과의 밀착 협력체계에 의한 원천기술 조기 확보 및 개발 종료전 제품 성능 인증, 사전 마케팅 전략을 수립하여 조기 사업화 실시 <사업화 전략>
2-2. 1차년도 연구 개발 방법
가. ETRI는 지능정보 기반의 상황인지 기술을 자동차의 디지털 Cockpit 시스템 및 작업자 안전관리 시스템에 적용할 수 있는 개발 계획을 수립하고 실시간 상황정보 센싱 및 상황판단, 예측 기술 등 주요 핵심기술을 중심으로 연구 수행 나. 실제 개발된 시제품이 적용될 대기업에서는 최종 시스템의 요구사항을 도출하고 매년 개발되는 제품에 대한 기능 검증을 수행 다. 참여기관인 ICT 중소기업 특성에 맞는 업무를 수행하고, 상황인지 플랫폼과 연동될 수 있는 센서 개발과 서비스에 대한 인터페이스 설계 및 시작품 개발 라. 위탁을 수행하는 지역내 대학에서는 대기업이 요구하는 최종 시스템의 기능 및 특성을 분석하고 기술개발 방향을 제시 마. 개발 기술 및 제품이 조기 상용화 될 수 있도록 지역 산업 발전을 지원하는 다양한 기관들과의 연계를 강화 바. 인지증강형 사용자 인터페이스 기반 기술 개발과 관련하여 최소 10dB이상을 사용자가 체험할 수 있는 사용자 인지특성을 모델링하고, 이에 적합한 시촉각정보 출력 방법을 연구하고 BMW등 산 업체를 통해 원천기술형 민간수탁과제를 수행하여 산업체의 수요를 파악할 뿐 아니라, 미래 제 품의 UI/UX 기술 선점제3절 성과 목표
1. 성과목표의 개요
- 본 과제의 최종 결과물은 휴먼/환경에 대한 센싱 정보를 기반으로 현재 상황에 대처해야 할 최적의 솔루션을 찾아 주는 상황인지 기반의 플랫폼 개발로서, - 시스템 성능을 결정하는 가장 중요한 요소는 센싱 정보의 정확성 및 상황판단과 예측 결과의 정확 성임2. 성과지표
○ 기술 개발 성과 지표 성과지표 (주요성능 Spec) 단위 세계최고 수준 기술개발 목표치 목표치 산출근거 검증방법 최종연도 ‘18년도 ① 운전자 상태 판단 정확도 % 83 90 80 하단①참조 하단 검증방법 참조 ② 운전자 정서 판단 정확도 % 85 90 80 하단②참조 ③ 작업자 위험 예측 정확도 % 85 90 80 하단③참조 ④ 작업자 위치 정합도 % 80 90 70 -⑤ 사용자 인터페이스 부하 지수 TLX 60내외 60이하 80 논문참조 ⑥ 촉각 자극 수준 dB SL 15 15이상 8 논문참조 <목표치 산출근거 및 검증방법> ① 산출근거: 일본 파나소닉사의 운전자 졸음 판단 정확도는 83%임. 본 연구에서는 다양한 주행환경에 서 운전자의 상태(졸음, 부주의, 피로도)를 동시에 판단하는 것을 목표로 하며 운전자 상태 판단 정 확도의 목표치를 90%로 설정함 (일본 니케이 언론보도, 2017. 9. 27.) 검증방법: 피험자를 대상으로 졸음, 부주의, 피로도 유발 상황을 제시하여 Ground Truth 데이터 세트 를 획득하고 개발된 운전자 상태 판단 알고리즘을 적용하여 정확도를 검증 ② 산출근거: 일본 파나소닉사의 운전자 분노 판단 정확도는 85%임. 본 연구에서는 다양한 주행환경에 서 운전자의 정서(분노/불안)를 판단하는 것을 목표로 하며 운전자 정서 판단 정확도의 목표치를 90%로 설정함 (일본 니케이 언론보도, 2017. 9. 27.) 검증방법: 피험자를 대상으로 분노, 불안을 유발하는 자극을 제시하고 설문조사를 통해 자극에 대한 정서 수준을 Ground Truth 데이터 세트로 획득하고 개발된 운전자 정서 판단 알고리즘을 적용하여 정확도를 검증③ 산출근거: 현재 사고예측 정확도의 경우 상용화된 기술은 없으며, 논문 레벨에서의 예측 정확도 최고 값이 75%임 (Severity Prediction Models of Falling Risk for Workers at Height, CCC2016)
검증방법: 작업자 위험 예측은 작업자 사고 예방을 위해 가장 중요한 기능이며, 정확도 판정은 매년 발행되는 산업재해 통계 및 원인을 입력 데이터로 활용하고 재해 빈도가 가장 높은 추락/질식/화재 를 발생시키는 원인 데이터(사고당시 작업장 환경 및 작업자 안전장구 착용상태)를 입력했을 때 예 상되는 사고를 정확하게 예측하는지 여부로 결정함 ④ 산출근거: 실내 특히 철구조물이 산재한 조선소 작업 현장에서는 전파 특성에 의해 왜곡이 많이 발 생하며, 대부분의 측위 방식에서도 큰 오차가 발생하게 됨. 위치 정합도 80%는 이와 같은 특정 환경 에서 얻을 수 있는 최적의 값임 검증방법: 작업자 위치 정합도는 작업자 위치에 따라 발생할 수 있는 사고를 사전에 예측할 수 있기 때문에 사고 예방을 위해 매우 중요한 요소이며, 위치 정합도에 대한 판단은 특정 시험공간에서 작 업자 움직임 동선에 대한 실측치를 기준으로 시험에 의한 위치 결과값을 3D 상에 표시하여 실측치 와의 오차로 판정함 ⑤ 산출근거: 기존 UI 대비 사용자가 체감할 수 있는 부하 감소로 80%의 사용자 부하 지수를 1차년도 목표로 설정하였으며, 최종 목표로 1차년도 대비 체감할 수 있는 수준의 사용성 향상을 위해 60% 수준을 설정함
검증방법: 사용자 인터페이스 부하지수는 NASA TLX(Task Load Index) 수치로 평가함. TLX란 사용 자 인테페이스의 사용성을 평가하는 척도로써 평가항목별로 사용자인터페이스를 조작하는 동안 사 용자가 느끼는 물리적부하(Physcial Load)와 정신적부하(Mental Load)를 측정하여 합으로 평가함. 숫 자가 클수록 사용자가 사용하기에 불편한 시스템을 의미함
⑥ 산출근거: 1차년도 목표로는 개인 편차를 고려했을 때 대부분의 20-30대 사용자들이 느낄 수 있는 촉각 자극 수준인 8 dB SL을 설정하였으며 최종 목표는 50대 이상 사용자들의 촉감 민감도 저하를 고려하여 15 dB SL로 설정함
검증방법: 촉각 자극 수준은 Sensation level in decibel (SLdB)로 평가함. SLdB는 사용자가 느끼는 역 치와 비교하여, 전달되는 자극의 크기의 배율수준을 피험자 시험을 통해 측정하여 데시벨로 표기한 것으로써 촉각인터페이스의 경우 일반적으로 20log(S/Sth)의 값으로 구해짐 ○ 연구산출물 성과지표 공통지표(필수제시) 자율지표(자율제시) 지표명 총사업 연도 ‘18년도 지표명 총사업 연도 ‘18년도 목표 달성 목표 달성 과학적 성과 표준화된 IF 상위 20% SCI 논문(건) 3 1 3 질적성과지표 IF 3.5이상논문 4 1 1 기술적 성과 특허활용률 (기술이전건수/ 특허등록보유건수) 20 10 5/2 K-PEG A등급 특허 2 -
-5 1 8 국제표준승인표준 기고서(건) - - -특허 15 5 17 3극 특허(건) 3 - -기술이전 기술이전 건수 경제적 성과 연구비 대비 기술료 수입(%) 7 5 3.2 6 2 5 기술료(억원) 3.0 1.0 1.6
제 3 장 1차년도(2018년) 연구 개발 결과
제1절 1차년도 성과 목표 달성도
성과지표 (주요성능 Spec) 기술개발 목표치 성과내용(결과위주) 달성도(%) 운전자 상태 판단 정확도 [핵심기술-1: 운전자 정보 수집 및 분석 기술] 80% - 8명의 20,000장의 운전자 영상으로 상 태 인식 모델 학습 - 4명의 18,990장의 운전자 영상으로 상 태 인식 정확도 평가 - 평균 인식 정확도 81.7% 달성분류결과 precision recall f1-score 정상 0.975 0.97 0.975 주의분산 0.95 0.99 0.97 피로1 0.71 0.62 0.66 피로2 0.73 0.85 0.79 졸음 0.72 0.82 0.77 평균 0.817 0.85 0.833 100 운전자 정서 판단 정확도 [핵심기술-1: 운전자 정보 수집 및 분석 기술] 80% - 508명의 3,297장의 정면 얼굴 표정 영 상으로 감정 인식 모델 학습 - 253명의 1,637장의 정면 얼굴 표정 영 상으로 감정 인식 정확도 평가 - 평균 인식 정확도: 91.32% 달성
분류 결과 precision recall f1-score support
불안 0.87 0.90 0.88 200 분노 0.90 0.83 0.86 207 혐오 0.90 0.87 0.88 167 행복 0.97 0.97 0.97 330 중립 0.92 0.97 0.95 407 슬픔 0.86 0.80 0.83 155 놀람 0.92 0.92 0.92 171 micro average 0.91 0.91 0.91 1,637 macro average 0.90 0.89 0.90 1,637 weighted average 0.91 0.91 0.91 1,637 100 작업자 위험 예측 정확도 [핵심기술-4: 작업자의 상황인지 기반의 위험도 예측 기술] 80% - 상황 인지 기반 재해 위험 예측 모델 구현 - 작업/구역 특성에 따른 재해 예측 모델 구현(판단 정확도: 93.33% 이상 달성) - 작업 수행 안전 체크리스트 미준수 항 목에 따른 재해 예측 모델 구현(판단 정확도: 88.14% 이상 달성) 100 작업자 위치 정합도 [핵심기술-4: 작업자의 상황인지 기반의 위험도 예측 기술] 70% - IR-UWB 수신감도 개선을 위한 기술 개발 - 블루투스를 이용한 IoT 기술 연계 가능 한 사용자 기반 위치 측위 기술 개발 - 재컴파일 없이 IR-UWB의 설정 파라미터 변경이 가능한 User-define 기능 개발 - 태그 및 앵커 간 상대 거리 측정 기술 100
※ 성과목표 달성을 위한 세부 시험방법 및 결과는 <부록-1. 성과지표 시험결과> 참조
개발 사용자 인터페이스 부하 지수 (TLX) [핵심기술-5: 시촉각 인터페이스 사용성 고도화 기술] 80 개발된 햅틱 UI는 운전중 숫자입력, 볼륨 조절 작업에서 햅틱 피드백이 없는 기존 터치스크린 UI 기준 74.3%의 사용자 부하 로 사용성을 향상시킴. 사용자의 입력을 확인하는 피드백으로 불안감 관련 항목에 서 큰 효과가 나타남 100 촉각 자극 수준 [핵심기술-6: 프로그래머블 촉각 인터페이스 기술] 8 dB SL 개발된 햅틱 패널은 40~320 Hz 대역에서 주파수에 따라 9~22 dB SL의 촉각 자극을 생성하여 넓은 주파수 대역에서 촉각 신호를 전달할 수 있는 기술을 확보함 100SCI(E) 논문 1 SCI 및 SCIE 6건 게재
IF 상위 20% 포함 2건 심사중 100
특허 5 국외특허 3건
국내특허 14건 100
