(정량적 목표: 인체 UI 포인팅 식별 정확도 90%)
□ 학습형 On-body UI사용자 입력 인식 기술 o 사용자 별 입력 패턴
학습 및 의미 해석 알고리즘 개발
o HMD 기반 On-body UI 사용자 입력 인터페이스 기술
- HMD 기반 객체 제어를 위한 객체의 추가에 따른 유연성 제공을 위한 PiAM 인터페이스 확장 기술 개발
객체 제어 – PiAM간 터치/슬라이드 입력 Configuration 설정 및 서비스 요청을 위한 Rest기반 인터페이스 정의 및 구현
터치 입력 정보의 효율적 제공을 위한 PiAM 터치 영역(Grid) 정보 제공 인터페이스 재정의 및 구현
객체 가시화를 위한 손바닥 정보 제공 인터페이스 수정 개발 및 시험
< PiAM 모듈 터치 입력 인터페이스 확장 모듈 시험>
- 학습형 on-body 사용자 입력을 위한 머신 러닝 기반 제스처 인식 향상 기능 설계 및 구현
터치 기반 2D 입력 및 mid-air 제스처 인식률 향상을 위한 사용자 패턴 분석
< 사용자 별 입력 패턴 분석 및 제스처 인식 >
- 사용자 별 입력 패턴 학습에 대한 PiAM 인터페이스 성능 분석
사전에 PiAM 인터페이스 사용에 경험이 없는 피실험자 7명을 대상으로 8가지 입력에 대해 실험
사전에 8개의 PiAM 제스처에 대해서 각각 4번의 입력을 통해 개인별 입력 패턴 생성
<실험에 사용된 8가지 입력 제스처 셋:
swipe, 1, 2, 3, circle, a, b, c>
<‘b’ 입력에 대한 서로 다른 사용자 입력 패턴>
각각의 피 실험자에 대하여 4번 성공할 때까지 실험을 진행하고, classification error 회수와 input error 회수를 측정
<사용자 별 입력 패턴 학습 분석>
P1 P2 P3 P4 P5 P6 P7 인식률 swipe 1/0 0/0 2/0 0/0 0/0 2/3 0/0 0.78 circle 0/0 0/1 1/1 2/1 0/0 0/0 0/0 0.82 1 0/0 0/0 0/0 3/2 0/0 2/0 0/0 0.80 2 2/2 1/2 1/0 2/3 0/0 0/0 0/0 0.68 3 3/2 1/0 0/1 1/0 0/0 1/1 2/1 0.68 a 0/0 0/0 0/1 0/0 0/0 0/0 0/0 0.97 b 0/0 0/0 0/2 1/1 0/1 1/1 0/0 0.80 c 1/0 0/0 2/1 0/0 0/1 1/0 1/0 0.80
(classification error / input error)
결과 분석
F 각 제스처 입력에 대해서 최저 68%, 최고 97%의 인식정확도를 보임 (평균 인식률 80%)
F 사용자 별 입력 패턴을 학습하지 않은 경우와 비교하여 평균적으로 10~15%의 인식 정확도가 향상됨
F ‘3’의 경우, ‘c’로 인식되는 경우가 많기 때문에 입력 값 선정에 있어 고려가 필요함.
F PiAM 인터페이스는 HMD에 장착된 뎁스 카메라를 활용하기 때문에 사용 환경에 있어 제약이 있기 때문에 input error가 발생할 수 있음.
o 패턴 학습 기반 개인화 On-body UI 사용자 입력 인식 모듈 개발
o 객체 제어를 위한 PiAM 사용자 인터렉션 기능 설계 및 구현 - 인체 기반 공간 네비게이션을 위한 proximity 및 서비스
시나리오에 따른 객체 제어 UI 사용성 분석
< 거리에 따른 차별화된 UI 제공 기능 설계 >
< 서비스 시나리오에 따른 객체 제어 기능 설계 >
- 객체 특징점 추출을 통한 인식 및 UI 등록 기능 설계, 구현
객체 별 제어 인터페이스 제공을 위한 객체 인식 및 객체 특성에 따른 UI 등록
< 객체 별 UI 등록 >
o 사용자 별 입력 패턴 학습에 대한 사용자 입력 인식 결과 분석 - 사전에 AR 글래스 사용 경험이 없는 피실험자 7명을 대상으로
4가지 객체에 대하여 선택
<PiAM 인터페이스 사용성 분석에 활용된 크기가 다른 4개 객체들>
- 실험 방법
각각의 피 실험자에 대하여 PiAM 인터페이스를 이용, 객체 당 10번씩 선택(point-and-click)하게 하여, 성공적으로 인식된 회 수를 측정
<HMD를 통해 실험자에게 보여지는 객체 추출 이미지>
<PiAM 인터페이스를 이용한 객체 선택에 대한 사용성 분석>
P1 P2 P3 P4 P5 P6 P7 성공률 (인식률) Stream
cooker 10 6 7 5 10 8 7 0.76 Scale 6 8 9 9 8 10 10 0.86 Mixer 8 10 10 6 7 10 10 0.87 Knife
block 5 9 9 9 7 9 9 0.81 - 결과 분석
각 선택 입력에 대해서 최저 76%, 최고 87%의 인식정확도를 보임 (평균 인식률 83%)
실험 회수가 증가할수록, 인식 정확도는 높아짐
o 글로벌 테스트베드를 활용한 3차년도 PiAM 데모 시스템 구축 - 객체(커튼, 전등) 별 UI 구성 및 학습형 PiAM을 활용한 객체
제어
□ 결과물 o HMD 기반 학습형 PiAM 사용자 인터렉션 모듈 (SW, 단말 탑재용) o 기술 문서
- 국제공동연구 3차년도 중간보고서 (HMD 기반 On-body UI 요구사항서 및 구조/기능설계서 포함), 2015.10
- 국제공동연구 3차년도 최종보고서, 2016.01
o 논문: 국제논문 5.5건(국제논문지 0.5건 게재(50% 1건),
국제학술대회 발표 5건(총 7건 중 50% 4건), 국내논문지 게재 1건 - (50%, 게재)“AnonPubSub: Anonymous Publish-Subscribe
Overlays”, Computer Communications Journal, 2016.01 - “Internal Attacks in Anonymous Publish-Subscribe P2P
Overlays”, ACM CHI2015, 2015.03.09.
- (50%)“StackTop: Hybrid Physical-Digital Stacking on Interactive Tabletops”, ACM CHI EA 2015, 2015.04.18.
- “A Study on Proximity-based Hand Input for One-handed Mobile Interaction”, ACM SUI2015, 2015.08.08
- (50%)“Palm-based Interaction with Head-mounted Displays”, ACM MobileHCI 2015, 2015.08
- “In-Situ Occlusion Resolution for Hybrid Tabletop Environments”, INTERACT 2015, 2015.08
- (50%)“Capricate: A Fabrication Pipeline to Design and 3D Print Capacitive Touch Sensors for Interactive Objects” ACM
UIST2015, 2015.11
- (50%, 발표예정)“Exploring 3D Printed Interaction” ACM TEI2016, 2016.02
- “A Study of On-body User Interface: PiAM(Palm interAction Module)”, 한국지식정보기술학회 논문지, 2015.12
o 특허: 국내출원중 1건, 국제출원중 1건
- (출원중)“HMD 사용 환경에서 한 손을 이용한 객체 제어 방법”, 대한만국
- (출원중)“A One-Handed Gesture Set for Interaction with Head-Mounted Displays”, 독일