① 개발목표
◼ 사용자의 BMI 어플리케이션 적합성 판별 기술 개발
◼ 개발된 웨어러블 디바이스 기반의 HRV 및 GSR 생체신호를 이용한 감정 의도 파악 알고리/ 즘 정확성 향상 및 최적화
◼ EMG 움직임인식 알고리즘 정확성 향상
◼ 밴드 타입 EMG 측정 시스템 프로토 타입 개발
◼ 장갑 모듈과 밴드타입 EMG 측정 모듈과의 통합 시스템 구축 및 Application 운용
◼ 안면부 다중 생체신호기반 실시간 의도 및 감성상태 파악 알고리즘 개발
◼ 멀티모달 안경형 차 시작품 개발 및 2 SDK를 위한 모듈 라이브러리 구축
◼ 멀티모달 웨어러블 장비 개선 및 실시간 처리기법 연구
◼ 특성분석 및 디자인 개선
◼ 기발품의 향상된 기능의 추가 모델 개발
◼ tDCS가 구비된 헤어밴드형 BHM(brain heart monitoring) 장치 개발
◼ 상시 HRV 모니터링이 가능한 스마트 반지 개발
◼ 기 개발품 브랜드 사이트 제작
◼ 통합 기기 제어를 위한 SDK 개발
② 개발내용 및 범위
◼ 사용자의 배경 뇌파 분석을 통한 BMI 어플리케이션 적합성 판별 기술 개발
가. 현재 개발되고 있는 BMI 어플리케이션의 경우 사용자 개개인 뇌파 신호 특성에 따라 사 용이 제한적임. BMI 어플리케이션의 대중화를 고려하였을 때 이러한 , BMI 어플리케이션 을 사용하지 못하는 사용자를 미리 선별할 수 있는 기술 개발이 필요함
나. BMI 어플리케이션 적합성 판별 기술 개발 과정 - BMI 어플리케이션의 사용을 위한 뇌파 지표 추출
- 추출된 뇌파 지표를 분석하여, BMI 어플리케이션 사용이 가능한 그룹과 사용이 불가 능한 그룹을 확인함
- 나눠진 그룹 별로 사전에 측정된 배경 뇌파 데이터를 사용하여 그룹 간 차이를 보이, 는 뇌파 지표가 있는지 확인함
그림 114 BMI 어플리케이션 적합성 판별 기술 개발 과정
◼ 개발된 웨어러블 디바이스 기반의 HRV 및 GSR 생체신호를 이용한 감정 의도 파악 알고리즘 / 정확성 향상 및 최적화
- 한국과학기술원과의 공동 연구를 통하여 다양한 감정 기쁨 슬픔 분노 두려움 놀람 ( , , , , 등 을 상태 유발 실험 프로토콜 개발)
- 실시간 생체신호(EEG, IMU, ECG, PPG....)를 측정 할 수 있는 실험환경 구축 및 실험실 구축
- 실험환경을 이용하여 정량적 감정상태 유발 실험 진행 및 기 개발 완료된 시제품의 성능 테스트 진행
◼ EMG 움직임인식 알고리즘 정확성 향상
- 다양한 사용자 그룹 모집 및 EMG 움직임 관련 Test Data 모집
- 다양한 Test Data를 이용하여 EMG 움직임 인식 알고리즘 정확성 향상
◼ 밴드 타입 EMG 측정 시스템 프로토 타입 개발
- 손목에서의 채널 근전도 신호 패턴 분석에 의한 손목 움직임 분류 정확성 향상4 - 밴드 타입 EMG 프로토타입 제작을 위한 금형 사출
- 사용자 사용에 의한 고장 및 편의성 강조를 위하여 모듈형 단위 회로 설계
◼ 장갑 모듈과 밴드타입 EMG 측정 모듈과의 통합 시스템 구축 및 Application 운용 - 사용자 편의성을 고려한 장갑 모듈과 밴드타입 EMG 모듈의 통합 시스템 구축
+ 장갑 모듈과 밴드타입 , EMG 모듈의 연동 시스템 구축 + 통합에 따른 시스템 안정화
+ 다양한 생체신호에 대한 정량화 및 정확도 향상
+ 저전력 시스템 구축을 위한 하드웨어 안정화 (Max Current: ~40mA)
+ 게임 가정환경 앱 개발과 연동하여 다양한 , , Application을 지원할수 있는 Software 개발
Platform
그림 115 안경 장갑 손목 밴드형 통합 시스템 구축 및 . , , 운용
Application
◼ 안면부 다중 생체신호기반 실시간 의도 및 감성상태 파악 알고리즘 개발
그림 117 다중모달에서 얻어진 실시간 정보처리 및 신호해석에 대한 개념도 .
◼ 멀티모달 웨어러블 장비 개선 및 실시간 처리기법 연구
가. 안정적 안면부 생체신호 취득이 가능한 차 웨어러블 시작품 개발2
- 차 웨어러블 장비를 통해 생체신호 및 영상 정보를 취득한 결과 불안정한 센서 부착1 , 으로 인한 데이터 취득 오류 등의 문제점 발생
- 차 웨어러블 장비를 통해 얻은 문제점을 보완하여 차 웨어러블 장비 개발1 2
- 차 웨어러블 장비에 대한 자체 성능 검증 예정2 . 5차년도에 기술 이전이 가능하도록 장비의 성능 향상
나. 범용적 장비 적용이 가능한 구조 연구
- 차 웨어러블 장비에서는 얼굴 크기만을 고려한 안경 고리 조절이 적용되어 있지만1 , 실제 실험 시 고리 조절 ROI의 길이가 부족한 문제점 발생
- 피험자마다 얼굴 구조가 모두 달라 센서 부착 예정 위치에 센서가 제대로 부착되지 , 않는 문제점 발생
- 피험자 마다 얼굴 구조 및 크기가 모두 다양하므로 그에 따라 웨어러블 장비를 조절, 하여 범용적인 적용
그림 118 웨어러블 장비 기술 개념도
다. SDK를 위한 실시간 생체신호 및 영상 모듈 라이브러리 구축
- 안면부 다중 생체신호기반 실시간 의도 및 감성상태 파악 알고리즘 개발 에서 얻은 ‘ ’
실시간 생체신호 및 영상정보 처리 알고리즘을 기반으로 웨어러블 장비에서 얻은 데, 이터를 실시간 처리하는 알고리즘에 적용
- Reference 장비와는 신호 취득 시스템이 다소 다르므로 웨어러블 장비에서도 , 장비에서 얻은 결과와 유사한 결과를 얻을 수 있도록 알고리즘 수정 및 개 Reference
발
- 추후 구축될 안경형 장비를 통한 실시간 생체신호 처리 SDK를 위한 라이브러리 구축. 생체신호 및 영상 수신 모듈 관련 한양대와 공조
‘ ’
그림 119 실시간 생체신호 처리 라이브러리
◼ 특성분석 및 디자인 개선
가. 통합된 형태에서 각 기능 모듈이 최초 설계된 성능을 발휘하는지 측정
나. 통합된 형태에서 모듈 간 간섭 특성을 파악하고 이를 해결하기 위한 trade off study를 수행함
다. 측정치를 바탕으로 각 세부기관과 긴밀히 협조하여 수정설계를 통해 성능향상을 도모함
◼ 56채널 유선 뇌파 측정 장치 개발
그림 120. 차년도 4 56채널 뇌파 측정 장치 개발품의 예시 가. 56채널 측정 장치 보드 개발
- 측정용 보드 장치의 AFE(analog front end)와 디지털 신호부를 분리한 구조 달성 - AFE에서 각 채널별 모듈화 달성
그림 121. AFE 모듈
- 장치부의 크기 무게 최소화,
- 장치부와 본체 사이의 데이터 규격 마련 - USB 인터페이스 본체 보드 구성
나. 뇌파캡 구조물 및 장치 외장 개발 - 뇌파캡 구조물 설계 및 제작
- 56채널 지원 가능한 장치 외장 제작
다. Telescan 연동부 개발
- 기존의 Telescan 인터페이스 유지 - 개발 장치 제어용 인터페이스 구축
라. 56채널 Device API 개발
- 21채널 Device AP를 활용한 채널 확장
- Open Device 달성 개발된 : Device API 공개
◼ tDCS가 구비된 헤어밴드형 BHM(brain heart monitoring) 장치 개발
그림 122. BHM 장치 개발품 예시
가. tDCS용 전극 개발
- 접촉 저항을 낮추고 DC 전류를 흘릴 수 있는 전극 구조 고안 - 효과적 자극을 위한 전극 부착 위치 선정
나. tDCS 전극을 포함한 헤어밴드 디자인 - 전극 접촉성 고려
- 착용 편의성 고려
다. 2채널 EEG 및 채널 1 PPG 신호 계측, tDCS용 단일 보드 개발 - tDCS 인가용 고전압 저전류원 회로 설계
- 뇌파 신호 오염 최소화
그림 123. tDCS용 단일 PCB 보드 3d Modeling
라. 데이터 송수신용 무선 통신부 개발
- 송수신 데이터 통신 프로토콜 정립 실시간 원시 신호와 장치 상태 정보의 송신과 : 데이터 수신을 위한 데이터 규격 마련
tDCS
- Device API개발 : tDCS 제어 신호를 포함한 통신 프로토콜을 공개(Open Device)하 여 개발자 누구나 장치를 활용하여 임의 호스트에서 장치에 접근할 수 있는 앱을 개발 할 수 있게 함.
◼ 상시 HRV 모니터링이 가능한 스마트 반지 개발
그림 124. 스마트 반지 개발품 예시
가. 표시 수단을 위한 반지 디자인 - 두꺼워지는 디자인 허용 - 센서 장착부 훼손 금지
나. 가속도 센서, PPG센서를 이용한 PPG신호 획득 알고리즘 개발
- PPG신호에 포함된 운동성 잡음을 제거하기 위한 적응형 필터구현 - PPG신호로부터 안정적 peak 검출
다. HRV 분석 알고리즘 개발
- 연속 상시 , HRV 분석을 위한 안정적 심박검출 알고리즘 구현
라. Device API 개발
- HRV 결과 심박수 등을 전송하는 , BLE용 데이터 규격 마련
◼ 기 개발품 브랜드 사이트 제작
가. 스마트 반지 브랜드명( ; ubpulse ring), 뇌파밴드 브랜드명( ; neuroNicel FX) 브랜드 사이트 개설
- 다중 언어 한국어 영어 지원( , ) - 글로벌 결재 수단 구비
그림 125. neuroNicle FX 그림 126. ubpulse ring
나. 특허출원 계획
- 건 이상 1 : BHM 헤어밴드 형 뇌파 측정 장치에 관한 구성 및 동작 방법.
다. 사업화 계획
기 개발품 브랜드 사이트 제작
- 개발과정에서 파생된 단위 모듈의 기존 온라인샵 - (http://laxtha-eshop.kr/main/index.php? )을 통한 판매. - 기술이전 생체정보 측정용 장갑 을 통한 사업화( ) .
- 인터넷 사이트 광고 시행 다양한 광고 서비스 활용: + 네이버 에드포스트
+ 다음 DDN + 에드플러스 + wider Planet + 구글애드센스
- 기존 협력사 옴니( C&S, 뉴로메디 를 통한 프로모션) . - 생산 시설 확보 방안 마련.
- 원자재 절감을 위한 다양한 부품 공급선 확보.
◼ 측정한 생체신호들을 입력변수로 설정하는 작업
- 뇌파 운동신호
근전도
등 신호값 최소 가지
그림 127 개발된 밴드형 뇌파측정 장치를 통한 측정된 생체신호 입력변수 설정
그림 128 개발된 장갑형 다생체신호 장치를 통한 측정된 생체신호 입력변수 설정
◼ 뇌파신호와 생체신호간의 상관성 설정 정밀화 작업
그림 129 뇌파 신호와 생체 신호간의
◼ 방향성과 반응성의 정확도를 높이기 위한 로직 개발
◼ 동작 감성 의도 인지를 위한 생체신호 분석기술 개발, ,
◼ 출력변수값 설정 작업
- 감성변수 값 : 1)전전두엽 알파 비대칭 베타 비대칭, , 2)두정엽 알파 비대칭 베타 비대, 칭, 3)HRV와 PPG 등 최소 가지6
- 뉴로피드백 프로토콜 값: 1)세타 프로토콜, 2)알파 프로토콜, 3)SMR 프로토콜, 4)저베 타 프로토토콜, 5)SMR/저베타 프로토콜, 6) 세타 알파 프로토콜 등에서 강화뇌파와 / 억제뇌파 신호값 최소 12가지
- 뉴로피드백 프로토콜 값: 1)세타 프로토콜, 2)알파 프로토콜, 3)SMR 프로토콜, 4)저베 타 프로토토콜, 5)SMR/저베타 프로토콜, 6) 세타 알파 프로토콜 등에서 강화뇌파와 / 억제뇌파 신호값 최소 12가지