Development of Multi-sensory Ensemble Technology for Augmenting the Ability of Human Sensory and Perception

2019년 12 월 19ZS1500-01-1620P

인간의 감각⦁지각 능력을 증강하는

다중 감각 융합기술 개발

Development of multi-sensory ensemble technology for augmenting

the ability of human sensory and perception

[별첨 3-1-1]

주요사업 연차실적 보고서

연차실적 보고서

과제유형

1. 기초미래선도형 ( ○ ) 2. 공공인프라형 ( ) 3. 산업화형 ( )

대과제명

ETRI R&D 역량 강화를 위한 선행적 기획기반 구축사업

세부과제명

미래핵심도전연구개발사업

세부과제

책임자

소속 및 부서

인공지능연구소

휴먼증강연구실

직위

(직급)

책임연구원

성명

문 경 덕

총연구기간

2019년 1월 1일 부터 2028년 12월 31일 까지 (120 개월)

당해연도

연구기간

2019년 1월 1일 부터 2019년 12월 31일 까지 (12 개월) ( 1차년도)

참여인력(M/Y)

총 연 구 기 간

90 명 ( 40.3 M/Y)

당해연도 연구기간

11 명 ( 4.3 M/Y)

참여기관

기관명

연구책임자

기관명

연구책임자

참여연구기관

위탁연구기관

KAIST

이승희

서울대학교병원

김준식

부경대학교

김채규

고려대학교

주재걸

키워드

(6~10개)

감각지각증강,

다중감각융합,

감각대체장치,

Sensory

Substitution,

Perception, SSD

정부출연금사업 연차평가 보고서를 제출합니다.

2019년 12월 06일

과 제 책 임 자 : 문 경 덕 (인)

직 할 부 서 장 : 이 윤 근 (인)

한국전자통신연구원장 귀하

FET 기슬 예측 프로세스 정립(안)

인 사 말 씀

첨단 과학기술로 대두되는 ICT 기술은 국가적으로는 경제성장을 위한 인프라 기술로서 산업간

/기술간 융합의 중심에 있어 왔으며, 국민에게는 편리하고 행복한 생활을 제공하는 국민행복기술로서

발전하여 왔습니다.

ETRI는 지난 40여년 동안 우리나라 ICT의 탄생과 핵심 기술들의 개발을 주도하여 ICT 분야의

국내 최고 R&D 출연연으로 위상을 확고히 하여 왔으며, 최근에는 보다 나은 미래, 안전한 환경

그리고 편리한 생활을 위해 부단히 연구 개발하고 있습니다.

현재 우리는 ‘제4차 산업혁명’이라는 대변혁의 시대에 살고 있습니다. 이러한 변혁은

‘디지털 탈바꿈’(Transformation) 시대, ‘정보화 시대의 제2차 시기’라고도 불립니다. 그

이름이 무엇이든지 핵심기술은 정보통신기술(ICT)입니다. ABCI로 대표되는 인공지능(A), 빅데이터(B),

클라우드(C), 그리고 사물인터넷(I)은 모두 ICT입니다. ICT 기술의 지속적인 선도와 국가 R&D의

향상을 목표로 현재 전 세계적으로 기술 개념정립단계에 있는 휴먼증강기술의 핵심원천기술을

선점하기 위하여 ETRI의 미래핵심도전연구개발사업의 일환으로 “인간의 감각⦁지각 능력을

증강하는 다중 감각 융합기술 개발”과제를 수행하고 있습니다.

본 연구에서 수행한 결과가 바탕이 되어 ETRI와 정부에서 추진하는 선도형 원천기술 발굴,

국제 경쟁력 제고를 위한 대형연구 사업의 발굴, 미래사회에 직면하게 될 난제 해결 방안 모색

및 사회적 약자들의 삶의 질을 향상할 수 있는 기술의 개발에 도움이 되기를 바랍니다.

끝으로 본 연구에 참여해 주신 연구원 여러분의 노고와 연구가 원만히 수행될 수 있도록

지원하신 관계자 여러분께 감사의 뜻을 표합니다.

2019년 12월

한국전자통신연구원 원장 김 명 준

FET 기슬 예측 프로세스 정립(안)

제 출 문

본 연구보고서는 ETRI 주요사업인 “인간의 감각∙지각 능력을 증강하는 다중 감각 융합기술 개발”

연구의 결과로서, 본 과제에 참여한 아래의 연구진이 작성한 것입니다.

2019 년 12 월

연구책임자 : 책임연구원 문 경 덕 (ETRI)

연구참여자 : 책임연구원 박 윤 경 (ETRI)

책임연구원 김 무 섭 (ETRI)

책임연구원 정 치 윤 (ETRI)

책임연구원 신 형 철 (ETRI)

책임연구원 박 준 석 (ETRI)

책임연구원 김 문 구 (ETRI)

선임연구원 오 창 목 (ETRI)

선임연구원 신 승 용 (ETRI)

연구연수생 김 주 은 (ETRI)

연구연수생 이 수 비 (ETRI)

요 약 문

Ⅰ. 제 목 인간의 감각⦁지각 능력을 증강하는 다중 감각 융합기술 개발 Ⅱ. 연구목적 및 중요성 1) 연구의 목적 감각･지각 증강 기술은 인간의 신체적(물리적) 한계 또는 손실로 인해 직접 감지 못했던 외부의 자극과 정보를 다중 감각 신호로 변환하고 인간이 보유한 감각기관의 조합을 통해 전달함으로써 인간의 감각･지각 능력을 증강시키는 기술이다. 본 과제는 특정 감각기관이 손상되었거나 기능이 저하된 사람도 정상인처럼 생활이 가능하도록 해당 자극을 다른 정상 감각기관이 감지할 수 있는 신호로 변환하여 전달하는 휴먼증강 원천 기술의 확보를 목적으로 하고 있다. 2) 연구의 중요성 신체 기능의 손실이나 상실에 의해 감지하지 못하는 자극이나 정보를 다른 감각기관을 통해 전달하여 뇌가 이해하게 하는 기술은 시도된 적 없는 원천 기술로 기계가 인간을 뛰어넘는 특이점 시대가 도래함에 따라 기계와 인간의 상호 공존을 위해 확보하여야 할 필수적인 기술이다. 사람이 느끼는 감각적 한계를 극복하여, 지금까지 경험하지 못했던 새로운 경험을 제공하는 기술은 컴퓨팅 방식뿐만 아니라 기존 삶의 방식과 다양한 산업 체계를 바꿀 수 있는 파괴적인 컴퓨팅 기술로 미래 경쟁력 확보에 중요한 역할을 수행하는 기술이다. 급속한 고령화, 선천적･후천적 장애, 기계 중심의 기술로 인한 차별화 및 인간 소외가 심화되고 있는 상황에서, 기술의 도움으로 제약을 극복함으로써 향후 발생할 수 있는 사회적･경제적 문제들을 해소 하거나 경감하여 삶의 질을 향상시킬 수 있는 인간 중심의 기술이다. 감각･지각 증강 기술은 기술포화 시대에 새로운 돌파구를 제공하는 기술로 대내외 변화 요구 및 환경변화에 적극적으로 대응하여 국가 경쟁력 향상뿐만 아니라 ETRI의 위상 재정립 및 도약에 중요한 역학을 수행하는 기술이다. 해외 주요국에서는 일부 감각치환 기술을 바탕으로 상용화를 위한 서비스 개발 단계로 추진되고 있으나, 국내는 본 기술에 대한 원천기술 연구가 진행되고 있지 못한 실정이다. 선제적인 R&D 투자로 중 장기적 핵심 원천기술 확보를 추진할 시, 지속적인 경쟁 우위 확보가 가능하여, 미래 산업 창출 및 기존 산업의 발전을 선도할 수 있는 중요 기술이다. Ⅲ. 연구내용 및 범위 본 과제에서는 외부 자극을 변환된 감각 신호 전달하기 위한 감각･지각 증강 프레임워크를 연구 내용으로 한다.

개발될 프레임워크는 다음과 같은 기술로 구성된다. Ÿ 외부의 자극을 감지하고, 다른 감각 신호로 변환하는 변환 신호 생성기술, Ÿ 변환된 감각 신호를 뇌로 전달하고, 지각할 수 있도록 하는 감각 신호의 전달 및 학습 기술, Ÿ 다중 감각의 인지 메커니즘을 분석하고 멀티 모달 기반의 지각 검증하는 감각 기전 분석 및 지각 검증 기술로 구성된다. 다양한 외부 자극 중 제공할 수 있는 정보량이 가장 많은 시각정보를 대상으로 1단계에는 단일 감각을 이용한 증강, 2단계에는 다중 감각을 이용한 증강, 3단계에는 융합 감각을 이용한 증강 연구를 과제의 범위로 한다. Ⅳ. 연구결과 당해년도에는 연구 과제 전기간/전단계에 걸친 기술 개발을 위한 요구사항 분석과 시스템 상위 설계를 수행하였다. 요구사항 도출을 위하여 실제 기술 수요자로 예상되는 시각장애 전문가와 장애인을 대상으로 3회에 걸친 초점 집단 인터뷰를 진행하였으며, 약 160명 설문 조사를 통하여 시각장애인의 요구사항을 분석하여 사용자 요구사항을 도출하였다. 도출된 요구사항을 기반으로 단일 감각 정보의 단순 1:1 변환이 아닌 다중 감각(n:n) 정보의 융합 및 변환을 위한 프레임워크의 기본구조를 설계하고 시스템 상위 설계 및 서브시스템 간 상호 관계를 정의하였다. 실효성 및 경쟁력 있는 감각･지각 증강 시스템 설계를 위하여 기존 기술 들을 분석하고 프로토타입을 구현, 검증함으로써 선행 기술들의 특성을 파악하였으며, 시각정보의 효율적인 전처리 및 정보의 간략화를 위하여 머신러닝 기술인 GAN 기법을 접목하는 등 다양한 학술적 접근방법을 적극적으로 시도하여 차년도 연구에 활용할 수 있도록 진행하였다. 연구의 혁신성 및 원천성을 고려할 때 조기 IPR 확보가 필수적인 분야로 이를 위하여 감각대체 기술의 특허 동향 및 주요특허의 권리분석을 수행하여 4건의 핵심 IPR을 도출하였다. 확보한 IPR은 감각대체 알고리즘뿐만 아니라 설계한 전체 시스템에 관한 특허를 포함하고 있어서 감각･지각 증강 시스템 전반에 관한 체계적인 연구와 경쟁력 확보에 기여할 수 있다. 기존 뇌 과학 및 뇌 공학 분야에서 암묵적으로 가능성을 언급한 감각대체의 실제 검증을 위하여 감각 신호의 전달 및 감각 신호의 지각 메커니즘을 동물 모델을 활용하여 감각 기전을 확인하고, 사람의 뇌 신호를 측정하여 실제 사람의 뇌에서 감각 대체 신호가 전달되었을 때 목표 감각의 지각 여부를 검증할 수 있는 실험 환경을 구축하여 객관적인 검증 결과를 제시할 수 있는 토대를 마련하였다. 이는 단순 실험 수준에 그치고 있는 기존 연구들의 문제점을 극복하고 개발할 시스템의 실효성을 판별하고 정량화하는데 필수적인 기술로 향후 연구의 신뢰성 확보 및 산업화의 기반을 제공할 것이다. 당해 연도 연구 목표에 따라 추진하기로 하였던 주요 연구목표 및 정성적 연구목표들을 충실히 이행하여 추후 수행할 연구 전단계에 걸친 기반을 확보하였다.

Ⅴ. 기대성과 및 건의 1) 기대성과 본 연구를 통하여 감각･지각 증강 전반에 걸친 원천 기술의 확보가 가능하다. 제한된 환경에서 한정된 자극만을 변환하여 전달하는 기존 기술의 한계를 극복하여 새로운 감각기관을 통하여 유의미하고 실생활에서 사용 가능한 수준의 초감각 및 지각 정보를 제공하는 핵심 기술을 확보할 수 있으며, 새로운 자극에 대한 사용자(후천적‧선천적 장애자)의 지각 특성 및 정확도에 대한 피드백을 반영한 Learning-by-Doing 학습 기술의 확보도 가능하다. 개발된 학습 기술은 감각과 지각뿐만 아니라 사람을 대상으로하는 다양한 학습 프레임워크 개발의 기본 지침을 제공할 수 있다. 감각･지각 증강 핵심 기술의 확보뿐만 아니라 다중 감각 학습을 통하여 수집된 사용자 피드백을 이용하여 검증되지 않은 사람의 감각과 지각 특성을 발견하고, 과학적인 근거를 제시하여 휴먼 연구에 대한 기여도 가능하다. 연구 내용을 바탕으로 국내외 표준화를 추진하여 글로벌 표준을 선도함으로써 감각･지각 증강기술 관련 새로운 산업 창출 및 관련 생태계 전 영역의 산업 발전에 기여할 수 있으며 기존의 다양한 산업 분야 융합을 통하여 새로운 산업 패러다임을 창출하게 될 것이다. 감각 능력이 떨어지거나 해당 능력을 가지지 못한 사람들도 다른 감각 경로를 이용하여 같은 자극을 지각하는 것이 가능하여 다른 사람의 도움 없이 일상생활이 영위할 수 있으며, 사고, 오염 등 각종 위험 상황에 대한 학습을 통하여 다양한 사회문제 들을 사전에 감지하고 예방하는 것이 가능하여 인간 중심의 더욱 안전하고 편안한 삶을 영위하는데 기여하게 될 것이다. 2) 건의 사항 “감각⦁지각 능력을 증강하는 다중 감각 융합기술 개발 연구”는 「생명윤리및 안전에 관한 법률 시행규칙 제2조」에서 규정하는 인간 대상 연구 중 “의사소통, 대인 접촉 등의 상호작용을 통하여 수행하는 연구”에 해당하므로 「생명윤리 및 안전에 관한 법률 제15조」에 따라 보건복지부 지정 공용기관 생명윤리위원회의 심의를 받아야 하는 연구로 IRB　심의 기간이나 소요 자원을 고려할 때 원내 IRB 위원회 설립이 요구된다.

ABSTRACT

Ⅰ. TITLE

Development of multi-sensory ensemble technology for augmenting the ability of human sensory and perception

Ⅱ. THE OBJECTIVES

Sensory and perceptual augmentation technology is an human augmentation technology, that transforms the characteristics of one sensory modality into stimuli of another sensory modality or of a combination of sensory modalities and transmit them to brain.

In this project, our object is develop human sensory and perceptual enhancement technology which helps people by restoring their ability to perceive certain defective sensory modality by using sensory information from a functioning sensory modality or combination of sensory modalities.

The technology of transmitting stimuli or information through other sensory organs, rather than the sensory organs that must be originally delivered, is a technique that has never been attempted. As the era of singularities in which machines surpass humans is approaching, it is an essential skill that must be secured for the mutual coexistence of machines and humans. Overcoming the sensory limitations of human beings and providing new experiences that have not been experienced so far are not only computing methods, but also disruptive computing technologies that can change existing ways of life and various industrial systems.

Rapid aging, congenital and acquired disorders and machine-oriented technology are deepening differentiation and alienation of humans, this technology will help to overcome or reduce these social and economic problems that may arise in the future. Therefore, it is a human-centered technology that can improve the quality of life.

Sensory and perception-enhancing technology is a technology that provides new breakthroughs in the age of technology saturation. It is a technology that not only improves national competitiveness but also plays an important role in reestablishing and leaping ETRI's current status by proactively responding to changes in domestic and foreign demands and environmental changes.

Major foreign countries are promoting the development of services for commercialization based on some sensory substitution technologies, but in Korea, research on the technology has not been conducted. It is a key technology to create future industries and improve existing industries. A competitive edge can be secured through proactive R&D investments.

Ⅲ. THE CONTENTS AND SCOPE OF THE STUDY

In this project, we develop the sensory and perceptual augmentation framework. The framework to be developed is consists of the following technologies:

Ÿ Transformed signal generation technology that detects external stimuli and transforms them into other sensory signals.

perceptual augmentation

Ÿ Sensory mechanism analysis and perceptual verification technology that analyzes cognitive mechanisms of multiple senses and verifies multi-modal based perception

The scope of the project is to focus on visual information with the largest amount of information that can be provided among various external stimuli. In the first stage, the research will focus on augmentation using a single sense, augmentation using multiple senses in a second stage, and augmentation research using a fused sense in a third stage.

Ⅳ. RESULTS

In this year, requirements analysis and system structure design were carried out for the development of the technology in all stages of the research project. In order to derive the requirements, three focused group interviews were conducted for the visually impaired experts and the handicapped who are expected to be the actual consumer of the technology. The needs of the visually impaired were analyzed through a survey of about 160 people.

Based on the derived requirements, we design a framework that supports transformation of multiple sensory (n: n) information rather than a simple 1:1 transformation of single sensory stimuli. Also designed framework includes interrelation between subsystems.

For the purpose of designing effective and competitive sensory and perceptual augmentation systems, we analyzed the existing technologies, implemented and verified prototypes, and analyzed the pros and cons of prior research. For the efficient preprocessing and the simplification of visual information, various academic approaches such as GAN, which is a machine learning technology, were actively attempted to be utilized for the next year's research.

Considering the innovativeness and originality of the research, it is essential to secure IPRs as soon as possible. For this purpose, four core IPRs were derived by analyzing patent trends and rights analysis of major sensory substitution patents. The secured IPR includes patents on the entire system as well as sensory substitution algorithms, which can contribute to systematic research and overall competitiveness of the sensory and perceptual augmentation system.

For the actual verification of sensory and perceptual augmentation, which implicitly mentioned the possibility in the existing brain science and brain engineering research, the sensory and the perceptual mechanisms are confirmed by using animal models. And also measured human brain reaction to verify the perception of target sensations when transformed sensory signals were transmitted. By doing this, we laid the foundation for verification of the our future research.

Our approach is essential for overcoming the problems of existing studies, which are only experimental levels, and present the evidence of effectiveness of the system to be developed. This will provide the basis for securing the reliability and industrialization of our future research. This year we met our planned research goal and laid the foundation for the next stage of research.

Ⅴ. EXPECTED RESULT & PROPOSITION

1) EXPECTED RESULT

overcoming the limitations of existing technology, that transforms and delivers only limited stimuli in a limited environment, it is possible to secure core technologies that provide meaningful and effective in real world. It is also possible to secure learning-by-doing techniques that reflect feedback on perceptual characteristics and accuracy. The developed learning skills can provide the basic guidelines for developing a variety of learning frameworks for humans as well as sensory and perception. In addition to securing core technologies for sensory and perception, we can discover human sensations and perceptual characteristics by using user feedback collected through multi-sensory learning, and contribute to human research by presenting scientific evidence.

Based on the research, we can lead to global standards by promoting domestic and international standardization. Thereby contributing to the creation of new industries related to sensory and perception-enhancing technologies, the development of the ecosystem, and creating a new industrial paradigm through the convergence of existing industries.

By using the sensory and perception augmentation technology, people who has defective sensory and perception ability can live daily life without the help of others. If sensory and perception augmentation technology targets information about dangerous situations, such as accidents and pollution, we can proactively detect and prevent various social issues. This technology will contribute to a safer and more comfortable life.

2) PROPOSITION

The study, Development of multi-sensory ensemble technology for augmentingthe ability of human sensory and perception, should be reviewed by a public institutional bioethics committee designated by the Ministry of Health and Welfare in accordance with Article 15 of the Bioethics and Safety Act because it is a study of human subjects defined in Article 2 of the Enforcement Regulations of the Bioethics and Safety Act. Considering the duration of the review and the resources, the establishment of an in-house IRB committee is required.

목 차

제 1 장 서 론 ···1 제1절 과제 개요 ···1 1. 연구개발과제의 개요 ···1 2. 연구목적 및 연구범위 ···2 제2절 필요성 및 중요성 ···3 1. 연구개발 과제의 필요성 ···3 2. 연구개발 과제의 중요성 ···4 제3절 연구개발의 기대효과 ···7 1. 기술적 기대효과 ···7 2. 산업적 기대효과 ···7 3. 사회적 기대효과 ···8 제 2 장 본 론 ···9 제1절 최종 목표 및 연차 목표 ···9 1. 최종목표 ···9 2. 연차별 연구개발 목표 및 내용 ···10 제2절 수행내용 요약 및 목표 달성도 ···14 1. 당해연도(2019년) 연구개발 내용 및 범위 ···14 2. 당해연도(2019년) 수행내용 요약 및 목표 달성도 ···16 제3절 당해연도 연구 수행내용 ···26 1. 요구사항 분석 및 시스템 상위설계 ···26 2. 감각신호 변환 및 고유신호 생성 ···58 3. 감각신호 전달 및 학습 ···75 4. 감각 기전 분석 및 지각 검증 ···86 제 3 장 연구성과 및 활용계획 ···99 제1절 연구 성과 ···99 1. 연구 내용의 우수성 ···99 2. 정량적 연구성과 ···102

제2절 연구결과의 활용 방안 및 기대 효과 ···104 제 4 장 결론 및 차년도 연구계획 ···106 제1절 결론 ···106 제2절 차년도(2020년) 연구계획 ···107 제3절 애로 및 건의사항 ···108 참고문헌 ···109 약어표 ···111

표 목차

(표 1) 시각장애 전문가 대상 FGI 참여자 특성 ···28 (표 2) 시각 장애 전문가 FGI를 통해 도출한 시각장애인의 특성 ···29 (표 3) 선천성 시각장애인 그룹 초점집단인터뷰 결과 ···30 (표 4) 후천성 시각장애인 그룹 초점집단인터뷰 결과 ···30 (표 5) 실태조사 문항 구성 ···32 (표 6) 실태조사 참여자 성별 구성 ···33 (표 7) 실태조사 참여자 연령 분포 ···33 (표 8) 실태조사 참여자 장애 유형 ···33 (표 9) 시각장애인의 인식과 경험 ···34 (표 10) 시각장애인의 행동을 제약하는 장애물 ···34 (표 11) 시각장애인이 가장 필요로 하는 정보 ···35 (표 12) 장애 유형에 따른 시각장애인이 가장 필요로 하는 정보 ···35 (표 13) 시각장애인이 가장 보고 싶은 욕구를 느끼는 분야 ···35 (표 14) 청각 신호 외에 정보의 전달에 선호하는 감각 유형 ···36 (표 15) 희망하는 보조공학기기의 형태 ···36 (표 16) 시각장애인이 희망하는 보조공학기기의 기능 ···36 (표 17) 분석대상 특허의 검색 DB 및 검색 범위 ···37 (표 18) 특허분석 대상 및 기술분류 ···37 (표 19) 유효특허 및 노이즈 특허 제거 기준 ···38 (표 20) 유효특허 선별결과 ···38 (표 21) 주요특허 선정 결과 ···39 (표 22) 주요특허 선정기준 ···40 (표 23) 핵심특허 리스트 ···40 (표 24) 핵심 IP 분석 항목 및 목표 ···41 (표 25) 준핵심특허(심사중) 리스트 ···41 (표 26) 준핵심특허(공개/소멸) 리스트 ···42 (표 27) 요구사항 번호체계 ···45

(표 28) 사용자 요구사항 ···46 (표 29) 감각ž지각증강 프레임워크 개발 및 공급자 요구사항 ···47 (표 30) 감각치환 서비스 및 장치 개발자 ···47 (표 31) 감지-공간 분석(SSA) 기능 요구사항 ···48 (표 32) 다중 신경 코드 인코딩(MNCE) 기능 요구사항 ···48 (표 33) 다중 감각기관 전송(MSOC) 기능 요구사항 ···49 (표 34) 감각대체 자가-학습(SST) 기능 요구사항 ···49 (표 35) 성능 요구사항 ···50 (표 36) 인터페이스 요구사항 ···50 (표 37) 서브시스템 세부 구성 및 정의 ···52 (표 38) 감지-공간 분석기(SSA)의 주요 기능 ···54 (표 39) 다중 신경 코드 인코더의 주요기능 ···55 (표 40) 다중 감각기관 전송기의 주요기능 ···56 (표 41) 감각대체 자가-학습기의 주요기능 ···57 (표 42) Scene segmentation 성능 비교 ···65 (표 43) Saliency detection 성능 비교 ···66 (표 44) Interactive segmentation 성능 비교 ···68

그림 목차

(그림 1) 감각지각증강기술 개념도 ···1 (그림 2) 연구과제의 필요성 ···4 (그림 3) 연구개발 과제의 중요성 ···5 (그림 4) 단계별 연구개발 주요 내용 ···11 (그림 5) 1단계 연구개발 주요 내용 ···11 (그림 6) 2단계 연구개발 주요 내용 ···12 (그림 7) 3단계 연구개발 주요 내용 ···13 (그림 8) 감각지각 증강기술의 세부 핵심기술 구성 ···14 (그림 9) 실태조사 설문지 ···32 (그림 10) 주요 국가별 연도별 특허 동향 ···39 (그림 11) 핵심특허 권리분석 ···41 (그림 12) 핵심특허 아이템 1의 개요 ···43 (그림 13) 핵심특허 아이템 2의 개요 ···43 (그림 14) 핵심특허 아이템 3의 개요 ···44 (그림 15) 핵심특허 아이템 4의 개요 ···44 (그림 16) 감각ž지각 증강 프레임워크 구조도 ···51 (그림 17) 서브시스템간의 상호 관계와 관련 정보들의 흐름 ···53 (그림 18) 감지-공간 분석기의 하드웨어 및 소프트웨어 구조 ···53 (그림 19) Feature Map 생성 개요 ···54 (그림 20) 다중 신경 코드 인코더의 하드웨어 및 소프트웨어 구조 ···54 (그림 21) 다중 감각기관 전송기의 하드웨어 및 소프트웨어 구조 ···55 (그림 22) 감각대체 자가-학습기의 하드웨어 및 소프트웨어 구조 ···56 (그림 23) vOICe의 음향신호 생성 개념도 ···58 (그림 24) VIBE 음향신호 생성 개념도 ···59 (그림 25) Eyemusic의 개요 및 착용 예 ···60 (그림 26) SeeColor의 개요 및 착용 예 ···60 (그림 27) Sound of Vision 프로토 타입 ···61

(그림 28) AEV2A의 음향신호 생성 네트워크 구조 ···62

(그림 29) GAN 기반의 학습을 도입한 시각정보 간략화 모델 구조 ···63

(그림 30) Deeplab-v3-plus 네트워크 구조 ···64

(그림 31) PASCAL 데이터셋 샘플 및 태깅 영상 ···64

(그림 32) GAN 기반 학습을 적용한 Scene segmentation 결과 영상 ···65

(그림 33) PiCANet 네트워크 구조 ···65

(그림 34) DUTS 데이터 셋의 샘플 및 마스크 영상 ···66

(그림 35) Saliency detection 결과 비교 (좌) PiCANet (우) 제안 방법 ···66

(그림 36) Sharp Mask 네트워크 구조 ···67

(그림 37) COCO 2014 데이터셋 샘플 영상 ···68

(그림 38) Interactive segmentation 결과 비교 (좌) SharpMask (우) 제안 방법 ···69

(그림 39) 시각 정보의 청각 변환 신호 생성 알고리즘 분류 ···70 (그림 40) Vibe 시각 정보 변환 소리 생성 개념도 ···70 (그림 41) AEV2A 방법의 학습 가능성 검증 시험 영상 ···71 (그림 42) 영상 변화에 따른 유사도 측정 결과 (좌) 영상 수평 이동 (우) 영상 수직 이동 (하) 영상 회전 ···72 (그림 43) 시각정보의 청각 변환 신호 생성 기술 프로토타입 구조 ···73 (그림 44) PFAN 네트워크 구조 ···73 (그림 45) 망막내 원추세포 및 상관세포 분포 ···75 (그림 46) 망막의 구조 ···75 (그림 47) 공간 주파수와 명암 대비와의 관계 ···76 (그림 48) Equal-loudness contour ···77 (그림 49) 촉각의 특징 ···77 (그림 50) 시각 기관 단면도 ···78 (그림 51) 시각 기관 정보 흐름 ···78 (그림 52) 청각 기관 정보 흐름 ···79 (그림 53) 촉각 정보 전달 메커니즘 ···80 (그림 54) 감각 대체 자가 학습기 고려사항 ···82 (그림 55) 감각대체 자가학습기 하드웨어 구조 ···83 (그림 56) 감각 대체 자가 학습기 데이터 흐름 ···84 (그림 57) 감각대체 자가학습기 프로토타입: 학습 모듈 ···85

(그림 58) 감각대체 자가학습기 프로토타입: 테스트 모듈 ···85 (그림 59) 25개 시각 자극과 시각 자극을 청각 자극으로 변환하는 방법 ···86 (그림 60) 대뇌 신경활동 분석 실험 패러다임 및 자극 제시 순서 ···87 (그림 61) 대뇌 신경활동 분석을 위한 뇌전도(EEG) 측정 모습 ···89 (그림 62) 참가자 별 평가 시행 정답률 변화 ···90 (그림 63) 실험 차수에 따른 실험 난이도 평점 변화 ···90 (그림 64) 후두 중심 채널의 위치와 평가 시행에서 기저 구간 및 자극 제시 구간 간 차이 ···91 (그림 65) 실험 차수에 따른 자극 제시 후 500ms 부터 자극 제시 종료까지 각 대역폭의 동기화 강도의 평균 변화율과 청각 통제 시행과의 비교 ···92

(그림 66) 청각 처리 영역(TP8, F8)과 시각 처리 영역 (PO8, Oz) 채널의 실험 차수에 따른 delta 대역폭 동기화 강도 비교 ···92 (그림 67) 연결성이 증가하는 측두엽-가측 후두엽 영역과 후두엽-전두엽 영역 연결성 ···93 (그림 68) 생쥐 모델의 신경 신호 측정 실험 모식도 ···94 (그림 69) 역행성 추적자를 활용한 후두정피질 뇌영역(시각, 청각 피질)의 3차원 생쥐 뇌지도 매핑 과정 ···95 (그림 70) 생쥐 모델의 시‧청각 정보 식별에 기반한 의사 결정 행동 비교 ···96 (그림 71) 시‧청각 정보 유입의 입력(하위)과 출력(상위) 회로 해부도 매핑 ···96 (그림 72) 생쥐 모델의 시‧청각 통합 학습 및 행동 측정 시스템 구축 ···97

제 1 장 서 론

제1절 과제 개요

1. 연구개발과제의 개요

가. 연구개발 과제 개요 - 감각･지각 증강 기술은 인간의 신체적(물리적) 한계 또는 손실로 인해 직접 감지 못했던 외부의 자극과 정보를 감지해서 다중 감각 신호로 융합하고 인간이 보유한 감각기관의 조합을 통해 전달함으로써 인간의 감각･지각 능력을 증강시키는 기술 • 자극�정보를 형태�종류에 무관하게 임의의 감각 전달체계를 통하여 뇌로 전달하여, 뇌가 언어�사고 체계를 통한 해석없이 무의식적으로 지각하게 하여, • 누구나 기술의 도움으로 선천적･후천적 신체적 제약을 극복하여 차별화에 의한 인간 소외 해소 및 사고 예방 등 사회적･경제적 손실을 최소화하는 인간 중심의 新혁신을 초래하는 기술임 - 본 과제에서 개발하고자 하는 인간의 감각･지각 능력을 증강시키는 감각･지각 증강 프레임워크는 • 외부의 자극을 감지하고, 감지된 정보를 인간이 감지할 수 있는 감각신호로 변환하는 감각 신호 변환 및 고유 신호 생성 기술, • 변환된 감각신호를 뇌로 전달하고, 전달된 다중 감각신호의 지각을 위한 학습하는 감각신호의 전달 및 학습 기술 • 다중 감각의 인지 메커니즘을 분석하고 멀티 모달 기반의 지각 검증하는 감각 기전 분석 및 지각 검증 기술로 구성됨 (그림 1) 감각지각증강기술 개념도

2. 연구목적 및 연구범위

가. 연구목적 - 본 과제는 감각기관이 손상 또는 저하된 사람도 정상인처럼 생활이 가능하도록 외부 자극을 직관적으로 지각할 수 있게 하는 휴먼증강 원천 기술을 확보하는 것을 목적으로 함 • 외부의 자극과 정보를 감각별 수용체의 한계/유효 해상도를 분석하고 이종 감각간의 연관성 분석 및 통합 특징 추출하고 모델링하여 사용자 상황과 개인화를 반영한 고유 신호를 조합 하거나 생성하는 감각신호 변환 및 고유 신호 생성 기술, • 감각 수용체의 자극 위치 및 강도의 최적 조합을 규명하고 고정 경로 기반 다중 감각 신호의 개인별 민감도 분석 및 정량화하여 다중 감각신호를 효율적으로 전달하는 감각신호의 전달 및 학습 기술, • 인체의 감각신호의 전달과 자극의 기전 및 이종 감각의 통합에 관한 기능적(물리적) 연결성을 실험실 환경의 동물 실험을 통하여 규명하고 감각신호 간의 연관성과 상황별 우세 감각을 도출하는 감각 기전 분석 및 지각 검증 기술을 개발 목표로 설정함 나. 연구범위 - 본 과제 연구범위는 외부 자극 감지를 위한 대상 감각기관과 변환된 감각신호를 전달하기 위한 감각기관의 형태를 구분하여 연구 범위를 설정 • 본 과제에서 외부 자극을 감지하는 대상 감각은 감지하여 제공할 수 있는 정보량이 가장 많은 것으로 인식되는 눈으로 감지하는 시각정보를 연구범위로 하며, • 본 과제에서 감지한 시각 정보를 전달하는 감각기관은 “(1단계)단일감각 → (2단계)다중감각 → (3단계)융합감각”의 3단계로 구분하여 연구 범위를 설정함

제2절 필요성 및 중요성

1. 연구개발 과제의 필요성

m 국가정책 및 과학기술정통부의 기술 수요 - 사람 중심의 제4차 산업혁명 선도를 위한 정부정책 및 디지털 미래기술 개발로 인류가 직면한 한계를 극복하고 국가 지능화에 기여하기 위한 국가 차원의 정책 추진 중 - (I-KOREA 4.0) 4차 산업혁명 시대 지능화 혁신동력으로서 ICT 역할 확대와 국민의 삶의 질 개선을 위한 방안 모색의 일환으로 수립 (’18.01) - 뇌연구혁신 2030(5대 핵심기술) 차세대 인공지능, BMI, 뉴로모픽칩 등 5대 핵심기술개발을 통한 글로벌 Top 기술력 확보에 기여 (과기정통부, ’18.05) m 사회문제 해결을 위한 과학기술 역할 증대 - 고령 사회로의 가속화, 장애인 및 기능의 저하와 역할 상실을 겪게 될 고령 인구의 증가로 야기될 미래 사회 문제에 선제적 대응을 위한 고령인 친화형 ICT 역할의 중요성 증대 및 공공 R&D 역량 강화 필요성 확산 - (제2차 과학기술기반 국민생활(사회)문제 해결 종합계획) 국민 삶의 질을 향상시키는데 과학 기술이 그 역할을 다하기 위한 범부처 R&D 종합계획 수립 (과기정통부, '18.06) - 휴먼･신체 증강 기술 및 뇌-컴퓨터 인터페이스 기술은 국가 및 산업 발전의 핵심 수요 기술로 부각 • 휴먼·신체 증강 기술: 10대 미래유망기술(KISTI, ‘16년), 국가융합기술발전전략(‘14년), 국가과학기술 중장기 발전전략(안)(‘12년)

• 뇌-컴퓨터 인터페이스 기술: KISTEP의 10대 유망 기술(KISTEP,‘09년), MIT 테크놀로지 리뷰의 10대 차세대 기술(MIT 테크놀로지 리뷰,‘11년), 세계경제포럼(WEF) 10대 유망기술(KIST,‘16년)

m ETRI 고유임무 - 민간과 차별화된 미래형 핵심원천기술 개발 및 융합․협업형 연구 활성화를 통해, 출연(연)으로서 국가 지능화에 필요한 Enabler를 제공하고 국민 삶의 질 향상 및 국가 사회 문제해결에 기여하도록 고유임무 재정립 필요 - 전문성 확보, 기관 핵심 분야 R&D 역량강화 및 연구생산성 향상을 위한 중장기 로드맵 기반 전략성 강화에 대한 요구 확산 - 본 연구과제는 중장기 로드맵의 [초지능 2-2-2] 감각증강/감각치환 기술에 포함되는 기술임 m ETRI R&R 부합성

- 디지털 미래기술 개발로 인류가 직면한 한계(시간․공간․지능․언어․신체)를 극복하고 국가 지능화에 기여하기 위해 초연결, 초지능, 초실감, 국가지능화를 향후 ETRI가 중점적으로 추진할 R&R 분야로 선정 - 인간중심의 초지능 정보사회 기반을 제공하는 초지능 기술은, 디지털 지능화로 국민 편익 제공과 고령화 등의 사회문제 해결하는 복합인공지능 기술과 인간-자율지능 시스템 및 자율지능 시스템들 간 상호 공존하는 자율지능(symbiotic autonomous) 사회 실현하는 자율지능공존 기술로 구성 • 자율지능공존 핵심기술 : 로봇지능, 자율이동체 지능화, 휴먼증강 기술로 구성 • 휴먼증강 핵심기술 : 감각·증강기술, 인지증강기술, 신체증강기술로 구성 - 본 연구과제는 ETRI R&R의 초지능-자율지능공존-휴먼증강에 포함되는 기술임 (그림 2) 연구과제의 필요성

2. 연구개발 과제의 중요성

m 기술의 원천성 - 신체 기능의 손실이나 상실에 의해 감지하지 못하는 자극이나 정보를 외부 장치로 감지해서 신체 감각기관의 조합을 통해 전달하여 뇌가 이해하게 하는 기술은 본 과제에서 개념적으로 처음 제안하는 기술임 m 혁신적 R&D 기술의 선점 필요 - 인공지능이 인간 지능을 초월하는 특이점 도래로 다가올 기술 포화 시대에 기계와 인간이 상호 공존하기 위한 혁신적인 원천 기술 확보 시급

- 오감의 손실이나 상실로 인하여 감지하지 못했던 외부 자극과 정보들을 지각할 수 있게 하여 사람의 뇌가 가진 능력을 극대화하기 위한 원천 기술 개발 필요 - 기계로 사람이 느낄 수 있는 스펙트럼을 확장하여 신체적 능력의 극복하는 기존 기술에 주관적 경험과 고차원 사고를 통해 사람처럼 생각하여 지각 경험을 증강하기 위한 원천 기술 개발 필요 - 인간의 신체적 한계 또는 손실로 인하여 감지 못하는 자극이나 정보를 다중 감각을 조합하여 지각 경험을 증강하는 기술은 아직 시도가 되지 않은 개념 태동 단계의 기술로 Touchless, Screenless 실현을 통해 Invisible 컴퓨팅을 실현할 파괴적인 기술임 m 중장기 전략 강화 - 선제적인 R&D 투자로 중장기적 핵심 원천기술 확보를 추진할 시, 지속 가능한 경쟁 우위 기술 선점을 통해 대내외 변화 요구 및 환경변화에 적극적으로 대응하여 ETRI의 중장기적 위상 변화에 기여할 revolution 기술 개발 필요 - 감각･지각 증강 기술은 현재 실현 가능성이 일부 검증된 태동기 기술로, 민간 투자가 어려우나 사회 전반에 걸쳐 파괴적 혁신 유도가 가능한 고위험·도전형 미래형 핵심 원천 기술임 • 감각·지각 증강 기술은 국내에서는 개발 사례가 전무한 분야로, ETRI에서 보유하고 있는 데이터 처리, 웨어러블 컴퓨팅, 인공지능 기술을 기반으로 기술 우위 선점 및 핵심 원천 기술 확보가 가능하며, 인간과 AI가 공존하는 사회 실현으로 국가 사회 문제해결에 기여 가능 (그림 3) 연구개발 과제의 중요성 m 기술과 시장의 선도 필요

- 해외 주요국에서는 일부 감각치환 기술을 바탕으로 상용화를 위한 서비스 개발 단계로 추진되고 있으나, 국내는 본 기술에 대한 원천기술 연구가 진행되고 있지 못한 실정임

- 또한, 감각 증강형 또는 초감각 기술 분야에서 기술적 격차가 더욱 크게 벌어질 가능성이 있어, 원천기술과 상용화기술 분야에 대한 집중적인 연구개발이 시급히 요구됨

제3절 연구개발의 기대효과

1. 기술적 기대효과

m 감각･지각 증강 기술 개발을 통해 핵심 원천기술 확보 및 조기 지식재산권 선점으로 글로벌 시장에서의 기술 경쟁력 확보 m 감각･지각 증강 기술 관련 국내 표준 마련 및 글로벌 표준활동으로 초기 글로벌 표준 선점에 기여 m 감각･지각 증강 서비스 제공 관련 네트워크-단말-플랫폼-SW/콘텐츠 등 생태계 전 영역의 기술 혁신 및 동반성장 촉진 m 인지증강, 감성증강에 이은 인공지능 분야와 브레인 과학과 헬스케어 분야에서의 감각증강 기술 개발에 트리거 역할 m 오감의 한계와 외부 기기를 통하여 가공된 정보를 습득하고 소비하는 기존의 감각과 지각 방식을 극복하여 사람의 인지 영역을 혁신적으로 확대하는 초감각 및 지각 기술 확보가 가능 - 제한된 환경에서 한정된 자극만을 변환하여 전달하는 기존 기술의 한계를 극복하여 새로운 감각기관을 통하여 유의미하고 실생활에서 사용가능한 수준의 초감각 및 지각 정보를 제공하는 기술의 확보 가능 - 다중 감각 학습을 통하여 수집된 사용자 피드백을 이용하여 검증되지 않은 사람의 감각과 지각 특성을 발견하고, 과학적인 근거를 제시하여 휴먼 연구에 대한 기여가 가능 - 새로운 자극에 대한 사용자(후천적‧선천적 장애자)의 지각 특성 및 정확도에 대한 피드백을 반영한 Learning-by-Doing 학습 기술의 확보가 가능하며, 개발된 기술은 감각과 지각뿐만 아니라 사람을 대상으로 다양한 학습 프레임워크 개발의 기본 지침을 제공

2. 산업적 기대효과

m 인간의 감각･지각 능력의 한계를 극복하려는 시도는 사례 자체가 미비한 도전적 기술로, 인간 스스로 지각 능력을 확장하여 향후 포스트 휴먼 시대 또는 사람-기계가 상호 공생하는 사회에 대비하는 新컴퓨팅 패러다임을 선도 - 데이터 처리 능력을 중심으로 발전하고 있는 인공지능이 갖추지 못한 사람만의 강점을 향상시켜 사람과 기계의 상호 공생을 통한 산업의 생산성 향상 및 혁신이 가능함 - 사용자의 상황 및 목적에 맞는 감각 및 지각을 개발하기 위하여 필요한 다양한 디바이스 산업과 보다 쉽게 원하는 감각과 지각을 학습할 수 있는 학습 프레임워크 산업이 새롭게 창출하게 될 것임 • 개발될 기술은 각각의 산업에서 필요로 하는 다양한 감각·지각 증강 가능하도록 하여 산업 현장을 바꾸게 될 것이며, 이를 지원하기 위한 다양한 By-Product가 개발될 것임

m 장애인/고령인의 경제활동 참여 기회 확대로 생산가능 인구의 증가와 지속적인 국가 경제 성장에 기여 m 고령화 사회로 진입함에 따라 상실된 신체기능(시각, 청각, 촉각 등) 복원/향상 관련 증가된 수요와 인공지능을 비롯한 ICT 기술과의 접목으로 국가의 중점산업 분야로 성장 기대 m 감각증강형 또는 초감각형 서비스 개발을 통한 헬스케어 및 MR 분야의 응용을 통한 새로운 감각 ICT 산업생태계 조성 기대

3. 사회적 기대효과

m 누구나 기술의 도움으로 선천적･후천적 신체적 제약을 극복하여, 차별화에 의한 인간 소외 해소, 사고 예방 등 사회적･경제적 손실을 최소화하는 인간 중심의 新혁신 초래 - 감각능력이 떨어지거나 해당 능력을 가지지 못한 사람들도 다른 감각 경로를 이용하여 같은 자극을 지각하는 것이 가능하여 다른 사람의 도움 없이 일상생활이 영위할 수 있으며, 사회적 차별을 해소할 수 있음 - 사고, 오염 등 각종 위험상황에 대한 다중 감각 융합 및 학습을 통하여 문제가 되고 있는 다양한 사회문제들을 사전에 감지하고 예방하는 것이 가능하며, 위험상황 발생시 필요한 정보를 빠르고 손쉽게 획득하여 효율적인 상황 대응이 가능함 m 사회적 소외계층인 장애인/고령인의 감각･지각 기능 향상을 통해 삶의 질 향상에 기여 m 감각치환 기술과 같은 휴먼 증강 기술의 도움으로 장애인, 고령인 등 사회적 약자가 겪고 있는 사회적 고립, 사회적 역할의 상실감 등 사회문제 해결 기대 m 초감각 기술을 활용하여 미세먼지, 바이러스, 자외선 등의 자연환경 위해요소에 대비하는 개인 안전 제고와 감각융합형 헬스케어 서비스를 통한 국민의 보건의료 증진에 기여

제 2 장 본 론

제1절 최종 목표 및 연차 목표

1. 최종목표

구 분 내 용 최종목표 ○ 인간의 신체적(물리적) 한계 또는 손실로 인해 감지 못했던 외부의 자극과 정보를 직접 감지한 것처럼 직관적으로 이해할 수 있게 하여 인간의 감각･지각 능력을 증강시키는 휴먼증강 원천기술 개발 세부목표 ○ 감각신호 변환 및 고유 신호 생성 기술 - 외부의 자극과 정보를 감각별 수용체의 한계/유효 해상도 분석 - 이종 감각 간의 연관성 분석 - 이종 감각의 통합 특징 추출 및 모델링 - 사용자 상황과 개인화를 반영한 고유 신호를 조합하거나 생성 ○ 감각신호의 전달 및 학습 기술 - 감각 수용체의 자극 위치 및 강도의 최적 조합을 규명 - 고정 경로 기반 다중 감각 신호의 개인별 민감도 분석 및 정량화 - 다중 감각 융합 신호의 효율적 전달 - 다중 감각을 활용한 융합 감각의 개인별 맞춤형 지각학습 프레임워크 ○ 감각 기전 분석 및 지각 검증 기술 - 인체의 감각신호의 전달과 자극의 기전 및 이종 감각의 통합에 관한 기능적(물리적) 연결성 규명 - 감각신호 간의 연관성과 상황별 우세 감각을 도출 - 다중 감각의 인지 메커니즘 분석 및 멀티 모달 기반의 지각 검증

2. 연차별 연구개발 목표 및 내용

가. 연차별 연구개발목표 구 분 목 표 내 용 1단계 1차년도 (2019) 단일 감각 기반 지각 메커니즘 분석을 위한 핵심 기술 분석 및 시스템 상위 설계 • 시각정보 전환 고유 신호 생성기술 요구사항 분석 • 청각 고유 신호 생성 및 전달 기술 분석 • 제한된 환경에서 시각‧청각지각을 위한 학습 기술 분석 • 단일감각(시각‧청각) 신호의 전달 체계 및 기전 분석 2차년도 (2020) 단일 감각 기반 지각 메커니즘 분석과 지각기술 개발을 위한 요소기술 확보 • 시각 정보의 청각 전환 고유 신호 생성 기술 구조 설계 • 청각 고유 신호 생성 요소기술 개발 • 청각 기반 고유 신호 전달을 위한 요소기술 개발 • 제한 환경에서 청각 기반 지각 학습 방안 선정 및 절차 설계 3차년도 (2021) 단일 감각 기반 지각 메커니즘 분석과 지각기술 개발 • 시각 정보의 청각 신호 전환을 위한 딥러닝 기반 고유 신호 생성 • 청각으로 전환된 시각 고유 신호의 전달 기술 개발 • 제한된 환경에서 청각 기반 지각 학습 프레임워크 설계 • 시각 정보의 청각 전환에 대한 리시버 반응 메커니즘 규명 4차년도 (2022) 단일 감각 기반 전달 신호의 지각을 위한 학습 프레임워크 구축 및 검증 • 시각 정보의 청각 전환 엔진 성능 검증 • 단일 감각 기반 감각고유 신호 전달 모듈 시험 • 제한된 환경에서 청각 신호 기반 시각 정보 지각 학습 프레임워크 구축 • 사용자 분석을 통한 청각 신호 기반의 지각 검증 2단계 5차년도 (2023) 단일 감각 기반 지각 기술의 다중 감각 합성을 위한 확장 • 청각 ·시각정보의 촉각 전환을 위한 고유 신호 생성기술 요구사항 • 촉각 기반 고유 신호 전달을 위한 요소기술 개발 • 시각 정보의 청각변환 자가 학습용 학습 프레임워크 요구사항 • 다중감각 신호의 전달 체계 및 통합 기전 분석 6차년도 (2024) 다중감각 확장을 위한 청각 정보의 촉각 신호 변환 및 다중 감각 지각 메커니즘 분석 • 청각 정보의 촉각 신호 전환을 위한 딥러닝 기반 고유 신호 생성 • 촉각으로 전환된 청각 고유 신호의 전달 기술 개발 • 시각정보의 청각변환 자가 학습용 학습 프레임워크 개발 및 검증 • 전환된 단일 감각 자극을 통한 연합 신경망의 활성 패턴 분석 7차년도 (2025) 다중감각 확장을 위한 시각 정보의 촉각 신호 변환 및 다중 감각 지각 메커니즘 분석 • 시각 정보의 촉각 신호 전환을 위한 딥러닝 기반 고유 신호 생성 • 촉각으로 전환된 시각 고유 신호의 전달 기술 개발 • 촉각정보 기반 시각 정보 지각 학습 프레임워크 구축 • 단일 모달 기반 통합 감각의 지각 검증 구축 8차년도 (2026) 다중 감각 확장을 위한 단일 감각 신호 전환 기술 및 학습 프레임워크 검증 • 고정 경로 기반 시각 정보의 청각‧촉각 신호 조합 분석 • 시각‧청각‧촉각 정보의 단일 감각 기반 다중 감각 확장용 지각 학습 프레임워크 설계 • 단일 모달 기반(전기생리학적/광유전학적/전압민감광영상/fMRI 등) 다중 감각의 통합 지각 검증 • 사용자 분석을 통한 다중 감각의 통합 지각 검증 3단계 9차년도 (2027) 다중 감각을 활용한 감각 융합 기술 개발 • 개인별 특성(민감도/우선도)에 따른 시각 정보의 청각‧촉각 조합 신호 전환 기술 • 고정 경로 기반 시각 정보의 청각‧촉각 신호 생성 및 조합 기술 • 다중 감각기반 지각 학습 프레임워크 개발 • 다중 경로 기반 청각‧촉각 합성 고유 신호의 지각을 위한 감각전달 메커니즘 분석 및 규명 10차년도 (2028) 다중 감각을 활용한 감각 융합 기술의 개인 맞춤형 최적화 및 검증 • 고정 경로 기반 청각‧촉각 고유 신호 전달 기술의 사용자 시험 • 다중 감각기반 지각 학습 프레임워크 검증 • 전환된 청각‧촉각 정보에 의하여 연합된 감각 지각의 특징 변형 확인 • 멀티 모달 기반의 청각‧촉각 정보의 지각 검증

나. 단계별 연구개발 내용 - 단계별 연구개발 주요 내용 (그림 4) 단계별 연구개발 주요 내용 - 1단계(2019년~2022년) 주요 내용 • 인간의 새로운 감각 경로(시각→청각)의 탐색을 위한 단일 감각 기반 지각 메커니즘 분석 및 지각 기술 확보 (그림 5) 1단계 연구개발 주요 내용 • 단일 감각 기반 시각 정보의 청각 신호 전환 및 고유 정보 신호 생성 ⦁외부 자극‧정보에서 감각 정보의 선택 및 전처리 ⦁시각‧청각 감각별 수용체의 한계 해상도 및 유효 해상도 분석 ⦁시각 정보의 청각 신호 전환을 위한 단일 감각 특징 분석 및 모델링 ⦁시각 정보의 청각 신호 전환을 위한 딥러닝 기반 최적 신호 생성 • 전환된 감각 고유 신호 전달 및 지각 학습 프레임워크 구축

⦁청각 수용체의 자극 전달 및 강도 매핑 최적화 알고리즘 ⦁청각으로 전환된 시각 고유 신호 전달을 위한 정량화 기술 ⦁제한된 환경에서 청각 신호 기반 시각 정보 지각 학습 프레임워크 구축 (정보의 전달 여부 확인) • 단일 감각 기반 감각 기전 분석 및 지각 검증 기술 ⦁단일 감각의 전달 및 지각 메커니즘 분석 ⦁감각신호의 전환을 위한 상황별 우세 감각 분석 및 규명 ⦁단일 감각의 기능적 연결성 검증 방법론 연구 및 선정 ⦁사용자(후천적 장애인) 분석을 통한 단일 감각 기반의 지각 검증 기술 - 2단계(2023년~2026년) 주요 내용 • 다중 감각 확장을 위한 단일 감각 기술 다변화 및 지각 메커니즘 분석 (그림 6) 2단계 연구개발 주요 내용 • 시각 정보의 청각 신호 전환 기술의 확장 및 고유 정보 신호 생성 ⦁다중 감각 확장을 위한 시각‧청각‧촉각 신호 조합 기술 분석 ⦁감각별 수용체 특성을 반영한 시각‧청각‧촉각 단일 신호 전환 엔진 ⦁시각‧청각 정보의 촉각 신호 전환을 위한 딥러닝 기반 고유 신호 생성 ⦁한계‧유효 해상도 기반 청각‧촉각 고유 신호 합성 엔진 설계 • 다중 감각 확장을 위한 개별 감각 신호 전달 기술 및 지각 학습 프레임워크 ⦁고정 경로 기반 시각 정보의 청각‧촉각 신호 조합 분석 ⦁단일 감각 신호의 확장에 따른 지각 학습기술 분석 ⦁시각‧청각‧촉각 정보의 단일 감각 기반 다중 감각 확장용 지각 학습 프레임워크 설계

• 다중 감각 확장을 위한 개별 감각들의 통합 기전 분석 및 지각 검증 기술 ⦁다중감각 신호의 전달 체계 및 통합 기전 분석 ⦁단일 모달 기반 다중 감각의 통합 지각 검증 (전기생리학적/광유전학적/전압민감광영상/fMRI 등) ⦁사용자(후천적‧선천적 장애인) 분석을 통한 다중 감각의 지각 검증 기술 - 3단계(2027년~2028년) 주요 내용 • 감각‧지각 증강을 위한 다중 감각 융합 및 사용자 시험 (그림 7) 3단계 연구개발 주요 내용 • 시각 정보의 다중 감각신호 전환 및 합성 고유 정보 신호 생성 최적화 ⦁개인별 특성(민감도/우선도)에 따른 시각 정보의 청각‧촉각 조합 신호 전환 기술 ⦁사용자 맞춤형 고정 경로 기반 다중 감각 신호 생성 최적화 ⦁사용자 맞춤형 청각‧촉각 신호의 개인별 특성 최적화 • 다중 감각 합성 신호의 인체 전달 및 지각 학습 프레임워크 검증 ⦁고정 경로 기반 청각‧촉각 고유 신호 전달 기술의 사용자 시험 ⦁사용자 맞춤형 청각‧촉각 기반 시각 정보 합성 고유 신호 전달 기술 개발 및 검증 ⦁청각‧촉각 고유 신호 전달의 정량화 분석 기반 검증 및 최적화 ⦁다중 감각기반 지각 학습 프레임워크 검증 • 다중 감각 신호의 통합 기전 규명 및 지각 검증 ⦁시각 정보의 청각‧촉각 신호 전환에 따른 감각 정보의 신경 내 인코딩 메커니즘 분석 ⦁전환된 청각‧촉각에 의하여 연합된 감각 지각의 특징 변형 여부 확인 ⦁사용자(후천적‧선천적 장애인 및 고령자) 분석을 통한 청각‧촉각의 지각 검증 및 성능 분석

제2절 수행내용 요약 및 목표 달성도

1. 당해연도(2019년) 연구개발 내용 및 범위

가. 연구개발목표 - 단일 감각 기반 지각 메커니즘 분석을 위한 핵심 기술 분석 및 시스템 상위 설계 • 단일 감각 신호의 전환 및 고유 신호 생성 요소 기술 분석 및 설계 • 단일 감각 신호 전달 및 지각 학습 요소 기술 분석 및 설계 • 상황별 우세 감각 분석 및 지각 검증 플랫폼 설계 (그림 8) 감각지각 증강기술의 세부 핵심기술 구성 나. 연구개발 내용 - 단일 감각신호 전환 및 고유 신호 생성기술 분석 및 설계 • 시각정보 전환 고유 신호 생성기술 요구사항 분석 • 시각‧청각 개별 감각의 특성 및 한계 해상도 분석 • 이종 감각(시각‧청각) 간의 신호 전환 기술 분석 및 설계 • 청각 고유 신호 생성 기술 분석 및 설계 - 단일 감각 신호의 전달 및 학습 기술 분석 및 설계 • 청각 기반 고유 신호 전달 기술 분석 • 청각 신호 전달 시스템 요구사항 분석 및 상위 구조 설계 • 제한된 환경에서 시각‧청각지각을 위한 학습 기술 분석 및 설계 • 제한 환경의 단일 감각의 지각 학습 프레임워크 요구사항 분석

- 단일 감각 기전 및 지각 검증 기술 분석 • 단일감각(시각‧청각) 신호의 전달 체계 및 기전 분석 • 청각 신호로 전환된 시각 정보의 연결성 검증 방안 분석 • 시각 피질 내 신경 네트워크의 정보처리 방식 및 효능 분석 - 주요 목표 결과물 • 감각신호 전환 및 고유 신호 생성 요구사항 정의서 • 단일 감각 전달 기술 요구사항 정의서/시스템 설계서 • 지각 학습 프레임워크 요구사항정의서 • 논문(SCI/국제): 0/0 • 특허(출원/등록): 국제(0/0), 국내(2/0) • 기술문서: 5건

2. 당해연도(2019년) 수행내용 요약 및 목표 달성도

세부 분야 당해연도 연구목표 연구 수행 방법 (이론적ㆍ실험적 접근방법) 연구개발 수행 내용 달성도 연구결과 요구 사항 분석 및 설계 시스템 개발을 위해 필요한 요구사항 도출 및 기본 시스템 구조 설계 ⦁기술의 실제 사용이 예상되는 시각장애인의 인지 및 행동특성을 분석하고, 시각장애인이 가장 필요로 하는 정보를 반영한 기술개발을 위한 요구사항 도출 및 시스템 설계 ⦁시각장애인의 인지 및 행동특성 분석 - 시각장애의 유형을 선천성, 후천성 장애와 맹(盲), 저시력 장애로 분류 및 정의 - 공간지각을 위한 시각장애인의 행동특성 분석 → 시작장애인의 보행은 현재 위치 파악 및 목적 방향 설정 과정과 목적지를 향하여 걸어가는 이동과정으로 정의되며 자신의 위치 파악을 위한 랜드마크 필요 - 잔존감각 정보에 따른 시각장애인의 인지 조건과 행동 반응에 대한 특성 분석 → 시작장애인은 모든 잔존감각을 활용하여 정보를 해석하고, 촉각과 청각, 잔족 시력 위주로 문제를 해결하려고함. 공간의 크기와 방향의 인지가 장애의 정도에 영향을 받음 - 3회에 걸친 시각장애 전문가 및 장애 당사자 대상 초점집단인터뷰 (FGI)를 통하여 시각장애인의 일반적 특징, 행동특성을 좌우하는 요인 및 행동특성을 제약하는 장애요건 조사 → 시작장애인의 특성으로 ‘시각장애인의 심리사회적 특성’을 비롯한 12개의 하위 범주를 포함하는 ‘일반적인 특성’, 행동 특성 좌우 요인’, ‘행동 제약 장애물’등 3개 상위 범주 도출 - 166명의 시각장애인에 대하여 시각장애인의 인지 및 행동특성 실태조사 및 요구사항 분석으로 시각장애인의 선호 감각 및 우선 요구 정보형태파악 → 총 38개의 설문 문항을 통한 조사 결과 시각장애인은 타인의 도움 없이 혼자 이동하는 것을 선호하며, 동시다발적인 소리를 행동 제약의 큰 장애물로 생각하고 있음. 또한, 앞에 있는 사람 또는 사물과의 거리 정보를 가장 필요로 하며, 정보 접근 분야에 대한 욕구가 높은 것으로 나타남. 선호하는 감각은 청각, 촉각, 진동 순으로 나타남 ⦁핵심기술 선점을 위한 국내‧외 특허 분석 및 IPR 도출 - 15,000여 건의 감각지각 증강기술 관련 특허의 동향 및 현황 분석을 통한 주요 기술 도출 → 감각지각 증강 및 다중감각 융합기술을 청각 감각치환, 촉각 감각치환, 시각 감각치환 기술로 분류. 19년 7월까지 한국, 미국, 일본 및 유럽의 특허를 발명자, 키워드, 주요 출원인 검색을 통하여 선별하고 정량 분석을 수행함 - 감각지각 증강기술에 대한 340건의 유효특허 분석을 통한 28개 주요특허 선별 및 분석 100% ⦁기술의 실제 사용자인 시각장애인의 인지 ž행동특성 분석 및 단계별 연구 개발 방향 정립 ⦁주요 특허의 권리 및 기술 분석을 통한 과제의 단계별 핵심 IPR 확보 전략 수립

→ 유효 특허 340건 중 기술적 유사도와 기술의 중요성 및 패밀리 특허 국가 수, 다출원, 등록 여부 등 특허적 판단 요소를 고려하여 28개 주요 특허 선별 - 핵심특허 8건 선별 및 세부 권리분석 → 유효 특허 중 본 과제와의 관련도 및 참고 가치가 높은 핵심 특허기술에 대해 기술 구성요소를 심층적으로 분석하고 핵심 특허의 구성요소와 권리를 회피하는 방안 마련 - 원천기술 선점을 위한 4건의 신규 IP 발굴 → “다중감각을 활용한 감각 대체 및 학습 방법”, “다중 감각 신호의 다중 경로 전달 방법”, “점진적 학습 기반 감각치환 장치”, “색상 지각의 촉각 감각치환 장치” 등 4건의 핵심 IP 발굴 ⦁감각ž지각증강 프레임워크 요구사항 분석 - 감각ž지각증강 프레임워크에 대한 사용자 요구사항 정의 → 사용자를 3개 범주로 구분하고, 감각치환 서비스를 사용하는 최종 사용자 요구사항 14개, 감각치환 프레임워크 개발자 요구사항 7개, 감각치환 서비스 개발자 요구사항 10개 등 총 31개 사용자 요구 사항을 정의 - 감각ž지각증강 프레임워크의 주요 기술인 감지-공간 분석 기술, 다중 신경 코드 인코딩 기술, 다중 감각기관 전송 기술, 감각대체 자가-학습 기술에 대한 시스템(기능/비기능) 요구사항 정의 → 센서 데이터 수집 및 중간 표현 맵 관련 6개, 감각기관 신호 연관성 및 개인 특성을 반영 신호 변환 관련 12개, 전달 신호 합성 및 다중 감각기관으로 전송 관련 6개, 감각치환 기술 자가 학습 관련 8개 등 총 32개의 시스템 기능 요구사항 도출 → 시스템의 성능 관련 4개의 요구사항 및 시스템 인터페이스 관련 9개 요구사항, 총 13개의 시스템 비기능 요구사항을 도출 ⦁다중감각융합 시스템 기본구조설계 - 다중감각융합 시스템을 4개의 서브시스템으로 정의하고 기본구조 설계 (감지-공간 분석기, 다중 신경 코드 인코더, 다중 감각기관 커뮤니케이터, 감각대체 자가-학습기) → (감지-공간 분석기) 외부 자극에 대한 정보 수집 및 수집 정보를 기본 요소로 분리하여 정형화된 중간 표현 형태로 관리 → (다중 신경 코드 인코더) 감각 기관의 특성 및 개인 특성을 ⦁단순 1:1 매핑이 아닌 다중감각(n:n) 정보의 융합 및 변환을 위한 프레임워크의 사용자 및 시스템 요구사항 정의 ⦁다중감각융합 시스템 기본구조 설계 및 서브시스템간 관계 정의

반영하여 전달하고자 하는 감각기관의 특성에 맞게 중간 표현 형태로 관리되는 외부 신호를 변환 → (다중 감각기관 커뮤니케이터) 감각기관의 해상도 및 전달 특성을 고려하여 최적의 정보 전달 경로를 설정하고 다중 감각기관을 통하여 전달 → (감각대체 자가-학습기) 사용자 스스로 학습이 가능하도록 감각 치환으로 변환된 외부 자극에 대한 정답을 전달하고 사용자에게 학습 진행 경과에 대하여 피드백을 제공 - 다중감각융합 시스템을 구성하는 서브 시스템별 구조를 정의하고 서브 시스템을 구성하는 모듈 간의 관계를 정의 → 감지-공간 분석기에서 외부 자극을 수집하며, 다중 신경 코드 인코더는 외부 자극 중 사용자가 필요로 하는 정보 추출하고 다중감각을 통하여 전달 가능한 수준으로 변환하고 다중 감각 기관 커뮤니케이터에서 사용자에게 다중 감각을 통하여 변환된 신호를 전달함. 감각대체 자가-학습기는 변환된 외부 자극에 대한 정답 값을 사용자에게 다양한 인터페이스롤 통하여 전달함으로써 자가 학습이 가능하도록 함 - 다중감각융합 시스템을 구성하는 4개 서브시스템의 하드웨어 및 소프트웨어 구조정의 및 주요기능 정의 → (감지-공간 분석기) 센서와 연동되어 외부 환경 데이터를 수집하는 모듈과 수집된 시각 및 청각 신호를 기본 요소 단위로 분리하여 정규화하는 모듈로 구성 → (다중 신경 코드 인코더) 감각 기관의 특성을 분석/관리하는 모듈과 사용자의 의도 및 개인의 감각 기관에 대한 선호도를 분석하는 모듈 및 기본 요소 단위의 특징맵으로부터 필요한 정보를 추출하여 가공하는 모듈로 구성 → (다중 감각기관 커뮤니케이터) 개별 감각 기관의 특성을 반영하여 다중 감각 전달 경로를 설정하고 신호를 융합하는 모듈 및 융합된 신호를 다중 감각으로 전달하는 모듈로 구성 → (감각대체 자가-학습기) 사용자 감각으로 전달된 신호에 대한 지각 훈련 스스로 수행할 수 있게 하는 학습 모듈 및 사용자 학습 과정에서의 사용자의 상태를 분석하여 가시화하는 모듈로 구성

감각 신호 변환 및 고유 신호 생성 시각 정보를 청각을 통해 전달하기 위해 핵심 알고리즘 개발 ⦁다중 감각의 융합을 통하여 다수의 채널로 정보를 전달함으로써 정보의 전달양을 증가시킬 방안 모색 ⦁사용자 의도와 지각 능력을 반영하여 필요한 정보만 선택적으로 추출 한 후 다중감각으로 변환하여 전달함 으로써 정보의 품질 및 지각 효율을 극대화 ⦁감각 대체 관련 기존 사례 분석 - 선행 기술 분석으로 시각-청각 변환 기술을 명시적ž묵시적 방법으로 분류하고 시각-청각 변환 기술의 대표적인 6개 방법에 대한 상세 기술 분석 후 분석내용을 기고 (전자통신동향분석 게재) → 명시적 방법은 전문가가 감각 간 변환 규칙을 사전에 정의하는 방법이며, 묵시적 방법은 기계가 학습을 통하여 입력 감각을 다른 감각으로 변환하는 최적의 방법을 생성하는 방법. 기존 기술은 대부분 명시적 방법이며 최근 오토인코더 기반의 묵시적 방법이 연구되고 있음 ⦁시각정보 전처리 알고리즘 연구

- 영상에서 중요 정보 추출을 위한 scene segmentation, saliency detection, interactive segmentation의 최신 모델을 분석하고, GAN을 적용하여 기존 방법의 성능 향상 가능성을 분석 → Semantic segmentation 분야에서 가장 높은 성능을 보여주는 최신 모델인 Deeplab-v3-plus에 GAN을 적용하여 약간 향상된 클래스별 정확도를 가질 수 있음을 확인 → Saliency detection 분야에서 높은 성능을 보이는 최신 모델 중 하나인 PiCANet에 GAN을 적용한 결과 흐릿한 부분 없이 명확한 마스크 이미지를 생성할 가능성 확인 100% ⦁선행 기술의 특성 분 석 관련 기술문서 3건 ⦁시각 정보의 간략화를 위한 최신 알고리즘 분석 선행연구

→ Interactive segmentation으로 사용자의 관심 객체가 이미지의 중앙에 위치한다는 것을 가정하고 관심 객체검출 네트워크를 학습하여 관심 객체를 추출하는 Sharp Mask에 GAN을 적용한 결과 비교적 섬세한 객체검출용 마스크 생성이 가능함을 검증

⦁시각-청각 변환 신호 생성 알고리즘 연구 및 프로토타이핑 - vOICe, Vibe, AEV2A의 RP 구현을 통한 시각-청각 변환 알고리즘

분석결과, vOICe 방법의 경우 단시간에 규칙을 이해할 수 있으나, Vibe 및 AEV2A의 경우 시각 정보와 소리 정보 매칭이 어려움을 확인 - AEV2A 알고리즘의 경우, 사용자가 변환 규칙을 이해하기 어려우므로 동적시간왜곡(DTW)를 이용하여 이미지와 생성되는 소리의 연관성을 비교함으로써 사용자의 학습 가능성을 분석 (국내학술대회 발표) → 입력 영상의 변화(위치 이동, 회전 등)에 대해서 변화량을 조절 하면서 AEV2A의 생성 소리 유사도를 분석하였을 때 영상의 작은 변화에도 생성되는 소리가 급격하게 변화함을 확인 ⦁시각-청각 변환 기술 RP 구현 후 정보의 매칭 및 변환 방법 선행연구

- vOICe의 경우 사용자가 직관적으로 소리 정보와 영상 정보를 매핑할 수 있지만, 실생활 환경과 같이 복잡한 영상이 입력될 경우 소리 정보를 시각화하는 데 문제가 생길 수 있음

→ 관심 영역 검출 방법인 PFAN (Pyramid Feature Attention Network)을 적용하여 복잡한 영상 정보를 간략화한 후, 축약된 영상에서 vOICe 알고리즘을 사용하여 소리로 변환하는 프로토타입 구현 감각 신호 전달 및 학습 소리로 변환된 시각 정보를 지각시키 기 위한 학습 모델 연구 ⦁감각기관관 수용체 특성에 따른 매핑 관계, 사용자별 민감도 맵 정보를 생성하여 전달 능력 한계 및 신호 오류 한계 극복 ⦁사용자의 인지 특성 및 사용자 환경을 반영하여 전달 메커니즘을 동적으로 재 설 정 함 으 로 써 정보 전달률 향상 ⦁시각ž청각 등 감각 특성 및 전달 메커니즘 분석 - 감각 수용체로써 시각, 청각, 촉각에 대하여 개별적인 감각의 구조와 관심영역, 한계해상도 등의 주요 특성을 분석 → (시각) 수정체에 모여진 빛은 망막에 도립실상을 맺고, 이를 대뇌 피질에서 시각적 영상으로 구현.. 시각 넓이는 약 6억만 화소이나 물체가 명확한 영역은 눈 중심에서 빛을 받는 중핵이 2도여서 약 700만화소 → (청각) 2kHz ~ 5kHz 사이에서 가장 민감하게 반응하며 1~2kHz의 옥타브 범위에서는 3.6Hz의 주파수 변화 인식 할 수 있음. 사람의 귀는 수평으로 배치되어 수평 위치 판별력은 높으나 수직 위치 판별력은 떨어짐 → (촉각) 촉각 수용체는 피부기계수용체, 온도수용체, 통증수용체가 존재하며 각각 독립적으로 반응. 촉각 해상도는 기계 수용체의 밀집도와 상관관계가 있지만 액추에이터를 사용한 해상도 분석 실험에서는 사용 장치에 해상도가 달라지며 기계수용체가 가장 많은 손바닥의 최소 자극 거리를 10mm로 가장 짧음 - 문헌 분석을 통하여 시각, 청각, 촉각 신호가 전달되는 경로 및 100% ⦁사용자 시험을 위한 기초 파라미터 획득