년
월
2017
12
17ZH2100-01-2200P
자율 연결 협업을 위한 고속계산모델기반의
시맨틱 메모리 핵심기술 개발
Development of Semantic Memory Core Technology for Autonomous IoT Connection
and Collaboration based on Computational Model
본 문서에서 음영처리된 부분은 (
) 정보공개법 제9조의
비공개대상정보와 저작권법 및 그 밖의 다른 법령에서 보호하고 있
는 제3자의 권리가 포함된 저작물로 공개대상에서 제외되었습니다.
제
출
문
본 연구보고서는 주요사업인
“
초연결통신 기초 원천기술 개발 과제의 공공 인프라형
∙
”
∙
4
세
부 자율 연결 협업을 위한 고속계산모델기반의 시맨틱 메모리 핵심기술 개발 의 결과
“
”
로서
,
본 과제에 참여한 아래의 연구팀이 작성한 것입니다
.
년
월
2017
12
대과제 연구책임자
책임연구원 황승구 초연결통신연구소
:
(
)
세부과제 연구책임자
책임연구원 손영성
연구본부
:
(IoT
)
연구참여자
책임연구원 김명은
연구본부
:
(IoT
)
선임연구원 최진철
연구본부
(IoT
)
연 구 원 장인국
연구본부
(IoT
)
책임연구원 장일순
연구본부
(IoT
)
선임연구원 송순용
연구본부
(IoT
)
연 구 원 이동훈
연구본부
(IoT
)
책임연구원 박동환
연구본부
(IoT
)
책임연구원 임선환
연구본부
(IoT
)
책임연구원 김영일
연구본부
(IoT
)
책임연구원 김주완
연구본부
(IoT
)
책임연구원 김 현
연구본부
(IoT
)
책임연구원 박준희
연구본부
(IoT
)
책임연구원 김영부
연구본부
(IoT
)
책임연구원 권동승
연구본부
(IoT
)
책임연구원 정연준
연구본부
(IoT
)
책임연구원 백동명
연구본부
(IoT
)
책임연구원 김형선
연구본부
(IoT
)
책임연구원 조광수
연구본부
(IoT
)
책임연구원 박만식
연구본부
(IoT
)
연 수 생 김태준
연구본부
(IoT
)
연 수 생 구성민
연구본부
(IoT
)
연 수 생 한아름
연구본부
(IoT
)
세부과제 연차 보고서 아래한글
(
)
연차 보고서
과제유형
1.
기초미래선도형
(O)
2.
공공인프라형
( )
3.
산업화형
( )
대과제명
ICT
융합 공공 인프라 기술 개발
⦁
세부과제명
자율 연결 협업을 위한 고속계산모델기반의 시맨틱 메모리 핵심기술 개발
세부과제
책임자
소속 및 부서
IoT
연구본부
직위
직급
(
)
PL
책임연구원
(
)
성명
손영성
총연구기간
2017
년
01
월
01
일 부터
2019
년
12
월
31
일 까지
( 36
개월
)
당해연도
연구기간
2017
년
01
월
01
일 부터
2017
년
12
월
31
일 까지
( 12
개월
) (1
차년도
)
총
연
구
비
정부출연금
3,639,000
천원
당
해
년
연
구
비
정부출연금
1,213,000
천원
민간부담금
0
천원
민간부담금
0
천원
계
3,639,000
천원
계
1,213,000
천원
참여인력(M/Y)
총 연 구 기 간
50
명
( 18 M/Y)
당해연도 연구기간
24
명
( 6.54 M/Y)
참여기관
기관명
연구책임자
기관명
연구책임자
참여연구기관
위탁연구기관
KAIST 이문용키워드
개
(6~10 )
사물인터넷
, IoT,
지능형 사물 수학적 모델 연결지능 고속계산 사용자경험
,
,
,
,
정부출연금사업 연차평가 보고서를 제출합니다.
년
월
일
2017
12
08
세부과제책임자
손 영 성 인
:
( )
직 할 부 서 장
황 승 구 인
:
( )
한국전자통신연구원장 귀하
목 차
<
>
1.
연구개발목표 및 결과
... 1
평가 기준
2.
... 47
연구개발성과
3.
... 48
연구개발비 집행 실적
4.
... 52
참여인력
5.
... 53
연구개발목표 및 결과
1.
최종 목표
◯
- 지능형
IoT
환경에서 사용자 경험의 축적
⦁
강화
⦁
지식화 공유를 제공하는 사물
⦁
연결지능을 구축하기 위한 수학적 모델 기반의 고속계산 핵심 원천 기술 개발
! 지능형 IoT의 사물 연결지능을 위한 고속 계산모델 개발 ! 자가 인지 학습을 위한 지능형 / IoT의 수학적 모델 정의 ! 사물 연결지능 모델링 및 시제품 개발 ! 사용자 경험의 축적 및 재현을 위한 사물 연결지능 시뮬레이터 개발- 당해연도 연구개발 목표 및 결과
구분 연( 도) 세부 과제명 세부 연구 목표 연구개발 수행 내용 연구 결과 차 연도 1 (2017) 개념정립 및 시 스템 구조 설계 및 핵심 IPR 확 보 개념 정립 및 시스템 구조 설계 개념 정립 및 요구사항 분석 요구사항 정의서 기술동향보고서 사물 연결지능 정보 모델 정의 및 기능 명세 논문 편 특허 건2 , 2 사물연결 지능 탑재 지능형 사물 동작 시나리오 시나리오 명세서 및 시각화 결과물 사람 사물 인터렉션 -모델 정의 논문 편1 센서 데이터 기반 사용자 인지 모델 정의 논문 편2 , 버츄얼 트윈 인터페이스 시제품, 특허 편1 시제품 제작 고속계산 시뮬레이터 시각화 시제품 제작 사물지능 시뮬레이터 시제품개념 정립 및 요구사항 분석
◯
- 요구사항 정의
! 사물이 스스로 학습한 지능을 다른 사물과 공유함으로써 사물 간 연결 협업 체계를 구성하여 사용자에게지능화된 IoT 서비스를 제공하는데 필요한 기반 기술인 사물지식 공유기술 (Knowledgeof Things, KoT) 기술을 명세- 스마트미러 시나리오 구축 - 스마트미러 – 스마트 도어벨 시나리오 ! 시나리오는 학습을 통해 지능을 생성하고 다른 디바이스로공유할 수 있는 기능을 가진 스마트미러 및 스마트 도어벨을 활용하도록 연출
- 지능형 사물 기술동향
! 지능형 IoT 기술의 필요성- IoT 기술이 확산되고 보편화되면서 사물 간 연결성 지원 이외에도 자동설정 자율제어, , 최적운영 등과 같은 요구사항이 새롭게 대두되고 있으며 클라우드 빅데이터 분석 인, , , 공지능 기술의 발전에 따라 사회 전반에 지능화 또한 요구됨 - 인터넷을 통한 연결성과 사전 설정에 의한 자동화 기능 제공만으로는 안정적인 운용과 지속적인 가치 창출이 어려우며 이를 극복하기 위해 사용자 모니터링과 개입이 필수적, 으로 요구되는 한계를 드러냄 - IoT 도입 후 오히려 복잡해진 시스템 구성으로 인해 재해 재난 등의 긴급상황 발생시 , 오히려 대처가 늦어지는 문제점이 보고되고 있으며 이로 인해 자동화와 지능화를 제공, 하는 기반 기술에 대한 필요성이 제기되고 있음\ 표 현 기술의 문제 및 필요성 < 1> IoT ! 지능형 IoT 기술 동향 및 수준
- IITP의 ICT 중장기 기술로드맵 2022에 따르면, IoT 기술은 모든 사물이 연결되는 개방 형 IoT 인프라(IoT 1.0)를 기반으로 인공지능 기술과 접목되어 제 차 산업혁명을 이끌4 어갈 지능형 IoT 기술로 발전될 것으로 전망 - 인지 인공지능 시스템 시장이 급격하게 확대될 것으로 전망됨에 따라 최근 국내외 기업" 들은 다양한 응용 분야에 IoT 기술과 인공지능 기술을 접목하여 새로운 지능 융합 서비 스 제품 및 시장을 창출하고 있음 - 지능형 IoT 구현 방식은 다음 표와 같이 분류됨 표 지능형 구현 방식의 분류 < 2> IoT 현안 분석 필요 기술 사물인터넷 보급으로 인한 효율적인 운영 방법론 필요 지능적 자동설정과 자율제어 최적운영 등 , 의 기술 고도화 인터넷이 단절될 상황에서도 끊김 없는 동 작을 제공할 수 있는 메커니즘 필요 해킹 재난 고장 등에 의한 인터넷 단절 , , 시 자율적인 동작을 보장하는 장치 운영 기 술 챗봇 등의 인공지능 서비스와 사물인터넷 의 접목 필요 사물인터넷의 지능화를 위한 기술 고도화 사람의 개입을 최소화하고 학습을 통해 효 율성과 최적선택을 보장하는 기술 필요 사물의 동작에 자동화와 지능화를 제공할 수 있는 기반 기술 분류 설명 예 클라우드 지능 활용 지능형 클라우드 랫폼 활용 구글 아마존 등과 같은 글로벌 - , , IBM, MS 기업의 클라우드 플랫폼이 제공하는 시각 IT , 언어 등 인지 서비스 및 머신러닝 서비스 등 을 활용 아마존 알렉사 자율주행차 올리 로봇 페퍼 지능형 IoT 서비스 클라우드 플랫폼 활용 하드웨어 사물 제조사가 응용 서비스 제 - , 공을 위해 구축한 서비스 클라우드 플랫폼에 인지 분석 기능 등을 추가하여 지능화된 , IoT 서비스를 제공 인공지능 가전 삼성 (LG, ) 대화형 비서 빅스비 시리 등 ( , ) 사물 지능화 지능화 엔진 사물 탑재 학습 알고리즘 머신러닝 딥러닝 등 기반 - ( , ) 의 지능화 엔진을 제품에 탑재하여 인지 및 사고 기능을 자체적으로 갖춤 네스트 서모스탯 박스터 로봇 MIT 지능형 - 데이터 분석, 자율주행차와 같이 특화된 IBM 쿼크
! 지능형 클라우드 플랫폼의 활용 분석 - 구글 아마존, , IBM, MS 등과 같은 글로벌 IT기업들은 공통적으로 클라우드 컴퓨팅을 기 반으로 인지 서비스와 머신러닝 서비스를 제공하는 플랫폼을 구축하고, 오픈소스를 적 극 활용하여 지능형 서비스나 IoT 제품에 쉽게 활용할 수 있는 기반을 마련함 - 구글의 클라우드 플랫폼은 영상과 음성 인식 번역 자연어 처리 등을 위해 머신러닝 엔, , 진과 인공신경망 기반 인지 서비스를 클라우드 서비스 형태로 제공함 - IBM은 인공지능 왓슨(Watson)의 음성 및 이미지 인식 자연어 처리, , 번역 문맥 분석, , 데이터 분석 용도의 API를 제공하는 IBM 왓슨 개발자 클라우드(Watson Developer 블루믹스 와 함께 왓슨 애널리틱스 라는 자연어 기반 Cloud), (Blumix) (Watson Analytics)
의 인지 컴퓨팅을 지원하는 비즈니스 클라우드 머신러닝 서비스를 제공하고 있음 - MS는 영상 및 음성인식 언어 이해 검색, , , 지식 서비스 등의 인지 서비스를 제공하고 있음 - 아마존은 아마존 웹 서비스(AWS)의 클라우드 플랫폼을 기반으로 인공신경망 기반 이 미지 분석 서비스 레코그니션(Rekognition), 자연어 처리 서비스 렉스(Lex), 텍스트 투 스피치 서비스 폴리(Polly)와 머신러닝 서비스 등을 제공하고 있음 - 최근 국내 포털 업계 또한 지능형 인지 서비스를 제공하기 위한 기술과 플랫폼 개발에 적극적으로 나서고 있음. 네이버는 음성과 비주얼 인식 자연어와 대화 흐름 이해 추, , 천 인공 신경망 기반 기계번역, (NMT) 등의 기술을 두루 적용한 클로바 플랫폼을 공개하 였음 그림 지능형 클라우드 플랫폼이 제공하는 인지 서비스 및 머신러닝 서비스 < 1> ! 지능형 IoT 서비스 클라우드 플랫폼의 활용 분석 - 삼성전자와 LG전자는 클라우드 연계를 통한 지능형 IoT 가전을 선도하고 있음 - 가전 스스로 소비자 행동 데이터를 분석 기기 운용을 제어하고 사용자 편의성을 대폭, , 개선하는 소비자 경험을 제공하는 등 기존의 IoT기반 가전 서비스 클라우드에 인공지능 기술을 결합시켜 스마트홈을 완성시키기 위한 노력을 경주하고 있음 - LG전자는 스마트홈 시스템인 스마트씽큐(SmartThinQ)에 딥러닝 기반의 딥씽큐 기술을 공개하고 스마트홈을 구성하는 가전 및 센서와 관련된 작동 정보 (DeepThinQ) , , 사용자 관련 데이터 영상 음성 센서( / / ), 그리고 지역 날씨 시간 등의 상황 정보를 클라우/ / 및 인지 도구 활용 플랫폼과 활용 데이터 인지 분석 도구의 활용 - IoT 데이터 플랫폼
드에 축적하고 데이터를 분석하여 사용자 생활 패턴과 주변 환경에 최적화한 솔루션을 스마트폰을 통해 제공함
- 삼성전자는 텍스트와 터치 음성 등을 인식할 수 있으며 사용자의 명령을 문맥으로 파, , 악해 스마트 디바이스에서 정보를 검색하고 앱을 구동할 수 있게 해주는 인공지능 플, 랫폼 빅스비(Bixby)를 공개하고 자사 가전 및 다양한 IoT 기기와 연동해 인공지능 IoT 플랫폼으로 키워가는 전략을 내세움
- 인공지능 기술 연계로 진화가 예상되는 IoT 생활가전 서비스의 예는 다음 표와 같음
표 기반 생활가전 서비스와 인공지능 기술 탑재로 진화된 생활가전 서비스 비교 < 3> IoT
! 지능화 엔진의 사물 탑재
- 구글 산하 네스트(NEST)의 온도조절기 네스트 서모스탯(Nest Thermostat)은 장치가 스 스로 사용 패턴을 학습하여 맞춤형 실내 환경 제어 서비스를 제공한다 네스트는 일주. 일 동안 사용자가 온도를 설정하는 패턴을 학습하고 그 후에는 그 패턴에 맞게 알아서 , 작동함 - MIT와 보스턴대가 개발한 박스터 로봇은 인간이 잘못된 행동을 인지했을 때 생성하는 뇌파 신호를 감지하고 이 신호를 , 100분의 초 만에 읽어 머신러닝 알고리즘을 수행하1 여 즉각 자신의 행동을 수정함,
- 구글의 텐서처리장치(TPU), 퀄컴의 제로스(Zeroth), 엔비디아의 파커(Parker) 등의 딥러 닝 유닛, IBM의 트루노스(TrueNorth)와 같은 뉴로모픽 칩 등과 같이 인간 뇌의 구조에 가깝도록 모사하여 인지기능을 제공하기 위한 하드웨어에 대한 연구가 이루어지고 있음 - 미국 미시간 대학교는 반도체 제조업체인 대만 TSMC와 협력하여 밀리미터 크기의 딥 생활가전 IoT 기반 서비스 인공지능 탑재로 진화된 가전 서비스 에어컨 인체감지 센서 연동을 - 통한 자동 on/off기능 원격 에어컨 제어 - 인체감지 센서와 공간학습 기능을 통해 실내환 - 경을 감지하고 사람의 위치와 수를 파악해서 냉, 방 공간 냉방 모드 공기청정 가동 등을 스스로 , , 결정 사람이 머무르는 공간에만 바람을 내보내 에너 - 지절약 냉장고 스마트폰 앱을 통한 - 식품의 종류, 유통기한 등의 정보 관리 및 식품 목록 확인 온라인 쇼핑 - 온도 습도 동작감지 거리측정 노크 문 여 - , , , , , 닫기 등 센서를 부착하여 사용자의 행동을 인지 도어가 열리는 횟수와 시간을 분석해 절전 운전 - 온도와 습도가 높은 한여름에는 음식물이 쉽게 - 상하지 않도록 제균 기능 강화 로봇청소기 - 원격 청소 제어 - 가구 전선 사람 동물 등의 사물을 인지하고 , , , 장애물을 스스로 판단해 보다 꼼꼼하게 청소 세탁기 스마트폰 앱을 통한 - 자가진단 및 세탁 종료 알림 원격 세탁 제어 - 집안 환경분석 및 세탁물 오염도 확인을 통해 - 최적 세탁옵션 세탁코스와 시간( , 물의 양과 온도 등 결정) 날씨를 파악하여 습한 날씨에는 보다 강력한 - 탈수를 제공하고 미세먼지가 많은 날은 헹굼 시간, 을 추가 고객이 자주 적용하는 세탁옵션을 학습하고 상 - 황에 맞는 세탁옵션 추천
그림 미시간 대학과 가 공동 개발한 딥러닝 컴퓨터 < 2> TSMC ! 지능형 사물 플랫폼 및 인지 도구의 활용 - 분산된 사물로부터 수집된 다양한 데이터를 의미있는 정보로 가공하고 사용자 요구에 따른 동적 서비스 제공이 가능한 상황인지형 의미기반 지능형 협업 지원 플랫폼 개발, 에 대한 연구가 추진되고 있으며 실례로 빅데이터 클라우드 시맨틱, , , , IoT 기술을 접목 한 지식형 서비스 제공을 위해 유럽(EU)과 일본이 공동으로 글로벌 플랫폼 를 개발하고 있음 iKaaS(Intelligent Knowledge as a Service)
- 아파치 라이선스 2.0으로 배포되고 있는 쿼크는 사물이 직접 데이터를 분석할 수 있는 기능을 제공하여 이상 징후 및 의미 있는 사건을 감지한 경우에만 서버에 데이터를 전 송한다. 이러한 방식은 분석 없이 버려지거나 이상징후와 무관한 데이터 송신에 대한 무분별한 자원 활용을 최소화하여 분석 성능의 효율을 높일 수 있음
- IFTTT(IF This T hen That)는 스마트폰 또는 PC에서 실행되어 사용자가 어떤 조건 일‘ ’ 때 어떤 행동 을 하라고 미리 주문서를 만들어두면 자동으로 그 조건일 때 구동되어 원‘ ’ 하는 행동을 하는 자동화 도구로써 사물을 자동적 효과적으로 제어하고 관리하기 위한, 도구를 이용하여 사물을 지능화 시킬 수 있음
사물 연결지능 정보 모델 정의 및 기능 명세
◯
- 사람 사물 연결지능 정보 모델 및 시스템 기정능 설계
-! 가상화 시스템을 통한 사람 사물 연결지능 개발의 필요성 분석 -- 지능형 Cognitive IoT 실현을 위해서는 사용자 경험의 축적 강화 지식화 공유를 제공, , 하기 위한 기술의 개발이 요구되며, 이를 위해 사람 사물- , 사물 사물간의 상호연결과 -인터렉션을 수집 저장하고 이를 분석하여 가시화할 필요가 있음# , - 최근 발달된 모센센서와 휴먼 인터페이스, 3D 스캐닝 기술 등과 결합하여 높은 수준의 인간 사물 상호작용 체험 효과를 제공하는 가상현실 기반으로 사물인터넷 디지털 트윈 -을 구축하고 운용이 가능함 ! 사람 사물 연결지능 가상화 시스템의 주요 기능 및 범위 -- 가상현실 기반의 사람 사물 인터렉션 -$ VR배경 홈 오피스 및 ( , ) IoT사물의 VR 오브젝트 생성$ 최신의 VR HMD(예: HTC VIVE, Oculus RIFT)와 모션센서 컨트롤러 등을 활용한, 사용자 인터렉션 기능 제공
$ 사용자 로그인 기능 저작권 확보 미비로 그림 삭제
$ 사용자 사물 사물 사물 인터렉션 정보 수집- , - , DB 저장 검색 가시화, ,
$ 사전에 주어진 데이터 파일(DB, Text, Image, Video 등 를 ) VR형태로 가시화 - 가상 트윈 생성 운용 관리# #
$ IoT 사물(OpenAPI 연계 사물 아두이노 보드 센서 등 에 따른 가상 트윈 생성, + ) $ 실제 IoT사물과 VR 디지털 트윈의 매핑 사용자가 연결된 IoT 사물을 가상환경 내
특정 사물 오브젝트로 매핑 기능
$ 실제 IoT 사물과 디지털 트윈의 동기화 기능
$ 최신의 VR헤드셋 예( : HTC VIVE, Oculus RIFT)과 모션센서, 컨트롤러 등을 활용한 가상 트윈 사용자 인터렉션 기능 -- 가상현실을 통한 IoT 서비스 $ 연결된 IoT 사물의 강조 가시화/ $ 연결된 IoT 사물 정보 모니터링 $ VR-GUI기반 사물 제어 자동화 기능 그림 사람 사물 연결지능 구현을 위한 가상화 시스템 서비스 구조 < 3> -! 사람 사물 연결지능 가상 트위닝 시스템 시작품 설계 -- 가상 트위닝 시스템은 가상환경에서 트위닝된 사물을 제어 관리하는 프론트엔드 현실, , 환경에서 연결된 사물인터넷 장치를 제어 관리하는 백엔드와 데이터 저장소로 구성, - 프론트엔드는 연결 사물의 가시화 표현 제어 조건부 자동화를 위한 공통 기능 포함, , , - 백엔드는 사물 트윈 매핑 정보 트윈 기능 사용자 입출력 데이터 등을 관리하는 공통 - , , 기능을 포함
그림 가상 트위닝 시스템 구조 < 4> ! 사람 사물 연결지능 가상 트위닝 시스템 시작품 구현 -- 구현된 가상 트위닝 시스템은 HTC VIVE를 통해 사용자에게 VR환경을 제공하며 컨트, 롤러를 통해 사용자의 움직임을 입력받음 - 가상 트위닝 시스템은 스마트 조명(Philips Hue 제품 와 아두이노 온도) ( , 습도 센서 포 함) 등의 사물인터넷 기기와 트위닝된 3D 이미지를 가상 공간에 배치하여 사용자의 조 작에 따라 제어할 수 있음 - 가상환경에서 사용자가 설정한 환경 조건아 충족되면 사전에 정의한 액션이 수행되어 평범한 사물을 지능화시킬 수 있음 그림 가상 트위닝 시스템 시작품 시연 < 5> 그림 환경 인지를 통한 사물 제어 자동화 < 6>
- 가상 환경에서 트위닝 사물을 구성하고 관리하는 시스템 동작 메카니즘 설계
! 시스템 설계 목적 - 사물인터넷 기기와 동일하게 동작되고 상태 정보를 유지 관리하는 가상의 트위닝 사물, 을 구성하고 운용하는 가상 환경 트위닝 서비스를 가상환경 제공함 - 가상의 사물을 사용자가 조작함으로써 트위닝된 실세계 사물을 제어 동작시킬 수 있는 , 사물인터넷 서비스를 제공함 - 가상환경 콘텐츠와 서비스에 사물인터넷 서비스를 지원하는 가상 트위닝 시스템의 구성 과 그 운용 방법을 제공함 ! 가상 트위닝 서비스 예시 - 현실의 사물인터넷 조명은 가상 트위닝 시스템에 연결되어 가상 조명으로 가시화되고, 현실의 사물인터넷 조명이 켜지면 가상 조명도 켜지는 형태로 가시화됨, - 가상환경에서 사용자가 가상 조명의 스위치를 끌 경우 가상 조명은 암전 형태로 가시화 되며 가상 트위닝 시스템을 통해 현실의 사물인터넷 조명도 암전되도록 제어됨, - 스마트TV도 동일한 형태로 사용자의 제어에 따라 트위닝된 가상 TV가 동일하게 제어되 며 스마트 , TV에서 재생되는 콘텐츠의 소스 정보를 입력으로 가상 TV에서 동일한 콘텐 츠를 플레이함 - 역으로 가상환경에서의 사용자 가상 TV 제어에 따라 현실의 스마트 TV도 제어된다 현. 실의 온도 수집 장치는 가상 온도계에게 온도 정보를 제공하는데 활용될 수 있다.- 사용자의 가상 사물 작 및 제어 정보 등은 사용자 프로파일이나 조작 사물의
사용성 평가 등을 위해 현실의 데이터 저장소에 제공됨
그림 버츄얼 트위닝 시스템 동작 < 7> ! 시스템 기능 블록 설계 - 가상환경 처리부$ 사물 등록부 가상 트위닝 시스템에 연결되는 사물의 특성 속성 등의 메타정보를 : , 등록하고 관리 $ 사물 상태 관리부 사물의 메타정보에 기반하여 기능과 동작 등의 사물 지식을 관리: 하는 사물 지식 관리부 등록된 사물의 상태 정보를 관리하고 모니터링, $ 사물 제어부 사용자의 조작에 따라 연결된 사물을 제어: - 현실환경 처리부 $ 사물 트윈 맵 관리부 연결된 사물인터넷 장치와 트위닝된 가상 사물의 매핑 정보를 - : 관리 $ 트윈 기능 관리부 현실 사물의 메타정보와 동작 상태 등에 기반하여 가상 트윈의 : 기능을 관리 $ 사용자 입출력 데이터 관리부 모션 입력 장치를 통해 입력되는 사용자 조작정보와 : 변경된 가상 트윈 상태 정보 등을 관리 그림 시스템 기능 블록도 < 8> ! 시스템 동작 구조 설계 - 시스템 등록을 통한 가상 트위닝 사물 생성 $ 사물인터넷 장치가 등록정보를 전송하면 버츄얼 트위닝 시스템은 장치 등록정보를 , 수신하고 저장 $ 버츄얼 트위닝 시스템은 수신된 장치 등록정보를 기반으로 장치에 대한 지식을 추출 하고 이를 기반으로 가상 트윈의 속성 및 기능을 정의하고 가상 트윈 객체를 생성, , 하고 상태를 관리 시작 $ 생성된 가상 트윈과 실제 장치간의 매핑 정보 저장 $ 가상환경 제어장치가 생성된 가상 트윈을 가시화 단계 ( 670)하여 가상환경에서 사용 자에게 서비스
그림 가상 트위닝 사물 생성 구성도 < 9> - 사물인터넷 장치 상태 동작 변경에 의한 가상 트윈 상태 동작 변경 동작/ / $ 사용자가 사물인터넷 장치를 조작 또는 제어하면 변경된 장치 상태 동작 정보를 저. / 장하고 이를 버츄얼 트위닝 시스템에게 제공 $ 버츄얼 트위닝 시스템은 변경된 장치 상태 동작 정보를 획득하고 저장/ $ 변경된 장치 정보는 사물인터넷 장치가 버츄얼 트위닝 시스템에게 직접 제공하거나, 버츄얼 트위닝 시스템이 질의하거나 장치 상태 동작 정보가 저장된 서버와 통신하, / 여 획득 $ 버츄얼 트위닝 시스템은 저장된 장치 가상 트윈 매핑 정보를 불러오고 매핑된 가상 - , 트윈의 상태 정보를 변경 $ 가상환경 제어장치가 변경된 상태 동작 정보를 반영하여 가상 트윈을 새롭게 가시화/ 하여 사용자에게 서비스 그림 가상 트윈 상태 동작 변경 동작 흐름 구성도 < 10> /
- 사용자 제어에 의한 현실 장치 상태 동작 변경 동작/ $ 가상 환경 서비스 사용자가 가상 트윈을 조작하거나 제어하면 시스템은 가상 트윈, 의 속성과 기능에 따라 상태 또는 동작의 변경 여부를 결정 $ 사용자의 가상 트윈 조작이나 제어 등은 모션 입력 장치나 센서 장치 등의 휴먼 인 터페이스를 사용 $ 장치의 상태 또는 동작이 변경되어야 하는 것으로 결정하면 해당 가상 트윈에 매핑 된 장치의 상태 동작 변경 요청/ $ 사물인터넷 장치는 요청받은 대로 장치의 상태 동작을 변경/ $ 장치 상태 동작 변경 요청은 버츄얼 트위닝 시스템이 사물인터넷 장치에게 직접 제/ 공하거나 사물인터넷 장치 응용 또는 서버와 통신하여 제공, $ 사물인터넷 장치의 상태 동작이 변경되면 버츄얼 트위닝 시스템은 장치 상태 동작 / / 정보와 가상 트윈의 상태 동작 정보를 각각 변경하고 저장/ $ 가상환경 제어장치가 가상 트윈의 변경된 상태 동작 정보를 반영하여 가시화하여 사/ 용자에게 서비스 그림 사용자 제어에 의한 현실 장치 상태 동작 변경 동작 흐름 구성도 < 11> /
- Knowledge of Things: A Novel Approach to Share Self-Taught Knowledge
Between IoT Devices
! 최근 사물인터넷 산업이 발전하고 인터넷에 연결되는 디바이스의 수가 급격히 증가하면서 더욱 스마트한 서비스를 제공하는 지능형 사물인터넷에 대한 요구가 증가하고 있지만 제조사 디바이스 환경 등 다양한 요인으로 인한 이질성, , (heterogeneity)때문에 디바이스 상호연동 및 연결지능 기술 구현에 불편함을 겪고 있는 상황임. ! 이러한 이질성은 결국 사용자 편의성을 악화시키는 문제를 보임 유사하거나 동일한 . 사물지식을 요구하는 이종의 IoT 디바이스들을 사용할 때 사용자는 사물지식을 생성하는 , 동일한 행위를 반복적으로 수행해야 한다 예를 들어 집안에 설치된 스마트미러는 가족 . , 구성원의 얼굴을 인식하여 맞춤 서비스를 제공하기 위해 각 가족 구성원의 얼굴을 학습하고 얼굴인식 지식을 생성한다 가정용 로봇 스마트도어벨 및 가정용 보안카메라와 . ,
같은 얼굴인식 지식을 필요로 하는 다른 디바이스들이 집안에 추가 될 때마다 가족 구성원들은 기기별 얼굴인식 지식을 생성하기 위해 얼굴 학습을 반복적으로 수행해야 한다 본 논문에서는 사물 간 연결지능을 통해 지능형 . IoT 환경을 구축하기 위해 하나의 디바이스가 스스로 학습한 사물지식을 서로 다른 디바이스와 공유하기 위한 Knowledge 프레임워크를 제안한다 of Things (KoT) . ! KoT 프레임워크를 이용한 사물지식 공유 기술 유스케이스 시나리오는 다음과 같다. 사용자는 가족구성원에게 개인화 된 서비스를 제공하는 스마트미러를 가정 내에 설치하고 스마트미러는 얼굴인식을 위해 각각의 구성원 얼굴을 학습한다 스마트미러는 아래 그림 . 과 같이 사물 스스로 학습한 얼굴인식 지식을 KoT 저장소에 저장한다 이후 사용자는 . 가족 및 방문자의 얼굴을 인식하고 방문자가 도착했음을 알리는 새로운 IoT 디바이스인 스마트도어벨을 설치한다 일반적으로 새로운 . IoT 디바이스에 얼굴인식 기능이 있는 경우 새 디바이스는 반복적으로 얼굴인식 학습을 수행해야 한다 그러나 제안된 . KoT 프레임워크를 이용해 스마트도어벨은 KoT 저장소에 연결되며 아래 그림과 같이 스마트미러로부터 생성되고 저장된 얼굴인식 지식을 쉽게 가져올 수 있다 따라서 . 스마트도어벨의 얼굴인식 학습 과정 없이 바로 사용할 수 있다. ! 스마트도어벨이 스스로 생성한 사물지식 역시 스마트미러와 공유되어 질 수 있다. 스마트미러는 KoT 저장소에서 스마트도어벨로부터 생성된 지식을 파악하여 친구 친척, , 이웃 등 가정에 자주 방문하는 방문객이 도착하였음을 알려줄 수 있다. 그림 프레임워크를 통해 얼굴인식 지식을 공유하는 두 사물 < 12> KoT IoT ! 아래의 그림은 oneM2M 사물인터넷 플랫폼 기반 KoT 프레임워크의 아키텍쳐를 보여준다. 및
AE (Application Entitiy) ASN-CSE (Common Service Entity of Application Service 기반의 필드 도메인에 스마트미러와 스마트도어벨이 위치하고 인프라 도메인에
Node) ,
스마트홈을 관리하는 게이트웨이 혹은 서버가 위치한다 각각의 구성요소에는 . oneM2M을 기반으로 데이터를 수집 저장하며 , KoT 프레임워크를 통해 사물지식을 생성하고,
그림 기반 프레임워크 < 13> oneM 2M KoT
! 스마트미러는 ASN-CSE와 IN-CSE 간의 인터페이스를 통해 가족 구성원의 얼굴을 학습한 얼굴인식 지식을 KoT 저장소에 저장한다 각 . CSE에 있는 KoT 프레임워크는 IoT
디바이스가 사물지식을 쉽게 생성 저장하고 공유 할 수 있게 한다 스마트도어벨 역시 , . 학습한 사물지식을 KoT 프레임워크를 통해 스마트미러에게 전달할 수 있다 이러한 . 사물간 지식 공유 기술은 사물 연결지능 기술 개발을 위한 기반 기술이 된다.
- 사물 디바이스 간 사물지식 공유를 기반으로 한 사물인터넷 응용 서비스 제공 방법
및 시스템
! 본 방법은 사물인터넷 표준 기반 플랫폼 환경에서 기계학습 기술을 이용하는 지능형 사물이 스스로 학습한 지식을 제 의 지능형 사물과 공유하게 함으로써 유사한 혹은 3 , 동일한 지식을 필요로 하는 서로 다른 사물 간에 사물지식의 복제 전파 교환이 원활하게 , , 이뤄지도록 하는데 목적을 가진다 이는 사물 간 연결지능 기술 개발을 위한 요소 기술 . 중 하나이다. ! 종래의 사물인터넷 표준 기반 플랫폼에서는 유사한 혹은 동일한 지식을 필요로 하는 다수의 사물이 존재할 때 사용자는 사물의 수만큼 사물지식을 학습시키기 위한 동일한 , 행위를 반복해야한다 예를 들어 사람의 얼굴을 인식하는 서로 다른 세 사물이 존재할 . , 때 사용자는 세 사물이 제공하는 서비스를 모두 이용하기 위해서는 각각 한번 씩 총 세 , , 번의 얼굴인식을 학습시켜야 한다 이는 사용자로 하여금 동일한 작업을 반복적으로 하게 . 함으로써 사물인터넷 환경에서 다양한 사물을 사용하는데 불편함을 초래할 수 있다, . ! 본 발명의 목적을 달성하기 위해 사물인터넷 표준 기반 플랫폼과 그 내부에 , 사물데이터를 처리하는 사물데이터 처리부 사물지식을 처리하는 사물지식 프레임워크로 , 구성된다 사물인터넷 플랫폼은 데이터를 처리하기 위한 데이터 관리부 데이터 탐색부. , , 그룹 관리부 구독 및 통지부 등 사물로부터 수집된 데이터를 수집 저장 관리를 , , ,담당하는 부분과 데이터로부터 학습된 사물 지식을 저장 관리하는 부분으로 나뉜다, , . 아래 그림은 본 발명의 시스템 구성도이다 사물데이터 처리부는 사물로부터 수집된 . 데이터를 관리 검색 처리하기 위한 모듈과 사물데이터를 저장하는 사물데이터 저장소를 , , 포함한다 사물지식 프레임워크는 사물로부터 수집된 데이터를 이용하여 머신러닝 딥러닝 . , 등의 기계학습 기술을 통해 생성된 사물지식을 관리 검색 저장 처리하기 위한 모듈과 , , , 사물지식을 저장하는 사물지식 저장소를 포함한다. 그림 사물지식 공유 시스템 구성도 < 14> ! 아래 그림은 사물과 사물인터넷 플랫폼 사물지식 프레임워크의 상세 동작 흐름도이다 본 , . 시스템에서 번 사물이 수집한 데이터는 사물인터넷 플랫폼으로 전달 1) 1 사물데이터 저장소에 저장 2) 수집한 데이터를 학습하기 위해 데이터를 추출 3) 사물은 다량의 사물데이터를 학습하여 사물지식을 생성 4) 번 사물의 사물 로컬 저장소뿐만 아니라 사물인터넷 플랫폼의 사물지식 5) 1 프레임워크를 통해 사물지식 저장소에도 저장. 1번 사물은 로컬 저장소에 저장된 사물지식을 이용해 사용자에게 응용서비스를 제공. 새로운 번 사물이 동일한 사물지식을 필요로 할 때 앞서 언급한 번 6) 2 , 1) – 5) 과정을 반복하지 않고 사물인터넷 플랫폼의 사물지식 프레임워크를 통해 사물지식 저장소로부터 필요한 지식을 추출 번 사물의 사물 로컬 저장소에 저장하고 이를 이용한 응용서비스를 사용자에게 7) 2 즉각 제공
그림 사물지식 공유 동작 흐름도 < 15>
!
본 방법을 활용하면 사물인터넷 환경에서 서로 다른 사물이 공통적으로 필요한사물지식을 공유할 수 있게 함으로써 각각의 사물들이 제공하는 사용자 응용 서비스가 , 초기의 사물데이터 학습과정 없이 사물 연결지능을 통해 효율적으로 제공될 수 있다
.
- Device to Device Knowledge Transfer through Structured Data
! 인터넷에 연결된 스마트 장치가 널리 보급되고 이들이 점차 서로 연결됨에 따라 일상적인 생활에서 스마트 디바이스을 쉽게 접할 수 있게 되었다 스마트 . IoT 장치는 데이터를 수집하는 것이 아니라 데이터에서 유용한 지식을 생성한다 예를 들어 . 사의 는 일정 기간 동안 사용 패턴을 학습하고 자동으로 온도 제어를 Google Nest 실행하여 사용자 환경을 극대화하고 에너지 비용을 최소화 한다 이와 마찬가지로 . 디바이스 생성 지식을 활용하면, IoT 디바이스를 스마트하게 만듦으로서 우리의 삶을 편리하게 만들 수 있다. ! 더 많은 IoT 디바이스가 네트워크에 연결 될수록 디바이스는 스마트해 질 수 있다 향상된 . 임베디드 컴퓨팅 성능으로 IoT 디바이스는 수집 된 데이터를 전송하고 클라우드
컴퓨팅에서 생성 된 지식을 얻을 수 있다. Amazon Echo 및 Google Home과 같은 음성 인식 스피커는 원시 음성 입력을 서버에 보내고 그 음성의 의미를 이해하고 지식을 응답으로 제공한다 최근 연구에서도 신경망을 이용하여 자율적으로 지식을 생성 할 수 . 있는 것으로 나타났다. ! 디바이스 지식은 유용한 정보를 제공하기 위해 데이터 처리 후 인터넷에 연결된 장치에 의해 생성되는 지식이다. IoT 디바이스를 만드는 여러 제조업체가 있으며 대부분의 장치들은 각각 자체의 목적 및 자체의 형식으로 장치 정보를 생성한다 더 많은 . 디바이스가 네트워크에 연결됨에 따라 상호 운용 가능한 디바이스 간에 효과적인 데이터 전송에 대한 요구가 증가 할 것으로 예상된다. 디바이스 지식을 다른 디바이스로 전송하고 적용하는 것이 쉬워지면 사용자는 상호 운용 가능한 장치의 시너지 효과를 얻을 수 있다.
그림 디바이스 지식 의
< 16> (Device Knowledge) Structured Data
! 본 논문에서는 구조화 된 데이터를 통한 IoT 디바이스간의 디바이스 지식 전달의 새로운 접근 방법을 제안한다. 디바이스 지식은 처리되지 않은 데이터를 유용하게 만들기 위해 장치에서 생성 된 지식을 나타낸다. 디바이스 지식은 다양한 형식의 다양한 알고리즘에 의해 생성되고 구조화 된 데이터를 통해 상호 운용 가능한 , 디바이스 간에 공유 될 수 있다. 디바이스 간의 지식 전달을 지원함으로써 디바이스 지식을 입력 데이터로 활용하고 디바이스에서 프로스세 된 데이터와 통신하도록 함으로써 이점을 얻을 수 있다 이를 . 통해 중복 데이터 수집 교육비용 리소스 시간 네트워크 및 노력을 줄일 수 있다, , , , . 그림 스마트 디바이스 간의 디바이스 지식 공유 시나리오 < 17> (Device Knowledge) ! 위의 그림은 상호 운용 가능한 스마트 디바이스 간에 장치 지식을 전달할 때 가능한 시나리오를 보여준다 장치 은 환경 감지 디바이스이다 온도 및 습도 등의 센서 . 1 . 데이터를 입력 데이터로 사용하여 문자 및 숫자가 포함 된 목록 인 장치 지식 설명 및 온도 비교를 생성한다. Descriptive Temp는 날씨에 대한 지식을 서술적으로 알려주고 은 다른 날짜와의 온도 비교에 대한 지식을 제공한다 장치 는 장치 Temp Comparison . 2
정보를 입력 데이터로 처리 할 수 있는 스피커이다. Device 1의 Descriptiv e Temp는 입력 데이터로 사용될 수 있으며 Play Time 및 Content Pref와 같은 장치 정보를 생성 할
수 있다 재생 시간은 재생 시간의 빈도 및 통계를 제공하고 콘텐츠 기본 설정은 어떤 . 콘텐츠 배포에 대한 정보를 제공한다.
- 목적이 같거나 다른 사물 인터넷 기기간 지식 공유 시스템 및 그 방법
! 최근 하드웨어의 성능의 발전과 더불어 소프트웨어 기술의 발전으로 스마트 디바이스 또는 사물인터넷 디바이스 등의 모바일 디바이스에서 인공지능을 활용한 서비스가 증가 하고 있다 스마트 디바이스에서 구동 되는 음성인식 사물 인식 사용자 인식 콘텐츠 . , , , 인식 및 추천 등의 서비스들은 스마트 디바이스에ﾡ 적용 가능한 사물지식(Device 의 구현이 중요하다 사물지식의 구현을 위해 기존의 머신러닝 기법을 Knowledge) .활용한 룰 베이스 (Rule based) 또는 트리 (Tree) 구조 등의 알고리즘을 활용한다 또한 . 최근에 주목 받고 있는 인공 신경망 (Neural Network) 기술의ￇ 적용이 증가 하고 있다. 이와 같은 인공지능 기술이 활용된 사물지식을 스마트 디바이스에 접목함으로서 스마트 디바이스는 사용자의 요구를 빠르고 정확하게 판단하고 현명한 대응 할 수 있다. ! 사물지식의 구현을 위한 인공 신경망 알고리즘의 적용은 기존의 머신러닝 알고리즘의 적용 보다 보통 향상된 결과를 보여준다 하지만 인공 신경망 알고리즘의 구현에는 . 기존의 머신러닝 알고리즘보다 많은 양의 연산처리와 리소스가 요구된다 그렇기 때문에 . 디바이스의 성능이 좋지 않은 경우 디바이스 단계에서의 학습은 매우 제한적이다 따라서 . 기존에 생성된 사물지식의 결과물 또는 그 중간 생성물의 공유 및 재사용은 컴퓨팅 리소스를 절약하고 스마트 디바이스의 보다 빠른 대응을 용이하게 해 준다. ! 종래의 스마트 디바이스에서의 사물지식의 공유는 매우 제한적으로 적용 되어 왔다 같은 . 제조사 내의 제품군에서 사용자의 선호도 정보가 공유 되는 경우가 있다 하지만 . 제조사가 다른 경우 또는 제품의 목적이 다른 환경에서의 경우 사물지식의 공유되지 않는 패쇄적인 특성이 있다 하지만 최근 이러한 인공지능 기술을 활용한 사물지식의 . 공유 방안에 대한 필요성이 대두되고 있으며 이를 위해 사물지식의 경량화 구조화, , , 모듈화 등의 대한 요구사항이 증가 하고 있다. ! 본 발명은 스마트 디바이스에서 인공지능 기술을 활용해 습득한 사물지식의 결과물 또는 중간 생성물을 타 제조사 또는 같거나 다른 목적의 스마트 디바이스에서활용 할 수 있는 방법을 제공함으로써 이미 생성된 사물지식의 결과물 또는 사물지식의 중간 생성물을 , 효율적으로 공유 및 적용 할 수 있다.
그림 시스템 구성도 < 18> ! 본 방법의 목적을 달성하기 위해 사물 지식 공유 모듈과 이를 구성하고 있는 사물지식을 처리 하는 사물지식 모듈과 지식종류를 처리하는 지식종류 분류 모듈로 구성되어 있다. 그림 18은 본 발명의 실시 예에 따른 시스템 구성도 이다 사물지식 모듈은 스마트 . 디바이스에서 습득한 데이터를 가지고 사물지식을 생성하는 사물지식 생성기 사용자 , 또는 스마트 디바이스가 사용 할 사물지식을 선택하는 사물지식 선택기와 사물지식을 저장하는 사물지식 저장소로 구성되어 있다 지식종류 분류 모듈은 스마트 디바이스의 . 입력 데이터에 사용 가능 한 사물지식의 지식분류를 정의하기 위한 입력 데이터 지식분류 정의기 디바이스의 출력 사물지식 지식분류를 정의하기 위한 출력 데이터 , 지식분류 정의기와 지식분류 규칙을 저장하는 지식분류 저장소로 구성되어 있다. ! 그림 19는 본 발명의 실시 예에 따른 스마트 디바이스에서 사물지식을 입력 데이터로 사용하기 위해 사물지식 모듈과 지식종류 분류 모듈과 연동하는 상세 동작 구성도이다. 본 시스템에서 1) 스마트 디바이스는 입력 데이터 지식분류 정의기에 지식분류를 요청한다. 2) 지식분류 규칙 저장소에 요청한 규칙이 업데이트 되면 3) 요청 받은 스마트 디바이스에 사용 가능한 입력 데이터 사물지식 지식분류를 출력한다. 4) 스마트 디바이스는 출력 받은 지식분류에 속한 사물지식을 사물 지식 저장소에 요청을 하고 5) 사물지식 선택기에서 사물지식을 선택 하고 6) 이를 스마트 디바이스의 입력 데이터로 사용한다. ! 그림 20은 본 발명의 실시 예에 따른 스마트 디바이스에서 사물지식을 생성해서 출력 할 때 사물지식 모듈과 지식종류 분류 모듈과 연동하는 상세 동작 구성도이다 본 . 시스템에서 1) 스마트 디바이스는 사물지식 생성기에 사물지식 생성을 요청한다. 2) 사물지식 생서 기에서 지식분류 규칙 저장소를 통해 사물지식 지식분류 규칙을 업데이트 한다. 3) 출력데이터 지식분류 정의기 에서 출력 지식분류가 선정되면 4) 이를 사물지식 저장소에 저장한다.
그림 < 19> 사물지식을 입력 데이터로 사용하기 위해 사물지식 모듈과 지식종류 분류 모듈과 연동하는 상세 동작 구성도 그림 < 20> 사물지식을 생성해서 출력 할 때 사물지식 모듈과 지식종류 분류 모듈과 연동하는 상세 동작 구성도
- Low-Power Consumption Beacon Recognition Method to Access Wireless
Sensor Networks
! 기술분야
% 사물인터넷 기기의 단말장치가 시분할 다중 접속 무선 네트워크를 사용하는 경우 비콘 , 검출에 소비하는 전력을 저감하기 위한 기술
% 사물인터넷 기기의 영구적 사용을 위해 센서 노드에 에너지 하베스터를 융합하는 사례 증가 % 에너지 하베스터의 발전 전력은 면적에 비례하여 생산되고 센서 노드는 소형화되는 , 추세이므로 발전량이 충분하지 않음, % 전력 소비량 절감을 위해 대기모드 전환이 용이한 시분할 다중 접속 무선 네트워크를 적용하더라도 종전의 기술로는 초기 비콘 탐지시 소비하는 전력은 절감할 수 없었음, ! 연구목적 % 센서 노드에서 초기 비콘 탐지시 소비하는 전력을 절감하기 위해 수신모드와 대기모드를 교차 운용하는 방법 도출 ! 연구내용 % 비콘 송출 특성 & 비콘은 수퍼프레임의 가장 앞부분에서 액세스 포인트가 센서 노드로 송출하는 제어신호로 센서 노드의 신호 송출 시점을 지정한 정보가 포함되어 있음, & 액세스 포인트가 시작하면 수퍼프레임의 주기는 거의 변하지 않음, & 수퍼프레임 단위로 정렬해보면 수퍼프레임 길이는 일정하며 비콘은 항상 , 수퍼프레임의 앞부분에 위치해 있음 그림 비콘 발생 주기 < 21> 그림 수퍼프레임 단위의 비콘 정렬 < 22> % 수신모드와 대기모드의 교차 운용 & 수퍼프레임에서 비콘의 위치는 항상 일정하다는 특성을 이용 & 센서 노드에서는 첫 수퍼프레임에서 tRX 시간 동안 수신모드로 설정하고, 수퍼프레임 시간만큼 대기모드로 설정 & 상기의 과정을 반복하면 수퍼프레임의 마지막 부분까지 비콘의 존재 여부를 검출할
& 수퍼프레임 주기에서 일부분의 시간만 수신모드로 설정하기 때문에 순간적인 전력소비를 줄일 수 있음 & 에너지 하베스터가 정합된 조건을 고려하면 발전량이 순간적인 전력소비량보다 큰 , 경우 센서노드가 안정적으로 비콘을 검출할 수 있음. 그림 < 23> 수신모드 및 대기모드 교차운용방안 ! 기대효과 % 사물인터넷 기기가 액세스 포인트로 처음 접속을 시도하는 시점의 전력 소비를 절감하여 기기가 안정적으로 네트워크에 접속하도록 유도 그림 비콘 검출단계의 소비전력 차이 비교 < 24>
- 사물인터넷의 분산 컴퓨팅 구조를 이용한 고속 푸리에 변환 연산 시스템 구조
! 기술분야 % 사물인터넷 환경에 사용된 마이크로프로세서의 유휴 자원과 무선 통신망을 활용하여 고속 푸리에 연산을 수행하는 시스템 구조 연구 ! 연구배경 및 목적 % 사물인터넷 환경의 액세스포인트 및 센서 노드는 일반적으로 마이크로프로세서 사용 % 제어 및 통신에 사용하는 시점을 제외하면 마이크로프로세서의 연산 기능은 사용하지 않음 % 센서 데이터의 분석은 일반적으로 서버단에서 수행하는데 경우에 따라 서버에 부하가 , 발생% 주파수 분석 기법은 센서 데이터 해석을 위해 일반적으로 사용하는 수학적 툴로 작은 , 단위의 연산으로 분해 가능 ! 연구내용 % 고속 푸리에 연산 시스템 구조 % 고속 푸리에 연산은 다수의 나비구조를 통해 반복 계산되는 것을 활용 % 각 마이크로프로세서는 복소수의 입력 및 출력이 개인 2 Radix-2 나비구조의 연산 프로세스 구비 % 코디네이터에서 수집한 센서 데이터와 스테이지 번호를 센서 노드로 전송 % 센서 노드에서는 나비구조 연산을 수행하고 그 결과를 액세스 포인트로 전달 % 이러한 과정을 마지막 스테이지까지 반복 % 액세스 포인트는 매 스테이지마다 수신한 데이터의 정렬 및 인덱스 관리 ! 기대효과 % 엣지측에서 단독으로 센서 데이터의 주파수 분석 수행 % 마이크로프로세서의 유휴 컴퓨팅 자원 활용
- 전파 사용패턴 학습 기반 개인영역 무선 네트워크 접속 방법 및 장치
! 기술분야 % 머신러닝 딥러닝 기법을 활용한 무선 신호 예측 기반 간섭 회피 기술/ ! 연구배경 % 센서가 부착된 사물인터넷 단말기는 일반적으로 ISM 대역을 사용하는 개인영역 무선통신을 통해 게이트웨이로 데이터를 전송 % Wi-Fi 역시 ISM대역을 사용하며 이에 따라 사물인터넷 기기의 무선 통신 성능은 , 신호에 의해 영향을 받음 Wi-Fi % Wi-Fi 신호는 상대적으로 강하게 신호를 송출하며 무선기기 사용자 수에 비례 % Office 환경에서 ISM 대역 사용량을 고려해 보면 일과시간에는 무선대역이 혼잡할 것이나 식사 휴식 일과외 시간에는 한산할 것으로 예상, , , 그림 대역의 무선신호 공존 < 25> ISM ! 연구목적 % 개인영역 통신 장치의 통신 안정성 확보를 위해 액세스 포인트에서 머신러닝 딥러닝 / 기법을 이용하여 동일 무선 대역의 간섭신호 발생 현황을 학습하고 이를 기반으로 ,! 연구내용 % 시스템 설계
& 개인영역 통신 장치에서는 무선 링크 현황에 대한 기본적인 측정정보 제공 (ED (Energy detection), LQI (Link Quality Indication), CCA (Clear Channel
등 Assessment), RSSI (Received Signal Strength Indication) )
& 개인영역 통신 장치의 PHY 계층에서는 패킷 검출을 위해 Synchronization을 수행하며 이 때 , symbol level의 타이밍 정보 획득이 가능 & 개인영역 통신 장치의 MAC 계층에서는 네트워크 접속정보 및 채널 할당정보 보유 & 무선 채널 정보를 간섭 패턴 인식엔진의 입력으로 설정하고 그에 따른 연산 결과를 , 계층의 제어 정보로 전달 MAC & 그림 간섭 패턴 인식엔진을 포함한 액세스 포인트 구조 < 26> % 간섭패턴 인식엔진 인터페이스 & 패턴 학습을 위해 초기에는 무선 파라미터 정보를 이용하여 뉴럴네트워크에 적용하여 신호 간섭여부 학습 예를 들면( , ED, CCA 및 RSSI를 통해 무선채널에 사물인터넷 기기에서 송출하는 무선신호를 검출하였으나, synchronization 되지 않은 경우 간섭이 발생한 것으로 간주) & RSSI값을 통해 오류 발생확률이 이론적인 확률에 근접한 경우 학습을 종료하고, 간섭 패턴 예측기능을 시작 & 만약 간섭패턴을 예측하였음에도 불구하고 통신성능이 설정값보다 저하되면 다시 , , 신호 간섭패턴 학습 & 간섭패턴 인식엔진은 간섭의 유무만 판단하므로 이진 분류기능 제공,
그림 < 27> 간섭패턴 인식엔진 인터페이스 % 개인영역 통신 장치의 동작절차 & 일반적인 액세스 포인트는 시분할 액세스 혹은 백오프 이후 유휴구간을 설정하지만, 제안하는 시스템에서는 무선파라미터 획득 및 간섭패턴 예측 기능을 포함 & 센서노드의 접속 시간을 제어하기 위해 간섭패턴을 예측한 데이터 활용 & 센서노드에서는 액세스 포인트에서 전송한 신호를 통해 간섭발생 패턴을 별도로 학습하고 학습한 결과를 액세스 포인트로 전달, & 액세스 포인트에서는 자신이 학습한 결과와 센서노드에서 학습한 결과를 토대로 예측 엔진의 파라미터 업데이트 그림 < 28> 액세스 포인트 동작 절차도
그림 < 29> 센서 노드 동작 절차도: 좌 시분할 접속 네트워크 우 랜덤 접속 네트워크 ( ) ( ) ! 기대효과 % 간섭 신호의 발생시점을 예측하여 자율적으로 간섭 트래픽이 몰리는 시점을 회피하도록 센서 노드의 통신기능 제어 % 간섭신호의 발생패턴은 머신러닝 딥러닝으로 학습하기 때문에 패턴이 변화하더라도 / 통신환경에 적응적으로 네트워크 구성 % 간섭신호에 의한 무선 충돌 확률을 저감하여 대역사용효율 및 통신성능 향상
◯
사람 사물 인터렉션 모델 정의
-! 사물 사물 인터렉션 모델 정의를 위한 지능 요소 가지 카테고리 정의- 5 지능 요소 정의를 위한 상위 카테고리 도출을 위해 및 스마트홈 환경에서 - IoT 요구되는 지능의 요소를 정의하기 위해 먼저 상위 카테고리를 도출하고 하위 요소를 , , 정의하기로 함. 이론적 접근을 통해 사용자 시스템 작업 을 정의함 인터렉션 - (user), (system), (task) .디자인에서 기본적인 요소로 제시되는 요소는 사용자 시스템 작업으로 구성됨 즉, , . , 사용자는 시스템에 명령하고 시스템은 피드백을 출력하며 시스템은 작업을 수행하며 , 그 피드백을 저장함 따라서. , IoT 및 스마트홈 환경의 시스템 디자인에 필요한 지능 요소를 정의함에 있어서도 사용자 시스템 작업 세 가지 차원을 기본 요소로 정의할 , , 수 있음. 및 사물연결 지능 특성에 맞게 대화 와 협업 요소를 - IoT (conversation) (cooperation)
추가함. IoT 및 스마트홈 환경에서는 음성 명령으로 작업을 수행하는 상황이 많음. 특히 스마트 스피커의 발달과 보급 딥러닝을 활용한 음성인식 기술의 향상 등의 , 영향으로 실생활에서 대화 지능의 비중이 증대되고 있음 또한. , IoT 및 스마트홈 환경은 여러 센서와 디바이스가 연결되어 함께 동작하는 협업 기능이 중요해지며, 협업을 위해서는 공통의 목표 작업을 달성하기 위해 기기 간의 커뮤니케이션을 위한
지능이 필요함 이에 따라 협업 지능 역시 . , IoT 및 스마트홈 환경의 중요한 요소로 정의됨.
최종적으로 대화 협업 사용자 작업
- , (conversation), (cooperation), (user), (task), 시스템(system) 5가지 차원을 IoT 및 스마트홈 환경에서 요구되는 지능의 주요 차원으로 정의함. 그림 사람 사물 인터렉션 모델의 가지 구성요소 < 30> - 5 ! 지능 요소 정의를 위한 체계적 문헌 고찰 (systemic review) 지능 요소를 찾기 위한 체계적 문헌 고찰를 수행함 체계적 문헌 고찰은 명백하고 - . , 반복 가능하며 최소한의 바이어스를 가진방법론을 사용해 연구질문에 관련된 근거를 , 검색하고 식별하고 선정하고 평가하고 종합하기 위한 논문 리뷰 방법임 음성 , , , , . 기반의 IoT 및 스마트홈 환경에서 요구되는 지능의 요소를 정의하기 위해 선행 문헌 검색을 실시함. 첫 번째 단계로 년 사이에 에 출간된 논문을
- , 2012~2017 ACM DL, Web of Science
중심으로 약 550개 논문을 검색함 이 때 검색 키워드로 . , {virtual, conversational, 의 쌍을 입력함 두 번째 단계로 voice, IoT, Smart home} * {agent, assistant} 10 . , 첫 번째 단계에서 검색된 결과에 중복된 결과를 기계적으로 제거함 세 번째 단계로. , 실제 실험한 논문을 중심으로 검색함 네 번째 단계로 본 연구에서 찾고자 하는 . , 개념과 유사한 논문을 찾고자 함 한 아티클을 두명이 검토하여 일치 여부를 .
확인하며 이견 있는 것만 제 자가 검토함, 3 . 74개의 논문이 제거되어 총 35개의 논문이 선정됨 선정된 논문은 다음과 같음. .
- Angelo Cafaro, Brian Ravenet, Magalie Ochs, Hannes Högni Vilhjálmsson, and Catherine
Pelachaud. 2016. The Effects of Interpersonal Attitude of a Group of Agents on User’s Presence and Proxemics Behavior. ACM Transactions on Interactive Intelligent Systems 6, 2: 1 33. –
- Frederick G. Conrad, Michael F. Schober, Matt Jans, Rachel A. Orlowski, Daniel Nielsen, and Rachel Levenstein. 2015. Comprehension and engagement in survey interviews with virtual agents. Frontiers in Psychology 6, OCT: 1 20. –
- G Stratou and L P Morency. 2016. MultiSense - Context-Aware Nonverbal Behavior Analysis Framework: A Psychological Distress Use Case. IEEE Transactions on Affective Computing PP, 99: Anton Bogdanovych, Tomas Trescak, and Simeon Simoff. 2016. What makes virtual agents believable? Connection Science 91, February: 1 26. –
- Pierre De Loor, Romain Richard, Julien Soler, and Elisabetta Bevacqua. 2016. Aliveness metaphor for an evolutive gesture interaction based on coupling between a human and a virtual agent. 29th International Conference on Computer Animation and Social Agents (CASA2016): to appear. - Yukiko I. Nakano, Naoya Baba, Hung-Hsuan Huang, and Yuki Hayashi.2013. Implementation and evaluation of a multimodal addressee identification mechanism for multiparty conversation systems. In Proceedings of the 15th ACM on International Conference on Multimodal Interaction (ICMI ’13), 35 42. –
- Deborah Richards. 2012. Agent-based museum and tour guides. Proceedings of The 8th Australasian Conference on Interactive Entertainment Playing the System - IE ’12: 1 9. –
- Timothy W. Bickmore, Daniel Schulman, and Candace Sidner. 2013. Automated interventions for multiple healthbehaviors using conversational agents. Patient Education and Counseling 92, 2: 142 148. –
- Deborah Richards and Karla Bransky. 2014. ForgetMeNot: What and how users expect intelligent virtual agents to recall and forget personal conversational content. International Journal of Human Computer Studies 72, 5: 460 476. –
- M Schroder, E Bevacqua, R Cowie, F Eyben, H Gunes, D Heylen, M Maat, G Mckeown, S Pammi, M Pantic, C Pelachaud, B Schuller, E Sevin, M F Valstar, and M Woellmer. 2012. Building
Autonomous Sensitive Arti cial Listeners. Affective Computing, IEEE Transactions on 4, 2. fi
- Elisabetta Bevacqua, Etienne de Sevin, Sylwia Julia Hyniewska, and Catherine Pelachaud. 2012. A listener model: Introducing personality traits. Journal on Multimodal User Interfaces 6, 1 2: 27 38. – – - Timothy W. Bickmore, Rebecca A. Silliman, Kerrie Nelson, Debbie M. Cheng, Michael Winter, Lori Henault, and Michael K. Paasche-Orlow. 2013. A randomized controlled trial of an automated exercise coach for older adults. Journal of the American Geriatrics Society 61, 10: 1676 1683. – - Timothy W. Bickmore, Laura M.Pfeifer Vardoulakis, and Daniel Schulman. 2013. Tinker: A relational agent museum guide. Autonomous Agents and Multi-Agent Systems 27, 2: 254 276. –
- Timothy W. Bickmore, Dina Utami, Robin Matsuyama, and Michael K. Paasche-Orlow. 2016. Improving Access to Online Health Information With Conversational Agents: A Randomized Controlled Experiment. Journal of medical Internet research 18, 1: e
- Joaquín Pérez, Eva Cerezo, and Francisco J. Serón. 2016. E-Vox: A Socially Enhanced Semantic ECA Joaquín. In Proceedings of the International Workshop on Social Learning and Multimodal Interaction for Designing Artificial Agents - DAA ’16, 1 6. –
- Adam S. Miner, Arnold Milstein, Stephen Schueller, Roshini Hegde, Christina Mangurian, Eleni Linos, Powell AC, Sable MR, Bickmore T, Mishara BL, Guest G, Leykin Y, and Lewis SP. 2016. Smartphone-Based Conversational Agents and Responses to Questions About Mental Health, Interpersonal Violence, and Physical Health. JAMA Internal Medicine 311, 18: 1851 1852. –
- Luciana Benotti, Tessa Lau, and Martin Villalba. 2014. Interpreting Natural Language Instructions Using Language, Vision, and Behavior. ACM Trans. Interact. Intell. Syst. 4, 3: 13:1--13:22.
- Mohammed (Ehsan) Hoque, Matthieu Courgeon, Jean-Claude Martin, Bilge Mutlu, and Rosalind W. Picard. 2013. Mach: My Automated Conversation coacH. Proceedings of the 2013 ACM international joint conference on Pervasive and ubiquitous computing - UbiComp ’13: 697.
- Zoraida Callejas, Brian Ravenet, Magalie Ochs, and Catherine Pelachaud. 2014. A computational model of social attitudes for a virtual recruiter. 13th International Conference on Autonomous Agents and Multiagent Systems, AAMAS 2014 1: 93 100. –
- Christine Lisetti, Reza Amini, Ugan Yasavur, and Naphtali Rishe. 2013. I Can Help You Change! An Empathic Virtual Agent Delivers Behavior Change Health Interventions. ACM Transactions on
Management Information Systems 4, 4: 1 28. –
- Birte Carlmeyer, David Schlangen, and Britta Wrede. 2016. Exploring Self-interruptions As a Strategy for Regaining the Attention of Distracted Users. Proceedings of the 1st Workshop on Embodied Interaction with Smart Environments: 4:1 4:6. –
- A. Bres, J. Martinez-Miranda, C. Botella, R. M. Ba?os, and J. M. Garcmez. 2016. Usability and acceptability assessment of an empathic virtual agent to prevent major depression. Expert Systems 33, 4: 297 312. –
- Naoto Yoshida and Tomoko Yonezawa. 2015. Spatial communication and recognition in human-agent interaction using motion-parallax-based 3DCG virtual agent. In HAI 2015, 97 103. – - Tomislav Pejsa, Sean Andrist, Michael Gleicher, and Bilge Mutlu. 2015. Gaze and Attention Management for Embodied Conversational Agents. ACM Transactions on Interactive Intelligent Systems 5, 1: 3:1--3:34.
- Tomislav Pejsa, Dan Bohus, Michael F. Cohen, Chit W. Saw, James Mahoney, and Eric Horvitz. 2014. Natural Communication about Uncertainties in Situated Interaction. International Conference on Multimodal Interaction: 283 290. –
- Magalie Ochs, Catherine Pelachaud, and Gary McKeown. 2017. A User-Perception Based Approach to Create Smiling Embodied Conversational Agents. ACM Transactions on Interactive Intelligent Systems 7, 1: 1 33. –
- Florian Pecune, Magalie Ochs,Stacy Marsella, Catherine Pelachaud, Florian Pecune, Magalie Ochs, Stacy Marsella, and Catherine Pelachaud. 2016. SOCRATES: from SOCial Relation to ATtitude ExpressionS. Proceedings of the 2016 International Conference on Autonomous Agents & Multiagent Systems: 921 930.–
- Barnan Das, Diane J Cook, Maureen Schmitter-Edgecombe, and Adriana M Seelye. 2012. PUCK: An automated prompting system for smart environments: Toward achieving automated
prompting-challenges involved. Personal and Ubiquitous Computing 16, 7: 859 873. –
- Dimitra Anastasiou, Cui Jian, and Desislava Zhekova. 2012. Speech and gesture interaction in an Ambient assisted living lab. Proceedings of the 1st Workshop on Speech and Multimodal Interaction in Assistive Environments, July: 18 27. Retrieved July 26, 2017–
- Michel Vacher, Sybille Caffiau, François Portet, Brigitte Meillon, Camille Roux, Elena Elias, Benjamin Lecouteux, and Pedro Chahuara. 2015. Evaluation of a Context-Aware Voice Interface for Ambient Assisted Living: Qualitative User Study vs. Quantitative System Evaluation Evaluation of a
context-aware voice interface for Ambient Assisted Living: qualitative user study vs. quantitative system. ACM Trans. Access. Comput 7, 5.
- Sarah Mennicken, Oliver Zihler, Frida Juldaschewa, Veronika Molnar, David Aggeler, and Elaine May Huang. 2016. It’s like living with a friendly stranger: Perceptions of personality traits in a smart home. Proceedings of the 2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing - UbiComp ’16: 120 13https://doi.org/10.1145/2971648.2971757–
- Jessica Lapointe, Bruno Bouchard, Julie Bouchard, Audrey Potvin, and Abdenour Bouzouane. 2012. Smart homes for people with Alzheimer’s disease: adapting prompting strategies to the patient’s cognitive profile. In Proceedings of the 5th International Conference on PErvasive Technologies Related to Assistive Environments - PETRA ’12,
- Dimitra Anastasiou, Cui Jian, and Christoph Stahl. 2013. A German-Chinese speech-gesture behavioural corpus of device control in a smart home. Proceedings of the 6th International Conference on PErvasive Technologies Related to Assistive Environments - PETRA ’13: 1 6. – - Nuno Costa, Patricio Domingues, Florentino Fdez-Riverola, and António Pereira. 2014. A mobile virtual butler to bridge the gap between users and ambient assisted living: A smart home case study. Sensors (Switzerland) 14, 8: 14302 14329. –
- Alex Edgcomb and Frank Vahid. 2012. Privacy perception and fall detection accuracy for in-home video assistive monitoring with privacy enhancements. ACM SIGHIT Record 2, 2: 6 15.–
이전에 정의한 가지 지능 차원에 따른 세부 지능 요소를 정의하기 위해 체계적
- 5 ,
