Development of Self-improving and Human-augmenting Cognitive Computing Technology

<별지 1 내표지>

2017년 12월 보 고 서 번 호

전체부수

자율성장 휴먼증강 인지컴퓨팅 기술 개발

Development of self-improving and human augmenting cognitive

연차실적 보고서

과제유형 1. 기초미래선도형 ( ) 2. 공공인프라형 ( O ) 3. 산업화형 ( ) 대과제명 SW·콘텐츠 기초·원천기술 개발 세부과제명 자율성장 휴먼증강 인지컴퓨팅 기술 개발 세부과제 책임자 소속 및 부서 지능정보연구본부 음성지능연구그룹 직위 (직급) 책임연구원 성명 박전규 총연구기간 2017년 1월 1일 부터 2025년 12월 31일 까지 ( 108 개월) 당해연도 연구기간 2017년 1월 1일 부터 2017년 12월 31일 까지 ( 12 개월) ( 1차년도) 총 연 구 비 정부출연금 67,818,000 천원 당 해 년 연 구 비 정부출연금 4,818,000 천원 민간부담금 천원 민간부담금 천원 계 67,818,000 천원 계 4,818,000 천원 참여인력(M/Y) 총 연 구 기 간 324 명 ( 171.97 M/Y) 당해연도 연구기간 36 명 ( 19.10 M/Y) 참여기관 기관명 연구책임자 기관명 연구책임자 참여연구기관 위탁연구기관 경북대학교 이민호 고려대학교 이종환 대전대학교 배창석 키워드 (6~10 개) 자율성장형 AI, 복합모달 의미이해, 뉴럴 기억모델, 인터랙티브 성장, 사용자 감정인지, 딥러닝, 강화학습 정부출연금사업 연차평가 보고서를 제출합니다. 2017년 12월 31일 세부과제책임자 : 박전규 (인) 직 할 부 서 장 : 한동원 (인)

한국전자통신연구원장 귀하

<별지 2>

인 사 말 씀

인공지능은 세계 경제사회 전반에 혁신을 유발하는 4차 산업혁명을

촉발할 수 있는 핵심 기술로서 다양한 기술분야 및 산업에 폭넓게

적용되는 범용기술로 주목받고 있으며 산업의 생산성과 및 생활의

효율성을 획기적으로 높이고 있습니다.

이미 세계 각국은 새로운 부가가치를 창출할 수 있는 산업에

인공지능 기술을 빠르게 접목하고 있으며, 핵심원천 기술의 개발 및

인공지능 플랫폼을 앞세워 국가역량을 집중하고 있습니다. 하지만

자율적으로 데이터를 학습, 적응시키는 인공지능 기술은 글로벌

선두기업 사이에서 도전하고 있는 분야로 우리에게도 아직은 기회가

있다고 할 수 있습니다.

본 보고서는 차세대 인공지능 기술 확보를 목표로 상황을 인지,

판단하며, 외부와의 소통 및 경험을 통해 배우는 ‘사람처럼 동작하는

컴퓨팅 기술

’ 을 위한 원천기술을 개발하고자 합니다.

2017년 12월

한국전자통신연구원 원장 이 상 훈

<별지 3>

제 출 문

본 연구보고서는 주요사업인 "자율성장 휴먼증강 인지컴퓨팅 기술

개발"의 결과로서, 본 과제에 참여한 아래의 연구팀이 작성한

것입니다.

2017년 12월

연구책임자 : 책임연구원 박전규 (음성지능연구그룹)

연구참여자 : 책임연구원 정호영 (음성지능연구그룹)

책임연구원 송화전 (음성지능연구그룹)

책임연구원 정의석 (음성지능연구그룹)

선임연구원 김현우 (음성지능연구그룹)

책임연구원 박기경 (음성지능연구그룹)

책임연구원 이윤근 (음성지능연구그룹)

책임기술원 강점자 (음성지능연구그룹)

책임연구원 강병옥 (음성지능연구그룹)

선임연구원 정 훈 (음성지능연구그룹)

선임연구원 오유리 (음성지능연구그룹)

선임연구원 이윤경 (음성지능연구그룹)

책임연구원 강동오 (스마트데이터연구그룹)

책임연구원 정준영 (스마트데이터연구그룹)

책임연구원 백의현 (스마트데이터연구그룹)

책임연구원 김기호 (스마트데이터연구그룹)

책임연구원 원종호 (스마트데이터연구그룹)

책임연구원 이전우 (시각지능연구그룹)

선임연구원 오성찬 (시각지능연구그룹)

책임연구원 박종렬 (시각지능연구그룹)

책임연구원 정영식 (시각지능연구그룹)

연 수 생 정재원 (시각지능연구그룹)

책임연구원 정현태 (SW 콘텐츠원천연구그룹)

책임연구원 김가규 (SW 콘텐츠원천연구그룹)

선임연구원 노경주 (SW 콘텐츠원천연구그룹)

연 구 원 정승은 (SW 콘텐츠원천연구그룹)

선임연구원 임지연 (SW 콘텐츠원천연구그룹)

책임연구원 신형철 (SW 콘텐츠원천연구그룹)

책임연구원 정희범 (SW 콘텐츠원천연구그룹)

<별지 4>

요 약 문

Ⅰ. 제 목

자율성장 휴먼증강 인지컴퓨팅 기술 개발

Ⅱ. 연구목적 및 중요성

본 사업은 스스로 학습/성장하며 판단/예측이 가능한 차세대

인공지능 원천기술 개발하여 다양한 응용분야에 활용할 수 있는

뉴럴컴퓨팅 핵심기술을 개발하는 것을 목표로 하고 있다. 인공지능

기술은 지능형 시스템의 필수 기반기술로 컴퓨팅 시스템의

성능한계를 극복하고, 컴퓨팅 환경을 와해적, 변혁적으로 발전시키는

토대로 다수의 연구기관에서도 사람처럼 동작하는 컴퓨팅 기술

확보에 놀겨하고 있다. 미래 인공지능 기술은 스스로 판단/예측하는

SW,

스스로 학습/진화하는 인공지능, 두뇌를 모사하는 뉴럴

컴퓨팅으로 발전할 것으로 전망되며, 본 사업을 통해 이를 위한

차세대 인공지능 기술을 확보할 것으로 기대된다. 본 사업의

인공지능 원천기술 공유를 통해 IDX 추진에 기여하며 인공지능 산업

국제경쟁력을 강화에 기여하는 중요성을 가진다.

Ⅲ. 연구내용 및 범위

 복합모달 기억모델링 요소기술 설계

 복합모달 지식베이스 구축 기술 설계

 인터랙티브 지식성장 요소기술 설계

 사용자 인터랙티브 경험지식 자율성장 요소기술 설계

 다중 에이전트 기반 자율성장 요소기술 설계

 경험기반 감정모델링 요소기술 설계

Ⅳ. 연구결과

 복합모달 기억모델링 요소기술 설계서 구성

 복합모달 지식베이스 구축 기술 설계서 구성

 인터랙티브 지식성장 요소기술 설계서 구성

 사용자 인터랙티브 경험지식 자율성장 요소기술 설계서 구성

 다중 에이전트 기반 자율성장 요소기술 설계서 구성

 경험기반 감정모델링 요소기술 설계서 구성

Ⅴ. 연구개발결과의 활용계획

당해년도에 설계된 세부 기술에 대해 실제 구현을 통한 개발 기술의

타당성 여부에 대한 검증을 실시하고 구현된 세부 기술에 대한 통합

구성을 통해 자율성장 에이전트 및 휴먼이해 에이전트의 엔진을

개발하고, 두 에이전트의 협력 구조의 실증 서비스를 개발에 활용할

계획임

Ⅵ. 기대성과 및 건의

 자율성장 인공지능 기술은 스스로 학습/성장하며 판단/예측이

가능한 차세대 핵심기술로써, 기존 언어처리, 시각처리, 음성

처리 기술의 한계를 극복하는 차세대 기반기술로 활용함



다양한 딥러닝 기반 인공지능 응용분야에 활용 가능한 공통 뉴

럴컴퓨팅 요소기술 및 휴먼지능처리 공통핵심기술을 국내산업

체에 제공하여 산업계 IDX 추진에 기여함



일상에서 수집되는 다양한 데이터에 대한 청각/시각 지능화

처리에 따른 자연어 기반의 언어지능을 자동 학습하여 원하

는 영역의 인공지능 서비스 개발 기간을 크게 단축할 수 있

어 시장을 선점할 수 있을 것으로 예측됨

<별지 7>

목 차

ABSTRACT ...오류! 책갈피가 정의되어 있지 않습니다.

CONTENTS ...오류! 책갈피가 정의되어 있지 않습니다.

제 1 장 서론 ... 21

제 1 절 연구목표 및 연구범위 ... 21

제 2 절 연구개발의 중요성 ... 23

제 2 장 본론 ... 28

제 1 절 개발 시스템 구조 ... 28

제 2 절 자율성장 에이전트 설계 ... 29

1. 자율성장 에이전트 개념 ... 29

2. 뉴럴 기억모델 선행 조사 ... 31

3. 뉴럴 기억모델 설계 ... 33

4. 인터랙티브 학습 설계 ... 34

가. 개요 ... 35 나. 리워드 기반 지식 강화 ... 36 1) 제어부 ... 36 2) 읽기부 ... 37 3) 쓰기부 ... 37 4) 가치 생성부 ... 37

다. 다중 그룹 에이전트 학습 ... 37 1) 그룹 가치 생성부 ... 39 2) 그룹 정책 생성부 ... 39 라. 내재적 리워드 예측 ... 39

5. 두뇌모사형 자율지식성장 시스템 설계 ... 40

가. 두뇌모사형 자율지식성장 기술 요구사항 도출 ... 40 1) 자율지식성장 기술 특허 조사 ... 40 가) 예측추론 기술 특허 조사... 41 나) 자율지식성장 기술 특허 조사 ... 42 다) 시각 관계 기술 특허 조사... 44 2) 자율지식성장 기술 표준 조사 내용 ... 45 3) 도출 기술 요구 사항 ... 46 가) 데이터의 범위 ... 46 나) 지식의 범위 ... 46 다) 지식의 표현 ... 47 라) 지식의 습득/성장 방법... 48 나. 두뇌모사형 자율지식성장엔진 시스템 설계 ... 49 1) 시각정보 추출 기능 모듈 설계 ... 49

가) Visual relationship detection 설계 ... 49

나) Visual Genome dataset ... 52

다) Visual Genome dataset 분석 및 정리 ... 53

2) 예측추론 기능 모듈 설계 ... 62

가) 예측추론 기술 설계 ... 62

나) 장기지식 저장 기술 설계... 68

다) 자율샘플링 기반 성장 기술 설계 ... 79

6. 단어 및 문장 의미유사도 평가셋 구축 ... 89

가. 구축 내용 ... 89 나. 단어 유사도 평가 가이드라인 ... 89 다. 문장 유사도 평가 가이드라인 ... 90 라. 단어 의미유사도 평가 ... 92 마. 문장 의미유사도 평가 ... 93

7. 자율성장 인지컴퓨팅 테스트베드 ... 94

가. AI 코디네이터를 위한 패션 지식 및 사용자 피드백 DB 구축 .... 94 1) 패션 아이템의 메타데이터 구축... 94 2) 패션 코디네이션 평가 DB 구축 ... 97 나. AI 코디네이터 대화 스크립트 DB 구축 ... 99 1) 주요 내용 및 범위 ... 100 가) 사용자 프로파일 선정 ... 100 나) 대화 스크립트 구축 가이드라인 및 샘플 작성 ... 100 다) 대화 스크립트 DB 구축... 100 2) 여성 의류 쇼핑몰 분석 ... 101 가) 분석 대상 ... 101 나) 분석 결과 ... 101 다) 세부 분석 내용 ... 103

3) 코디 대화 sets 위한 TPO 및 User profile ... 112

4) 코디 대화셋 샘플 ... 116

다. 두뇌모사형 자율지식성장엔진 시스템 설계 검증 ... 118

1) 자율 지식성장 엔진 시스템 검증 시나리오 및 유스케이스 발 굴 ... 118

인터페이스 개발 ... 119 2) 자율 지식성장 엔진 시스템 검증용 표준 데이터세트 개발 .. 121 가) 시각정보 추출 기능 검증용 표준 데이터세트 개발 ... 121 나) 예측추론 기능 검증용 표준 데이터세트 개발 ... 134

제 3 절 사용자 경험 학습을 위한 휴먼 이해 에이전트 설계 ... 141

1. 경험기반 휴먼인지증강 기술 요구사항 도출 ... 141

가. 경험정보 인식, 모델링 및 서비스 관련 선행 조사 연구 ... 141 1) 휴먼인지증강 분야 연구 동향 분석 ... 141 가) 경험정보 인식 기술 ... 142 나) 감정 인식 기술 ... 143 다) 경험정보 모델링 기술 ... 144 라) 인지증강 서비스 기술 ... 146 나. 경험기반 휴먼인지 증강 시나리오 도출 ... 146 1) 경험기반 휴먼인지증강 기술 요구사항 기반 시나리오 발굴 146 2) 공모전을 통한 시나리오 발굴 ... 147

3) Focus group interveiw 를 통한 시나리오 선정 및 수정 ... 148

4) 선정 시나리오에 대한 일러스트 삽화 ... 149

2. 정서/의도 인지를 위한 생리반응/행동반응 인식기 설계 ... 150

가. 정서 특징 검출과 생리반응과의 관계 연구 ... 150 1) 측정 요소 탐색을 위한 선행연구 개관 ... 150 2) 고령자의 인지 수행능력의 특징... 151 가) 작업 기억(working memory: WM) ... 151 나) 장기 기억 (long-term memory) ... 151 다) 집행기능(Executive control) ... 152 3) 고령자의 정서 기능 관련 연구 ... 152

가) 정서 재인 (Emotion Recognition) ... 152

나) 정서 반응 및 경험 (Emotion Reactivity and Experience) ... 152

다) 정서 조절 (Emotion Regulation) ... 153

라) 정서 표현 (Emotion Expression and Expressivity) .... 153

마) 고령자들의 정서 유발 방법 ... 153 4) 고령자 대표적 정서(우울 및 불안) 자동 탐지 방법 연구 .... 154 가) 고령자의 우울 탐지 관련 연구 ... 154 나) 고령자의 불안 탐지 관련 연구 ... 155 5) 고령자의 정서 측정을 위한 생리신호 측정 절차 설계 ... 159 가) 측정 데이터 정의 ... 159 6) 데이터 수집 방안 설계 ... 160 가) 테스트 데이터 수집 방안... 160 나. 개인 상황을 인식하기 위한 행동 패턴 분석 기법 연구 ... 162 1) 개인상황 정의 ... 162 2) 행동패턴과 상황 인식 ... 163 3) 행동패턴 분석을 위한 센서 별 데이터 분석 방법 ... 163 다. 온바디 센서 기반 행동 반응 및 생리 반응 인식기 ... 164 1) 행위의 계층성 ... 164 2) 행동 반응 인식 기법 ... 165 3) 온바디 센서를 이용한 생리 반응 인식기 설계 ... 168 라. 모바일 및 온바디 센서 데이터 취득을 위한 테스트베드 및 DB 구 축 ... 168 1) 시스템 개요 ... 169 2) 테스트베드 결과물 ... 169 3) 획득 데이터 상세 ... 170

가) 모바일 디바이스 ... 172 나) 온바디 센서 디바이스 ... 174 4) 사용자 인터페이스 ... 176 5) 실험 대상자 모집 및 데이터 수집 ... 178 6) 데이터베이스 구축 ... 179

3. 사용자의 경험 상황 정의 및 경험 상황 학습 모델링 기법 연구 .. 181

가. 사용자의 경험 상황 정의 및 경험 모델 ... 182 1) 경험상황 정의 ... 182 2) 경험상황 모델링 ... 184 3) 경험 모델 기반 패턴추출 ... 185 나. 경험 상황 인식 및 학습 방법 연구... 187 1) 경험상황 인식 ... 187 2) 경험 학습 ... 189

제 3 장 연구개발결과의 활용 계획 ... 191

제 4 장 결론 ... 193

표목차

<표 1> 자율지식성장 기술 특허 조사 키워드 ... 41 <표 2> 자율지식성장 기술 관련 표준화 진행 내용 ... 46 <표 3> 오픈소스 데이터베이스 선정 기준 ... 86 <표 4> 채택된 오픈소스 데이터베이스와 구성 목적 ... 86 <표 5> 지식베이스용 데이터베이스 테이블 ... 88 <표 6> 문장 유사도 평가표 ... 91 <표 7> 문장 유사도 평가 예시 ... 92

<표 8> 단어 의미 유사도 평가 결과 ... 93 <표 9> 문장 의미 유사도 평가 결과 ... 94 <표 10> 패션 아이템의 종류별 아이템 개수 ... 95 <표 11> 패션 아이템들의 조합 패턴 ... 98 <표 12> 여성 의류 쇼핑몰 분석 결과 ... 103 <표 13> TPO 예제 ... 113 <표 14> 스타일링 명칭 ... 114 <표 15> User 신체 분류 기준 ... 115 <표 16> User 취향 분류 기준 ... 115 <표 17> User 프로파일 구성안 – 인구통계 ... 116 <표 18> User 프로파일 구성안 – 직업 ... 116 <표 19> 코디 대화셋 샘플 ... 118 <표 20> 스토리라인 관리 클래스 ... 140 <표 21> 행위 인식에 활용되는 센서(전자통신동향분석 제 32 권 제 4 호 2017 년 8 월) ... 143 <표 22> 감정 인식에 활용되는 센서(전자통신동향분석 제 32 권 제 4 호 2017 년 8 월) ... 144 <표 23> 공모전 수상작 ... 148 <표 24> 선정 시나리오 ... 149 <표 25> 개인상황 정의 ... 163 <표 26> 모바일 디바이스와 온바디 센서 디바이스의 데이터 종류 ... 172 <표 27> 모바일 디바이스 데이터 상세 ... 173 <표 28> 실험자 모집 비율 ... 178 <표 29> 실험에 포함된 행위 정의 ... 179 <표 30> 실험 내용 상세 ... 179 <표 31> 서버 환경 ... 179

<표 32> 경험상황 모델링 및 경험 학습 ... 184 <표 33> 시맨틱 네트워크의 노드와 엣지 요약 ... 184

그림목차

<그림 1> 자율성장 휴먼증강 시스템 개념도 ... 23 <그림 2> 휴먼 지식 습득 과정을 모방하는 자율성장 매커니즘 ... 24 <그림 3> 복합모달 기억공간 기반 인터랙티브 자율성장 과정 ... 25 <그림 4> 자율성장 교감형 AI 구성도 ... 26 <그림 5> 시스템 전체 구조도 ... 29

<그림 6> end-to-end 방식의 memory neural network ... 31

<그림 7> Differential Nueral Computer 구조 ... 32

<그림 8> Key-value Memory Network ... 33

<그림 9> 복합 모달 자율 성장용 메모리 네트워크 ... 34 <그림 10> 인터랙티브 학습 모듈 구성도 ... 35 <그림 11> 리워드 기반 지식 강화 블록도 ... 36 <그림 12> 다중그룹 에이전트 학습 관리 블록도 ... 38 <그림 13> 내재적 리워드 예측 블록 ... 40 <그림 14> 예측추론 기술 국가별 연도별 특허 출원 분포 ... 41 <그림 15> 예측추론 기술 국가별 특허 출원 출원인 분포 ... 42 <그림 16> 자율지식성장 기술 국가별 연도별 특허 출원 분포 ... 43 <그림 17> 자율지식성장 기술 국가별 특허 출원 출원인 분포 ... 43 <그림 18> 시각 관계 기술 국가별 연도별 특허 출원 분포 ... 44 <그림 19> 시각관게 기술 국가별 특허 출원 출원인 분포 ... 44 <그림 20> 기억의 분류와 관련 뇌영역 ... 47 <그림 21> 지식의 범위 및 지식 습득/성장의 필요 요소 개념도 ... 48

<그림 23> 시각정보 처리 모듈의 처리 흐름도 ... 50

<그림 24> 시각정보 처리 모듈의 내부 구조 ... 51

<그림 25> Visual genome 의 객체분류로부터 MS CoCo 의 80 종 분류로 대응 작업 ... 55

<그림 26> Visual genome 의 predicate 분류 작업 ... 59

<그림 27> Word embedding 트레이닝 결과(T-SNE visualization) ... 62

<그림 28> 정적 예측추론 블록도 ... 64 <그림 29> 정적 예측추론 블록 처리 흐름도 ... 64 <그림 30> 동적 예측추론 블록도 ... 66 <그림 31> 동적 예측추론 블록 처리 흐름도 ... 66 <그림 32> 사실검증 블록도 ... 67 <그림 33> 사실검증 블록 처리 흐름도 ... 68 <그림 34> 장기지식 저장 모듈 블록 구성도 ... 69 <그림 35> 지식 인스턴스 생성 블록도 ... 70 <그림 36> 지식 인스턴스 생성 블록 처리 흐름도 ... 71 <그림 37> 지식요소 관리 블록도 ... 72 <그림 38> 지식요소 관리 블록 처리 흐름도 ... 73 <그림 39> 장기지식 저장 블록도 ... 74 <그림 40> 장기지식 저장 블록 처리 흐름도 ... 75 <그림 41> 범용지식 추출 블록도 ... 76 <그림 42> 장기지식 저장 블록 처리 흐름도 ... 77 <그림 43> 장기지식 인출 블록도 ... 78 <그림 44> 장기지식 인출 블록 처리 흐름도 ... 79 <그림 45> 자율샘플링 기반 성장 블록 구성도 ... 80 <그림 46> 도메인 지식 추출 블록도 ... 81 <그림 47> 도메인 지식 추출 블록 처리 흐름도 ... 82

<그림 48> 임베딩 지식 기반 학습셋 생성 블록도 ... 83 <그림 49> 임베딩 지식 기반 학습셋 생성 블록 처리 흐름도 ... 84 <그림 50> 지식 자율성장 지식베이스용 데이터베이스 플랫폼 구조도 ... 85 <그림 51> 지식베이스용 데이터베이스 플랫폼 기능 구현도 ... 87 <그림 52> 설계된 지식베이스용 테이블 관계도 ... 88 <그림 53> 패션 아이템의 메타데이터 샘플 ... 96 <그림 54> 용어사전 샘플 ... 97 <그림 55> 패션 코디네이션에 대한 사용자 평가 도구 ... 99 <그림 56> AI 코디네이터 대화 예제 ... 101 <그림 57> ‘옷딜’의 유저 프로파일 선택: 연령, 옷스타일 ... 106 <그림 58> ‘옷딜’의 유저 프로파일 선택: 선호 스타일, 사이즈 ... 106 <그림 59> ‘옷딜’의 이용자 분석에 따른 코디들을 추천... 107 <그림 60> ‘옷장’의 아바타 옷입히기 ... 108 <그림 61> ‘카카오스타일’ 메인 화면 ... 109 <그림 62> ‘카카오스타일’ 컨셉 구분 ... 109 <그림 63> ‘카카오스타일’ 제공 해시태그 ... 110 <그림 64> ‘코디북’ 메인화면과 컬랙션 리스트 ... 111 <그림 65> ‘코디북’ 데일리 추천 코디 화면 ... 111 <그림 66> ‘코디북’ 코디 제안 콘테스트 화면 ... 112 <그림 67> 의류 추천 질문 프로세스 ... 115 <그림 68> 코디 대화셋 샘플 ... 117 <그림 70> 자율 지식성장 엔진 모듈별 기능 검증을 위한 모듈 구분 예 119 <그림 71> 웹기반 두뇌모사형 자율성장 지식 시각화 인터페이스 기능 구 성도 ... 120 <그림 72> 두뇌모사형 자율성장 지식 시각화 인터페이스 웹페이지 구성 도 ... 120

<그림 73> 웹기반 두뇌모사형 자율성장 지식 시각화 인터페이스 초기 웹 페이지 ... 121 <그림 74> 웹기반 두뇌모사형 자율성장 지식 시각화 인터페이스 지식 표 현 구현 예 ... 121 <그림 75> 데이터세트 관리도구 UI 구성 ... 123 <그림 76> 이미지 목록 불러오기 ... 125 <그림 77> 객체/속성 정보 확인 ... 125 <그림 78> 배열 형식의 태그 편집 ... 126 <그림 79> “man”을 포함하는 영역(region) 정보로 필터링 한 예 ... 127 <그림 80> 영상 및 메타데이터 예(객체: 적색, 관계: 녹색, 속성: 청색) . 128 <그림 81> 데이터 관리를 위한 테이블 정의 ... 130 <그림 82> 데이터 관리를 위한 테이블 정의(계속) ... 131 <그림 83> 데이터베이스 구축을 위한 논리적 ERD 구조 ... 131 <그림 84> 데이터베이스 구축을 위한 물리적 ERD 구조 ... 132 <그림 85> 예측추론 학습용 영상-텍스트 복합정보 데이터 구축 SW 기능 개념도 ... 134 <그림 86> 객체/속성/장면별 annotation 지원 ... 135 <그림 87> 이미지 쌍에 대한 예측추론 annotation 기능 지원 ... 135 <그림 88> 챗봇 인터페이스 시스템 ... 137 <그림 89> 경험기반 휴먼 인지증강 기술 개념도 ... 142 <그림 90> 선정된 시나리오에 대한 일러스트 삽화 ... 150

<그림 91> Life long declines (Park et al.1996, 2002) ... 151

<그림 92> 테스트 데이터를 이용한 절단점 산출 ... 161

<그림 93> 자극 제시 절차 ... 161

<그림 94> 운전 습관을 파악하는 연구 분석 순서 ... 164

<그림 96> CNN 구조를 사용한 행위 인식 학습 방법 ... 166 <그림 97> 딥러닝과 특징값 추출 방식의 복합 사용 ... 167 <그림 98> 테스트베드를 이용한 데이터 획득 개요도 ... 169 <그림 99> 개발된 라이프로깅 테스트베드 ... 170 <그림 100> 라이프로깅을 위한 데이터 획득 프로세스 예시 ... 171 <그림 101> 온바디 센서 디바이스의 착용 위치 ... 175 <그림 102> 모바일 디바이스와 각 센서 간 통신 방법 ... 176 <그림 103> 라이프로깅 앱 입력 화면 ... 177 <그림 104> 데이터 목록 조회 결과 화면 ... 180 <그림 105> GPS 데이터의 지도 시각화 결과 화면 ... 181 <그림 106> 경험상황 모델링 및 경험 학습 ... 181 <그림 107> 분산처리 파싱 하여 지식 표현 네트워크 구성 ... 186 <그림 108> 하루간 발생한 로그로부터 추출한 사용자 경험 모델의 일부187 <그림 109> 식습관 관련 키워드로 추출한 서브 시맨틱 네트워크 ... 187 <그림 110> Night Sleep-저녁시간의 수면에 대한 베이지안 네트워크의 예시189 <그림 111> 감정-생리반응 학습 모델 ... 190

참고문헌

약어표

<부록>

제 1 장 서론

제 1절 연구목표 및 연구범위

인공지능(Artificial Intelligence; AI) 기술은 현재 세계경제사회 전반에 혁신을 유발하는 4차 산업혁명을 위한 핵심이며, 다양한 기술ㆍ산업에 폭넓게 적용되는 범용기술로 산업의 생산성과 및 생활의 효율성을 획기적으로 제고할 수 있다. 구글, 아마존, 페이스북, 애플 등 글로벌 기업은 새로운 부가가치를 창출할 수 있는 산업에 AI 기술을 빠르게 접목하고 있으며, 중국의 IT기업이 발빠르게 이를 추격하고 있는 상태이며, 국내업체와 기술 간격이 점점 더 벌어지고 있다. 따라서, 국내업체의 글로벌 기업과의 경쟁을 위해 현재 활발하게 기발되는 AI 기술에 대해서도 재빠른 대응이 필요하지만, 글로벌 기업의 경우도 이제 막 시도하려는 한 단계 더 높은 AI 기술인 자율성장형 인공지능 원천기술에 대한 핵심기술을 선점하는 것도 매우 중요하다. 인공지능의 핵심요소로 빅데이터가 중요해짐에 따라, 데이터 자동증강 및 소규모 데이터에 효율적인 인공지능 학습 알고리즘 확보가 향후 인공지능 경쟁력의 핵심이 될 것이며, 이를 통해 글로벌 기업과의 기술 격차 해소를 단숨에 해결할 수 있다. 특히, 복합모달 (영상, 음향, 텍스트, 생체 등) 정보를 모달리티 협력 학습을 통해 동일 휴먼모방형 자율성장 매커니즘과 인간이 지식을 성장시키는 기억-집중-의미이해-인터랙션의 과정을 모방하여 스스로 지식성장하는 인공지능 매커니즘 개발함으로써 보다 경쟁력을 갖추게 될 것이다. 이상과 같이 자율성장 휴먼증강 인지컴퓨팅 연구를 통해 개발하려는 시스템은 복합모달 정보를 협력 학습하여 의미를 동기화하여 복랍모달 입력을 이해하고 관계를 추론하며 객체들 사이의 연관성을 찾아내는 AI 기술을 기반으로 한다. 또한 학습된 복합모달 지식에 기반하여 추가되는 입력의 의미를 이해하는 지식성장과 사용자 인터랙션을 통해 지식을 강화/수정하는 자율성장 기술이

핵심이다. 휴먼증강 기술은 일시적인 감정을 파악하고 지속적인 감정반응을 예측 추론하여 사용자를 이해하는 기술에 기반한 개인이해 에이전트를 목표로 한다. 주요 기술을 요약하면 아래와 같다.  인간처럼 복합모달(언어, 청각, 시각) 정보를 모달리티 협력 학습을 통해 동일 의미단위로 동기화하며 자동 확장하는 자율 지식성장 및 휴먼 인터랙션을 통해 일반 경험 지식을 자율성장하는 기술  일상의 데이터에 대하여 시간 추이에 따른 연관성을 학습하는 뉴럴 기억 모델을 개발하여 미지 데이터의 의미 예측/추론 지식을 확장 및 전이하는 기술  감정/상황/행동 등 휴먼경험정보를 기억하여 사용자의 단기적/장기적 심리상태를 예측하는 휴먼이해 기술 따라서, 자율성장 휴먼증강 시스템은 (그림 1)의 개념도처럼 복합모달 입력에 대해 의미나 관계 추론 등을 학습된 지식을 바탕으로 지식성장할 수 있으며 사용자 인터랙티브 기반 성장된 지식을 강화/수정할 수 있는 있다. 특정 문제 해결을 위해 학습한 경험지식을 다양한 사용자 인터랙션을 바탕으로 다중화하여 다중 경험 지식으로 성장할 수 있다. 또한 개인 데이터를 기반으로 감정을 인지하여 기억모델 기반의 지속적 감정반응을 예측할 수 있으며 개인 피드백을 통해 예측모델을 강화하여 개인이해 성능을 높이게 된다. 따라서 기존 인공지능 에이전트에서 해결하지 못한 지식성장, 인터랙티브 성장형 인공지능 기술을 개발하는 것을 목표로 한다.

<그림 1> 자율성장 휴먼증강 시스템 개념도

제2절 연구개발의 중요성

앞으로 자율적으로 데이터를 학습, 적응시키는 AI 기술 전쟁이 글로벌 선두기업 사이에서 치열하게 벌어질 것으로 예상되며. 현재 상용 서비스로 널리 사용되고 있는 단순한 음성명령 만으로 사용자 요구에 반응하는 AI 스피커로부터 더욱 더 인간과 더욱 더 자연스럽게 대화하고 감정을 교류할 수 있으며, 또한 음성뿐만 아니라 다양한 복합 모달 입력에 대해서도 심도 있는 정보를 전달해 줄 수 있는 AI 기술이 매우 중요해질 것이다. 이러한 구성이 가능한 AI 기술은 인간이 지식을 습득하는 과정을 최대한 모방하려는 방향으로 기술 개발이 이루어 질 것이며, 이러한 자율 성장 매커니즘은

<그림 2>와 같이 구성될 수 있다. 즉, 데이터를 통해 확보한 지식을 기억공간에 임베딩하고 목표 도메인의 지식에 집중하여 문제해결 방법을 학습하는 과정을 통해 의미를 파악한 후 사실/추론/관계 지식을 스스로 성장시키는 방식이며, 새로운 지식성장 과정 이후 인터랙션을 통한 피드백에 따라 지식 강화 및 문제해결의 경험지식을 학습하는 과정을 통해 자율 성장하는 매커니즘의 구조를 가지게 된다. <그림 2> 휴먼 지식 습득 과정을 모방하는 자율성장 매커니즘 인간 두뇌는 복합 모달 지식을 함께 처리할 수 있는 능력을 가지고 있다. 따라서, 이러한 지식 정보를 처리하기 위해 두뇌모방형 복합모달 지식의 구조를 표현해야 되며, 이를 통해 인터랙티브한 형태로 자율 성장이 이루어져야 한다. <그림 3>에 이와 같은 과정을 간단하게 나타내었다.

<그림 3> 복합모달 기억공간 기반 인터랙티브 자율성장 과정 즉, 복합모달 정보의 의미, 상관관계 및 시간에 따른 연관성을 학습하는 뉴럴 기억 모델을 개발하여 모달리티 협력 학습을 통해 지식을 확장하고 인터랙션을 통해 경험지식을 스스로 성장하도록 할 계획이며, 개별적인 모달리티 정보를 동일 의미공간으로 임베딩하는 복합모달 의미학습 과정을 뉴럴 기억모델을 이용하여 수행함으로써 복합모달 정보에 대한 의미 생성, 추론과정 및 정보의 연관성을 학습하도록 한다. 또한 두뇌의 기억절차를 모방하여 문제해결 과정을 학습하는데 활용한 단기기억을 기억공간에 장기기억화하고 미지의 문제에 대해 장기기억을 활용하여 해결하게 하며, 복합모달 협력학습을 통해 지식을 생성하는 뇌 지식화 과정을 모사하여, 미지의 비정형 데이터에 대해 복합모달기억을 활용해 의미를 파악할 수 있도록 한다. 마지막으로 새로운 정보에 대한 지식을 증가하는 과정은 자율샘플링 의해 관련 외부 정보를 수집하여 의미이해를 위한 학습셋을 생성하는

에이전트와 지식을 학습하는 에이전트끼리 인터랙션 기반의 지식을 자율성장하고 이를 장기기억 공간으로 확장해가게 한다. 이를 위해 크게 두가지 에이전트를 구성하고 이에 대한 상호 협업을 수행하도록 하였으며 <그림 4>에 이를 간단하게 나타내었다. 먼저 지속적인 지식성장과 함께 목표 도메인의 전문가 대상으로 문제해결 절차의 경험을 모방 학습하여 경험지식을 구축하고 이를 사용자 대상으로 적용하여 문제해결 절차의 다양성을 학습함으로 자율성장 에이전트를 실현하고자 하였다. <그림 4> 자율성장 교감형 AI 구성도 두번째로. 개인의 감정 인식모델을 개발하고 이를 상황/행동 정보와 연동하여 뉴럴 기억모델을 통해 시간에 따른 단기적/장기적 심리상태를 추론과정을 학습하는 휴먼이해 에이전트를 개발하고, 서비스 에이전트와의 협업으로 개인친화형 서비스를 가능하게 하였다. 실세계-실시간으로 수집되는 복합

휴먼정보(신체, 환경, 감정 등)를 융합한 다차원 통합형 휴먼인지 모델링 기술을 개발하고 사용자의 경험을 스스로 학습하여 개인의 특성을 이해하고 경험을 확장시켜 주는 진화형 휴먼경험 학습기술 개발하고자 한다.

제 2 장 본론

제 1절 개발 시스템 구조

시스템의 기능 구조는 (그림 2)과 같이 논리적 기능 구조를 가지며 자율성장 에이전트 관련 모듈, 휴먼이해 에이전트 관련 모듈 및 에이전트 협업 AI 관련 모듈로 나누어 볼 수 있다. 자율성장 에이전트 관련 모륜은 보학모달 해석 모듈, 자율샘플링 기반 성장 모듈, 복합모달 기억네트워크 모듈, 장기지식 저장 모듈로 이루어져 있으며, 오프라인 모드에서는 모든 모듈이 수행되어 지식 학습. 인터랙티브 성장 과정을 학습하게 된다. 온라인 모드에서는 사용자 제시 복합모달 입력에 대해 복합모달 해석모듈, 복합모달 기억네트워크 모듈, 인터랙티브 학습 모듈의 순서로 수행되며, 사용자 제시한 문제에 대해 복합모달 해석을 커쳐 기억된 연관 지식을 호출하며 다중 에이전트 중 사용자 반응에 해당하는 에이전트의 경험지식을 제공하게 된다. 개인이해 에이전트는 휴먼정보 인식 모듈, 경험이해 모듈, 경험학습 모듈, 경험기반 추론 모듈의 순으로 오프라인 및 온라인에서 수행되며 오프라인에서 학습된 모델을 이용하여 온라인에서 사용자 센싱입력에 대한 결과를 제공하게 된다. 에이전트 협업AI는 자율성장 에이전트와 개인이해 에이전트가 서로 협업하여 개인화 지식을 성장하는 것을 다룬다. 휴먼이해 에이전트의 결과를 이용하여 사용자 감정반응을 자율성장 에이전트의 기억네트워크를 통해 지속적으로 관리하여 예측 지식을 학습하며, 감정반응 예측 및 개인이해 에이전트 결과를 결합하여 사용자 경험지식을 성장하게 된다. 이때 사용자 경험지식 성장은 자율성장 에이전트의 인터랙티브 학습 모듈을 임베딩해서 다중 에이전트 중 사용자에 해당하는 에이전트가 사용자와의 인터랙션에 인터랙션에 기반하여 개인 지식을 강화하며 성장하게 된다.

<그림 5> 시스템 전체 구조도

제 2절 자율성장 에이전트 설계

자율성장 에이전트는 다양한 모달리티의 정보를 지식화하여 기억하고 이를 바탕 으로 문제해결의 경험지식을 학습하며, 새로운 사용자에 대응하여 학습된 경험지 식 기반 인터랙션을 통해 추가적인 경험지식을 스스로 성장하는 것을 의미한다. 이를 위해서 기본적으로 제공되는 기능은 아래와 같다.  복합모달 정보의 의미, 상관관계 및 시간에 따른 연관성을 학습하는 뉴럴 기억 모델을 개발하여 모달리티 협력 학습을 통해 지식을 확장하고 인터 랙션을 통해 경험지식을 스스로 성장함  개별적인 모달리티 정보를 동일 의미공간으로 임베딩하는 복함모달 의미 학습 과정을 뉴럴 기억모델을 이용하여 수행함으로써 복합모달 정보에 대 한 의미 생성, 추론과정 및 정보의 연관성을 학습함. 두뇌의 기억절차를 모방하여 문제해결 과정을 학습하는데 활용한 단기기억을 기억공간에 장 기기억화하고 미지의 문제에 대해 장기기억을 활용하여 해결하게 함  복합모달 협력학습을 통해 지식을 생성하는 뇌 지식화 과정을 모사하여, 미지의 비정형 데이터에 대해 복합모달기억을 활용해 의미를 파악할 수 있도록 함  새로운 정보에 대한 지식을 증가하는 과정은 자율샘플링 의해 관련 외부 정보를 수집하여 의미이해를 위한 학습셋을 생성하는 에이전트와 지식을 학습하는 에이전트끼리 인터랙션 기반의 지식을 자율성장하고 이를 장기 기억 공간으로 확장해가게 함  지속적인 지식성과 함께 목표 도메인의 전문가 대상으로 문제해결 절차의 경험을 모방 학습하여 경험지식을 구축하고 이를 사용자 대상으로 적용하 여 문제해결 절차의 다양성을 학습함으로 자율성장 에이전트를 실현함 자율성장 에이전트의 기본 구조는 인간의 기억모델을 모방한 지식축적 및 이해/추 론 방법을 학습하는 것이며, 리워드 기반의 인터랙티브 학습을 통해 경험지식을

성장하는 것이다. 이를 위해서 먼저 뉴럴 기억모델의 현재 수준을 살펴보도록 한 다.

2. 뉴럴 기억모델 선행 조사

다양한 경로를 통해 수집된 데이터를 기반으로 의미 정보를 추출하고 이를 재활용을 위해 일반적으로 마이닝 기법을 사용한다. 이에 대한 대표적인 과제가 엑소브레인 과제이며 보다 방대한 지식에 대한 처리를 담당하게 된다. 그러나, 본 연구는 이러한 기존의 데이터 활용 방법을 탈피하여 인간의 뇌와 닮은 형태로 기억하고 이를 다시 재활용할 수 있는 기술 개발을 표방하며, 이에 대한 기술의 대표적인 방식으로는 페이스북(FaceBook)에서 제안한 end-to-end 기반 memory net(MemN2N)(<그림 1> 참고) 과 구글 딥 마인드(Google Deep Mind)에서 제안한 differential neural computer (DNC) 구조(<그림 2> 참고)이다.

<그림 6> end-to-end 방식의 memory neural network

MemN2N 의 경우는 Question&Answer(QA) 시스템에 적용하기 위한 방법으로 기존의 지식베이스 QA방식과는 달리 질문에 대한 답과 정답을 위한 정보를 neural network을 통해 end-to-end 방식으로 훈련이 가능하다는 것을 보여 줌으로써

neurial network 활용의 보다 많은 가능성을 보여 주었다. 또한 이러한 방식을 N-hop이라는 구조를 통해 보다 복잡한 문제도 여러 번 생각을 하는 것 같은 구조를 제안함으로써 보다 좋은 성능을 보여 주었다.

<그림 7> Differential Nueral Computer 구조

DNC의 경우는 MemN2N보다 보다 일반적인 형태의 메모리 구조를 제안을 하였고 이러한 구조는 현재 일반 컴퓨터에서 사용하는 중앙처리장치(CPU)와 메모리 간의 데이터를 주고 받는 구조와 거의 유사하며 QA뿐만 아니라 다양한 부분에 사용될 가능성을 보여 주었다. 컨트롤러도 신경망 구조이며 또한 메모리 구조 자체도 신경망을 이용하여 기억간의 상호 관계 설정을 학습을 통해 이루어 지도록 함으로써 end-to-end 신경망 형태로 데이터 및 지식을 저장할 수 있도록 하였다. 이러한 방식은 관련 정보의 영역에 대한 관리를 보다 효율적으로 수행할 수 있으며 입력데이터에 관련된 정보를 추출하기 위해 QA에 보다 특화된 MemN2N보다는 효율적인 것으로 판단된다. 그러나 이러한 방식만으로는 단기 및 장기 기억 뿐만아니라 외부 지식베이스의 접근을 모두 포함하는 구조를 구성하기 어렵다. 이를 해결하는 한가지 방식으로

패이스북에서 제안한 key-value memory network(KVMN)방식이며, 이를 <그림 3>에 나타내었다. 그러나, 이 방식은 기존의 memory net을 확장한 방식으로 QA에 기반한 방식이며 일반화 처리를 할 수 있는 부분으로 확대 적용이 쉽지 않다. 즉, knowledge source는 엑소브레인과 같은 외부 지식베이스를 활용하며 질문이 들어오면 key를 활용하여 이와 관련된 지식을 외부 지식베이스로부터 가져오며 이를 기존의 MemN2N 구조를 활용하여 답을 주게된다. 물론 외부 후보답들도 활용할 수 있다. 하지만 답을 내는 영역은 계속해서 진화를 해야 하는 어려움이 있다. 또한 답을 정확하게 알려주어야 보다 효율적으로 학습이 될 것 이다. 따라서 이러한 방식들도 시스템 설계에 반영이 되어야 본 연구 과제를 수행할 수 있는 기본 메모리 네트워크 형태가 구성될 것이다.

<그림 8> Key-value Memory Network

3. 뉴럴 기억모델 설계

뉴럴 기억모델 성행 기술들을 살펴보았듯이 정보 추가에 대한 방식은 DNC 구조가 보다 유연한 방식을 제공한다. 본 연구에서 기본으로 사용할 메모리 구조의 경우는 이상에서 설명한 KVMN이나 DNC와 같은 단일 계층의 정보뿐만 아니라 다양한 계층 및 복합 모달의 정보를 다루어야 하며, 또한 인터렉션을 통한

성장을 추구하므로 KVMN이나 DNC를 물리적으로만 결합해서는 이를 해결할 수가 없다. 따라서, 먼저 세부 기술을 설계하기 전에 보다 상위 수준의 메모리 기능에서 수행을 담당하기 위한 방식을 구성하였고 이에 대한 개념도를 <그림 4>와 같이 나타내었다. DNC 구조의 관리자(controller)에 해당하는 부분인 복합모달 기억공간 관리 기능이 단기/장기 기억 뿐만 아니라 외부 메모리 지식 영역등과의 통신을 통해 이를 현재 시점에서 활용할 수 있는 정보로 시스템에 가져와야 하며 또한 강화 학습을 통한 정보 갱신 및 답변을 제대로 제공할 수 있도록 하는 역할까지 수행을 해야 하는 어려움이 있으며, 이에 대한 난이도는 기존의 메모리 네트워크를 사용하여 해결할 수가 없다. 이러한 관리자는 독립적으로 구성될 수 없으며 강화 학습 부분과 사용자 인터랙션등과 함께 유기적으로 구성되어야 한다. <그림 9> 복합 모달 자율 성장용 메모리 네트워크 기억공간 관리자의 경우 주기적으로 단기기억 메모리에서 반복적으로 나타나는 것을 장기기억화 하도록 변환해야 하며, 단기기억 메모리와 장기 기억메모리의 경우 기억 방식 및 기능이 고유의 특성에 따라 달라질 수 있다. 그러나 각각의 기억 관련된 부분들은 최대한 end-to-end 형태로 구현될 수 있도록 개발을 진행할 예정이다.

4. 인터랙티브 학습 설계

가. 개요

인터랙티브학습 모듈은 복합모달 해석 모듈에서 인식한 현재 상태와 외부 메모리로부터 검색된 경험지식을 사용하여, 선택 가능한 행동들 중 보상을 최대화하는 행동을 복합모달 출력 모듈에 전달하는 기능을 수행하며, 그 구성도는 (<그림 10)와 같다. 상 의 모 베 터 행동의 모 베 터 중 드 터 습 경험지식 / 장을 위한 미터 경험지식 터 지 다 습 <그림 10> 인터랙티브 학습 모듈 구성도 상세히 말해, 인터랙티브 학습 모듈은 복합모달 해석 모듈로부터 전송된 현재 상태의 임베딩 벡터를, 다중그룹 피드백 데이터로부터 획득한 보상을 나타내는 다중그룹 피드백 벡터를 수신한다. 그리고 외부 메모리로부터 현재 상태와 행동과 관련된 경험 지식을 검색하고 저장한다. 상기 그룹별 현재 상태, 외부 메모리를 사용하여 보상을 최대화하도록 행동을 선택하는 그룹별 모델을 생성한다. 여기서 명시적 보상이 주어지지 않거나 희박한 보상이 주어지는 경우, 내재적 보상을 추정한다. 그룹별 모델로부터 공통된 모델을 생성하고, 그 모델로부터 선택된 행동을 복합모달 출력 모듈로 전송한다.

나. 리워드 기반 지식 강화

현재 상태를 인식하여 선택 가능한 행동들 중 보상을 최대화하는 행동을 선택하는 기능을 수행하고, 그 구성도는 (<그림 11)과 같다. 행동은 직접적인 보상 뿐만 아니라 그 다음의 상태에 영향을 주고 이를 통해 후속 보상에 영향을 끼치는 특성을 가지고 있다. 역전파 알고리즘으로 훈련하기 위해서 모든 구성 요소들은 미분 가능한 함수로 구성된다. 상 의 모 베 터 드 터 경험지식 / 장을 위한 미터 경험지식 터 LSTM-RNN 의 어 가 정책

지

정 모델 가 모델 행동의 모 베 터 가 , 정 모델 <그림 11> 리워드 기반 지식 강화 블록도

1) 제어부

심층 LSTM 구조의 순환신경망으로 구성된 제어부는 현재 상태의 복합모달 임베딩 벡터로부터 읽고 저장할 메모리의 위치와 값을 결정하기 위한 파라미터들을 제공 하고, 메모리에서 읽은 값을 사용하여 출력 신호를 산출한다.

2) 읽기부

읽기부는 상기 제어부가 제공한 상기 파라미터들을 사용하여, 코사인 유사도로 읽을 메모리 위치의 가중치를 계산하고, 그 가중치를 매개로 메모리를 선형 결합하여 읽을 메모리 값을 결정한다. 이와 같은 특정 입력 값을 넣어 그 값을 저장하고 있는 위치를 반환하는 내용 주소 방식 외에, 현재 접근하는 메모리 위치의 상대적인 위치를 지정하는 위치 주소 방식과 결합하여 사용한다.

3) 쓰기부

쓰기부는 상기 제어부로부터 상기 파라미터들을 제공받아 메모리를 삭제하고 추가하는 기능을 수행한다. 읽기부에서 사용한 동일한 방법으로 쓸 메모리 위치의 가중치를 계산하고, 가중치를 매개로 메모리를 삭제하고 추가함으로써 새로운 메모리를 얻는다.

4) 가치 생성부

그룹별 가치 모델로부터 공통된 가치 모델을 생성한다. 행동에 따른 보상의 가치를 측정할 수 있는 가치 모델은 현재 상태의 복합 모달 임베딩 벡터와 행동을 입력으로, 보상의 가치를 출력으로 하는 심층 신경망으로 구성된다.

5) 정택 생성부

그룹별 정책 모델로부터 공통된 정책 모델을 생성한다. 장기적으로 기대 보상을 최대로 얻을 수 있는 최상의 정책을 얻는 정책 모델은 정책을 현재 상태의 복합 모달 임베딩 벡터를 입력으로, 행동을 출력으로 하는 심층 신경망으로 구성된다.

다. 다중 그룹 에이전트 학습

다중 그룹 에이전트 학습 관리 블록은 공통된 가치 및 정책 모델로부터 그룹별 가치 및 정책 모델을 생성하고, 그룹별 현재 상태 및 외부 메모리를 사용하여 보상을 최대화하도록 행동을 선택하는 그룹별 모델을 업데이트하는 기능을 수행하고, 그 구성도는 (<그림 12)와 같다. 습 습 습

다 습

1 의 상 베 터, 드 터 가 , 정 모델 2 의 상 베 터, 드 터 N 의 상 베 터, 드 터 1 의 가 , 정 모델 2 의 가 , 정 모델 N 의 가 , 정 모델 가 , 정 모델 가 , 정 모델 의 상 베 터, 드 터 가 모델 경험지식 터 가 정책 행동의 모 베 터 의 가 , 정 모델 정 모델 습 <그림 12> 다중그룹 에이전트 학습 관리 블록도

1) 그룹 가치 생성부

공통된 가치 모델로부터 그룹 가치 모델을 업데이트를 수행한다. 그리고 심층 신경망을 기반으로 그룹별 현재 상태의 복합 모달 임베딩 벡터와 행동을 입력으로 받아 그 행동의 보상 가치를 평가한다. 평가된 행동 가치의 분산을 줄이기 위해, 상태 가치 함수를 일종의 평균 가치로 설정하고 현재의 행동 가치가 평균 가치보다 얼마나 더 좋은지를 계산하는 방법을 적용한다. 이러한 방법은 현재까지의 행동 가치를 계산하는 방향이 좋으면 그 방향으로 업데이트하고, 나쁘면 다른 방향으로 업데이트하는 것을 의미한다.

2) 그룹 정책 생성부

공통된 정책 모델로부터 그룹 정책 모델을 업데이트를 수행한다. 그리고 심층 신경망을 기반으로 그룹별 현재 상태의 복합 모달 임베딩 벡터를 입력으로 받아 최적의 행동을 선택한다.

라. 내재적 리워드 예측

내재적 리워드 예측 블록은 명시적 보상이 주어지지 않거나 희박한 보상이 주어지는 경우, 행동과 상태 데이터로부터 이를 잘 설명해주는 내재적 보상을 추정하는 기능을 수행하며, 그 구성도는 (<그림 13)과 같다. 이러한 기능은 내재적 보상 요청이 있을 경우에 행해지며, 행동과 상태 데이터는 최적의 정책에 근접함을 가정한다.

<그림 13> 내재적 리워드 예측 블록 내재적 리워드 예측 블록은 현재 상태 및 최적의 행동을 입력으로, 내재적 보상을 출력으로 하는 심층 신경망으로 구성된다. 심층 신경마의 훈련은 제한 조건에 비해 구할 수 있는 심층 신경망의 파라미터 많은 ill-posed 문제이다. 이를 해결하기 위해 최대 엔트로피 정리를 사용한다. 주어진 시연 데이터가 최적의 정책이 되면서 최대 엔트로피를 만족시키는 심층 신경망의 계수를 찾는 것이다.

5. 두뇌모사형 자율지식성장 시스템 설계

가. 두뇌모사형 자율지식성장 기술 요구사항 도출

1) 자율지식성장 기술 특허 조사

- 자율지식성장 기술 분야의 특허 동향을 파악하고 핵심 기술 연구에 활용하기 위해 핵심 분야를 예측추론 기술, 지식자율성장 기술, 시각 관계(Visual Relation) 기술, 강화학습 기술, zero-shot learning 기술로 나누고 각 특허의 동향을 조사함

- 각 기술에 대하여 키워드를 국문과 영문으로 도출하여 해당 특허를 국가별, 연도별로, 출원인별로 분류하였음. 각각 사용된 키워드는 다음 표와 같음

예측 추론

((예측* or 추론* or predic* or forecas* or guess* or reason* or infer* or deduct* or induct*) and ((지식* or know* or 영상* or 시각* or 그림* or 비디오* or 포토 * or 촬상* or imag* or visua* or video* or photo*) and (((자가* or 자동* or 자 율* or 자기* or 지능* or 인공* or 인텔리* or auto* or self* or intelli* or artific*)) adj2 (성장* or 학습* or 개선* or 러닝* or grow* or learn* or improv*)))) AND (G*).IPC.

자율 성장

((지식 or 지능 or 인텔리전* or knowledge or information or intellig*) adj4 (((성장 or 확장 or 증장 or 증가) or (grow* or enhan* or expan* or imporov*)) or (러닝 or 학습 or 트레이닝 or learn* or train*))) and (((자동 or 자가 or 자율 or 능동 or 강화) or (self* or autonomous* or automat* or active or reinforce* or zero-shot or (zero adj shot))) adj4 (((성장 or 확장 or 증장 or 증가) or (grow* or enhan* or expan* or imporov*)) or (러닝 or 학습 or 트레이닝 or learn* or train*))) AND (G*).IPCM.

시각 관계

((((pixel*) or (화소*)) and ((image* or video* or camera* or capture or vision) or (영상* or 동영상* or 비디오* or 카메라* or 촬상* or 촬영 or 비젼 or 비전)) and ((object* or (multiple* adj object*)) or (객체 or 물체)) and ((pattern adj recogni*) or (pattern adj classif*) or (machine learn*) or (패턴인식) or (패턴 adj 인식) or (기계학습) or (기계 adj 학습)) and (detect* or descri* or delini* or infor* or label* or anno* or extrac* (서술 or 묘사 or 기술 or 정보 or 기입 or 라벨 or 추출 or 검출)) and ((relat* or interact* or handl* or carry* or context*) or (관계 or 연동 or 조작 or 상호 or 운반)) and ((dataset or (data adj set) or (collect* adj data) or (data collect*) or (example) or (sample)) or (데이터셋 or 데이터)) and ((automatic or autonomous or auto*) or (자동*)) not (wavelength or MRI or X-ray or chemi* or biolo* or molecul* or ultrasound or (ultrasonic) or (ultra adj sound) or (ultra adj sonic) or microscope or (multiple view*))).TI,AB,CL,TF,BT,IE,SM,SP.) AND (G*).IPCM.

<표 1> 자율지식성장 기술 특허 조사 키워드

가) 예측추론 기술 특허 조사

국가별 선정된 총 특허 출원 건수는 다음 그림과 같음. <그림 15> 예측추론 기술 국가별 특허 출원 출원인 분포

-

예측추론 기술의 경우는 2000년 이전에 출원이 활발히 진행되다 2000년 전후 출원이 주춤하다 2006년 이후 비약적으로 출원이 증가하는 추세임

-

국가별로는 미국, 중국이 주도적으로 출원이 증가하는 추세이고 일본의 경우는 2000년 이전에 출원이 활발한 편이었음

-

국내 출원도 2006년 이후 증가 추세임. 출원인의 경우는 산업체가 큰 비중을 차지하는 것이 특징임

나) 자율지식성장 기술 특허 조사

자율지식성장 기술의 국가별 연도별 특허 출원 건수는 다음 그림과 같음.

<그림 16> 자율지식성장 기술 국가별 연도별 특허 출원 분포 국가별 선정된 총 특허 출원 건수는 다음 그림과 같음. <그림 17> 자율지식성장 기술 국가별 특허 출원 출원인 분포

-

자율지식성장 기술의 경우는 2012년 이후 비약적으로 출원이 증가하는 추세임

-

국가별로는 미국, 중국이 출원이 증가하는 추세인데 특히 중국의 특허 증가세가 매우 두드러짐

-

국내 특허 출원은 2012년 이후에도 큰 변화가 없음

-

출원인의 경우는 산업체가 비중이 크지만 상대적으로 학교와 연구소의 특허 출원이 큰 편이 특징임

다) 시각 관계 기술 특허 조사

시각 관계 기술의 국가별 연도별 특허 출원 건수는 다음 그림과 같음. <그림 18> 시각 관계 기술 국가별 연도별 특허 출원 분포 국가별 선정된 총 특허 출원 건수는 다음 그림과 같음. <그림 19> 시각관게 기술 국가별 특허 출원 출원인 분포

-

시각관계 기술의 경우는 전체적으로 특허 출원이 활발한 편은 아니나

2010년 이후 다소 출원이 증가하는 추세임

-

국가별로는 미국, 중국이 출원이 큰 편이고 국내 특허 출원은 상대적으로 적은 편임

-

출원인의 경우는 산업체가 비중이 크지만 상대적으로 학교와 연구소의 특허 출원이 큰 편이 특징임

2) 자율지식성장 기술 표준 조사 내용

자율지식성장 기술 분야의 관련 표준을 조사함. 직접적인 자율지식성장 관련 표준보다는 요소 기술에 관련된 표준화가 진행 중임. 표준화 기관의 워킹 그룹 표준화 내용 TTA PG 606 메타데이터 관계형 기술지식 추출 모델 및 데이터 포맷 TTA PG 415 차세대 PC 웨어러블 기기, 스마트 디바이스, 협업 플랫폼, 사용자 인터 페이스 및 개인 맞춤형 서비스 등 응용 서비스 ISO/IEC JTC1 SC29 WG11

(MPEG) Coding of moving pictures and audio IEC TC79 WG12 Video Surveillance Systems(VSS) ISO/IEC MPEG User

Description

MPEG-UD standardizes the following three data formats: Context Description (CD), and Service Description (SD), and Recommendation Description (RD)

ISO TC 37 Language Resource

- Standardization of principles, methods and applications relating to terminology and other language and content resources in the contexts of multilingual communication and cultural diversity

- 자연어 의미 프레임 표준(신규 추진) SC4 - 지식 표현 체계

SC3/WG3 - 이종 도메인 지식 에이전트, 기기 간 협업을 위한 디바이스 역량 및 지식표현

ITU-T SG2 Q2 HCI &

Multimedia 자연어 질의 형식(신규 추진) ITU-T SG16 Q13 IPTV 자연어 인터페이스를 위한 대화 모델

ITU-T SG16 Q25 Accessibility 장애인을 위한 자연어 대화형 인터페이스 (신규 추진) <표 2> 자율지식성장 기술 관련 표준화 진행 내용

3) 도출 기술 요구 사항

선행기술 조사를 바탕으로 자율지식성장 기술 분야의 기술 요구사항을 도출하여 기술 및 시스템 설계에 활용함

가) 데이터의 범위

- 본 과제에서 개발 중인 기술에서 지식성장에 사용되는 입력으로 사용하는 데이터는 단일모달의 데이터가 아닌 다양한 형태의 멀티모달 데이터로 영상, 텍스트, 음성 데이터가 사용됨 - 단일모달 형태의 데이터가 아닌 멀티모달 데이터이므로 다양한 형태의 데이터로부터 지식을 추출하는 기술이 필요함 - 멀티모달 데이터는 명시적 지식(Explicit Knowledge)뿐만 아니라 암시적 지식(Implicit Knowledge)도 포함함 - 또한, 측정 오차, 잡음 등의 불확실성을 내포한 정보를 가지므로 지식 추출을 위해서는 이렇나 불확실성을 처리하는 기술이 필요함

나) 지식의 범위

- 자율 지식 성장에서 다루는 지식의 범위를 지정하여 상기의 멀티모달 데이터로부터 추출하는 목표 지식을 정의함 - 두뇌모사형으로 선언적 지식과 비선언적 지식을 성장시킬 수 있어야 함

 선언적 지식(Declarative Knowledge)

- 명시적 기억(Explicit memory)을 바탕으로 하는 지식

- 일화지식(Episodic Knowledge): 에피소드(이벤트, Event)와 연관된 지식 - 의미지식(Semantic Knowledge): 지식이 획득된 맥락과 연합되지 않은

일반화된 지식과 의미(사실, Fact)

- 일반화(Generalization): Fact와 Event로부터 의미지식을 추출하는 행위

 절차 또는 비선언적 지식(Procedural or Declarative

Knowledge)

- 암시적 기억(Implicit memory)을 바탕으로 하는 지식 - 기술이나 습관: 운동 - 내연화: 연상, 회상 - 연관 기억: 감정이나 근골격 근육 운동 - 비연관 기억: 반사 동작 <그림 20> 기억의 분류와 관련 뇌영역

다) 지식의 표현

- 멀티모달 데이터의 정보에 포함된 지식이 규칙이나 텍스트로 명확하게 표시되기보다는 변환 함수를 통하여 지식의 의미 공간으로 변환됨 - 기존의 텍스트의 벡터 공간 변환인 word 또는 sentence embedding을

확장한 Embedded Knowledge Representation 방법이 필요함

라) 지식의 습득/성장 방법

- 인간의 지식 습득 및 성장 과정인 귀납추리 방법을 모사하여 기억과 예측추론을 통하여 지식을 습득/성장하는 구조(Memory-Prediction Framework)가 필요함 - 인간의 강화/비교사 학습과 유사한 지각-행위 싸이클 구조가 필요함 - 두뇌와 같이 점진적 학습(incremental learning)이 가능한 지식 습득/성장 기술이 필요함 - 미리 정해진 카테고리가 아닌 Zero-shot learning 형태의 지식 습득/성장 기술이 필요함 - 지식 전이 및 전이 학습 기술 개발이 필요함

<그림 21> 지식의 범위 및 지식 습득/성장의 필요 요소 개념도

나. 두뇌모사형 자율지식성장엔진 시스템 설계

1) 시각정보 추출 기능 모듈 설계

시각정보 추출 모듈은 정지영상 내에 존재하는 객체들 간의 겉보기 관계를 추출(visual relationship detection)함.

가) Visual relationship detection 설계

Visual relationship detection은 크게 객체 검출(object detector)과predicate 인식기로 구성되며, 최종적으로 관계(relationship)를 “<주어(S), 서술어(P), 목적어(O), confidence score>”의 형태로 인식하여 추출함. 검출 가능한 객체 object detector의 구현에 따라 N 종으로, predicate의 종류는 미리 정의된 K 로 한정되기 때문에 산술적으로 가능한N × K × N종임.

<그림 23> 시각정보 처리 모듈의 처리 흐름도 시작 영역추천을 해 객체후보영역 생성 끝 생성 객체후보영역으로 가능한 객체 쌍 생성 분류 객체 쌍의 관계분류 객체, 객체간 관계, confidence score 출력 T >= max(𝒄𝑖) 의 객체 후보영역 제외 T >= max(𝑹𝑖,𝑗) 의 관계결과 제외 객체후보영역에 대한 객체분류

<그림 24> 시각정보 처리 모듈의 내부 구조

 객체 검출기

- 𝑁 -class 객체검출기는 입력된 정지영상( Height × Width 크기)으로부터 검출 가능한M개의 객체 𝐎𝑖, 𝑖 = 0, … , 𝑀 − 1를 검출함 - 영상의 좌측상단을 원점으로 하였을 때, 객체는 𝐎𝑖= [𝑥𝑖, 𝑦𝑖, ℎ𝑖, 𝑤𝑖, 𝐜𝑖, ]𝑇로 정의됨. 여기서 𝑥𝑖∈ [0, 𝑊𝑖𝑑𝑡ℎ), 𝑦𝑖∈ [0, 𝐻𝑒𝑖𝑔ℎ𝑡)는 좌측 상단의 좌표이며, 𝑤𝑖 와 ℎ𝑖 는 각각 객체 영역의 너비, 높이에 해당함. 즉, (𝑥𝑖+ 𝑤𝑖) ∈ [0, 𝑊𝑖𝑑𝑡ℎ) , (𝑦𝑖+ ℎ𝑖) ∈ [0, 𝐻𝑒𝑖𝑔ℎ𝑡) 임. 𝐜𝑖= [𝑠𝑖,0, … 𝑠𝑖,𝑁−1] T 는 객체의 class별confidence score임. 𝑁 는 검출 가능한 객체의 class의 수임. 확률의 형태로 정규화 되어 𝑠𝑖,𝑗∈ [0,1], ∑𝑁−1𝑗 𝑠𝑖,𝑗= 1의 조건을 만족함.

 관계 인식기

- 관계 인식기는 검출된 객체들 중에서 임계치를 초과하는 confidence score를 가지는 객체 쌍을 생성하여 관계 인식을 수행함

- 관계 인식은 visual module과 language module에 의한 confidence score를 구한 후, 그 곱으로 최종적인 confidence score를 도출함

- Visual module은 객체 쌍의 bounding box를 병합한 사각형 영역에 대하여 VGG16 기반의 CNN을 통하여 K class의 술어(predicate)에 대한 confidence score를 출력함

- Language module은 객체검출기에 의해 인식된 객체의 class와 K class의 predicate에 대한 벡터 표현(word2vec word embedding)으로 변환한 후, 분류를 위한 fully connected layer를 거쳐서 confidence score를 출력함

나) Visual Genome dataset

 개요

Visual Genome dataset은 108,000개의 정지영상으로 구성되며, object detection, image captioning, attribute prediction, visual questioning and answering을 포함하여 visual relationship detection을 위한 ground truth가 포함되어 있음.

 문제점

Visual Genome dataset 내의 relationship 부분에는 다음과 같은 문제점이 존재함. 다음의 예는 주어(S) / 술어(P) / 목적어(O)의 순서로 도시함

① 오타

- ‘wearing’, ‘wearin’, ‘weargin’, ‘wearinf’, ‘walwearing’, ‘swearing’ - ‘Man,’

② 동일한 의미를 가지지만 다른 형태로 기입된 경우

- Man / wear / hat, man / wearing / hat, man / wears a / hat, person / is wearing / hat

- Have, has, has a

③ 기타 오류

- disney / building / sign

- Man wearing hat / hat is on man / hat is here

④ Bounding box의 오류

- 단일 객체에 대하여 다양한 bounding box가 제시되어있는 경우가 빈번함

- Bounding box 설정의 기준이 모호하여 occlusion등에 대하여 일관적이지 않은 기준으로 기입되어 있는 경우가 많음

다) Visual Genome dataset 분석 및 정리

전술한 것과 같이 오류가 존재하는 dataset에 대한 정제작업을 수행하기 위하여 기초적인 분석을 수행함.

 Subject/object 재분류

- Visual relationship detection은 입력된 영상에 대한 객체 검출기의 성능에 좌우되는데, Visual genome dataset의 객체 annotation은 자연어로부터 추출한 것으로 수천 종에 달함

- 현재 object detection의 연구는 보통 80종(MS CoCo)를 목표로 하여 개발되는 경우가 대부분이기 때문에 기존 연구의 결과물을 충분히 활용하기 위하여 MS CoCo의 80종 object 만으로 그 대상을 한정하기로 정함

- MS CoCo 이외에 ImageNet을 목표로 하는 객체 검출기의 경우, 200종의 객체를 검출할 수 있으나, Visual Genome dataset 내의 object class와 비교하였을 때 MS CoCo의 80종이 오히려 적합도가 높아 80종으로 한정지음

- 80종의 object 분류를 이용하기 위하여 Visual Genome dataset의 3,000종 이상의 object annotation을 MS CoCo의 80 종으로 재분류하여 대응작업을 수행함

 Predicate 재분류

- Visual Genome dataset의 predicate은 수동/능동형, 단일/복수 단어 등 다양한 형태로 기입되어 있으면 공식적으로 제공되는 동의어 사전을 이용하여 축약하여도 29,000여 종의 predicate을 가지기 때문에 분류기를 설계하는 것에 적합하지 않음 - 구현에 적합한 dataset을 생성하기 위하여 누적빈도를 기준으로 하여 상위 95%(500여 종)으로 작업범위를 줄인 후, 범위 내에 존재하는 predicate등을 분류하여 총 259종의 predicate으로 정제하였음 - Predicate 목록의 분류를 위하여, 목록내의 단어들을 품사 단위 및 의미상의 유사성을 기준으로 능동형 자동사 39종, 수동형 자동사 27종, 능동형 타동사 79종, 수동형 타동사 8종, 위치관련 전치사 35종, 기타 전치사 8종으로 분류하였음

[능동형/수동형 자동사]

능동형 자동사 39 종 수동형 자동사 27 종 walk painted

lie parked sit made

stand covered topped hang printed fly filled rest built lean written lay reflected drive tied ride wrapped play stuck float cast

stick stacked piled talk plugged graze seen lead hung shine sewn come connected swim drawn

reflect shown displayed ski attached mounted move travel formed

run mixed surf posted sleep cut reach used work look appear eat crash break balance cook skateboard jump kneel swing