자율 지식성장 엔진 시스템 검증용 표준 데이터세트 개발

가) 시각정보 추출 기능 검증용 표준 데이터세트 개발

 영상 –텍스트 복합정보 처리 태그 관리도구 개발

- 두뇌모사형 자율 지식 성장 기술 개발에 필요한 영상-텍스트

<그림 74> 데이터세트 관리도구 UI 구성

ㅇ태그 관리도구 특징

- 영상-텍스트 복합정보 데이터세트 구성 지원

복합정보 데이터세트는 이미지 데이터(JPG 파일 모음), 이미지 메타데이터 파일, 영역 설정 파일, 질의응답 파일, 객체 파일, 속성 파일, 객체간 관계 파일, 영역과 질의응답 매핑 파일, 영역 그래프 파일, 씬 그래프 파일, 동의어 파일로 구성

- 영상-텍스트 복합데이터 태그 작성 지원

영상 데이터와 텍스트 데이터를 복합 데이터로 통합 처리하고, 복합데이터의 특징정보에 기준정보를 태그정보로 부가

. 영상내 객체 검출을 위한 특징벡터 추출 및 저장 지원 . 지역적 검색을 위한 관심영역 추출 지원

. 텍스트 데이터로부터 지식 추출 지원

. 영상과 텍스트 지식의 매핑 및 기준정보 annotation 지원 - 데이터세트 관리 지원

. GUI 기반 사용자 인터페이스

. 개별 단위영상의 메타정보 생성, 검색, 편집, 삭제 지원

. 복수 영상의 그룹단위 메타정보 관리를 위한 그룹 생성, 그룹 검색, 그룹 편집, 그룹 삭제 지원

- R-DB 연동 지원

. 대용량 데이터세트의 효율적 관리를 위해 R-DB인 MySQL을 채용 . JSON 형식의 RESTful API를 서비스로 제공하지만 NoSQL을

사용하면 각 테이블간의 JOIN 사용과 상이한 형식의 데이터 추출로 성능저하 문제를 고려하여 R-DB 선택

. DB 동시 접근에 따른 문제가 없으면서 복수의 사용자가 태그 생성작업을 동시에 수행할 수 있도록 생성작업은 사용자 전용 DB를 제공하고, 작업 완료 후 하나의 DB로 병합

ㅇ태그 관리도구 기본 기능 - 이미지 목록 불러오기

. 1,000 개 이미지를 한 단위로 묶어서 페이지 단위로 제공 . 서버로의 모든 요청은 UI 화면 중앙의 Request 탭에서 관리됨 . 툴바의 “Abort Requests” 버턴으로 대기 중인 요청 일괄 삭제

<그림 75> 이미지 목록 불러오기

- 객체/속성 정보 확인

. 객체 정보는 UI화면 좌측 Objects 탭에서 확인

<그림 76> 객체/속성 정보 확인

- 배열 형식의 태그 편집

. 하나 이상의 값을 배열로 관리하는 속성 경우 관리도구에서 제공하는 추천 키워드 중에서 하나를 선택하거나 새로운 값을 입력 가능

. 태그 작성 작업의 오류를 줄이고, 효율성을 높이기 위하여 키워드 추천

<그림 77> 배열 형식의 태그 편집

- 태그 필터링

. 화면에 표시되는 많은 정보를 구분하기 위해 필터링 기능 제공

<그림 78> “man”을 포함하는 영역(region) 정보로 필터링 한 예

 복합정보 기반 인지기능 학습용 대규모 지식정보 데이터세트 개발

복합정보 기반 시각지능 인지기술 개발에 필요한 학습 및 지식정보 데이터세트 확보를 추진하였으며, 2차년도 이후에 중점적으로 진행예정인 시각지능 기술 개발 및 검증에 활용할 예정임

ㅇ데이터세트 개요

데이터세트는 공개되어 있는 Visual Genome 데이터세트를 근간으로 하며, Visual Genome 과 동일한 메타데이터 포맷을 채용하여 태그 오류 수정, 사용 단어 한정, 태그 박스 수정 등 annotation을 보완

- 원본 이미지 데이터(Visual Genome 1.4) 개요 . 이미지 규모: 108,077 장

. 영역설명: 약 430만 개

. 영상내용 질의응답: 약 170만 개 . 객체: 약 130만 개

. 속성: 약 200만 개 . 관계설명: 약 150만 개

. 모든 어휘들은 Wordnet Synsets에 매핑되어 있음

<그림 79> 영상 및 메타데이터 예(객체: 적색, 관계: 녹색, 속성: 청색)

- 텍스트 annotation 문제 . 오타:

‘wearing’, ‘wearin’, ‘weargin’, ‘wearinf’, ‘walwearing’, ‘swearing’

. 같은 뜻, 다른 annotation:

‘Man/ wear/ hat’, ‘man/ wearing/ hat’, ‘man/ wears a/ hat’, person/

is wearing/ hat’

‘Have’, ‘has’, ‘has a’

‘Man/ have nose’, ‘nose/ of/ man’

. 잘못된 레이블링:

‘disney/ building/ sign’

‘Man wearing hat’, ‘hat is on man’, ‘hat is here’

. 관사, 형용사

‘Man/ wearing/ hat’, ‘a man/ wearing/ a hat’, ‘man/ wearing/ a hat’

‘Giraffe/ have/ tail’, ‘giraffe/ have/ black tail’

- 데이터세트 보완

<그림 80> 데이터 관리를 위한 테이블 정의

<그림 81> 데이터 관리를 위한 테이블 정의(계속)

<그림 82> 데이터베이스 구축을 위한 논리적 ERD 구조

<그림 83> 데이터베이스 구축을 위한 물리적 ERD 구조

 지식 자율성장 기능 학습용 시각 지식 데이터세트 개발

- 영상-텍스트 복합정보를 활용하여, 학습되지 않은 영상의 내용을 설명하는 텍스트를 생성하거나 임의의 텍스트로부터 그 내용에 부합하는 영상을 매칭시키는 기술 개발을 위하여 동물 사진에서 신체 구성요소를 레이블링한 데이터세트를 개발

- 동물의 눈, 코, 귀, 입, 머리, 다리 등 구성 요소에 대한 학습과 텍스트 기반의 동물 설명 지식으로부터 해당 동물의 모양을 유추하고, 학습하는 형태로 활용 될 수 있을 것임

ㅇ영상 데이터 개요

- 데이터세트 개발을 위한 영상 데이터의 특징 . 영상 픽셀 사이즈: 800 x 600 이상

. 대상 객체: 동물 (개, 소, 말, 양, 고양이, 호랑이, 사자, 기린,

(반드시 마킹이 필요한 것은 아님) - 대량의 동일 객체

. 동일 객체가 15개 이하이면 모두 레이블링하고, 15개 이상이면 태깅하지 않음

나) 예측추론 기능 검증용 표준 데이터세트 개발



예측추론 학습용 영상-텍스트 복합정보 데이터 구축 SW 개발

- 지식 자율성장 기술 개발에 필요한 예측추론 모듈의 학습용 영상-텍스트 복합정보 데이터 구축 SW 개발

- Visual Genome과 유사한 이미지 쌍 사용하여 각 이미지에 주석을 달고 예측 주석을 획득할 수 있는 Annotation UI 제작이 목적

- 주관식/객관식 메타데이터 태깅과 영문/한글 메타데이터 태깅 지원 - 객체/속성/장면별 annotation 지원

- 이미지 쌍에 대한 예측추론 annotation 기능 지원

<그림 84> 예측추론 학습용 영상-텍스트 복합정보 데이터 구축 SW 기능 개념도

<그림 85> 객체/속성/장면별 annotation 지원

<그림 86> 이미지 쌍에 대한 예측추론 annotation 기능 지원

 두뇌모사형 자율지식 성장용 챗봇 인터페이스 개발

사람의 예측 추론 능력을 모방한 지식의 자율성장을 위해 학습 과정에서 지식과 관련된 복합정보 데이터를 동적으로 수집할 수 있는 대화형 챗봇 인터페이스를 개발함

 챗봇 인터페이스

복합정보 데이터를 동적으로 수집할 수 있는 대화형 챗봇 인터페이스 구조는 다음 그림과 같으며, 주요 기능은 정형/비정형 실시간 데이터 수집과 대화형 챗봇 기능임

① 자율지식 성장 학습을 위한 정형/비정형 실시간 데이터 수집 기능 - 다중 소스로부터 영상/이미지/텍스트/음성/음향 데이터 수집 기능 - 멀티모달 데이터 동기화 저장 기능

② 대화형 챗봇 기능

- 음성-텍스트 변환 기능 - 입력/반응 편집 기능

- 영상/이미지/텍스트/음성/음향 반응 지원 - 동적 반응 변경 기능 제공

<그림 87> 챗봇 인터페이스 시스템

 컴포넌트 관리

 프로그램 소스

[표] 컴포넌트 관리 클래스

Class : org.etri.chat.controller.ComponentController.java

Request

Method Forward on

/admin/comp onentList.d o

HttpSession, HttpServletRequest, ModelMap JSON String 컴포넌트 목록 화면

HttpServletResponse JSON String 컴포넌트 작성 및

HttpServletResponse, HttpSession JSON String 컴포넌트 데이터 getComponent(id) return ComponentVO 조회

/admin/getL insertComponent(componentVO) return id 수정

updateComponent(componentVO) return void

HttpServletResponse, HttpSession String 컴포넌트 및 삭제

HttpServletResponse, HttpSession String 컴포넌트 목록에서 removeComponent(componentVo) return void 삭제

removeBoardAllFile(id) return void

① 컴포넌트 명칭 입력함

② 사용자 예상 질의 등록, 복수의 예상질의 입력 가능함

③ 사용자 예상 질의 입력 시 반응 수집 선택함

- Once after 선택 후 시간 지정 시 해당 시간 후 사용자 얼굴 캡쳐함 - Repeat Every 선택 후 시간 지정 시 해당 시간간격으로 사용자 얼굴 지속

캡쳐함

- Record for 선택 후 시간 지정 시 해당 시간 동안 동영상 촬영함 - Never 선택 시 캡쳐 없음

④ 사용자 예상 질의 시 보여질 텍스트 반응 선택함

- Text to speech 선택 시 입력된 텍스트를 음성으로 변환하여 사용자에게 출력함

⑤ 사용자에게 사진, 영상, 음향 반응 출력함

⑥ 사용자가 지정된 예상질의 입력 시 컴포넌트 및 다른 스토리라인으로 이동

HttpServletResponse, HttpSession JSON String 스토리라인 데이터 목록

HttpServletResponse, HttpSession String 스토리라인 입력 및

① 스토리라인 명칭 입력함

② 해당 스토리라인에서 대화 중 다른 스토리라인으로 이동을 허용할 것인지 설정함

③ 스토리라인을 저장함

④ 스토리라인 정보 수정 및 삭제함

제 3 절 사용자 경험 학습을 위한 휴먼 이해 에이전트 설계