3. 휴먼 모델링 기술 4. 휴먼 행동 예측 기술 5. 개인화 서비스 기술 6. 결 론
1. 서 론
최근 스마트폰에 적용되고 있는 기술을 살펴보 면 시스템이 사용자를 파악하고 적절한 정보나 컴퓨팅 환경 및 서비스를 제공하는 등 사용자 편 의성을 강조하는 것들이 나타나고 있다. 즉, 최신 스마트에서는 사람의 말을 알아듣고 사용자를 알 아보고 제스처를 통한 명령어를 인식하는 등 사 용자를 살피며 스스로 알아서 판단하고 대응하는 기술들이 적용되고 있다. 이러한 기술들의 적용 이 지금은 비록 시작 단계라 할 수 있고 아직은 그 수준이 균일하지 못하여 많은 경우 사용자의 만족도가 충분하다고 할 수는 없다. 하지만, 이러 한 기술의 필요성과 효용성은 일반인들에게까지 널리 확산되었으며 관련 기술의 발전은 지속적으 로 이루어질 것으로 기대된다. 따라서 미래의 스 마트 디바이스는 자체가 스스로 하나의 객체로서 정보를 모으고 판단하고 사용자와 대화하면서 작
업을 할 것으로 쉽게 예측할 수 있다.
스마트 디바이스가 스스로 하나의 객체로서 동 작하기 위해서는 주변의 정보, 특히 주된 사용자 의 정보를 수집하고, 이를 바탕으로 상황을 판단 하고, 상황에 맞는 적절한 대응을 할 수 있어야 한다. 본 고에서는 사용자의 경험을 정보화하고 적절한 서비스를 제공하는 기술에 대해 살펴본 다. 이러한 분야의 기술은 크게 개인의 경험정보 를 수집하고 수집된 정보를 실시간으로 분석하는 기술, 사용자의 특성을 명세하는 사용자 모델링 기술, 사용자의 과거 행동 패턴에 기반하여 행동 을 예측하는 기술, 그리고 사용자별로 적절한 정 보나 서비스를 제공하는 기술로 구분해서 고려할 수 있다. <표 1>에서는 사용자 개인의 경험 정보 를 바탕으로 개인화된 서비스를 제공하기 위한 기술의 범위와 내용을 나타내고 있다.
본 고에서는 2장에서 개인의 경험정보를 수집 하고 수집된 정보를 분석하는 기술을 살펴보고, 3
퍼스널 행동 예측 알고리즘
예측 가능한 휴먼 행동 패턴 융합 기술 타임라인 기반 휴먼 행동 패턴 파악 기술 다임라인 기반 휴먼 행동 예측 알고리즘
행동 예측 기반
개인화 서비스 사용자 행동 예측 기반 맞춤 정보 제공 기술 사용자 행동 예측 기반 미래 시뮬레이션 기술
장에서는 사용자의 특성을 명세하는 사용자 모델 링 기술에 대해 소개한다. 4장과 5장에서는 각각 사용자의 과거 행동 패턴에 기반하여 행동을 예 측하는 기술과 사용자별로 적절한 정보나 서비스 를 제공하는 기술을 살펴보고 마지막 6장에서 결 론을 맺고자 한다.
2. 퍼스널 정보 수집 및 분석
스마트폰과 스마트패드를 포함하는 스마트 디 바이스의 보급 확산과 일반화에 따라 개인은 정 보의 소비자이면서 동시에 막대한 정보의 생산자 라 할 수 있다. 퍼스널 정보 수집 및 분석 기술은 실시간으로 개인이 경험하고 생산하는 모든 정보 를 분석하여 미래 행동을 예측하도록 지원하는 등 의미있는 정보를 생성하는 기술이라 할 수 있 다. 이를 위해서 시스템은 사용자를 살피면서 사 용자가 실세계 및 사이버 세계에서 만들어내는 정보를 수집하고 분석해야 한다.
본 장에서는 사용자의 정보를 수집하는 기술의 하나로서 사용자의 시선을 바탕으로 사용자가 무
사용자가 무엇에 관심을 가지고 무엇을 주로 바라보는지는 직관적인 인터랙션 수단의 하나로 서 개발되기 시작하였으나, 신체 장애인을 위한 인터랙션에 일부 사용되었을 뿐 커다란 주목을 받지는 못하고 있었다. 하지만 구글 고글스와 같 은 영상 기반 검색 엔진 기술이 나타나면서, 타임 라인 상에서 사용자가 관심을 가지고 바라보는 것들을 연속적으로 기록하고 분석함으로써 사용 자를 특성화하고 모델을 생성하는데 커다란 영향 을 미칠 수 있다는 생각을 할 수 있다. 여기서는 이러한 기술의 하나로서 시선 처리에 기반한 사 용자가 바라보는 시각 정보 수집 기술에 대해 살 펴본다.
일본 동경대학교에서는 사용자가 주의를 기울 여서 보는지, 주의를 기울여 보는 경우 무엇을 보 는지에 대한 정보를 획득하기 위해서 안경형 시 스템인 Aided Eyes를 개발하였다 [1]. 개발된 시스 템에서는 눈 깜빡임의 빈도를 기반으로 사용자의 집중 정도를 분석하고 집중한 상태에서 주의 대 상을 탐색하여 기존 데이터베이스에 저장되어 있 는 객체인 경우 사용자가 바라보는 객체가 무엇 인지 인식한다. (그림 1)에서는 동경대학교에서 개발하고 있는 Aided Eyes 연구에 대해 보여주고 있다.
미국 USC (University of Southern California) 의 iLab에서는 시선 추적 기반의 시각 주의에 대 한 연구 및 프로젝트를 수행 중이다 [2]. 이들은
(그림 1) 일본 동경대의 Aided Eyes 하드웨어 및 대상 인식 실험 결과
(그림 2) USC iLab에서 진행 중인 프로젝트 휴머노이드 로봇 헤드를 이용하여 로봇의 시야에 들어오는 영상 시퀀스를 실시간으로 분석하여 Saliency Map 정보를 생성하고 이를 바탕으로 로 봇의 눈과 머리를 움직이거나, 카메라가 부착된 소형의 원격 조정 차에서의 Saliency Map을 계산 하는 연구를 진행하고 있다. iLab에서 수행중인 프로젝트는 주로 영상에서 현저한 특징 정보만을 이용하는 bottom-up 기반의 시각 주의에 대한 연 구이며 사용자가 어떠한 대상에 주의를 계속하여 유지할지, 혹은 주의를 기울이는 대상에 대한 선
택의 문제, 그리고 동시에 비슷한 중요도로 여러 객체에 주의를 기울이는 문제 등에 대한 해결은 부족한 실정이다. (그림 2)에서는 USC에서 수행 중인 시각 주의에 대한 연구를 보여주고 있다.
2.2 사용자 경험 정보 저장 분석 기술
일본의 NTT는 라이프로그 축적 단계에서 사 용자 단말로부터 수집한 개별 라이프로그를 필터 링해서 라이프로그 데이터베이스에 저장하고, 서 비스 실행 단계에서 라이프로그 데이터베이스에 액세스해서 각 서비스에 대한 등록된 오퍼레이션 을 실행해서 그 결과를 반환하는 라이프로그 관 리 시스템인 LLMS(Lifelog Management System) 의 구조를 (그림 3)에서 보여주는 바와 같이 제안 하고 있다 [3].
국내 연구 동향을 살펴보면 서울대에서는 다양 한 장치로부터 수집되는 라이프로그 데이터들을 의미 기반으로 관리하기 위해 데이터 또는 데이 터를 생성한 개체 간의 관계를 정의한다. [4] 라이 프로그 온톨로지 분야에서 서울대는 라이프로그
(그림 3) NTT의 라이프로그 관리 시스템 LLMS
(그림 4) LifeLogOn 시스템 개념도
를 저장한 DB 스키마로부터 온톨로지 스키마를 생성하고 온톨로지를 인스턴스 레벨로 생성하고 브라우징하는 LifeLogOn이라는 시스템을 개발하 였다. (그림 4)에서 그 개념도를 보여주고 있다.
2.3 사용자 중심의 비디오 요약 기술
이탈리아 피렌체 대학교에서는 축구 경기 비디 오에 이 프레임 시퀀스에서 어떤 일이 발생하였
는지를 기술하는 고수준의 개념을 사용자 개입없 이 자동으로 시맨틱 어노테이션하는 기술을 개발 하고 있다 [5]. 이들은 먼저 비디오 프레임 내에서 개체와 객체에 대한 또는 프레임의 시퀀스에서 시맨틱 개념을 온톨로지로 모델링한 다음, 실제 축구 경기 비디오 내에서 인식된 중요 객체나 개 체의 상태를 사용해서 현재 이벤트를 추론하고, 여러 개의 이벤트로부터 고수준의 개념을 추출하 며, 이벤트와 개념을 이용해서 서브타이틀을 자
(그림 6) 축구 경기 비디오를 위한 멀티미디어 온톨로지 (그림 5) 시맨틱 어노테이션 기반 서브타이틀 자동 생성 결과
동으로 생성한다. (그림 5)는 시맨틱 어노테이션 에 기반하여 서브 타이틀을 자동으로 생성한 결 과를 보여주고 있으며, (그림 6)은 축구 경기 비 디오를 위한 멀티미디어 온톨로지를 보여주고 있다.
그리고 타이완 대학교에서도 홈비디오 요약을 위해서 사용자를 향한 카메라에서 획득한 영상
내에서 눈 움직임 중에서 낮은 흥미를 보여주는 saccade 운동과 긍정적 부정적으로 구분하는 연 구를 진행하고 있다 [6]. 이들은 얼굴 표정 그리고 팬/틸트/줌으로 구성된 카메라 모션을 기반으로 샷의 중요도를 계산한다. 눈 움직임에서 saccade 운동이 적게 나타나고, 긍정적 얼굴 표정이 탐지 되는 샷의 가중치를 높임으로써 장면의 중요도를
(그림 7) Interest Meter 기반 홈 비디오 요약 프레임워크 구성도 및 요약 기술 개념도
(그림 8) Multimodal Saliency 기반 키 프레임(*) 및 주의 관련 곡선들
(그림 9) 쓰쿠바 대학의 사용자 행동 모델 기반의 비디오 요약 시스템 개념도
판정하는 연구를 진행하고 있다. 10명의 피험자 를 대상으로 한 실험에서 피험자들이 중요하다고 수동으로 태깅한 샷과 20% 축약율로 눈 움직임 과 얼굴을 동시에 사용해서 자동 생성된 요약 간 에 약 50% 이상의 일치율을 보이는 것을 확인하 였다. (그림 7)에서는 타이완 대학교에서 제안하 는 흥미도 기반 비디오 요약 기술의 개념도를 보 여주고 있다.
중국에 있는 MS 아시아 연구소는 모션, 정지 배경, 얼굴, 카메라 기반 시각 주의와 오디오, 대 사, 음악 기반 청각 주의를 가중치 기반으로 선형
결합한 최종 Saliency 값을 프레임의 중요도로 사 용하는 키 프레임 분리 기술을 개발하고 있다 [7]. (그림 8)에서는 Multimodal Saliency에 기반한 주 의도 분석과 영상에서의 키 프레임 분리를 보여 주고 있다.
사용자 행동 모델 기반 비디오 요약 분야에서 일본 쓰쿠바 대학은 비디오에 등장하는 사용자가 정지 상태에서 관심 대상이 정지 또는 이동할 때, 그리고 사용자가 움직이는 상태에서 관심 대상이 정지 또는 이동할 때의 사용자 행동을 모델링해 서 프레임 시퀀스에서 배경 및 객체 모션을 기반 으로 사용자의 주의 예측하는 연구를 진행하고 있다 [8]. 실험 결과 10분 길이의 비디오 각각에서 4개의 키 프레임을 추출하여 탐지된 주의 대상은
(그림 10) GUMO Ontology
(그림 11) Cyber-I의 코어 레이어와 주변 레이어 구성 요소 및 Cyber-I 기술 실세계에서 사용자가 경험하는 정보의 복합적
저장 기술과 대용량 데이터의 실시간 분석 알고 리즘의 개발은 사용자를 일반화하여 표현하고 명 세하는 것을 가능하게 한다. 독일에서는 GUMO 라고 부르는 일반화된 사용자 모델을 제안하였으 며, 일본과 중국에서도 사이버 상에서 사용자를 나타내는 Cyber-I를 개발한 바가 있으며 본 장에 서 이들의 연구를 살펴본다.
독일 SaarLand 대학에서는 온톨로지 기반의 사용자 모델인 GUMO(Generic User Modeling
Cyber-I (Individual)라는 개념을 제안하였다 [10]. Cyber-I는 감정이나 신체적 상태와 같이 즉각적 인 갱신이 필요한 특징들과 사회적 관계나 과거 경험, 물리적 속성(성별, 얼굴, 머리색, 지문, 동공 등)이나 개인적 특징(버릇, 취미, 관심, 종교)과 같이 점진적인 추가나 변화가 일어나는 특징들로 개인을 기술하고 있다. 이들은 단순히 특정 서비 스나 애플리케이션을 위한 사용자 모델링에서 벗 어나 가상과 현실이 혼재하는 세계에서 실제 개 인에 대응하는 Cyber-I의 개념 제안에 의미를 두
(그림 12) Google의 Prediction API 으면 위장병에 걸리기 쉽다거나, 수험생이 열심
히 공부하지 않으면 시험에 합격하기 힘들다는 것을 경험으로 알고 있으며, 이런 것들을 보편적 인 사실로 받아들이고 있다. 이러한 사실들을 살 펴보면 과거의 행동이 미래를 결정한다는 것을 어느 정도는 받아들일 수 있다.
구글에서 개발하여 제공하고 있는 Prediction API를 살펴보면, 그들도 이러한 사실에 관심을 가지고 있는 것으로 보인다 [11]. 구글의 Prediction API는 과거의 데이터를 기반으로 Machine Learning Algorithm과 패턴 매칭을 통해 앞으로 일어날 일 을 예측하기 위한 개발 도구이다. API들은 RESTful 기반으로 개발되었으며 수치 혹은 텍스 트 기반의 입력을 지원하며 웹, 데스크탑, 콘솔 기반의 플랫폼을 지원한다. (그림 12)는 구글의 Prediction API가 제공하는 화면을 보여주고 있다.
미국의 Northeastern University 에서는 사용자
5. 개인화 서비스 기술
휴먼 행동 예측의 결과는 사용자의 의도를 파 악하는데 활용될 수 있으며, 이를 바탕으로 각 개 인에 적절한 서비스를 제공해 줄 수 있다. 이때 이루어지는 개인화 서비스는 많은 부분에서 증강 현실 서비스로 제공될 수 있다. 여기서는 미국과 유럽에서 이루어지고 있는 개인화 서비스 기술과 이와 관련되는 증강현실 기반 서비스 기술을 몇 가지 소개한다.
먼저, 미국 Palo Alto 연구소에서는 상황 인지 기반 모바일 추천 시스템을 Magitti 개발. 센싱한 사용자의 상황 정보와 개인의 행위 패턴으로부터 사용자가 수행할 행동을 추론하고, 각 행동별로 사용자 선호도 모델을 가지고 콘텐츠 저장소에서 저장된 콘텐츠들의 유용도 산정을 해서 추천을
(그림 13) Magitti 모바일 UI와 시스템 구성도
(그림 14) Tagwhat에서 개발된 증강현실 기반의 모바일 위치 가이드 서비스 자동으로 생성하고 모바일UI로 제공하는 기술을
개발하고 있다 [12]. (그림 13)은 Palo Alto 연구소 의 Magitti 모바일 UI와 시스템의 구성도를 보여 주고 있다.
또한, Tagwhat 서비스는 증강현실과 소셜 네트 워크를 결합한 모바일 위치가이드 서비스이다
[13]. 사용자는 현재 자신의 위치에서 텍스트 메시 지뿐만 아니라 비디오, 사진, 음성녹음, 오디오 파일 형태로 장소에 대한 태그 정보를 생성할 수 있다. SNS에서 친구로 등록된 사용자는 그 장소 에 도착해서 증강현실을 통해 친구가 남긴 태그 를 확인할 수 있으며, 생성한 태그는 트위터, 페
이스북, 이메일 등을 통해 친구에게 디지털 포스 트 카드 형태로 전달할 수도 있다. 그밖에 여러 사람이 생성한 수많은 태그 중에서 음악, 음식, 스포츠 등의 사용자 취향에 따라 검색할 수 있는 서비스가 제공되어, 유명한 도시나 여행지에 대한 가상여행 체험이 가능하다. (그림 14)는 Tagwhat 서비스의 화면을 보여주고 있다.
미국 Columbia 대학교에서는 (그림 15)에서 보 여주는 바와 같이 증강현실을 현실세계의 작업에 도입하기 위하여 특수한 정비작업을 순서에 따라 인식하고 정비 보조에 도움을 주어 작업 효율을 높이는 연구를 하고 있다 [14].
(그림 16) Aalto 대학교의 증강 현실 플랫폼과 서비스
핀란드의 Aalto 대학교에서는 증강현실을 통하 여 요약 정보를 제공하는 연구를 하고 있다 [15]. 이 연구에서는 사용자의 주의를 눈 운동 패턴, 음 성 등의 정보를 통해 알아내어 주의가 주어졌을 때 저장된 요약 정보를 증강현실을 통해 제공한 다. 이들은 실세계에 대한 pervasive 컴퓨팅 환경 에 대한 요약 정보를 제공하기 위한 AR 플랫폼 을 개발하였으며, 사용자의 눈 운동 패턴, 음성, 기타 피드백 정보들을 이용하여 실세계에 대한 정보의 필터링을 수행한다. 사용자의 주의 여부 를 알 수 있는 여러 가지 신호들을 이용하여 객 체, 사람에 대한 정보를 제공하고 있으나, 객체 간의 시맨틱 관계, 정보의 다이제스트, 정보 요약 수집 등의 개념은 포함되어 있지 못하고 객체의 인식의 경우 QR 코드를 이용하므로 실제로 적용 되기에는 제약이 있다. (그림 16)은 Alto 대학교 의 증강현실 플랫폼과 서비스를 보여주고 있다.
6. 결 론
본 고에서는 개인의 경험을 저장, 관리하고, 이 를 분석하고, 사용자의 행동 패턴을 예측하고, 궁 극적으로 사용자에게 적절한 서비스를 제공하는 기술에 대해 살펴보았다. 고성능 모바일 스마트 디바이스와 고속의 네트워크 인프라, 그리고 최 근의 클라우드 컴퓨팅 기술은 이러한 것들을 가 능하게 하고 있다. 이미 스마트 디바이스들은 사 용자를 살피며, 음성과 제스처 같은 사람들 사이 의 인터페이스를 따라하고 있다. 본 고에서 살펴 본 기술들은 이러한 시대에 대비하는 기술들로서 이러한 기술들이 좀 더 성숙해지고 유기적으로 연결된다면 우리는 오늘날과 또 다른 형태의 인 터랙션과 서비스가 제공되는 시대를 경험할 수 있을 것으로 기대된다.
International Conference. ACM, pp.1–7, 2010.
[ 2 ] L. Itti and C. Koch, A Saliency-Based Search Mechanism for Overt and Covert Shifts of Visual Attention, Vision Research, pp.1489- 1506, 2000.
[ 3 ] T. Hasegawa, I. Naito, T. Menjo, M. Matsuda, H. Akama, and M. Yamamuro, Data Stream Management Technology for Accumulating and Processing Lifelogs, NTT Technical Review, Vol.9, No.1, pp.1-5, Jam. 2011.
[ 4 ] S. Lee, G. Gong, I. Hwang, and S. Lee, LifeLogOn: A Practical Lifelog System for Building and Exploiting Lifelog Ontology, Sensor Networks, Ubiquitous, and Trustworthy Computing (SUTC), 2010 IEEE International Conference on, pp.367-373, 7-9 June 2010.
[ 5 ] Bagdanov, A.D., Bertini, M., Del Bimbo, A., Serra, G., Torniai, C., Semantic annotation and retrieval of video events using multimedia ontologies, Semantic Computing, 2007.
ICSC 2007. International Conference on, pp.713-720, 17-19 Sept. 2007.
[ 6 ] Bagdanov, A.D., Bertini, M., Del Bimbo, A., Serra, G., Torniai, C., Semantic annotation and retrieval of video events using multimedia ontologies, Semantic Computing, 2007. ICSC 2007. International Conference on, pp.713- 720, 17-19 Sept. 2007.
[ 7 ] Yu-Fei Ma, Lie Lu, Hong-Jiang Zhang, Mingjing Li, A User Attention Model for Video Summarization, in Proceedings of ACM Multimedia, pp.533-542, 2003.
Model Ontology, LNAI Vol.3538/2005, pp.428-432, 2005.
[10] Jie Wen, Kai Ming, Furong Wang, Benxiong Huang, Jianhua Ma, Cyber-I: Vision of the Individual's Counterpart on Cyberspace, Dependable, Autonomic and Secure Computing, 2009. DASC '09. Eighth IEEE International Conference on, pp.295-302, 12-14 Dec. 2009.
[11] https://developers.google.com/prediction, 2012.
[12] V. Bellotti, B. Begole, Ed H. Chi, N.
Ducheneaut, J. Fang, E. Isaacs, T. King, M.
Newman, K. Partridge, B. Price, P.
Rasmussen, M. Roberts, D. Schiano, and A.
Walendowski, Activity-Based Serendipitous Recommendations with the Magitti Mobile Leisure Guide, CHI 2008, Apr. 2008.
[13] http://www.tagwhat.com, 2012.
[14] Gerhard Reitmayr, Tom W. Drummond, Going out: Robust Model-based Tracking for Outdoor Augmented Reality, The 5th IEEE and ACM International Symposium on Mixed and Augmented Reality, in Proceedings of, pp.109-118, 2005.
[15] A. Ajanki, M. Billinghurst, T. Jarvenpaa, M.Kandemir, S. Kaski, M. Koskela, M.
Kurimo, J. Laaksonen, K. Puolamaki, T.
Ruokolainen, T. Tossavainen. Contextual Information Access with Augmented Reality, in Proceedings of 2010 IEEE International Workshop on Machine Learning for Signal Processing. IEEE, 95-100, 2010.
∙ 2003년 연세대학교 전기전자공학과(박사)
∙ 1989년~현재 한국전자통신연구원 책임연구원/퍼스널 컴퓨팅연구팀장
∙ 관심분야 : 라이프로그 데이터 마이닝, 지식 다이제스 트, 퍼스널 컴퓨팅
이 형 직
․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․
이메일 : [email protected]
∙ 2000년 경북대학교 전자공학과(석사)
∙ 2000년~현재 한국전자통신연구원 퍼스널컴퓨팅연구 팀 선임연구원
∙ 관심분야 : 라이프로그 데이터 마이닝, 지식 다이제스 트, 시선 추적 및 분석
문 진 영
․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․
이메일 : [email protected]
∙ 2002년 한국과학기술원 전자공학과(석사)
∙ 2002년~현재 한국전자통신연구원 퍼스널컴퓨팅연구 팀 선임연구원
∙ 관심분야 : 라이프로그 데이터 마이닝, 지식 다이제스 트, 시선/뇌파 추적 및 분석
∙ 2011년 한국과학기술원 바이오및뇌공학과(석사)
∙ 2011년~현재 한국전자통신연구원 퍼스널컴퓨팅연구 팀 연구원
∙ 관심분야 : 스트림 데이터 마이닝, 지식 다이제스트, 시 선/뇌파 추적 및 분석
이 전 우
․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․
이메일 : [email protected]
∙ 1998년 경북대학교 전자공학과(박사)
∙ 1985년~현재 한국전자통신연구원 책임연구원/차세대 컴퓨팅연구부장
∙ 관심분야 : 퍼스널 컴퓨팅 플랫폼, 디바이스 가상화
손 승 원
․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․․
이메일 : [email protected]
∙ 1999년 충북대학교 컴퓨터공학과(박사)
∙ 1991년~현재 한국전자통신연구원 책임연구원/연구위 원
∙ 관심분야 : 신개념 UI, 모바일 통신, 보안시스템
