제 16권 제 6 호 2011년 12월 pp. 437-448
로보틱 공간증강현실 시스템의 제어의 문제
이주행*, 김현**, 서영호***, 김형선***
Issues in Control of a Robotic Spatial Augmented Reality System
Joo-Haeng Lee*, Hyun Kim**, Youngho Suh*** and Hyungsun Kim***
ABSTRACT
A robotic spatial augmented reality (RSAR) system combines a robotics technology with a spatial augmented reality system (SAR) where cameras are used to recognize real objects and projectors aug- ment information and user interface directly on the surface of the recognized objects, rather than rely- ing on handheld display devices. Moreover, a robotic module is actively used to discover and utilize the context of users and environments. The control of a RSAR system involves several issues from differ- ent technical fields such as classical inverse kinematics of motors where projector-camera pairs are mounted, inverse projection problems to find appropriate internal/external parameters of projectors and cameras, and image warping in graphics pipeline to compensate the kinematic constraints. In this paper, we investigate various control issues related to a RSAR system and propose basic approaches to han- dle them, specially focused on the prototype RSAR system developed in ETRI.
Key words : Augmented Reality, FRC, Inverse Kinematics, Robotics, Spatial Augmented Reality
1. 서 론
로보틱 공간증강현실(Robotic Spatial Augmented Reality, RSAR) 기술은 초소형 프로젝터와 카메라로 구성된 공간증강현실(SAR, spatial augmented reality) 기술에 로보틱스 기술을 접목하여, 실제 사물을 인식 하고, 물체 표면이나 주변에 상황에 맞는 정보 및 사 용자 인터페이스를 투사(projection) 방식으로 증강 (augment)하는 기술이다.
제어 측면에서는 모터들의 조합위에 설치된 프로젝 터-카메라 모듈의 위치와 방위를 기구학적으로 결정 해야 하며, 그와 동시에 컴퓨터 비젼 기술을 이용하여 사물의 표면을 인식하고, 컴퓨터 그래픽스 기술을 이 용하여 인식된 사물에 맞게 투사될 영상을 생성해야 한다.
이 기술은 모바일 증강현실(AR)이나 모바일/고정형
공간증강현실(SAR) 기술에 비해 물리공간의 실제 사 물과 가상공간의 정보가 효과적으로 보다 직접적으로 결합되어 사용자 상호작용 측면에서 다양한 장점을 갖는 반면에, 일반적으로 로보틱스의 중요한 문제인 (실제 물체 사이의) 충돌 회피 문제와 더불어, 가림 (occlusion)이나 그림자 발생과 같이 프로젝터에서 투 사되는 빛과 물체의 상호작용을 동시에 다루어야 한 다는 점에서 기존의 로보틱스의 역운동학 제어와는 다른 문제들을 갖게 된다. 특히, 기존의 로봇에 비해 엔드이펙터의 자유도가 높은 반면에, 새로운 제약 조 건이 가미되는 점이 흥미롭다.
예를 들어, 기구적인 엔드이펙터가 위치와 방위의 5자유도로 표현된다면, 여기에 공간증강현실 기술을 결합하면 프로젝터와 카메라의 내부 제어 인수 (internal parameters, 예를 들어 광학적 특징)나 그래 픽스 파이프라인의 추가적인 제어 인수(예를 들어, 소 스 이미지에 대한 warping의 적용)가 추가되어 자유 도가 증가하고, 사용자의 시점의 고려 및 그림자 발생 최소화를 위한 제약 조건들이 추가된다.
본 논문은 이러한 로봇 공간증강현실 시스템의 각 구성 요소 및 기본 제어 구조에 대해서 소개하고, 특 히 현재 개발중인 로봇 공간증강현실 시스템에서 실
*교신저자, 종신회원, 한국전자통신연구원
**종신회원, 한국전자통신연구원
***비회원, 한국전자통신연구원 -논문투고일: 2011. 06. 23 -논문수정일: 2011. 09. 29 -심사완료일: 2011. 10. 04
제로 발생하는 제어의 문제들을 정리한다. 특히, 영상 투사와 기구부 제어의 문제에 초점을 맞추고, 이를 해 결하기 위한 기본적인 접근 방향을 제시한다.
본 논문의 구성은 다음과 같다. 2장에서는 로보틱 공 간증강현실 기술에 관련된 연구를 간략히 소개한다.
3장에서는 실제 시스템에서 발생하는 제어의 문제를 소개하고, 기본적인 해결방법을 제안한다. 4장에서는 본 논문을 맺으며 향후 연구방향을 제시한다.
2. 관련 연구
2.1 공간증강현실(SAR) 기술
증강현실(Augmented Reality, AR) 기술은 컴퓨터 비젼, 실시간 컴퓨터 그래픽스, 사용자 상호작용 기술 이 결합한 흥미로운 기술 분야이다[1,2]. 카메라를 통해 물리공간의 영상을 얻고, 영상내의 공간정보와 의미 정보를 해석하여 여기에 부가적인 정보를 컴퓨터 그 래픽스 기술을 이용하여 실시간으로 합성하여 사용자 의 디스플레이에 제시한 것이 기본적인 기법이다. 특 히, 최근 스마트 폰의 보급과 모바일 컴퓨팅의 계산능 력의 증가로 기술적 장벽이 낮아 지면서 더욱 각광을 받고 있다. 특히 스마트 폰의 킬러앱의 하나로 주목받 고 있기도 하다.
공간증강현실(Spatial Augmented Reality, SAR) 기술은 기존 증강현실 기술에 비해 프로젝터를 디스 플레이 장치로 사용한다는 점에서 가장 큰 차이가 있
다[3,4]. 실제 사물의 표면에 정보가 직접 더해지기 때
문에 사용자는 모니터를 바라보거나 HMD와 같은 장 치에 의존하지 않아도 되는 편리함이 있다[5]. 하지만, 프로젝터를 사용한 투사방식은 기본적으로 사용자의 시점을 고려하지 않기 때문에 가시성면에서 최적화가 힘들고, 또한, 투사면의 반사 특징, 기하학적 특징, 크 기 등에 많은 제약을 받는다. 그럼에도 불구하고, 최 근 손바닥 크기의 초소형 프로젝터의 등장과 더불어 공간증강현실 기술은 새로운 사용자 상호작용기법으 로 많은 주목을 받고 있다[6-18]. 특히, 최근에 Microsoft Kinect와 같은 깊이 카메라가 보급되면서, 그 동안 문제가 되었던 환경에 대한 기하학적인 정보 를 보다 쉽게 얻을 수 있게 되어 공간증강현실 기술의 도입이 가속화될 전망이다[12,13,14].
공간증강현실 기술의 가장 선구적인 연구로는 Raskar의 연구를 들 수 있다[6,7,8]. 특히, iLamps는 초 소형 프로젝터의 도래를 예상하고 프로젝터, 카메라, 컴퓨터, 위치센서를 결합하여 주변환경에 적합한 정 보를 증강하는 예를 제시하였다. RFIG Lamps에서는
사물에 RFID를 부착하고 프로젝터 시스템에 RFID 판독기를 결합하여 물체의 특성에 적합한 정보를 표 면에 증강하는 기술을 제시하였다.
MIT 미디어 랩에서 개발한 LuminAR는 공간증강 현실 기술에 본격적인 로보틱 기구부를 부착한 흥미 로운 시도이다[9]. 시스템적으로는 레이져 방식의 초소 형 프로젝터와 카메라 및 기구부 제어장치로 구성되 어 있다. 기능적으로는 사용자의 책상 위에서 상황에 적합한 정보를 제공하고, 제스쳐 기반 인터페이스를 제공하고 있다. 특히, 기구부는 책상위에 놓이는 조명 램프 형태를 하고 있고, 프로젝터를 비롯한 전체 전자 부는 조명용 전구 크기를 지향하고 있다.
일본 Ritsumeikan 대학에서 개발한 Ubiquitous Display(UD)는 로보틱 공간증강현실에서 가능한 다양 한 투사 방법을 제시하였다[10]. 이 연구에서는 프로젝 터-카메라 쌍이 팬-틸트 기구부에 장착되었을 뿐만 아 니라, 자율주행형 로봇 플랫폼에 탑재되어 있다. 로봇 은 사용자를 따라 다니며 적합한 영상을 벽이나 바닥 에 투사할 뿐만 아니라, 사용자의 시점을 고려한 anamorphic illusion 방식의 영상으로 입체감까지 제공 하고 있다.
소형 프로젝터가 없었던 시대에는 고정형 프로젝터 앞에 방향 조절이 가능한 거울을 두고, 투사 영상을 반사시켜서 프로젝터를 움직이는 것과 유사한 효과를 얻기도 하였다[11]. 이는 기구부의 단순화 및 경량화를 위해 지금도 채택가능한 아이디어이다.
Intel과 워싱턴 대학의 OASIS(Object-Aware Situated Interaction System) 과제는 고정형 소형 프로젝터, 카 메라 및 깊이 카메라를 사용하여 공간증강현실, 사물 인식 및 동작인식 기술을 결합한 새로운 상호작용기 법을 제시하고 있다[12]. LuminAR에 비해 더 다양한 물체와의 상호작용의 예를 보여 주고 있는데, 이는 깊 이 카메라를 적극적으로 이용한 3차원 물체 데이터베 이스(RGB-D)의 구축에 까지 이어지고 있다[13].
Microsoft의 LightSpace는 작업 공간에 여러 대의 프로젝터 및 깊이 카메라를 고정형으로 설치하여, 책 상, 벽, 사용자의 손바닥 위 등 다양한 곳에 정보 및 인터페이스를 투사하고, 동작기반 상호작용을 지원하 는 시스템이다[14]. 특히, 동작을 통해 독립된 두 투사 면 사이에 정보를 이동시킬 수 있다는 점이 다른 연구 에 비해 주목할 만한 결과이다.
공간증강현실의 이전 연구들은 일반적으로 평면에 투사를 가정하는 경우가 많지만, 임의의 표면에 정보 를 투사하는 시도 있다[3,6]. Jones 등의 연구[15]는 비교 적 자유로운 형태로 구성된 작은 물리 공간에 공간증
강현실 기법을 이용하여 정보, 사용자 인터페이스 및 컨텐츠를 투영하고, 적외선 스타일러스를 이용하여 가 상과 실제의 객체와 상호작용할 수 있는 기법을 소개 하고 있다. 이 연구에서 물리공간은 책상 및 벽면 외 에도 스티로폼이나 구겨진 헝겁까지 포함하여 구성되 어 있다. 이들에 대한 기하 정보는 프로젝터-카메라 쌍을 이용한 구조광 측정법 등으로 미리 얻게 된다.
향후 동적으로 물체가 추가되는 것이 가능하다면 더 욱 흥미로운 응용을 만들 수 있을 것이다.
오사카 대학의 HyperReal 시스템은 제품의 외형 디 자인에 있어서, 공간증강현실 기술을 이용했다는 점 에서 흥미롭다[16]. 또한, 이 연구에서는 안경식 입체 영상을 생성하기 위해 동기화된 두 개의 영상을 프로 젝터를 통해 투사하게 된다. 투사되는 영상은 단순한 실제 물체에 가상의 음영을 더해서 좀 더 복잡한 새로 운 형상을 만들어 내게 된다. 이 때 정확한 음영 생성 을 위해 사용자 머리의 위치도 추적한다.
또 다른 제품 개발에의 응용으로는 Holman 등의 SketchSpace 연구를 들 수 있다[17]. 이 연구에서는, 예 를 들어, 디자인 중인 마우스의 표면위에 가상의 단추 를 프로젝터를 통해 증강하고, 이에 대한 기능성을 실 제 사용자의 동작으로 테스트한다. 이 때 깊이 카메라 를 함께 사용하고 있다.
Gruber 등의 연구는 공간증강현실 연구에 필요한 다 양한 실험 데이터의 표준을 제시했다는 점에서 매우 주목할 만하다[18]. 제시된 모델은 일곱가지의 유명한 건축물들에 대한 구글 스케치 기반 모델, 이를 종이 등으로 간단하게 만들 수 있는 설계도가 함께 제공된 다. 종이 모델은 텍스쳐가 없는 것도 함께 제공되어서 프로젝터로 텍스쳐를 프로젝션하여 공간증강현실 기 술을 테스트할 수 있다. 더불어, 로봇 팔에 카메라를 부 착하여 촬영한 참조 비디오를 제공하고 있기 때문에, 카메라의 정확한 위치를 활용하여 추후 다른 연구의 측 정 결과를 검증할 수 있도록 하였다. 따라서, 앞으로 관 련 분야에서의 활발한 이용과 확장이 예상된다.
2.2 미래형 로보틱 컴퓨터(FRC)
이 절에서는 로보틱 공간증강현실(RSAR) 기술을 사용자 및 물리 환경과의 상호작용을 위한 주요 기법 으로 도입하여 진행중인 한국전자통신연구소(ETRI) 의 미래형 로보틱 컴퓨터(Future Robotic Computer, 이하 FRC) 과제를 전반적으로 소개하고, 특히 로보틱 공간증강현실 기술에 관련된 시스템적 요소들을 설명 한다.
ETRI에서 2010년에 시작한 FRC 개발 과제는 지능
형 로봇 기술과 다양한 입출력 장치와의 발전적인 결 합을 통해 사용자와 상황을 이해하여 능동적으로 정 보를 제공하는 새로운 컴퓨터의 모습 및 상호작용기 법을 제시하고자 하는데 목적이 있다. 특히, 실세계의 물체에 직접 정보 및 인터페이스를 증강시킬 수 있도 록 하는 것이 중요한 기술적 목표의 하나이다[19,20].
관련 이전연구와의 차별성으로는 로봇으로 제어되 는 두개의 프로젝터-카메라 쌍을 도입하여 공간증강현 실 기법을 적극적으로 활용하고, 특히 자연스러운 상호 작용(NUI) 및 실사물과의 상호작용을 지원하는 응용 개발 프레임워크를 제공하며, 서버의 지능적 처리를 통 해 지능을 증강화 시키려고 하는 점을 들 수 있다.
이 절에서는 FRC 시스템의 개요, 세부 사양, 제어 의 흐름을 설명하고, 다음 절에서는 여기에서 발생하 는 제어의 문제들을 다루고자 한다.
2.2.1 시스템 개요
시스템은 기본적으로 네트워크 로봇의 형태이다.
즉, 단말의 계산 능력은 기본적인 사용자 인터페이스 처리에 필요한 수준으로 유지되고, 부족한 성능은 네 트워크 분산 컴퓨팅 기법을 통해 외부 서버의 도움을 받아 처리하게 된다(Fig. 1 및 2 참조).
단말은 무선 네트워크를 통해 서버와 통신하게 된 다. 서버에서는 단말에서 보내는 입력정보(음성, 이미 지 등)를 응용 및 상황에 맞게 해석하여 출력정보(프 로젝터로 보낼 영상, 기구부 제어 신호 등)를 생성하 게 된다. 특히, 입력에 대한 중요한 해석 내용은 영상 으로부터의 사용자 식별, 손가락 터치 인터페이스를 위한 제스쳐 인식, 음성명령 인식 등이다. 본 논문에 서는 이들에 대한 세부 기술을 다루지 않으며, 주로
Fig. 1. FRC 단말의 하드웨어 블록도.
해석된 내용을 기반으로 출력 영상을 생성하거나 기 구부를 제어할 때 발생하는 문제를 다루게 된다.
단말의 입출력 장치의 주요 특징은 초소형 프로젝 터와 카메라를 장착하여, 기존의 컴퓨터의 필수 입출 력 요소인 디스플레이와의 연결 및 마우스/키보드를 대체한 것이다. 따라서, 디스플레이/키보드/마우스 기 반의 그래픽 사용자 인터페이스(GUI)는 동작기반의 인터페이스로 변경되고, 고정된 디스플레이 대신 프 로젝터를 사용하여 임의의 평면에 정보와 인터페이스 를 투사하는 것을 목표로 한다.
즉, 공간증강현실 기술을 사용자 상호작용의 기반 기술로 활용하는 것이다. 이를 위해서, 투사될 위치의 상황을 이해해야 하는데, 이는 예를 들어 카메라를 통 해 얻은 정보를 컴퓨터 비젼 기술로 해석하여 얻을 수 있다. 따라서, 프로젝터의 출력은 카메라의 입력과 연 동되어야 하며, 이를 위해서 FRC는 프로젝터와 카메 라를 한 쌍(Projector-Camera Unit, PCU)으로 결합하 여 디자인 하였다. 또한 PCU는 두 쌍이 탑재되게 된 다. 두 PCU의 대표적인 사용 예는, 한 PCU가 벽면에 정보를 디스플레이하게 되면 다른 PCU는 책상 표면에 사용자 인터페이스를 증강하게 된다(Fig. 6 참조).
FRC의 로봇으로서의 특징은 위와 같은 사용예에서 사용자의 조작없이 사용자와 환경을 카메라로 추적하 고, 투사할 위치로 프로젝터의 방향을 자동으로 조작 하는데 있다. 이를 위해서, 총 다섯개의 모터가 사용 되는데, 각 PCU는 두 개의 모터에 탑재되어 팬 및 틸트 방향을 변환할 수 있다. 또한 두 PCU는 별도의 팬 모터를 공유하여 가동범위를 확장하고 있다. 장기 적으로 FRC 단말은 자율주행 모듈과의 결합을 목표 로하지만, 현재로서는 거치형으로 디자인되어 있다 (Fig. 3 참조).
2.2.2 기구부 및 PCU의 특징
기구부는 5개의 모터로 구성되어 있다(Fig. 4). 본체 위에 베이스 팬(base pan) 모터가 배치된다. 이 모터 위에 베이스가 놓이고, 그 좌우에 각 PCU 및 기구부 가 탑재된다. 각 PCU의 기구부는 하단에 팬 모터와 그 상단에 틸트 모터가 놓이고, 그 위에 최종적으로 프로젝터와 카메라가 배치된다.
각 모터의 회전축 및 작동 반경은 Table 1과 같다.
최소각 및 최대각은 모터 부품에 의해 우선 결정되지 만, 부품간의 상호 충돌 및 투사광의 간섭을 방지하기 위해 아래와 같이 대략적으로 설정되었다. 향후에 실 험을 통해 좀더 최적화된 값으로 조정될 예정이다.
Fig. 2. FRC 단말의 구성요소.
Fig. 3. FRC 단말의 설계 이미지(좌측) 및 실제 조립된 프로토 타입 형상(우측).
Fig. 4. FRC 기구부의 회전축 및 연결 관계: 푸른색 팬 모터의 회전축. 붉은색 틸트 모터의 회전축. 점선은 각 기구부 간 연결 관계.
Table 1. 각 모터의 회전축 및 작동 반경(제약조건)
모터종류 회전축 기준축 최소각 최대각
베이스 팬 Z축 Y축 −150 +150
우측 팬 Z축 Y축 −180 0
우측 틸트 X축 Y축 −50 +50
좌측 팬 Z축 Y축 0 +180
좌측 틸트 X축 Y축 −0 +50
상기 기구부의 각도를 결정하여 제어신호로 보내면 기구부가 그에 따라 동작하고, PCU의 방향이 결정되 면서 주변의 물체의 표면과 상호작용하여 투사면 위 치 및 모양과 카메라 피사체 위치가 결정된다. 이는 정기구학(forward kinematics)과 절두체(frustum)와 주 변 사물의 교차에 대한 기하학적인 계산 과정으로 결 정할 수 있다. 이에 대한 자세한 내용은 3 절에서 언 급한다.
현재 FRC에서 실험중인 초소형 프로젝터는 두가지 타입이다. 하나는 레이져 방식 프로젝터로(Microvision SHOWWX), 촛점 조절이 필요없이 투사된 이미지가 항상 선명하게 맺히게 된다. 투사면이 동적으로 변경 될 수 있는 FRC 응용에서는 이 기능이 매우 유용하 다. 하지만, 프로젝터의 밝기가 10 루멘 정도로 어두 운 편이다. 또한, 카메라를 통해 투사면을 다시 촬영 하게 되는 경우, 기기의 특성상 주사선 잡음이 발생하 여 영상 인식기에서 별도의 처리가 필요하다.
다른 방식은 일반 대형 프로젝터에서도 많이 채택 되는 DLP 방식의 프로젝터로(Optoma PK-301) 밝기 가 30 루멘으로 밝은 편이다. 이 정도 밝기는 실내에 서 책상에 인터페이스를 투사하거나, 근거리 벽에 정 보를 투사해도 가시성이 좋다. 또한, 투사면을 카메라 로 다시 받아 들였을 때도 별도의 처리가 필요없다.
하지만, 수동 촛점 조절형이기 때문에, 투사면이 동적 으로 변화하는 경우에 사용자의 조절이 필요하므로 상호작용 측면에서 어려운 점이 있다.
FRC는 현재 두가지 프로젝터를 선택하여 장착할 수 있도록 디자인 되어 있다(Fig. 3). 초소형 프로젝터를 사용한 기존의 공간증강현실 연구들에서도 상황에 맞 게 프로젝터 종류를 선택하여 사용하고 있다. 추후에 밝기, 자동초점, 모듈화 기능 등을 고려하여 새로운 제 품으로 대체될 예정이다. 그 외 고려할 프로젝터의 사 양은 지원되는 입력 신호의 종류, 투사면의 외곡 정도, 모바일 사용을 위한 전원 소모 등이다.
2.2.3 기본 제어 구조
Fig. 5는 FRC 응용을 위한 대략적인 제어 흐름을 설명하고 있다. 좌측은 주요 기능의 흐름을, 우측은 기 능에 의해 입출력되는 데이터 및 응용의 흐름을 나타 낸다. 아래에서는 이를 순차적으로 설명한다.
먼저 (1) 증강 기능(그림 좌상단)은 FRC의 출력 장 치를 이용하여 물리적 사물 및 환경에 가상의 정보를 더하게 된다. 이를 통해 (2) FRC 응용(그림 우상단)의 인터페이스가 사용자에게 시각적으로 제시된다. 일반 적으로 FRC 응용은 정보/콘텐츠와 사용자 인터페이
스로 구성된다. (3) 사용자는 FRC 응용이 제공하는 인터페이스를 통해 FRC 응용과 상호작용을 하게 된 다. 이 때 상호작용 방식은 제스쳐, 영상 인식 등이다 (음성 명령, 터치 센서 등에 의한 입력은 본 제어 구 조에서는 고려하지 않는다). 상기 상호작용에서 카메 라로 얻은 영상과 모터의 현재 상태 등이 (4) 시스템 의 입력값으로 해석기에 전달된다. (5) 해석기에서는 입력된 영상정보를 응용의 상황에 맞게 분석하여 관 심있는 물체의 형태나 공간좌표를 계산하고, 엔드이 펙터(엔드이펙터)의 변경이 필요한 경우 그 초기값을 결정한다.
(6) FRC의 엔드이펙터는 간단하게는 프로젝터의 투 사 방향과 카메라의 촬영 방향이며, 정교한 응용에서 는 3차원 공간상의 위치와 영역이 함께 정의된다.
(7) 정의된 엔드이펙터를 얻기 위해 전통적인 역기구 학(inverse kinematics) 및 역투사(inverse projection), 영상생성(image warping) 기법을 통해 제어 변수값을 설정한다. 역투사 기법은 공간증강현실 기법의 도입 과 더불어 새롭게 연구되고 있는 분야이다[21]. (8) 주 요 제어변수로는 각 모터의 변위값, 프로젝터/카메라 제어값, 영상의 형태 등을 보정할 그래픽스 파이프라 Fig. 5. FRC 응용을 위한 기구 및 영상 제어의 흐름.
인의 제어변수 등이 있다. 이러한 일련의 제어변수값 은 수학 모델에의해서 결정되는데, 조건을 만족하는 값이 없거나, 복수개의 값이 존재하는 경우가 있다. 또 한, 응용의 상황이나 시스템적 제약요건에 의해서 값이 한정될 수 있는데, (9) 최적화 과정을 통해서 (10) 최종 제어변수값이 결정된다. 이 값이 기구부, PCU, 영상생 성부에 전달되면 프로젝터의한 정보 증강 및 카메라에 의한 사용자 입력값 수집이 반복해서 수행된다.
2.2.4 FRC 응용의 예
FRC의 기본 개념, 기능성 및 제어구조를 검증하기 위해 몇가지 시범 응용을 구현하였다(Fig. 6 참조). 우 선 FRC 시스템은 네 가지 기본 모드(mode)로 구성되 어 있고, 상황에 따라 기본 모드 사이의의 전이가 발 생한다. 아래는 각 모드를 간단히 설명한다.
우선,(1) 정지모드에서는 사용자의 유무를 판단하고, 움직임을 검출하고, 음원에 반응하게 된다. 사용자가 감지되면(2) 관찰모드로 전이하여 사용자를 인식하고 의도를 판단하려고 시도한다. 더 적극적으로는(3) 대 화모드에 진입하여 사용자에게 대화형으로 상호작용 하게 된다. 이 때는 시각적 증강화는 이루어지지 않는 다.(4) 작업모드는 개별적인 FRC 응용을 실행시키는 단계로, 가장 높은 수준의 상호작용이 발생한다. 즉, 기존의 모드에서 주로 사용하는 음성/얼굴 인식과 더 불어 정보 및 인터페이스 증강화와 동작 인식이 추가 된다.
작업모드에서 선택가능한 응용은 다양하게 추가할 수 있으나, 현재는 e-book 보기 및 사진 보기를 선택 할 수 있다. 두 응용 모두 콘텐츠 보기가 공통적인 특 징이며, 손가락 동작을 이용하여 투사된 인터페이스 에 입력을 하게 된다.(예, 단추/메뉴의 선택 등.)
다른 종류의 응용으로는, 사용자가 메뉴를 탐색하 여 명시적으로 선택이 아니라 FRC가 상황을 인식하 여 적절한 응용을 사용자에게 직접 제안하는 것이다.
이러한 상황 기반 응용은 휴식 및 요리 응용이 있다.
휴식 응용은 FRC가 커피컵을 인식할 수 있도록 미 리 학습시켜 두고, 책상에 커피컵이 놓이게 되면 이를 인식하여 사용자가 휴식 상태라고 판단하고, 휴식응용 으로의 전환을 사용자에게 제안한다. 휴식응용에서는 음악듣기, 영화보기 등의 콘텐츠를 선택할 수 있다. 일 단 휴식응용에 진입한 후의 상호작용은 다른 응용에 서처럼 사용자의 동작 및 음성 명령에 의한 명시적 선 택에 따른다.
또 다른 상황기반 응용으로는 요리 응용이 있다. 이 응용은 책상위에 요리의 재료가 될 만한 물건이 놓이
면, 이를 인식하고 사용자가 요리에 대한 정보를 원한 다고 판단하고 요리에 관련된 응용을 제안한다. 요리 응용에서는 인식된 식재료로 가능한 요리의 목록을 제시하고, 각 요리별로 조리법을 동영상 등과 함께 설 명한다.
2.2.4 응용에 따른 제어 요구사항
본 절에서는 위에 설명한 기본 제어 구조를 실제 응용에 적용하여 설명한다.
Fig. 6. FRC 시스템 실행의 예: (a) 정지모드, (b) 관찰모드에 서 음성기반 상호작용, (c) e-book 보기 응용에서 투사 된 콘텐츠, (d) 사진보기 응용에서 투사된 터치 인터페 이스, (e) 상황기반 응용에서 커피컵 인식 및 휴식응용 제안. 물체 주위에 인터페이스 투사, (f) 두개의 프로젝 터를 이용하여, 컨텐츠와 인터페이스 투사.
Fig. 7. 관찰모드에서 기구 및 영상 제어의 흐름.
관찰모드에서는 투사에의한 증강은 발생하지 않고 사용자와 환경을 인식하기 위한 센서(카메라)의 움직 임이 중요하다(Fig. 7 참조). 따라서, 관찰모드를 통해 사용자에 대한 영상을 얻게 되고, 해석기에서는 입력 영상으로부터 사용자를 식별하고 위치를 계산하여 카 메라 촬영 방향을 새로운 엔드이펙터를 설정하고, 역 운동학으로 기구부 제어값을 찾는 과정을 거치게 된다.
E-book 및 사진 보기 응용에서는 기구부의 움직임 과 영상의 증강이 복합적으로 발생하므로 이를 함께 제어해야 한다(Fig. 8 참조). FRC의 두 PCU 중에서 기본적으로 PCU 1을 콘텐츠 및 인터페이스의 증강을 위해 사용하고, PCU 2는 사용자 및 환경 인식을 위 해 사용한다(경우에 따라서는 두 PCU가 협력하여 동 일한 작업을 수행하게 할수도 있다.). PCU 2가 얻은 영상을 인식하여 사용자의 위치를 해석하고, 이를 기 준으로 사용자의 가시성을 고려하여 PCU 1의 투사 방향을 결정하게 된다. 이 때 anamorphic illusion 과 같은 영상 변환을 사용하면 더 적합한 가시성을 확보 할 수 있다[10]. 만약 현재 책상에 투사되는 콘텐츠 영 상을 벽면의 큰 화면으로 보고 싶다면, PCU 2가 적합 한 주변 벽면을 찾아 콘텐츠를 크게 투사하고, PCU 1 은 인터페이스만을 보일 수 있다[20].
3. 로봇 공간증강현실과 제어 문제들
물리공간에서 물체에 힘을 가하는 기존 로봇과 달 리, 로보틱 공간증강현실에서는 물체의 표면이나 주 변에 정보 및 인터페이스를 증강시키는 것을 목표로 한다. 따라서 기존 로봇의 엔드이펙터가 물체와의 직 접 접촉을 가정하고 있는 것에 비해, 로보틱 공간증강 현실에서는 빛의 투사와 영상의 입력이 효과적이 되
도록 기구부, 프로젝터, 카메라, 그래픽 파이프라인을 제어하는 것이 중요하다. 본고에서는 특히 프로젝터 의 투사에 관련된 기본적인 제어 문제를 고려한다.
3.1 영상 투사의 문제
기구부 제어에 의해 PCU의 위치 및 방향이 결정되 면, 주변의 물체 표면위의 투사면 영역 및 카메라의 가시 영역이 정확히 결정될 수 있다. 특히 정기구학을 통해 프로젝터와 카메라의 외부 인수(위치 및 방향)이 결정되고, 내부 인수를 통해 절두체가 결정되며, 주변 사물의 기하학적인 정보를 알고 있다면 교차 연산을 통해 투사면을 알 수 있다. 또는, 실시간 그래픽스 파 이프라인을 통해 깊이 정보를 기반으로 근사적으로 알 수도 있다.
하지만, FRC 제어에서 실제로 다루게 되는 문제는 그 역과정에 해당한다. 프로젝터의 경우, 간단하게는 투사면의 방향(예, 법선벡터)이나 더 일반적인 경우에 투사면의 위치와 형태가 엔드이펙터로 주어질 때, 이 를 만족시키는 기구부 및 영상 제어 변수를 찾아야 한 다. 이는 확장된 의미의 역기구학 문제로 볼 수 있는 데, 그 이유는 전통적인 역기구학이 다루는 엔드이펙 터는 3차원 공간의 한 점이지만, 이 경우에는 엔드이 펙터가 3차원 공간의 영역(예를 들어, 일반화된 사각 형, quadrilateral)으로 정의되며, 또한 기구부 외에 프 로젝터, 카메라, 그래픽스 파이프 라인등에서 다차원 의 제어 변수가 추가되기 때문이다. 이러한 확장된 의 Fig. 8. E-book 응용에서 기구 및 영상 제어의 흐름.
Fig. 9. FRC PCU 정상 상태: 붉은색 투사 영역, 노란색 카메 라 영역.
미의 역기구학의 문제를 해결하는 방법론은 아직 제 시된 것이 없다. 다만, 평면 일반 사각형(planar quadrilateral)이 엔드이펙터인 경우의 역투사(inverse projection)의 문제는 프로젝터의 내부 및 외부 인수 (internal and external parameters)에 대한 수치적인 해를 얻을 수 있다고 알려져 있다[21].
프로젝터나 카메라의 절두체를 기하학적으로 모델 링하는 것은 캘리브레이션을 거친 후 기존의 방법을 이용하면 가능하다[3,22,23]. 이렇게 모델링된 절두체와 미리 알려진 환경내 물체의 표면에 대해서 기하학적 교차를 계산하면 투사면의 모양을 구할 수 있다.
예를 들어, Fig. 9 (a)에서는 벽면의 법선 방향과 좌측 프로젝터의 투사방향이 수평이므로, 절두체와 벽 면의 교차면은 직사각형을 이루게 된다(좌측의 팬은 180도, 틸트는 0도 회전). 교차면이 직사각형인 경우 는 매우 이상적인 경우로 영상에 별도의 보정이 필요 없다. 우측 프로젝터는 사용자가 단말의 정면에 위치
해 있다고 가정하고 하단에 투사면을 형성한다(우측 팬 0도, 틸트 −40도 회전). 이 때 책상면의 법선 방향 과 우측 프로젝터의 투사방향이 수평이 아니므로 투 사면은 직사각형에서 일그러져서 평행사변형이 된다.
Fig. 10에서는 절두체와 벽면이 직교하지 않으므로, 일그러짐이 발생한다. 이러한 일그러짐(skewness)은 보정이 가능하다. 즉, 투사전에 영상을 적절하게 변환 (transform)하고 이를 투사하면 투사면 상에서는 직사 각형을 얻게 된다(Fig. 11 및 12 참조). 특히, 물체가 평면인 경우는 투영 기하학의 특성상 직선이 유지되는 성질을 이용하여 쉽게 보정이 가능하다(예를 들어, 일 련의 homography 계산으로 충분). 이러한 성질을 이 용하면 anamorphic illusion 효과를 통해 입체의 느낌 을 줄 수 있다[10].
Fig. 12는 사용자의 시점을 고려하여 투사 영상 보 정하는 경우에 대한 실험 결과를 보여준다. 일반적으 로 투사될 영상은 Fig. (c)처럼 직사각형 형태로 주어 진다. 이를 (b)와 같은 투사의 과정을 거치게 되면, (a)처럼 원래의 형태를 유지하지 못한채 사용자에 보여 지게 된다. 사용자의 시점, 투사면의 기하학적 정보, 프 로젝터의 인수를 알고 있으면, (c)의 투사 영상을 (f) 와 같이 보정하여 (e)와 같이 투사하게 되면, (d)에서 처럼 사용자에게는 의도된 직사각형의 형태를 유지하 여 보여지게 된다. 특히, 이 예에서는 투사 가능한 영 역에(그림에서 (f)의 사다리꼴 영역) 최대로 보일 수 있게 영상을 보정하였다.
만약 투사면이 곡면인 경우는 원이미지의 보정 과 정이 복잡해 진다. 예를 들어, 컴퓨터 그래픽스의 텍 스쳐 매핑 방법을 이용하여 국소 영역 단위 보정을 수 행하여야 한다[3,16].
더 복잡한 경우에는, 절두체와 환경내 물체가 교차 하여(사용자나 카메라에 관점에서) 투사면의 가림 Fig. 10. FRC PCU의 투사면이 일그러지는 예.
Fig. 11. FRC PCU의 투사면이 일그러진 경우 영상 보정을 거 쳐 직사각형이 투사면을 생성하는 예. 푸른색은 보정 된 투사면.
Fig. 12. FRC에서의 시점을 고려한 투사 영상 보정의 예.
(occlusion)이나 그림자가 발생할 수 있다. 이는 역운 동학을 통해 제어변수에 대한 해를 얻었지만, 실제로 는 제어과정에서 주변 물체와 물리적 충돌이 발생한 것과 유사한 현상으로, 이를 회피하기 위해서는 가림 이나 그림자에 대한 제약조건을 고려한 계산과정이 필요하게 된다. 예를 들어, 광학적 절두체와 주변 물 체사이의 기하학적인 충돌방지를 고려해야 하는데, 환 경이 동적으로 변화하는 경우에는 실시간 처리가 매 우 어려울 것으로 예상된다[24].
3.2 기구부 제어의 문제
FRC의 기구부는 두 쌍의 PCU가 분기되어 있고 이 들이 하부 베이스 팬 모터를 공유하는 특징이 있다.
각 PCU의 개별적인 팬과 베이스 팬의 움직임이 상호 작용하여 PCU의 가동 범위를 증가시킬 수 있는 장점 이 있지만, 팬 회전이 중복(redundacy)되어 제어에 문 제가 발생할 수 있다[25]. 다음에서는 FRC에서 이 중 복의 문제를 해결하기 위한 세 가지 기법을 제시한다.
(1) 가장 간단한 제어 방법은 각 PCU가 각자의 팬 과 틸트만으로 가동범위 내에서 움직이는 것이다 (Table 1 참조). 이 때 응용의 요구나 역운동학에의해 가동범위를 넘는 목표값이 나오면 적당한 값으로 트 리밍하게 된다. 베이스 팬의 움직임은 고려하지 않으 므로, 한 PCU의 움직임이 다른 PCU의 엔드이펙터를 간섭하지 않는다. 이 방법은 베이스 팬을 고정하거나 움직임을 최소화 해야하는 특별한 경우에만 적합하다.
(2) 다른 방법은 베이스 팬을 한 PCU가 독점적으로 활용하여 작동범위를 확대하고, 이에 의한 부작용으 로 다른 PCU의 엔드이펙터가 영향 받는 것을 무시하 는 것이다. 즉, 한 PCU의 엔드이펙터에 차별화된 중 요도를 두는 것이다. 이 경우는 다른 PCU가 현재 역 할이 없거나, 영상 보정과 같은 다른 제어 방법으로 엔드이펙터를 유지할 수 있는 경우이다.
(3) 마지막 방법은 두 PCU가 베이스 팬을 공유하면 서도 두 엔드이펙터와 기타 제약조건을 모두 만족시 키려는 경우이다. 이 방법은 PCU 제어 변수들 사이의 간섭이 크기 때문에 상대적으로 난이도가 있는 제어 방법. 하지만, 활용도가 가장 크기 때문에 매우 유용 하다.
아래에서는 엔드이펙터가 방향 벡터로 설정되는 경 우에 대해서 각각의 제어의 예를 보인다. 먼저 Fig. 13 은 FRC의 자세와 그에 따른 제어변수 공간을 보여준 다. 제어변수 공간의 검은색은 세로 −90도에서 90도, 가로 −180도에서 180도 구간이고, 가로는 팬 회전, 새로는 틸트 회전에 해당한다. 모터의 가동범위에 제
약이 없는 경우에 가능한 전체 투사/촬영 방향으로볼 수 있다. 붉은 사각형 영역은 오른쪽PCU의 가동 가능 범위이고, 푸른 영역은 왼쪽 PCU에 해당한다(Table 1 참조). 그리고, 붉은 점은 오른쪽 PCU의 현재 자세에 해당하는 엔드이펙터(방향을 표현하는 벡터), 푸른 점 은 왼쪽 PCU에 해당한다(오른쪽 PCU는 약간 아래쪽 을, 왼쪽 PCU는 약간 위쪽을 향해 있다.). 현재 베이 스 팬은 회전이 없는 상태이다.(따라서, 붉은색과 푸 른색 영역의 경계가 중앙에 위치해 있다.)
Fig. 14는 새롭게 주어진 엔드이펙터에 대해서 제어 방법(1)을 사용하여 얻은 제어 변수 및 기구부 시뮬레 이션이다. 제어변수 공간에서 밝은 색 붉은점과 밝은 색 푸른점이 새롭게 주어진 엔드이펙터다. 이 두 점은 모두 가동범위를 벗어나 있다(검은색 영역에 존재). 제 어방법(1)은 베이스 팬을 움직이지 않으며 각 엔드이 펙터와 가장 가까운 가동범위 내의 제어변수를 선택 하게 된다. 즉, Fig. 13의 붉은색과 푸른색 점은 주어 진 엔드이펙터(해당 밝은 색 점)와 가장 근접한 곳으 로 이동하여 Fig. 14와 같이 제어값이 결정되고, 해당 자세로 기구부가 움직이게 된다.
Fig. 15 는 위의 엔드이펙터에 대해서 제어 방법(2) 를 사용하여 얻은 결과를 보여 준다. 이 때 베이스 팬 을 이용하는 우선권은 왼쪽(푸른색) PCU에 주어졌다 고 가정한다. 따라서, 베이스 팬은 왼쪽 PCU의 역방향 팬 회전을 더하기 위해 약 −30도 정도 회전하였다. 따 라서, 왼쪽 PCU의 팬 회전은 만족되었으나, 우선권이 없는 오른쪽 PCU의 팬은 주어진 엔드이펙터와 가장 Fig. 13. FRC의 제어변수와 기구부 시뮬레이션.
Fig. 14. 제어 방법(1)에 따른 기구부 제어.
유사하도록 선택되었다(왼쪽 PCU의 틸트 회전은 가동 범위의 물리적 제약으로 여전히 만족될 수 없다.).
Fig. 16은 같은 엔드이펙터에 대해서 제어 방법(3) 을 사용하여 얻은 결과를 보여 준다. 이 때는 양쪽 PCU에 같은 우선권을 주면서 베이스 팬의 자유도를 공유하도록 제어 변수를 찾게 된다. 위의 경우에서 보 다 베이스 팬을 역방향으로 더 회전하면서, 각 PCU의 팬 방향을 조정하게 되면 주어진 엔드이펙터의 팬을 모두 만족시키도록 자세를 유지할 수 있다.
위에서는 투사/촬영 방향만으로 구성된 엔드이펙터 에 대해서 중복성을 제어하는 문제를 설명하였다. 엔 드이펙터에 투사면 위치 및 모양 등이 추가되면 중복 성을 고려한 역운동학의 계산은 훨씬 복잡할 것으로 예상된다. 예를 들어 Fig. 17은 기존의 역기구학 해법 (예, Jacobian Transpose 또는 differential inverse kinematics)과 역투사 방법[26]을 결합하여 엔드이펙터 가 (a) 점, (b) 영역, (c) 모양인 경우에 따른 제어의 예를 보여준다. 좌측 열은 제어전의 상태이고, 우측 열 은 제어후에 엔드이펙터가 만족되는 경우이다. 물리 적 엔드이펙터와 달리 이 경우의 엔드이펙터는 빛과 표면이 만나는 점이기 때문에, 역기구학 계산에 기하 학적인 요소를 추가하게 된다.
특히, 영상 생성에 관여하는 제어 변수를 고려하여 정확한 수학 모델을 수립하고 빠른 계산 방법을 통해 동적으로 이를 해결하는 것이 로보틱 공간증강현실의 기구부 제어의 최종 목표 중 하나이다. 더불어 PCU가 두개 이상 장착되어 협업을 해야하는 경우, 증가되는
중복성 자유도를 다루는 것도 해결해야 할 문제의 하 나이다.
4. 결 론
이상에서 ETRI FRC 과제의 예를 중심으로, 실제 로보틱 공간증강현실 시스템에서 발생하는 다양한 제 어의 문제들을 살펴 보았다. 특히, 본 논문에서는 투 사된 영상의 위치와 모양이 엔드이펙터로 고려되는 경우의 기본적인 제어의 문제와 방향 위주의 엔드이 펙터에 대해서 중복성을 고려한 제어 변수를 찾는 방 법을 설명하였다.
기존의 로봇에서처럼 공간의 한점이 엔드이펙터가 되는 것이 아니라, 투사면의 위치와 모양, 더 나아가 투사광의 주변광과의 조화, 가림 및 그림자 회피까지 고려한다면 제어의 문제는 훨씬 복잡해지며, 이러한 복합적인 문제의 해결이 로보틱 공간증강현실 연구의 중요한 연구 방향이 될 것이다.
로보틱 공간증강현실 시스템은 영상 투사와 더불어 Fig. 15. 제어 방법(2)에 따른 기구부 제어.
Fig. 16. 제어 방법(3)에 따른 기구부 제어.
Fig. 17. 서로 다른 엔드이펙터의 예: (a-b) 엔드이펙터가 투사 면의 중심인 경우, (c-d) 엔드이펙터가 특정 영역인 경우, (e-f) 엔드이펙터가 특정 모양을 갖는 경우.
환경의 물체 인식이 중요하다. 현재는 평면 투사면을 고려하였지만, 최종적으로는 다면체나 곡면 물체에도 투사를 고려할 수 있다. 이를 위해서 기존 연구에서와 같이 프로젝터를 통한 구조광 조사를 통해 3차원 기 하 정보를 수집할 수도 있고[6], Microsoft Kinect와 같은 깊이 카메라를 사용할 수도 있다[12,13]. FRC에 서도 유사한 방향으로 연구를 진행할 예정이다.
감사의 글
본 연구는 지식경제부의 “미래형로봇컴퓨터 기술개 발 과제(과제번호 2010-ZC1140)’’ 지원을 받아 수행 되었음.
참고문헌
1. Azuma, R., Baillot, Y., Behringer, R., Feiner, S., Julier, S., MacIntyre, B., “Recent Advance in Aug- mented Reality,” IEEE Computer Graphics and Applications Vol. 21, No. 6, pp. 34-47, 2001.
2. Hainich, R., The End of Hardware: Augmented Real- ity and Beyond, BookSurge, 2009.
3. Bimber, O. and Raskar, R., Spatial Augmented Real- ity: Merging Real and Virtual Worlds, AK Peters, 2004.
4. Raskar, R., Majumder, A., Lensch H. P. A., Bimber, O., “Projectors for Graphics,” SIGGRAPH Course Notes, SIGGRAPH, LA, 2008.
5. Mistry, P., and Maes, P., “SixthSense: A Wearable Gestural Interface” ACM SIGGRAPH ASIA’09 Sketches, Article 11, 1, 2009.
6. Raskar, R., Welch, G., Chen, W.-C., “Table-Top Spatially-Augmented Reality: Bringing Physical Models to Life with Projected Imagery,” IEEE and ACM International Workshop on Augmented Reality, pp. 64, 1999.
7. Raskar, R., van Baar, J., Beardsley, P., Willwacher, T., Rao, S., Forlines, C., “iLamps: Geometrically Aware and Self-Configuring Projectors,” Proc. ACM SIGGRAPH’03, 2003.
8. Raskar, R., Beardsley, P., van Baar, J., Wang, Y., Dietz, P., Lee, J., Leigh, D., Willwacher, T., “RFIG Lamps: Interacting with a Self-describing World via Photosensing Wireless Tags and Projectors”. Proc.
ACM SIGGRAPH’04, 2004.
9. Linder, N. and Maes, P., “LuminAR: Portable Robotic Augmented Reality Interface Design and Prototype”. Adjunct Proc. ACM UIST’10, 2010.
10. Lee, J. -E., Miyashita, S., Azuma, K., Lee, J. -H., Park, G. -T., “Anamorphosis Projection by Ubiqui- tous Display in Intelligent Space,” Proc. Int. Conf.
Universal Access in Human-Computer Interac- tion(UAHCI ‘09), pp. 209-217, 2009.
11. Yang, R., Gotz, D., Hensley, J., Towles, H. and Brown, M. S., “PixelFlex: A Reconfigurable Multi- projector Display System,” Proc. Visualization’01, pp. 167, 2001.
12. Ziola, R., Grampurohit, S., Landes, N., Fogarty, J.
and Harrison, B., “OASIS: Examining a Framework for Interacting with General-Purpose Object Recog- nition,” Intel Labs Seattle Technical Report, 2010.
13. Lai, K., Bo, L., Ren, X. and Fox, D., “A Large- Scale Hierarchical Multi-View RGB-D Object Dataset,” IEEE International Conference on Robotics and Automation, 2011.
14. Andrew D. Wilson, Hrvoje Benko, “Combining Mul- tiple Depth Cameras and Projectors for Interactions on, Above and between Surfaces,” Proc. ACM UIST’10, October 03-06, 2010.
15. Jones, B. R., Sodhi, R., Campbell, R. H., Garnett, G. and Bailey, B. P., “Build Your World and Play In It: Interacting with Surface Particles on Complex Objects,” Proc. Int. Symp. Mixed and Augmented Reality’10, pp. 165-174, 2010.
16. Hisada, M., Yamamoto, K., Kanaya, I. and Satao, K., “Free-form Shape Design System Using Stereo- scopic Projector: HyperReal 2.0,” SICE-ICASE Int.
Jnt. Conf, pp. 4832-4835, 2006.
17. Holman, D., and Benko, H., “SketchSpace: Design- ing Interactive behaviors with Passive Materials,”
Proc. Human Factors in Computing Systems(CHI EA '11). ACM, 2011.
18. Gruber, L., Gauglitz, S., Ventura, J., Zollmann, S., Huber, M., Schlegel, M., Klinker, G., Schmalstieg, D. and Höllerer, T., “The City of Sights: Design, Construction and Measurement of an Augmented Reality Stage Set,” IEEE and ACM Int. Symp. Mixed and Augmented Reality, Seoul, Korea, Oct. 13-16, 2010.
19. Suh Y. -H., Kim, H., Lee J. -H., Cho, J., Lee, M., Yeom, J., and Cho, E.-S.. 2011. “Future Robotic Computer: A New Type of Computing Device with Robotic Functions,” In Proc. Int. Conf. Human- Robot Interaction(HRI ‘11), pp. 261-262, 2011.
20. FRC Demo Movie, http://www.youtube.com/watch?v=
-KZgEZgUAuw.
21. Lee, J.-H., “Inverse Perspective Projection of Convex Quadrilaterals,” ETRI Technical Report, 2011.
22. Park, S.-Y. and Park, G. G., “Active Calibration of Camera-Projector Systems based on Planar Homog- raphy,” Proc. Int. Conf. Pattern Recognition’10, pp.
320-323, 2010.
23. Mark Fiala, “Automatic Projector Calibration Using Self-Identifying Patterns,” Proc. IEEE CVPR’05, pp.
113, 2005.
24. Erison, C., Real-Time Collision Detection, Morgan
Kaufmann, 2005.
25. Nakamura, Y., Hanafusa, H., Yoshikawa, T., “Task- priority Based Redundancy Control of Robot Manip- ulators,” The International Journal of Robotics Research, Vol. 6, No. 2, pp. 3-15, 1987.
26. Lee, J.-H., “Inverse Perspective Projection of Convex Quadrilaterals,” Proc. Asian Conference on Design and Digital Engineering, ACDDE 2011, Shanghi, China, 2011.
이 주 행
1994년 포항공과대학교 전자계산학과 학사
1996년 포항공과대학교 전자계산학과 석사
1999년 포항공과대학교 전자계산학과 박사
1999년~현재 한국전자통신연구원(ETRI) 로봇인지연구부책임연구원 2008년~현재 과학기술연합대학원대학
교(UST) 부교수
관심분야: Geometric modeling and processing for computer graphics, CAD, and robotics; Bio-inspired computing for aesthetics, scientific and engineering applications; Image synthesis and visualization
서 영 호
1998년 전남대학교컴퓨터공학과 학사 2000년 광주과학기술원 정보통신공학
과 석사
2000년~현재 한국전자통신연구원(ETRI) 로봇인지연구부선임연구원 관심분야: Middleware for the Smart
Environment and Collaborative Robotics. HRI for the smart envi- ronment. Intelligent Agent system for a mediator b/w a smart envi- ronment and users
김 현
1984년 한양대학교 기계설계학과 학사 1987년 한양대학교 기계설계학과 석사 1997년 한양대학교 기계설계학과 박사 1990년~현재 한국전자통신연구원(ETRI)
로봇인지연구부책임연구원 2006~2007년 University of Florida, 컴
퓨터공학과 객원연구원 관심분야: Distributed Intelligent Systems,
Robot Software Framework, Ubi- quitous Computing, Context-Aware- ness, and Human-Computer Interac- tions
김 형 선
1981년 상지대학교 경영학과 학사 1990년 광운대학교 컴퓨터공학과 석사 2002년 대전대학교 컴퓨터공학과 박사 1985년~현재 한국전자통신연구원(ETRI)
로봇/인지시스템연구부 팀장 관심분야: Context-Aware system, Ubi-
quitous computing, intelligent, Agent, Database
