5. 인터랙션 퍼포먼스(Interaction Performance)
5.5 센서빌리아(sensibilia)
5.5.4 확장성(extendability)
궁극적으로 감각을 활용한 인터랙션 퍼포먼스의 조형 전략은 인터랙션을 통해 인간의 감각을 확장하기 위한 것, 그리고 인터랙션의 경험을 확장하 기 위한 것이라고 할 수 있다. 기억, 전이, 협력의 감각 현상과 이를 통한 인터랙션 퍼포먼스는 결과적으로 감각의 확장, 나아가 감각을 통한 인터랙 션 경험의 확장을 위한 것이라고 할 수 있다.
Takuma Yamazaki는 ‘Sound of Drawing’(2018)110)에서 연필이 종이 위에 그림을 그릴 때 만들어내는 사각거리는 소리에 매료되어 그 경험을
109) https://bit.ly/3opWiSN
그림 86 전이성 사례 : Rain Room
증폭하고자 하였다. 단순히 연필을 감싸는 유연한 판을 덧댐으로써 마치 연필에 확성기를 붙인 것과 같은 효과를 주어 사각거리는 소리를 더 선명 하게 강조할 수 있었다. 우리의 청각을 더 민감하게 반응하도록 한 것이 다. Simon Frambach111)의 ‘Soft Light’(2013)은 조명을 말랑말랑한 실 리콘 재질로 감쌈으로써 빛에 촉각적인 감각을 부여하였다. 만질 수 없는 빛에 부드럽고 말랑말랑한 촉감을 부여하여 빛에 대한 감각적 경험을 표 현한 것이다. 감각의 확장은 감각을 증폭하거나 감각할 수 없는 것을 감각 할 수 있도록 표현함으로써 감각의 경험을 확장한다. <그림 87>
‘Pool Live AR’이나 ‘Seaboard Block’과 같이 다중적인 센서빌리아를 더 함으로써 인터랙션 경험을 확장하는 것은 인터랙션 퍼포먼스에서 자주 등
111) https://bit.ly/31wTWIE
그림 87 확장성 사례 : Sound of Drawing(좌), Soft Light(우)
그림 88 확장성 사례 : Pool Live AR(좌), Seaboard Block(우)
장하는 조형 전략이다. Pool Live AR112)은 당구대 위에 당구공의 움직임 과 당구 플레이와 매칭되어 역동적으로 프로젝션된 애니메이션을 보여줌 으로써 당구의 경험을 확장하였고, Seaboard Block113)은 키보드에 터치 센서를 입혀 키보드를 눌러 음을 만드는 것 외에 터치의 자유로운 운용으 로 다양한 음향 효과를 더할 수 있도록 하여 키보드 연주의 경험을 촉각 센서빌리아를 더함으로써 확장하였다. <그림 88>
감각의 확장 개념은 감각적으로 닿을 수 없는 곳으로의 공간적 거리 혹은 감각적 거리를 확장하는 개념이기도 하다. CocaCola의 프로모션으로 진 행된 ‘Small World Machines’(2013)114)은 서로 다른 두 도시의 광장에 설치된 거대한 터치 모니터에 각 도시의 사람들이 서로 손바닥을 마주치 는 것으로 상호작용하는 이벤트이다. 실제로 닿을 수 없는 먼 도시의 사람
112) https://bit.ly/31uwTyg 113) https://bit.ly/3xTpcxC
그림 89 확장성 사례 : Small World Machines(상), oPhone(좌하), inForm(우하)
들이 터치를 통해 서로 닿을 수 있도록 한 것이다. 인간의 촉각을 확장하 는 인터랙션이 그 역할을 하도록 한 것이다. 한편 Indigogo에서 소셜펀딩 을 진행했던 ‘oPhone’115)은 서로 다른 장소의 사람들을 향기로 연결한다.
스마트폰 앱을 통해 만들어진 향기 메시지를 상대방에게 전달하면 받는 쪽의 oPhone 기기를 통해 그 향기를 전달받는 것이다. 인터랙션에서 후 각 센서빌리아의 활용이 극히 드문 상황에서, 이 사례는 후각의 공간적 확 장이라는 개념적 영감을 실행에 옮긴 사례이다. Media Lab TMG의 프로 젝트인 ‘inForm’116)은 소형 액츄에이터들로 이루어진 면의 개별적 조각들 이 상하로 움직이며 면 위에 있는 물체를 움직이게 하는 동작을 만든다.
inForm의 여러 가지 응용사례 중 하나의 데모에서, 연결된 디스플레이를 통해 원거리에 있는 사람이 자신의 손으로 물건을 만지듯이 ‘inForm’으로 움직이는 모습을 시연한다. 우리의 촉각을 확장한 것이다. <그림 89>
감각 확장의 궁극적인 사례는 가상현실이라고 할 수 있다. VR 인터랙션은 시각으로 보는 가상공간의 가상 물체들과 상호작용하는 것이다. Oculus와 같은 VR 기기의 HMD를 통해 보이는 가상의 공간에서 보조적인 컨트롤러 장치를 통해 상호작용하거나, 최근 MS의 Hololenz 2는 투명한 창을 통해 가상공간을 AR 형태로 보고 별도의 컨트롤러 없이 자신의 손을 인식하여 직접 가상 컨트롤을 조작하기도 한다. ‘Haptix Glove’117)는 더 나아가 가 상공간에서 만지는 촉각을 직접 느낄 수 있도록 한다. 가상공간에 있는 가 상의 물건을 만질 수 있다거나 가상에 내리는 비가 손에 떨어지는 감촉을 느낄 수 있도록 하는 것이다. Kokiri Lab의 ‘Project Nourished’118)는
115) https://bit.ly/3rCR2xe 116) https://bit.ly/3ryqflH 117) https://bit.ly/3EvwiLl 118) https://bit.ly/32Uv0vn
그림 90 확장성 사례 : Haptix(좌), Project Nourished(우)
또 더 나아가 우리가 먹는 음식을 가상화하려고 시도하였다. 실제 음식을 상징하는 가상공간의 음식을 가상으로 먹되, 실제 음식을 대신해 조류(藻 類)로 만든 블록을 먹고 냄새와 물리적 자극으로 그 맛을 가상으로 경험할 수 있도록 하였다. 이 대담한 프로젝트는 미각 센서빌리아와 관련하여 경 험 확장의 사례라고 할 수 있다. 이와 같이 가상현실에서 센서빌리아들은 인간의 감각적 경험을 확장하는 인터랙션 퍼포먼스의 직접적인 사례라고 할 수 있다. <그림 90>
인터랙션에서 감각이 발현되는 현상을 4개의 주요한 범주로 분류하고, 인 터랙션 디자인의 사례를 통해 해석하여 인터랙션 퍼포먼스에서의 의미와 인터랙션 디자인에 있어 센서빌리아로서 전개 가능성을 살펴보았다. 요약 하자면, 인간의 감각 경험은 기억과 밀접한 관련이 있어서, 기억과 적극적 혹은 소극적 관련성, 즉 감각적 기억을 유발하거나 감각적 기억에 기반하 여 센서빌리아를 구성하여 인터랙션 퍼포먼스의 경험을 증폭할 수 있다.
감각들은 서로 협력하여 다중의 감각 경험을 전달할 수 있는 것은 감각이 근본적으로 공감각적이기 때문이다. 최근의 테크놀로지 발전 양상은 멀티 미디어에 맞춰 복합감각의 감각 경험을 제공하기를 요구하고 있다. 복합적 인 센서빌리아들을 조합함으로써 협력적인 감각을 활용하여 인터랙션의 감각 경험을 다양하고 풍성하게 만들 수 있다.
감각은 전이된다. 시각의 촉각성을 통해 인간이 가진 대표적이고 효율적인 감각인 시각이 타감각으로 전이되어 감각 경험을 증폭할 수 있다. 특히 화 면 기반의 인터랙션 디자인에서는 시각의 촉각성을 적절히 활용하여 2차 원의 평면성이 가지는 감각적 한계를 극복할 수 있는 미적 디자인이 가능 할 수 있는 것이다. 또한, 감각 정보의 형태가 본질적으로 동일하여 다른 감각의 발현을 자극하거나 활용될 수 있다. 이 때문에 학습을 통해 전혀 다른 감각 정보를 다른 감각의 발현에 활용할 수도 있다. 동일한 감각 정 보나 학습된 타감각의 정보를 활용한 센서빌리아를 통해 사용자의 인터랙 션 경험을 극대화하거나 완전히 새로운 의미의 사용자 경험을 만들어낼 수 있다. 이러한 모든 인터랙션의 감각적 경험은 인간 감각의 확장이자 나 아가 인터랙션 경험의 확장이다. 이러한 경험의 확장은 감각적 거리를 좁 히거나 없애는 감각적 확장이자, 경험할 수 없는 것을 경험할 수 있도록 하는 경험 능력 자체의 확장이다.