협력성(cooperativity)

드럽게 이어진 조명의 넓은 등이 촉각의 센서빌리아로 활용된다. <그림 77>

Misher Traxler Studio⁸⁹⁾의 ‘Ephemera(2014)’⁹⁰⁾와 Richard Clarkso n⁹¹⁾의 ‘Levitating Cloud Speaker(2014)’⁹²⁾는 외형적인 연상 요소에 한 정된 것으로 보이지만 이 사례들에서 연상은 단지 인터랙션 퍼포먼스의 시각적 즐거움이 아닌 매우 감각적인 경험으로 전개된다. ‘Ephemera’에 서는 그냥 평평하던 탁자로 사람이 다가서면 그 상단에 풀잎들의 형상을 한 얇은 형태들이 일어선다. 이 얇은 풀잎 형상은 얇은 면 때문에 휘청이 듯 천천히 하나둘 일어서는데 전체가 마치 바람 부는 들판에 풀들이 바람 에 천천히 흔들리는 것과 같은 모습이다. 이 바람 들판의 연상은 마치 우 리의 몸에 운동감각적 바람을 일으키는 듯하다. 한편 ‘Cloud Speaker’는 자기현상으로 공중 부양된 블루투스 스피커인데 흘러나오는 음악의 비트 에 따라 구름 형상 사이로 천둥과 번개 같은 빛이 작렬한다. 비트라는 청 각적 센서빌리아의 충격이 귀를 자극하는 것은 당연하지만 천둥과 번개의 연상은 우리의 몸에 더 증폭된 진동으로 느껴진다. 두 사례는 각각 인간의 오감을 직접적으로 자극하는 센서빌리아를 전개하고 있지 않지만, 시각적 단서를 통해 우리의 기억과 연상을 자극함으로써 운동감각적 경험을 전달 한다. <그림 78>

감각은 본질적으로 공감각적이다. ‘날카로운 비명’, ‘부드러운 속삭임’과 같은 표현은 소리, 즉 청각의 촉각적인 느낌에 대한 은유들이다. 이는 비 단 은유적 표현에 불과한 것은 아니다. 매우 높은 음의 경고음 같은 것을 들었을 때 피부를 찌르는 듯한 통증을 느끼거나, 강한 비트의 EDM을 들 을 때 몸의 타격을 느끼거나, 부드러운 재즈 선율이 퍼지는 공간에서 몸을 감싸는 듯한 포근함을 느끼는 것처럼 우리는 흔히 청각의 감각과 동시에 촉각적 경험을 하게 된다.

한 실험에서는 소리와 맛의 관계를 알아보기 위해 일련의 전문 연주자들 에게 음으로 맛을 표현하도록 하였다(Lupton, 2018) 연주자들은 대체로 신맛은 높은 피치의 음과 불협화음으로, 커피나 다크초콜릿의 쓴맛은 느리 고 낮으며 레카토 형식이 부드럽게 이어지는 음으로, 단맛은 길고 낮으며 부드러운 음으로, 짠맛은 스타카토로 빠르고 날카롭게 끊기는 음으로 표현 하였다.

뿐만 아니라, 음악이 시각 요소인 색과 연관되어, 모차르트의 플루트 콘체 르토가 밝은 노랑과 오렌지색에 레귀엠에 어둡고 푸른 회색을 연상하게 하며(Palmer 등, 2013), 달콤하거나 쓴 맛과 연관되기도 하고 (Kontukoski 등, 2015)한다. 셉티머스 피스(Septimus Piesse)는 향수의 향을 표현하기 위해 처음으로 음악의 ‘노트(note)’를 가져다 쓴 것은 감각 의 이러한 공감각적인 특성과 무관하지 않다(Lupton, 2018).

청각으로 미각을 표현한 예를 들었지만, 미각 또한 공감각적이다. 공식적 으로 5개의 맛-단맛, 짠맛, 쓴맛, 신맛, 감칠맛-이 존재한다고 알려져 있 는데, 그 기준은 그 맛을 담당하는 독립적인 수용체가 있는지의 여부이다.

맛의 수용체가 우리에게 맛의 감각을 전달해 주는 역할을 하지만, 실제로 우리가 느끼는 맛은 다른 감각과 융합되어 다른 맛으로 감지되거나, 맛 자 체가 반감 혹은 증폭된다. 가장 비근한 예로, 매운 맛은 사실 여러 가지 맛의 복합 작용이지만 통각-즉, 촉각-의 작용이 중요한 역할을 한다고 알 려져 있다. 뿐만 아니라, 음식의 온도나 텍스쳐 혹은 색(Spence 등(2010), 심지어 커트러리와 그릇의 무게나 모양(Harrar and Spence(2013), Piqueras-Fiszman 등(2011)) 같은 촉각적인 요소나 분위기를 자아내는 다른 감각적 요소들과 결합하여 맛의 강도와 질을 다르게 할 수 있다. 더 나아가, 다른 감각이 미각의 현상이 자아내기도 한다. 초콜릿의 짙은 갈색 에서 단맛을 느끼거나 바삭거리며 부서지는 소리와 촉각에서 신선하고 청

량한 맛의 느낌을 느끼는 것이 그런 현상이라고 할 수 있다.

감각이 협력하는 현상은 후천적으로 시각이나 청각을 잃은 장애인들이 그 외의 다른 감각이 예민해지는 현상을 설명하기도 한다. 우리의 뇌는 물체 나 공간을 시각만을 통해 감지하지 않고 여러 감각을 관장하는 부분을 사 용해 감지한다고 알려져 있다. 어떤 감각을 잃은 장애인이 오히려 다른 감 각이 더 민감해지는 이유이다. 귀가 들리지 않아도 음악을 즐기고 리듬을 느낄 수 있다는 한 청각 장애인의 호소가 성찰적인 지점이다(Kolb, 2017) 협력하는 감각에 대한 깊은 이해와 성찰에서 Alvar Alto는 ‘가구 하나하 나가 개인적 주거의 일상을 형성하므로, 가구는 빛의 반사로부터 과한 눈 부심을 일으켜서는 안 된다. 마찬가지로 가구가 소리의 차원, 즉 흡음이 잘 되지 않는다면 곤란하다. 의자를 보면 알 수 있듯, 가구는 인간과 가장 친밀한 접촉을 하게 된다. 그러므로 가구는 과하게 열을 잘 전달하는 재료 로 만들어져서는 안 된다.’(Pallasmaa, 2012)라며 시각 너머 다양한 감각 들이 어떻게 고려되어야 하는지 강조한다.

Durrell Bishop이 디자인한 Tagged Objects는 아직 현재와 같은 정보기 술이 무르익지 않는 환경에서 인상적인 인터랙션 디자인을 보여주었다. 만 질 수 없는 정보를 일상의 물건들과 연결하여 만질 수 있는 어떤 것으로 변모시킴으로써 새로운 가치를 만들어 낼 수 있다고 주장하였다. 그 중 하 나가 무인응답기의 인터랙션 디자인이다. 일반적으로 무인응답기는 작은 디스플레이에 남겨진 메시지의 숫자가 보이고 재생과 저장/삭제 버튼을 이용해 메시지를 듣거나 저장 혹은 삭제한다. 비숍의 응답기는 메시지가 남겨지면 작은 구슬이 굴러 나와 한 곳에 쌓여서 자연스럽게 구슬의 개수 로 메시지의 존재와 숫자를 알 수 있게 하였다. 여기서 더 나아가 구슬을 응답기의 한 켠에 올려놓는 것으로 메시지를 들을 수 있고, 만약 중요한 메시지이거나 보관하고 싶은 메시지는 작은 접시에 담아 간직할 수 있게 하였다. 청각 정보에 촉각적인 물질성을 더함으로써 저장 장치에 보관된 정보와는 다른 감성적인 가치를 창출한 것이다.

시각 중심으로 편향된 인터랙션을 협력적 감각을 동원하여 확장하려는 시 도는 MIT 미디어랩 탠저블미디어그룹(Tangible Media Group)에서 행하 고 있는 일련의 대안적인 인터랙션 디자인에서 극명하게 나타난다. TMG 를 이끌고 있는 히로시 이시이(Hiroshi Ishii) 교수는 보이지 않는 컴퓨팅 의 정보의 비트(bit)를 마우스나 키보드를 통해 간접적으로 다루기보다

물리적 분자(atom)처럼 직접적으로 만져서 다룬다는(tangible bits) 개념 을 주창했다(Ishii and Ullmer, 1997). musicBottles(Ishii, 2004)은 투명한 여러 개의 병의 뚜껑을 여는 동작을 통해 각각 다른 악기의 연주를 들을 수 있게 하였다. ‘음악을 병에 넣는다’는 시적인 개념을 인터랙션으로 표 현했지만 무엇보다 음악이라는 청각적인 요소를 병에 넣고 흘러나오게 한다는 촉각적인 것으로 감각하게 했다는 점에서 인터랙션에 새로운 미 적 경험을 부여하였다고 평가된다.

감각의 협력적 특성은 테크놀로지의 발전으로 멀티미디어적인 측면이 강 화된 최근의 인터랙션 디자인에서 중요하게 다루어져야 하고 활용되어야 한다. 인터랙션을 디자인함에 있어서 구현하려고 하는 인터랙션의 주된 감 각과 다른 감각과의 연관성을 면밀히 살펴 어떻게 감각적으로 확장시킬 수 있는지를 고려하거나, 비감각적인 디지털 정보를 시각적인 표현을 넘어 서 다른 감각으로 표현될 수 없는지 혹은 그렇게 하여 감각적 경험을 풍 부하게 할 수 없는지 살핀다. 또한 일상적인 사물에서 느끼는 다양한 감각 적 경험을 인터랙션 디자인에서 활용할 수 없을지 디자인의 영감을 확장 한다.

Woojer⁹³⁾는 보조적인 장치로서 헤드폰으로 음악을 감상할 때 밴드나 베 스트 형태로 착용하여 음악에 맞추어 진동을 느끼도록 한다. 음악과 진동, 즉 청각과 촉각이 동시에 음악을 듣는 경험에 작용하는 것이다. 클럽의 거 대한 스피커 앞에서 음악의 비트를 강한 진동으로 느낌으로서 파티의 흥 분을 배가하는 것과 같이, 음악의 비트를 진동으로 동시에 느낌으로서 음 악의 경험을 배가할 수 있는 것이다. <그림 79>

93) https://bit.ly/31zNzEr

그림 79 협력성 사례 : Woojer

Woojer가 청각과 촉각의 센서빌리아를 활용한 사례라면, 시각과 촉각의 센서빌리아를 활용한 사례들도 찾을 수 있다. Sony의 ‘Future Experience Program’을 통해 일련의 프로토타입을 제시했는데, 예를 들 어 책의 문자와 이미지를 프로젝션된 이미지와 병치하여 책을 읽는 것만 아니라 책의 등장인물들을 직접 만지거나 움직이도록 함으로서 독서에 새로운 경험을 추가하였다. Red Paper Heart⁹⁴⁾의 ‘Expression Wall’은 LED로 표현된 역동적 이미지 위를 수직으로 가로지르는 100개의 긴 아 크릴 널들을 배치하여 이를 만져 움직이게 하여 LED의 이미지와 상호 작용하도록 하였다. LED 이미지의 역동적인 움직임은 휘청거리는 아크 릴 널의 물리적 움직임과 함께 인터랙션 퍼포먼스의 경험을 증폭한다.

<그림 80>

Mischer Traxler Studio의 ‘Curiosity Cloud(2015)’⁹⁵⁾에서 천정에 무수하

94) https://bit.ly/31lDBqN

그림 81 협력성 사례 : Curiosity Cloud(좌), Scent Drops(우)

그림 80 협력성 사례 : Future Experience Program T(좌), Expression Wall(우)

게 매달린 투명한 유리 안에 임의로 움직이는 나비처럼 생긴 작은 쇳조 각은 관객이 다가갈 때 더 활발하게 움직인다. 이 랜덤한 움직임만으로 도 마치 살아있는 생명체와 같은 활력을 느끼게 하지만 쇳조각이 유리벽 에 부딪히며 만들어내는 청명한 소리들이 더해지면서 생명력이 힘을 더 한다. 반면 Harvey & John Studio⁹⁶⁾의 ‘Scent Drops(2017)’⁹⁷⁾는 배치된 작은 물체를 비틀어 특정한 향기를 뿜게 할 수 있는데 동시에 귀에 대면 그 향기에 대한 설명을 들을 수 있다. ‘향기를 귀로 듣는다’는 메타포를 인터랙션으로 표현한 것이다. 시각과 촉각, 청각과 후각 등의 복수 감각 을 인터랙션 퍼포먼스에 협력적으로 활용한 센서빌리아의 활용 예인 것 이다. <그림 81>