투고일_2020.10.10 심사기간_2020.11.01-14 게재확정일_2020.11.19 DOI https://doi.org/10.47294/KSBDA.22.1.14
가상의 공유 공간에서 도상적 커뮤니케이션의 표현모드 -퍼스 기호학 관점
The Presentation Mode of Peircean Iconic Communication in Virtual Shared Space -focused on Peirce's semiotics
서준호, 공간 모달리티 디자인연구소
Suh, June Ho_Spatial Modality Design Lab
차례 1. 서론
1.1. 디지털 커뮤니케이션과 가상 공유 공간 1.2. 커뮤니케이션 모델과 상호작용 공간 모달리티 1.3. 연구의 방법
2. 퍼스의 도상적 커뮤니케이션과 의미 작용 2.1. 도상성의 실체화를 위한 하위도상 2.1.1. 이미지
2.1.2. 다이어그램 2.1.3. 은유
2.1.4. 퍼스의 하위도상에 대한 선행연구 2.2. 퍼스의 수사학과 도상적 커뮤니케이션 2.3. 도상적 상호작용 모달리티의 의미작용
3. 가상의 공유 공간에서 도상적 커뮤니케이션의 표현모드 3.1. 이미지 모드
3.2. 다이어그램 모드 3.3. 은유 모드 4. 결론 References
가상의 공유 공간에서 도상적 커뮤니케이션의 표현모드 -퍼스 기호학 관점
The Presentation Mode of Peircean Iconic Communication in Virtual Shared Space -focused on Peirce's semiotics
서준호, 공간 모달리티 디자인연구소
Suh, June Ho_Spatial Modality Design Lab
요약
중심어 퍼스 하위도상
도상적 커뮤니케이션 공간디자인
본 연구는 비대면 소통의 시대를 맞이하여 증가하게 된 디지털 커뮤니케이션에서, 보다 효과적인 소통 의 결과를 얻기 위해 시도하고 있는 공간 공유의 다양한 양상과 공간에서 나타나는 도상적 커뮤니케 이션의 표현모드를 제시하는 것을 목적으로 한다. 연구의 방법으로서, 시지각 중심의 체화된 인지로부 터, 퍼스의 기호 활동으로서 커뮤니케이션과 참여 주체들이 활동하는 공유 공간의 상호작용 디자인 문 해법을 고찰한다. 연구는 먼저, 도상적 커뮤니케이션이 체화된 인지로 시작하여 도상성을 재현하는 하 위도상의 체현된 기호를 사용하여 소통하며, 이 과정에서 논리적 추론을 통해 의미를 생성하고 획득함 을 밝힌다. 이를 실체화하는 하위도상은 자질의 닮음을 재현하는 이미지, 관계를 인식하도록 하는 다 이어그램, 의미를 해석할 수 있게 하는 은유의 표현모드를 적용해, 사용자에 체현된 기호로서 작동하 는 것을 확인한다. 이처럼, 디자인된 감각 양상으로 도상적 커뮤니케이션을 위한 디자인 작동과 의미 생성에 대한 하위도상 각각의 표현모드와 소통 효과를 최근의 디지털 커뮤니케이션 프로그램들을 통 해 확인한다. 두 번째로, 소통에 의한 의미 생성을 위해 디자인된 공간은 체현된 기호로서 대상과 다 양한 양상의 관계를 맺기 위해 디자인된다는 것을 제시한다. 디자인은 물리적 구축 양상과 비물질적이 고 비구축적인 가상공간의 연출 및 프로그램과 비감각적인 데이터의 표현 및 조작의 양상에까지 영향 을 미친다. 연구의 결과는 다음과 같다. 감각을 이용한 단순 감지 및 인지의 단계부터 체현된 기호로 대상과 관계를 맺고 해석하는 것이 필요하다. 비대면의 가상공간 커뮤니케이션에서, 보다 효과적인 소 통의 결과를 얻기 위해서는 논리적 추론을 통해 디자이너가 전달하려는 의도를 재현한 공간의 상징과 은유의 모드를 해석하고 재배치한 디자인이 적용되어야 한다. 공동체가 함께 디지털 공유 공간의 의미 를 함께하고 발전시켜갈 수 있는 대화적 기호과정의 디자인 문해법이 적용되어야 하겠다.
ABSTRACT
Keywords Peirce hypoicon
iconic communication spatial design
This study aims to present various aspects of the shared space and the mode of expression of iconic communication in space, which is attempting to obtain more effective communication results in digital communication, in the era of 'untact' communication. As a way of research, from visual perception-centered embodied cognition, the interactive design of the shared space where communication and participants work as semiosis of Peirce. First, iconic communication starts with embodied cognition and communicates using the embodied sign of hypoicon that reproduces iconicity, also in this process, meaning is created and acquired through logical reasoning. The hypoicon, which substantiates this, belongs to the iconicity of the primary category, and applies an expression mode of 'image' that reproduces the resemblance of features, 'diagram' to recognize relationships, and 'metaphor' to interpret meaning. Second, it is suggested that the space designed for the creation of meaning through communication is an embodied sign that is designed to establish relationships of various aspects with the object. The results of the study are as follows. From the stage of simple sensing and recognition using senses, it is necessary to establish relationships with objects and interpret them with embodied symbols. In order to obtain more effective communication results in 'untact' virtual space communication, a design that interprets and rearranges the mode of symbols and metaphors of space that reproduces the intention of the designer through logical reasoning should be applied. The design literacy method of conversational semiosis, in which the community can share and develop the meaning of a digital shared space, should be applied.
1. 서론
1.1. 디지털 커뮤니케이션과 가상 공유 공간
최근 코로나19로 인해 사회적 거리 두기가 장기화되면서 개인 대 다중을 위한 소통이 다양한 공간 모드의 양상에서, 즉 회의, 학교 교육, 공연, 전시회 등 온라인보다는 오프라인의 현장성을 중요시 하던 공간 모드에서까지 비대면 커뮤니케이션이 확대되고 있다. 이에 따라 디지털 커뮤 니케이션 기술에 대한 대중들의 접근성과 관련 기술의 발전이 급격히 가속화 되고 있다. 이전에 는 개인 대 개인 간 소통을 위해 전화, 메일, 메신저 등의 공간의 맥락과는 상관없는 음성, 텍스트 등의 단일 모달(modal)을 사용한 기술을 이용했다. 이러한 커뮤니케이션 구현 형식은 디지털 기술의 사용으로 보다 다양하고 심도 깊은 커뮤니케이션 양상을 구현하고 있다. 단순히 음성과 텍스트로만은 전달되기 힘든 감정이나 뉘앙스 등을 이모티콘이나 이모지(emoji) 등을 사용해 표현하고 있으며 사용자의 얼굴을 스캔하여 얼굴 표정까지도 전달할 수 있는 기술 수준 에 와 있다.
보다 더 깊은 정보의 전달과 상호작용을 위해서 모바일에서도 사용가능한 증강현실(AR, Augmented Reality)을 비롯하여 다양한 기기를 이용하는 혼합현실(MR, Mixed Reality) 등, 공간에서의 시지각 중심 커뮤니케이션이 계속 발전하고 있다. 이들은 착시 등의 시각현상을 이용한 디지털 기술로 심도 깊은 정보를 주고받을 수 있도록 한 것으로서, 초기 기술 단계에서는 현실 공간을 완전히 배제했던 가상현실(VR, Virtual Reality)에서 시작하였으나, 이제 현실의 공간 환경에 정보 레이어를 교차시켜 디지털 정보와 실재를 구분 혹은 병합해 읽고 쓰고 해석하 는 디지털 커뮤니케이션이 상용화되고 비즈니스와 엔터테인먼트 분야에서 활용하고 있다.
<Figure 1> Multiple Channel Communication : Zoom (left), Teams Together Mode (right)
이처럼 디지털 커뮤니케이션에서도 시지각 의존도가 높다. 소리와 햅틱(haptic)을 이용한 간단 한 청각, 촉각 기술 등 오감각을 활용하고 있지만, 아직은 공간에서 정보를 포착하고, 인지하고, 해석할 때 시각 지각체계는 압도적으로 많이 활용된다. 이와 같은 공간의 맥락과 시지각 중심의 커뮤니케이션은 정보 전달 이상의 수준을 요구하며 발전되고 있는데, 그것의 대표적인 사례가 개인 혹은 다중을 상대로 소통의 맥락을 함께 할 수 있는 공간의 공유에 관한 것이다. 일상에서 도 모바일 통신에서 카메라 영상 통화로 상대 공간의 맥락을 함께 하려고 하고, 예전에는 화상 회의라고 하면 각자의 공간을 배경으로 하는 영상물의 그리드 배치와 조합이었다면 이제는
<Figure 1>의 오른쪽 사례1)인 마이크로소프트사의 Teams의 Together Mode 일명 'Teams Together Mode' 에서처럼 회의실, 강의실 혹은 까페 등의 가상의 공간 배경을 사용해서 소통의 공간과 맥락을 가상으로 공유해 커뮤니케이션 효과를 얻으려 한다. 이는 각자 다른 공간에 있는 소통의 대상들을 하나의 공간 맥락 안에 배치시켜 마치 같은 공간에 함께 하고자 하는 의도로 읽혀진다. 물론 <Figure 1> 왼쪽 사례2)인 Zoom과 같은 방법이 가장 일반적이다. 모바일 기기 나 컴퓨터의 카메라를 통해 비대면 협업을 진행하고 자료를 공유하고 대화 메시지를 보내는 것에 머무르지 않고, 간접적으로나마 면대면 소통의 방법으로 일명 화상회의를 진행한다. 사실 디지털 커뮤니케이션의 큰 장점 중에 하나가 공간을 초월한 소통, 즉 어디서나 편리하고 쉽게
1) https://www.microsoft.com/ko-kr/microsoft-365/microsoft-teams/group-chat-software 2) http://zoom.us
소통할 수 있다는 것임에도 불구하고 실제 진행되고 있는 기술의 방향은 따로 떨어져있지만 같은 공간에서 함께 하고자 하려는 의도로 읽혀진다. 그만큼 공간의 공유는 그것이 가상이라 할지라도 중요한 것으로 생각된다.
그렇다면, 이런 공간 공유를 통해 얻고자 하는 커뮤니케이션 효과는 무엇일까? 그것은 서로가 주고받는 정보에 대한 정확한 상호 간 이해이다. 모든 커뮤니케이션 모델들은 발신자와 수신자 간 정보의 정확한 이해를 위해 만들어졌다. 커뮤니케이션 채널이 약하거나 손상되어 정보가 유실된 상태에서 지각체계에 의해 완벽히 포착할 수 없거나, 정보를 해석하는 데 오류가 생기지 않도록 하는 것이 커뮤니케이션의 기술이다. 최신 기술일수록 정보 그 자체뿐만 아니라 정보 취득과 해석, 그리고 상황과 맥락까지 이해할 수 있도록 하는 다양한 방법을 제시하고 있다.
이를 위해 위와 같은 공간의 공유를 가상으로 혹은 증강현실로 재현하는 것도 커뮤니케이션의 효과를 극대화하기 위해서이다.
1.2. 커뮤니케이션 모델과 상호작용 공간 모달리티
디지털 커뮤니케이션도 전형적인 커뮤니케이션 모델에서 크게 벗어나지 않는다. 가장 기본적 이고 전통적인 샤넌과 위버(Shannon & Weaver) 모델은 보내는 자와 받는 자 그리고 보내는 메시지로 구성되며 그 과정에서 단순히 주고받는 신호와 반응이 아닌 정보와 잡음의 컨트롤을 통한 상호 간의 정보에 대한 완벽한 이해가 커뮤니케이션 모델의 주요 관건이다. 야콥슨(R.
Jakobson) 모델은 보내는 자와 받는 자의 의도가 포함된 개인적 차원의 맥락(context)을 포함 하는 담론 차원의 모델이다. 이는 사회적·문화적 규약과 코드(code)를 매개로 커뮤니케이션 한다. 첫 번째 샤넌과 위버 모델은 메시지의 내용 측면보다는 커뮤니케이션 과정에서 생기는 잡음(noise)을 제거하여 훼손되지 않은 상태의 메시지가 정확하게 전달되는 것에 초점을 둔 것이고, 두 번째 야콥슨 모델은 발화자가 전달하려는 메시지와 의도에 맞는 청취자 측 해석에 방점을 둔 모델이다. 처음 모델은 커뮤니케이션의 양방향 소통이라기보다는 선형적 성격이 강 해 전달 그 자체가 목적이고, 두 번째 야콥슨 모델은 개별적 송신자와 수신자의 의도를 포함한 언어적 차원으로, 언어 체계가 담론 세계와 연결될 때 커뮤니케이션이 발생하며, 커뮤니케이션 이 성공하려면 송·수신자 간의 메시지가 가리키는 맥락이 있어야하고 코드로써 표현되어야 한 다.(Lee. Y., 2020. pp.185-186)
이와 같이 커뮤니케이션은 송신자, 수신자, 메시지와 같은 특정한 요소와 소통에 필요한 문법에 의해 진행된다. 그리고 발신자와 수신자가 서로 소통하는 채널이 필요한데, 특히 공유하고자 하는 공간에서 송 · 수신자 간에 상호작용을 위해서 공간과 사용자 간의 채널에서 상호작용 공 간 모달리티가 작동한다. 가상 혹은 실재 공간을 일종의 소통 배경이나 맥락으로 사용하는 디지 털 커뮤니케이션은 단일 모달(modal)만을 이용하지 않고 멀티모달(multi-modal)의 다중 감 각을 동시에 커뮤니케이션 시스템의 작동과 구현에 사용한다. 그리고 이를 위한 다양한 양상의 모달리티(modality)가 디자인되어 역동적인 상호작용 커뮤니케이션을 해석할 수 있도록 한다.
여기에서 "모달리티란 특정 양상이나 상태 등을 의미"(Suh. J., 2015. p.2)하며, 특히 모니터나 스크린 등의 평면 상의 양상보다는 3차원의 공간과 데이터를 연동하는 다차원 공간과 레이어를 인식하고 작동해야하는 만큼 보다 복잡한 양상에 대한 공간에서의 상호작용 모달리티가 디자 인되어야 하며, 동시에 가장 중요한 커뮤니케이션의 효과를 극대화할 수 있는, 공간에서 커뮤니 케이션의 의미를 전달하고 해석할 수 있도록 디자인되어야 한다.
1.3. 연구의 방법
디지털 커뮤니케이션은 무엇보다 시지각 감각 체계를 중심으로 사용하며, 사용자인 인간이 주 고 받는 메시지를 만들고 해석하는 주체이다. 본 연구에서는 디지털 커뮤니케이션의 과정에서 실재 공간과 가상공간 간 교환되는 메시지와 그에 대응하는 양상인 기호가 도상성 범주의 커뮤 니케이션이 작동하는 것을 고찰한다. 현재 디지털 커뮤니케이션은 보다 복잡한 메시지와 실재 공간과 가상공간의 혼재 양상에서 단순한 메시지의 전달이 아닌 메시지 제작자와 수신자 즉,
창작자와 해석하는 수용자 간 기호 작용을 통해 의미 생성과 해석의 소통이 작동한다. 본 연구 에서는 퍼스의 기호학적 관점 즉, 대상과 기호 그리고 해석체의 삼원적 기호론을 중심으로 하는 수사학적 관점과 그것이 재현하는 기호의 도상성에서 시작하고자 한다.
본 연구에서는 먼저 퍼스 기호학적 관점에서 세미오시스와 도상성에 대한 고찰과 도상성의 실제 의미 생성과 해석을 위한 하위도상(hypoicon)에 대해 설명한다. 하위도상은 퍼스의 도상 성이 실체화되고 개체화되기 위한 필수 조건으로 도상성 안에서 1,2,3차성 범주의 속성을 나타 낸다.(Suh. J., 2015. pp.253-261) 그리고 디지털 커뮤니케이션을 퍼스 기호학적 관점으로 파악하여 도상적 커뮤니케이션의 성격으로 규정하고, 가상의 비대면 협업을 위한 공유 공간에 서 도상적 커뮤니케이션을 위한 공간디자인에 대해 논의한다. 인간이 대행체가 되는 소통 매개 의 기호라는 개념에 기초한 퍼스 기호학적 커뮤니케이션 모델을 기초로, 이를 실체화하는 하위 도상과 디지털 커뮤니케이션에서 작동하는 도상적 소통의 의미 생성에 대해 파악한다. 그리고 비대면 협업을 위한 디지털 원격 커뮤니케이션 프로그램들과 가상(AR, MR) 커뮤니케이션 프 로그램이 사용하는 가상 공유 공간의 분석을 통해, 가상의 공유 공간에 적용된 도상성의 표현모 드를 연구한다.
2. 퍼스의 도상적 커뮤니케이션과 의미 작용
사실 커뮤니케이션이라고 하면 사람 대 사람의 소통으로 생각할 수 있으나 실제로 인간 커뮤니 케이션은 언어 기호, 비언어 기호는 물론 메시지가 없는 침묵이나 빈 칸(blank), 그리고 그 너머에 있는 의도까지를 포함하는 해석 행위까지 포함한다. 이와 같은 커뮤니케이션은 어떤 방법으로든 대상인 기호와 접촉하여 정보를 포착하고 해석할 수 있어야 한다. 또한 혼합현실 (MR)처럼, 실제로 존재하지 않는 것들이 실재하는 것 안에서 동작하고, 경험하고, 그를 통해 의미를 생성하고 재배열하여, 주고받는 상호작용이 가능해야 한다. 특히 디자이너의 특정한 컨셉이 적용된 공간에서 주고받는 상호작용의 경험은, 그것이 가상이든 실재이든 대상과 그 자질을 몸의 지각체계를 통해 공유한다. 이와 같이 체현된 실체를 통해 도상기호를 경험 가능하 게 하는 것이 하위도상이다.(Suh. J., 2020. p.120)
2.1. 도상성의 실체화를 위한 하위도상
퍼스 기호학의 관점에서 기호라는 것은 대상과 닮음 혹은 대상을 재현하는 것이다. 잠재적인 차원에서 재현하거나 연관성이 있는 것이다. 이것이 기호의 표상적 속성이며, 도상기호인 아이 콘(icon)은 그래서 기호의 핵심이고 시작점이다. 퍼스의 기호 범주적 차원에서 도상은 일차성 속성으로 존재의 개념이며 가능성으로 규정된다. 도상기호는 의미와 표현에 의한 체현 (embodiment)된 기호로서 이해된다. 도상기호가 도상성을 나타내 기호가 갖는 의미를 생성하 고 퍼스의 기호 작용 즉, 세미오시스로 작동하기 위해서는 단순히 개념적 측면의 가능성이 아닌 실제 기호로서 실체화하고 그것이 기호로서 도상성을 나타낼 수 있도록 개별화되어 나타나야 한다. (CP 8.328) 퍼스의 도상기호는 하위도상 즉 일차성으로 기능하면서 동시에 일차성의 이미지, 이차성의 다이어그램, 그리고 삼차성의 은유와 같은 서로 다른 범주 속성으로 실체화한 다.(Figure 2)
2.1.1. 이미지
도상성을 개체화하기 위한 즉 실체화하기 위한 일차성의 하위도상인 이미지(image)는 대상과 의 연관성을 동일한 자질, 닮음, 유사성으로 나타낸다. 실제 존재하지 않는 대상이라 하더라도 동일한 것으로 취급되어 그것이 지각될 수 있도록 하는 것이 이미지이다. 이는 도상적 개별기호 로서 퍼스의 말을 이용하면 “장미가 붉어서 장미의 그림이 붉은 것을 이미지”(CP 2.277)라고 한다. 이미지는 도상성을 표현하는 일차성의 시발점으로서 도상 기호의 가장 기본이 된다.
2.1.2. 다이어그램
다이어그램(diagram)은 일차성을 기초로 하여 이차성인 관계를 표현한다. 자질과 닮음의 유사 성을 기반으로 사실과 관계를 드러내는 인식의 단계로 이동한다. 관습적이거나 문화적인 추리 에 의한 것이 아닌 유사성을 바탕으로 한 논리적 기호과정을 거친다. 다이어그램은 도상성과 상징성의 가운데 지점으로 상호의존적인 속성을 갖는다. 이미지가 감각적인 닮음의 포착이라 면 다이어그램은 그것을 바탕으로 하는 논리적 추리이며 이를 통해 대상과 다른 대상을 연결하 여 관계를 유추한다. (CP 2.277)
2.1.3. 은유
은유(metaphor)는 삼차성의 정신적 범주로서, 종합적이며 지식의 해석을 요구한다. 은유가 갖는 의미 생성과 해석의 삼차성 범주에 도달하기 위해서 먼저 일차성인 이미지로부터 닮음을 포착한다. 그 다음 논리적 추리를 통해 대상과 다른 대상과의 연결되는 관계를 유추해내는 다이 어그램의 기호과정을 거친다. 여기에서 해석자의 상상력과 공간적, 시간적 맥락 안에서 재배치 과정과 디자인의 컨셉트와 사용자의 정신을 융합하고 번역하는 상호작용 단계를 거쳐야 한다.
은유는 단순 논리를 통한 관계 맺기를 뛰어넘는 정신적 도약의 기호작용이 있어야 하며 이는 문화적 맥락이나 사용자의 대상에 대한 사전 지식 등을 필요로 한다.
<Figure 2> Peircean Iconic Communication & Hypoicon
이와 같이 도상적 커뮤니케이션과 도상기호에 나타나는 도상성은 하위도상에 의해 실체화된 다. 이런 실체화 과정에서 이미지, 다이어그램 그리고 은유의 기법과 이를 통한 기호작용의 세미오시스가 작동하여 공간디자인에 부여된 의미를 파악할 수 있다. 특히 하위도상들은 독립 적으로 작동하는 것이 아니라 범주 차원의 필수조건으로 작동한다. 일차성의 이미지가 갖는 의미에 대한 이해가 선행되어야 이차성의 관계를 인식할 수 있고 삼차성에도 똑같이 적용된다.
이와 마찬가지로, 기호로서 공간디자인이 가상의 공간 즉, 비대면 협업을 위한 어떤 공간에 적용되어, 이를 통해 일차성 범주의 닮음의 이미지를 통해 즉각적으로 의미를 전달하도록 할 것인지, 혹은 그것이 무엇을 지시하느냐에 대한 관계를 깨닫게 하는 것인지 혹은 삼차성의 의식 인 은유를 파악할 수 있도록 할 것인지에 대한 컨셉트와 표현모드가 적용되어야 한다.
2.1.4. 퍼스의 하위도상에 대한 선행연구
본 연구자는 퍼스 기호학에서 하위도상에 대한 연구를 발표해왔으며 이 연구들을 근거로 보다 다양한 관점과 대상에 대한 연구를 진행해 왔다. 특별히 퍼스 기호학 관점에서 진행한 공간디자 인에 대한 연구들「상호작용 공간디자인의 퍼스 범주적 특징」(2015), 「공간디자인에서 상 호작용 모달리티의 기호 형식」(2016)이 있으며, 공간디자인 표현모드와 도상성에 대한 연구 인 「상호작용 모달리티의 표현모드 특징-퍼스 기호학적 접근」(2016), 「무역전시 부스디자 인에 적용된 퍼스 기호학적 도상성의 표현모드」(2016), 「몸의 공간 경험과 의미 생성을 위 한 도상적 상호작용 모달리티」(2020) 등에서 도상성과 하위도상에 대한 내용을 고찰한 바가 있다. 이와 같은 선행연구들의 과정을 기반으로 하여, 가상의 공유 공간에서도상적 커뮤니케이 션과 그것의 표현모드에 대한 본 연구가 갖는 연구의 방향과 근거를 확실하게 하고자 한다.
2.2. 퍼스의 수사학과 도상적 커뮤니케이션
퍼스는 의미를 해석하는 것을 수사학이라고 정의했다. 퍼스는 그의 수사학을 “상징이나 다른 기호들이 그들이 결정하는 해석체를 지시하는 방법에 대한 일반적 조건들의 원리(CP 2.93;
Liszka, 1996/2019, p.166)"라고 설명한다. 수사학은 “기호에 의해 정신에서 정신으로， 즉 한 정신 상태에서 다른 정신 상태로 의미가 전달되는 필수적 조건들에 관한 연구”라고 생각할 수 있다.(CP 1.445; cf. CP 2.93; Liszka, p.168) 특별히 퍼스는 그것을 “상징을 이해할 수 있는 능력에 관한 기본적인 조건들로 정신에 호소하는 상징의 힘이다”(CP 4.116, 1.559;
Liszka, p.168)라고 설명한다. 이러한 수사학은 “기호에 의해 정신에서 정신으로, 즉 한 정신 상태에서 다른 정신 상태로 의미가 전달되는 필수적 조건들에 관한 연구”(CP 1.445; Liszka, p.168)라고 정의했다. 따라서 커뮤니케이션 과정에서 의미를 전달하며 그것의 해석에 관한 연구라고 정리할 수 있겠다. “과정으로서의 의미는 커뮤니케이션이며, 커뮤니케이션의 결과물 은 정보”(Liszka, p.170)이다. 리슈카(Liszka, P.170)는 같은 책에서 “인간 사이의 커뮤니케이 션의 경우, 공유된 공통적인 이해라는 점에서 커뮤니케이션의 효과는 이해”라고 설명한다.
퍼스 연구자 이윤희(Lee. Y., 2020)는 최근 연구에서 “현재의 커뮤니케이션 방식으로 왜 도상 적 커뮤니케이션인가?(2020, p.165)”라고 묻는다. 그는 “포스트휴먼 시대, ‘융합’과 ‘통섭’이라 는 화두 아래 사물, 인간, 자연이 공생하는 환경에서 인간이 무엇인가를 성찰하려는 의도가 도상적 커뮤니케이션에서 실현될 수 있다.(2020. p.165)”라고 설명하면서 ‘커뮤니케이션 매개 로서의 기호’라는 퍼스의 개념을 가져온다. 도상적 커뮤니케이션은 인공지능과 구별되는 인간 의 정체성을 창조성과 자율성에서 찾으려는 시도로 이해될 수 있다. 도상적 커뮤니케이션은 논리적 과정을 통해 의미를 생성하고 획득하는 기호 활동이다.
디지털 커뮤니케이션은 서로의 공간을 공유하고 그 공간의 맥락과 환경 속에서 커뮤니케이션 의 효과를 극대화하고자 한다. 서론에서 살펴본 스페이셜 시스템스(Spatial Systems Inc.)처럼 실재 공간에 소통의 상대와 대상을 가상으로 소환하든지, 마이크로소프트사의 ‘Teams Together’처럼 가상의 공간에서 함께 모여 소통하는 것처럼 소통의 주체들 즉, 커뮤니케이션의 행위 주체가 발화자이자 해석자로서 참여하여 재현된 기호로 기호 작용인 세미오시스를 작동 시킨다. 이는 송 · 수신자 간의 채널과 매체(media)의 급격한 발달로 커뮤니케이션을 논의함에 있어 모델 그 자체보다 매개(medium)가 더 중요해지고 있다는 점을 증명한다. 이윤희(2020) 는 ‘포스트휴먼 시대에 인간은 어떻게 소통하는가’라고 질문을 던지며, “현재의 커뮤니케이션 방식은 이전의 커뮤니케이션 방식을 어떻게 변화시키면서 발전하는가? 각 시대에 적용되는 커뮤니케이션 수단에는 어떤 것들이 있는가?”(2020. p.183)라고 질문한다. 이와 같은 질문들 에서 그는 커뮤니케이션 자체의 개념보다 매개에 주목하면서, “커뮤니케이션 모델에 따라 기계 장치, 언어, 맥락, 혹은 이들 모두를 포괄하는 행위자가 커뮤니케이션 매개가 될 수 있다”(2020, p.183)고 설명한다.
그리고 현상학과 존재론의 경계에서 도상적 커뮤니케이션을 고찰하기 위해서 현상학적 범주로 서 일차성에 속하는 하위도상의 삼분법을 올바르게 이해하는 것이 필요하다. 앞서 살펴본 바와 같이 퍼스의 도상기호는 일차성인 하위도상으로 기능한다, “하위 도상은 그들이 취하는 양식의 일차성 모드에 따라 나뉠 수 있다. 순수한 성질 혹은 일차성은 이미지이다. 그리고 이항적 관계 혹은 그렇게 간주되는 한 사물의 부분들의 관계를 유사한 관계에 의해 재현하는 것은 다이어그 램이다. 그리고 표상체의 재현적 성격을 다른 것에서의 유사성을 재현함으로써 재현하는 것을 은유라고 한다.”(CP 2.277) 이와 같이 하위도상이란 인식 가능한 도상의 형식들로서 퍼스의 범주적 분류에 의해 일차성 도상의 하위도상을 다시 세 범주로 분류하여 일차성의 이미지, 이차 성의 다이어그램 그리고 삼차성의 은유로 나눌 수 있다. 도상성은 일차성인 가능성의 기호이며, 대상의 성질을 닮음으로 관계를 맺는다.
디자인된 공간은 체현된 기호로서 대상과 다양한 양상의 관계를 맺기 위해 디자인된다. 디자인 은 물리적 구축 양상과 비물질적이고 비구축적인 요소인 연출 및 프로그램과 자연 환경의 양상 에까지 영향을 미친다. 그것은 해석자에 의해 단순한 성질과 느낌 그 자체로 기호 활동을 끝낼
수도 있고, 의미의 생성과 획득을 위한 보다 깊은 기호 활동으로 해석의 단계로 진행할 수도 있다. 이처럼 의미 생성을 위한 도상성의 실체인 하위도상과 감각을 이용한 단순 감지 및 인지 의 단계부터 체현된 기호로 대상과 관계를 맺고 해석하는 것이 필요하다.
2.3. 도상적 상호작용 모달리티의 의미작용
<Figure 3> The Generating Meaning in the Iconic Spatial Modality
상호작용을 위한 공간 디자인은 커뮤니케이션 행위 주체의 감정과 느낌의 체화된 인식 과정을 거쳐 논리적 과정으로 진행하는 것이다. 이 과정에서 소통 주체들은 공간의 의미를 해석하는 추리 과정으로서 디자인을 경험한다. 공간의 재현적 의미로 체현되는 기호인 퍼스의 도상적 상호작용 모달리티는 의미를 생산하는 공간 체험을 가능하게 한다. (Suh. J., 2020. p.120)
“기호가 의미를 생산하려는 것이라면 어떤 것이든지 체현되거나 예시화되어야 한다.”(Liszka, p.112) 또한 자질기호는 그것이 체현되기 전까지는 기호로서 실제로 작동할 수 없다(CP 2.244). 그리고 <Figure 3>에서처럼 자질은 언제나 개별성의 기호로서 체현되며, 일반성은 언제나 자질이 있는 개별성에서 체현된다(CP 2.246).
추론의 논리적 과정으로 의미를 생성하고 획득하기 위해서, 소통 행위 주체 간의 상호작용에 의식적이든 비의식적이든 행위 주체의 체화된 인지가 작동할 수 있어야 한다. 이를 위해서 여러 감각체계와 감각양상에 대응하는 상호작용 디자인이 필요하다. 다음, 재질의 체현된 개별성 기호로 공유할 공간과 데이터 등의 대상들의 디자인을 통해, 행위 주체자가 디자인을 읽고 논리 적 과정으로 진행할 수 있도록 하는 것이 필요하다. 공간이 가지는 디자인 요소이자 공간의 감각 요소를 이용해 행위 주체자의 행동 유도로 도상적 커뮤니케이션의 하위도상을 바탕으로 하는 상호작용이 가능해야 한다. (Suh. J., 2020. p.120)
3. 가상의 공유 공간에서 도상적 커뮤니케이션의 표현모드
비대면 협업을 위한 디지털 커뮤니케이션에서 나타나는 공유 공간의 디자인 양상을 통해, 도상 적 커뮤니케이션을 위한 하위도상의 표현모드를 살펴보고자 한다. 현재 일반적으로 Zoom Video Communications사의 Zoom이 많이 사용되고 있으나, 본 연구에서 논의하고자 하는 가 상공간 공유 서비스가 제공되지 않기 때문에 사례에서는 제외하였다. 본 연구에서는 마이크로 소프트사의 Teams Together Mode 그리고 AR을 기반으로 MR 기술을 사용하는 Spatial.io사 의 비대면 협업 디지털 프로그램의 공유 공간 디자인을 살펴본다. 현실과 증강현실, 그리고 가상현실에서 공유하는 공간 영역들을 비교하면서 퍼스 기호학적 관점으로 공간에서 도상적 커뮤니케이션의 표현모드를 파악하고자 한다.
3.1. 이미지 모드 : 실재 공간 위에 가상 레이어링
<Figure 4> The Image Mode for Iconic Communication by MR, Spatial Systems
스페이셜 시스템스의 MR을 이용한 비대면 커뮤니케이션 방식은 참여자 스캔을 통한 아바타를 이용해 직접 상대의 실재 공간에 가상으로 참여해 행동한다. <Figure 4>3)은 원거리에 있는 두 사람이 홀로렌즈(HoloLens)4)와 같은 MR용 헤드셋을 사용하여 원격 공간에 조성된 디지털 공간에 참여해 소통하고 있는 모습이다. 서로 공유한 공간은 가상의 그래픽이 아닌 실제로 존재 하는 공간이고, 그 공간에서 MR을 통한 가상의 레이어 위에 실제 시각적인 형태와 같은 모습의 데이터를 가상의 공간 위에 배치시키고 조작한다. 상대편 행위 주체는 아바타로서 실제 참여자 의 외형과 비슷하게 나타나 서로 신원을 확인할 수 있다. 상대의 아바타는 실재 사용자의 모습 을 카메라로 캡쳐한 후 3D로 모델링되어 사용된다. 일차성으로서 이미지는 닮음의 포착이다.
이것을 외양에서 뿐만 아니라 각종 양상에서도 포착할 수 있다. 실재 공간 위에 헤드셋을 통해 가상의 공간 위에 배치된 데이터들은 실제 사용되는 모습과 일치하며 가상의 공간에서 데이터 를 다룰 때 사용하는 행동들(modal)도 동일하다. 메모지를 붙이고 집어올리고 각종 데이터들 을 벽들에 집어다가 배열하는 행동 양상(modality)도 실재와 일치한다. 실재하는 공간 위에 가상의 공간 레이어링을 겹쳐 도상적 커뮤니케이션을 진행하는 방식이다.
3.2. 다이어그램 모드: 가상공간 위에 실재 레이어링
<Figure 5> The Diagram Mode for Iconic Communication by Teams Together Mode
화상회의라고 하면 일반적으로 Zoom(Figure 1, 왼쪽그림)과 같이 각 참가자들이 송출해온 화면들이 참여자의 수만큼 분할되고 각자의 공간 배경이 각각의 카메라의 위치, 각도를 통해 반영되었다. 당연히 각 참여자의 위치가 다른 만큼 공간도 서로 달랐고 서로 함께 있지 않는 느낌이 강했다. 각자의 맥락이 다르지만 그나마 서로의 얼굴을 보면서 소통하는 것에 만족할 수 있었다. 하지만 보다 효과적인 커뮤니케이션을 위해서는 면대면 커뮤니케이션처럼 같은 공 간에 있는 것이 더 큰 소통 효과를 거둘 수 있다는 것은 당연한 일이다.
마이크로소프트사 Teams의 새로운 프로그램 모드에서, 소통에 참여하는 행위 주체들은 먼저 공간의 자질이 무엇인가와 닮아있음을 발견하고 그것이 무엇인지에 대한 정보를 파악한다. 기 호로 표현된, 즉 디자인된 대상인 공간의 자질이 사실적인 표현, 즉 전형적인 형태와 재질, 그리고 공간 연출로서 조명, 소품, 가구 배치 등으로 재현되어 있다. 마치 Teams Together
3) https://spatial.io/
4) https://www.microsoft.com/en-us/hololens
Mode의 강의실 공간에 표현된 좌석의 재질과 배치에서 주는 실재감을 통해 ‘모두 함께 강의실 에 있다‘는 것을 알려준다. 실제로 마이크로소프트는 이러한 가상공간 연출이 사람들이 함께 있다고 느끼는 데 도움을 주기 위해 기획했다고 설명한다.5) Teams Together Mode에 사용된 공유하는 공간을 통해 함께 있는 느낌을 주고 싶다는 그 설명대로 그저 느낌만 있을 뿐이지, 그 공간에 의미를 부여하거나 이를 통한 추론으로 어떤 새로운 정보나 의미를 생성하기는 힘들 다. 그저 같은 공간에 모여 있다는 느낌에 그친다. 이것이 어떤 특정한 공간을 그대로 재현하는 것일 수도 있겠지만 일반적으로는 미리 준비된 템플릿 중 하나를 선택하는 것으로 실재와 닮은 것을 통해 무드(mood)를 인지하는 것일 뿐 지금 배경의 공간이 특정한 것을 지칭하는 것은 아니다. 그저 ’이 공유 공간은 강의실이고 강의실에 있는 학생의 한명이다’라고 하는 이차성의 관계만을 나타낸다. 여기에 적용된 다이어그램의 표현모드는 특정 실재의 공간이 아닌 가상공 간 위에 실제 참가자들을 레이어링 하는 방법이 적용되었다.
3.3. 은유의 모드: 가상공간 위에 가상 레이어링
<Figure 6> The Metaphor Mode for Iconic Communication by VR, Spatial Systems
은유는 대상의 이미지를 개념적으로 재현한다. 은유는 상징성으로 표현과 내용의 층위가 배치 된 것이다. 따라서 표현과 내용의 연결을 기호 과정에 의해 해석되도록 디자인 되어야 한다.
즉 대상의 자질이 나타나도록, 일차성의 도상성이 체화된 기호로서 작동할 수 있어야 한다.
표현과 내용이 이미지를 형성하고 개념과 내재된 텍스트를 재배열 하는 과정이 가능하도록 해야 한다. 그와 같은 논리적 과정을 거쳐, 그리고 개인적인 느낌에서 시작하지만 결국 공동체 적 가치를 담아가는 의미를 생성시키는 성공적인 커뮤니케이션을 가능하도록 하는 디자인이 적용되어야 한다.
스페이셜 시스템스의 가상 커뮤니케이션 모드(Figure 6)6)는 실제 공간이 아닌 가상의 공간에 서 소통 대상이자 행위 주체들이 아바타로 등장해 활동한다. 모두가 실제 모습을 스캔하여 제작 한 3D 아바타로, 비슷한 모습으로 등장하지만 아바타와 행위 주체의 관계로 인식하지 그 자질 자체에 주목하지 않는다. 새롭게 만들어진 공간도 실재와의 관계로만 논리적으로 추론하고 행 동한다. 여기에서 주목할 점은 이차성 관계가 일차성인 자질의 유사성 없이는 존재할 수 없는 것처럼 삼차성의 은유 역시 일차성과 이차성의 가능성을 모두 포함해야 한다는 것이다. 최대한 사용자의 모습과 비슷한 형태로 닮음의 일차성을 디자인하는 과정이며, 이를 통해 공유 공간 전체가 실재는 아니지만 그것을 대신하는 이차성의 관계를 맺고 소통을 이어간다. 그리고 현실 공간을 묘사했지만 현실이 아닌 가상의 렌더링으로 자신들이 3D 모델링 안의 가상의 공간이라 는 것을 인지한다. 공유 공간을 배경으로 무형(intangible)의 디지털 정보를 일차성의 이미지 모드로 표현하고 재배치하며 그림들을 실감(tangible) 데이터로 인식하여 작동한다. 이 과정에 서 심리적인 측면은 있을 수 없다. 대상과 관계를 논리적으로 추론하는 기호 과정이 작동해 마치 실제처럼 커뮤니케이션한다. 공간의 배치, 가상의 데이터들의 배열에 따라 파티 장소인지, 프리젠테이션 장소인지를 해석하게 된다.
각각의 디자인된 가상의 공간은 참여하는 사용자들이 실재나 관계가 아닌 추론을 통한 삼차성
5) https://news.microsoft.com/apac/2020/07/09/microsoft-reimagines-virtual-collaboration-with-new-teams-features- for-the-future-of-work-and-education/
6) https://spatial.io/
의 표현모드를 해석하고 행동함으로써, 공간에 의해 생성된 의미와 그것의 해석을 통해 상호작 용을 이어간다. 관계와 개념의 재배치는 사용자의 몫이지만 이를 가능하도록 하는 공간디자인 을 통해 공간이 갖는 성격과 모드를 파악하고 그곳에서 진행되는 다양한 프로그램에 맞게 참가 자들이 행동하도록 한다.
4. 결론
본 연구에서는 비대면 소통의 시대를 맞이하여 증가하게 된 디지털 커뮤니케이션 환경에서, 보다 효과적인 소통의 결과를 얻기 위해 시도하고 있는 가상에서 공유하는 공간의 다양한 양상 과 그 공간에서 나타나는 도상적 커뮤니케이션의 표현모드에 대해 살펴보았다. 도상적 커뮤니 케이션은 시지각을 중심으로 하는 체화된 인지로부터 시작하여 자질을 재현하는 하위도상의 체현된 기호를 사용하며, 의미 생성과 획득을 위해 논리적 추론으로 심도 깊은 기호 활동의 세미오시스 과정으로 진입한다. 이렇게 도상적 커뮤니케이션을 실체화하도록 하는 공간의 다 양한 양상은 일차성 범주의 하위도상으로 나타나는데, 자질의 닮음을 재현하는 이미지, 관계를 인식하도록 하는 다이어그램, 그리고 의미를 해석할 수 있도록 하는 은유 등의 표현모드로 문해 할 수 있다. 공유하기 위한 공간은 아직 초기 단계이지만, 커뮤니케이션 행위 주체와 다양한 양상의 관계를 맺기 위해 개별화한 기호로 나타난다. 공간 디자인은 물리적 구축 양상과 비물리 적인 가상공간과 비감각적인 데이터의 표현과 조작의 다양한 감각 양상과 관계 양상에까지 영향을 미친다.
비대면 협업을 위한 가상에서 공유하는 공간은 그 자체에 목적이 있는 것이 아니라 서로 떨어져 있지만 함께 있는 것 같은 느낌이 들도록 하기 위한 것이다. 커뮤니케이션의 효과를 극대화하 고, 공간을 사용하는 공동체가 공간의 의미를 함께하고 발전시킬 수 있는 대화적 기호과정의 디자인 문해법이 적용되어야 한다. 이를 위해서, 체현된 기호로서 공유된 공간에서의 기호 활동 이 개인적인 심리적 상태나 느낌 등에만 머무를 것이 아니라 논리적 추론을 통해 디자이너가 전달하려는 컨셉트는 물론 공동체가 추구하는 진리를 향한 지속적인 탐구의 과정으로 발전할 수 있도록 해야 한다. 이번 연구에서는 공유하는 디지털 공간의 공간 연출을 비교하여 도상적 커뮤니케이션의 표현모드로 한정하여 연구하였다. 다음 연구에서는 디지털 커뮤니케이션을 위 한 공간 공유의 운용 기법과 매체에 적용된 표현모드를 퍼스의 커뮤니케이션 관점에 기대어 상호작용 모달리티의 문해법을 제시하고 도상적 디지털 커뮤니케이션에서 발전하고 있는 매체 에 대해 취급할 예정이다. 본 연구에서 제시한 표현모드는 공간에 기호의 능력을 부여하는 문해 체계로서 공간디자인이며, 그것을 쓰고, 읽고, 이해하는 공간 문해의 작동 원리를 퍼스 기호학 을 통해 제시한 것으로서, 비대면 소통의 시대에 가상의 공간에서 상호작용을 위한 공유 공간의 표현모드를 고찰했다는 것에 의의가 있다고 생각한다.
References
http://zoom.us https://spatial.io/
https://www.microsoft.com/ko-kr/microsoft-365/microsoft-teams/group-chat-software June-Ho, Suh. (2015). A study on the semiotic literacy of the interactive modality in space.
[Doctoral dissertation, Hong-Ik University]
June-Ho, Suh. (2016). The Trade-show Stands Design’s Iconic Mode of Presentation in Peirce Semiotics. Journal of Basic Design & Art. 17(5), 375-389.
June-Ho, Suh. (2020). The Iconic Interactive Modality for the Physical Spatial-Experience and Generating the Meaning. Semiotic Inquiry, 63, 99-122, https://doi.org/10.24825/SI.63.4 Liszka, James J. (2019). A General Introduction to the Semeiotic of Charles Sanders Peirce,
Indiana University Press, (Lee, Y. H. Trans.). HU:INE. (Original work published 1996)
Peirce, Charles S.. (1931–1966). The collected papers of Charles S. Peirce, 1-8 vols.,
C.Hartshorne, P. Weiss & A. W. Burks (eds.). Cambridge: Harvard University Press. [Reference to Peirce’s papers will be designated CP followed by volume and paragraph number.]
Yun-Hee, Lee. (2020). Esthetic Experience and Iconic Communcation: Abductive Interpretation of Art Text. Semiotic Inquiry, 63, 179-208, https://doi.org/10.24825/SI.63.7
