영상서사를 문자서사와 비교하게 될 때 나타나는 기호적 속성 중 하나는 유상 성이며 다른 하나는 기호의 개별작용과 통합작용이다. 영상기호는 주로 기술을 이 용하여 화면영상을 현시시키는 영상매체에서만 발생하는 기호이다. 그리고 이러한 화면영상을 통하여 수용자로 하여금 화면영상에서 현시되는 대상을 실제 일상에 서 자극되어지는 사물이라고 여기게끔 유도한다. 따라서 영상서사의 구성기호는 이러한 유상적 특성을 토대로 중심작용을 하게 되며 이를 다시 통합시켜 영상기 호를 형성한다.
문자기호는 기호와 사물간의 관계가 상징성을 띄며 자의적으로 연결되어 있어 기호요소간의 결합작용을 유도한다. 이러한 문자기호의 속성은 영상기호의 속성과 도 별반 다르지 않다. 그러나 영상기호는 이러한 성격들이 관념적이며 추상적인 것이 아니라 구체적이고 실제적인 양상을 보여준다. 왜냐하면 문자문학과 달리 영 상서사에서는 기표에 해당하는 화면영상과 이미지인 유상 이미지, 개념인 유상 개 념이 텍스트 상에 현시되는 <동화상－자연언어－음악>과 연계되어 있기 때문이 다. 이로 인해 영상기호는 기표를 통해 수용자의 인지구조를 통해 머리 속에서 기 호요소간의 연결을 시도하는 것이 아니라 외부적인 텍스트 상에 현시되는 것처럼 느끼게 된다. 하지만 영상서사를 구성하는 기호인 동화상, 자연언어, 음악의 개별 적인 기호요소들 모두 텍스트 상에 현시되는 것은 아니다. 영상기호 역시 화면영 상을 통해 유상 이미지, 유상 개념의 맥락적 범위는 제시되지만 이를 통합시키기 는 작업은 수용자의 두뇌처리과정을 통해 이루어지게 된다. 따라서 영상서사에서 매우 입체적이며 복잡한 형태의 기호작용은 매우 단순화된 과정을 거치는 것으로 오인되기도 한다.
하지만 영상서사의 기호작용은 문자기호와는 다르게 지각의 종합성을 이용해야 만 의미처리가 가능해진다. 왜냐하면 영상서사의 구성기호인 동화상, 자연언어, 음 악의 개별적인 의미처리도 이루어져야 하지만 동시에 이들의 통합으로 형성되는 영상기호에서도 의미가 처리되어야 하기 때문이다. 이를 그림으로 표상하면 다음
과 같다.
영상기호
화면영상
유상개념
유상이미지
동화상 음악
이미지 자연언어
개념
소리
영상기호 요소
구성기호
영상기호
화면영상
유상개념
유상이미지
동화상 음악
이미지 자연언어
개념
소리
영상기호
화면영상
유상개념
유상이미지
동화상 음악
이미지 자연언어
개념
소리
영상기호 요소
구성기호
<그림 2> 구성기호와 영상기호의 작용과 형성
영상서사 텍스트에는 두 가지 종류의 기호가 작용을 한다. 하나는 구성기호로서 동화상, 자연언어, 음악이 각각 개별 기호작용을 하고, 다른 하나는 영상기호로서 구성기호들이 각각의 중심작용을 토대로 통합작용을 한다. 영상서사에서 의미작 용을 하는 기호는 영상기호로서 구성기호들의 각각의 중심작용을 토대로 새로운 의미를 형성한다. 이 때 형성된 새로운 의미는 구성기호의 개별적 수준의 의미작 용보다 확장성과 입체성을 보인다. 구성기호인 동화상, 자연언어, 음악이 한 텍스 트 안에 공존한다는 것은 같은 메시지를 토대로 통합적인 문법화 과정을 거치기 때문이다. 그래서 구성기호의 고유한 기능을 통합되는 영상기호 단위에서는 영상 기호와 구성기호의 유기적 관계가 형성되며 전체 의미 형성 시에도 서로 상보적 관계를 유지하게 된다.
문자기호의 경우 수용자가 기표의 자극을 받아 두뇌에서 처리한 이미지와 개념 의 연결 작업은 매우 관념적이며 추상적이다. 이에 비해, 영상기호는 화면영상을
통해 현시되는 이미지와 개념을 조합35)한 영상기호는 실제적인 운동성을 지니고 있어서 일정 정도의 정보가 지속되거나 반복된다. 따라서 이러한 연결성은 자체적 으로 동화상이나 자연언어에 메타적 속성을 부여하게 되어 수용자로 하여금 개념 형성에 도움을 준다. 그러므로 난해하고 의미처리가 어려운 경우에도 직접적인 이 미지 형성과 함께 개념들의 반복으로 인해 수용이 용이하게 이루어진다.
그러나 영상기호는 개별기호의 통합작용으로 형성되지만 하위 층위인 개별기호 보다 의미형성 측면에서는 자율성에 제약을 받는다. 왜냐하면 개별기호들은 필요 에 따라 개별적 확장이 가능하지만 영상기호에서는 통합되어 기호의 한 요소로서 만 작용하기 때문이다. 예로 개별기호인 동화상의 경우에는 독립된 기호이기 때문 에 기호요소 <기표－개념－이미지>를 갖는다. 그러므로 동화상이 하나의 독립된 기호로서 의미를 형성시키고자 할 경우 이들 세 기호요소가 각자 확장하면서 새 로운 의미를 형성시킬 수 있다. 하지만 영상기호에서는 동화상의 중심작용으로 이 미지 속성만을 차용하게 되며 형성되는 영상기호의 유상 이미지는 영상기호의 한 기호요소로서만 작용을 하게 된다. 이 중심작용으로 형성되는 영상기호의 유상 이 미지는 확장성에 제한을 받게 된다. 왜냐하면 유상 이미지는 엄밀하게 동화상의 중심작용과 연계되어 있어 영상기호의 한 요소로서 작용을 하더라도 그 개별기호 의 속성으로 인해 내재적으로는 기호 요소를 지니고 있다. 그리고 유상 이미지는 영상기호의 요소인 유상 개념과 다시 유기적인 관계를 지니고 있어 여러 번 확장 을 시킬 경우 내재적으로 지닌 기호 요소들에 의해 그 고유의 속성을 상실하게 된다.
대부분의 기호는 소통과정에서 사회화의 과정이나 학습의 과정을 통해 지속적 으로 고정화된다. 왜냐하면 한 번 소통체계가 파악된 기호는 일상적 용례로 인식 을 시작하기 때문이다. 이는 기호가 지식구조로 저장되어 활용된다는 의미이기도 하다. 그러므로 영상서사에서 기호의 통합에 작용하는 가장 큰 힘은 학습된 지식
35) 루돌프 아른하임, ꡔ시각적 사고ꡕ, 김정오 옮김, (이화여자대학교 출판부, 1997). p. 311～
334. 언어는 독립적으로는 사고의 요소들에 형체를 거의 줄 수 없는 소리나 표지들의 지 각 매체임을 주장한다.
또는 저장된 기억이라 할 수 있다. 영상서사의 구성기호들의 <기표－개념－이미 지>의 관계가 사회화의 과정이나 학습의 과정에서 거의 공통적으로 이루어진다면 이는 사회적 성격을 지니게 된다.
그러나 영상기호는 고정화되는 한편 동시에 고정화에서 벗어나기도 한다. 이는 일반 영상서사와는 다른 영상서사의 특성이다. 이럴 경우 영상서사의 기호요소는 사회적 체계에서 벗어나 심층적 체계로 확장된다. 즉, 영상기호의 기표가 표층적 체계의 범주를 벗어나는 이미지, 개념과 네트워크를 형성한다는 것을 의미한다.
그렇게 되면 기호는 개인적이며 주관적인 성격을 지니게 되고 이를 인지하게 되 는 수용자는 새로운 <기표/개념/이미지>를 통합하는데 많은 노력이 필요하다. 이 를 구체적으로 도식화하면 다음과 같다.
유상 이미지 ⇒ 심층적 유상 이미지
⇗
⇕ ⇕
시각적 기표 ⇔음성적 기표
⇘
유상 개념 ⇒ 심층적 유상 개념
표층적 체계 심층적 체계
<그림 3> 영상기호의 의미 확장 체계
기호는 고정성과 이를 벗어나 확장하려는 성질을 갖고 있다. 이는 영상기호에서 도 마찬가지이다. 위의 도표에서 살펴 볼 수 있듯이 기호의 고정성은 유상 이미지 와 유상 개념이 통합되어 사회적 의미로 처리되는 반면 이를 벗어나는 체계는 유 상 이미지와 유상 개념을 매개로 확장된 심층적 유상 이미지와 심층적 유상 개념 으로 나타난다.
영상서사에서 의미 확장은 문자문학과는 다른 양상을 보여준다. 문자문학에서의
의미의 확장은 <표층적 의미 → 백과사전적 의미 → 시적 의미>로 확장되어 기 호의 의미작용 폭을 단계별로 넓혀간다.36) 그러나 영상서사에서는 영상기호의
<화면영상－유상 이미지－유상 개념>의 유상적 속성과 개별 기호 간의 긴밀한 연결 관계로 인해 의미 확장에 제약성을 지닌다. 즉, 영상기호의 의미작용은 <표 층적 의미→ 심층적 의미> 층위의 두 단계에서 작용하게 된다. 왜냐하면 심층적 유상 이미지나 심층적 유상 개념은 모두 그 속에 <기표－개념－이미지>의 요소 를 다시 갖고 있어 이들이 서로 상호작용을 하게 되면 매우 복잡하게 얽혀 심층 적 유상 이미지의 이미지가 개념으로 바뀌거나, 심층적 유상 개념에서 개념이 이 미지로 바뀔 수 있기 때문이다. 그렇게 되면 영상기호의 고유 속성인 유상성을 상 실하게 되어 의미파악은 거의 불가능해진다고 볼 수 있다. 따라서 영상서사의 의 미층위는 심층적 수준에서 일어나는 기호들의 통합작용에 의해 형성되는 의미층 위로 제한할 수밖에 없다. 즉, 영상서사의 개별 기호와 이에 따른 영상기호의 폭 넓은 확장에 의해 형성되는 심층적 정보의 범위 내에서 의미를 파악해야 함을 뜻 한다. 이는 영상서사의 수용 가능한 범위의 문제로서, 텍스트에서 발생되는 정보 량과 약호체계에서 발생되는 새로움과 낯설음이 너무 과도해지면 수용이 어려워 진다는 점을 의미한다.
동화상은 영상기호의 속성 중 유상적 이미지에 속한다. 유상적 이미지는 이미지 작용과 더불어 유상적 속성으로 인해 구체적이고 실제적인 대상을 수용하는 역할 이 중심을 이룬다. 더구나 유상적 이미지는 유상 개념과 연계하여 의미작용을 하 기 때문에 자연언어에 의해 다시 제약을 받게 된다. 이는 자연언어의 경우에도 마 찬가지이다. 영상기호에서 자연언어가 개념적으로만 한정해서 사용될 경우 유상 이미지에 의해 제약을 받게 되어 개별 기호보다 기호의 확장성이 떨어진다. 영상
36) 송문석, ꡔ시텍스트의 창작과 수용에 관한 연구ꡕ, (제주대 대학원 박사학위 논문, 2004).
pp. 36～50. 사전적 의미는 <기표－이미지－개념>으로 묶여져서 일상화되었거나 두뇌처 리 과정을 거치는지에 대한 인식없이 자동적으로 이루어지는 관계라고 한다면 백과사전 적 의미는 이미지이나 개념 또는 기표가 갖는 명세(明細)사항이라고 할 수 있으며 문학적 의미는 이러한 백과사전적 의미를 토대로 만들어내는 새로운 의미와 약호화 과정라고 할 수 있다.