과학과 시스템 상호작용

(1)

(2)

(3)

과학과 시스템 상호작용

- 고등학교 차시대체2 (교사용) -

ICT 헬스(ICT Health) 프로그램

(4)

¨ Program 차시대체Ⅱ 과학과 시스템 상호작용

□ 1차시 우리 몸의 정보 ... 08

¨ Program 차시대체Ⅱ 과학과 시스템 상호작용

□ 2차시 인터랙티브 아트 ... 21

(5)

□ 4차 산업혁명 시대는 모든 것이 상호 연결되고 보다 지능화된 사회로 변화하는 것으 로 인공지능(AI), 사물인터넷(IoT), 클라우드 등 정보통신기술(ICT)의 발전과 확산을 통 해 인간과 인간, 인간과 사물, 사물과 사물 간의 연결성이 확대되고 있습니다.

□ 정보통신기술(ICT)의 발달은 보건의료 패러다임의 변화를 가져왔습니다. 의료와 정 보통신기술(ICT)을 융합한 디지털 헬스케어가 급속히 성장함에 따라 치료와 병원 중 심에서 예방과 관리를 통한 건강증진에 관해 관심이 증가하였고 이와 관련한 웨어러 블 기기, 모바일 등이 다양하게 활용되고 있습니다. 특히 의료산업에 인공지능, 클라 우드, IoT 등 디지털 신기술이 접목되면서 디지털 헬스케어는 4차 산업혁명 시대의 핵 심 산업분야로 성장하고 있습니다.

□ 청소년기 건강관리를 위해서 신체활동은 매우 중요한 요소입니다. 신체활동은 골격 근의 에너지를 소비하는 스포츠, 운동과 놀이, 걷기, 춤추기 등과 같은 신체의 모든 움 직임을 포함합니다. 그러나 청소년 시기에 신체활동 실천율이 매우 낮고, 그 원인이 시 간 부족 때문이라고 보고되고 있습니다. 이에 따라 청소년의 건강관리 및 신체활동 참 여율을 높이고 ICT 기술을 활용한 신체활동 프로그램을 개발하였습니다.

□ 교실 내의 제한된 환경을 활용 가능한 기술과 연결하여 에듀테크 환경을 학생들에게 제공하여 몰입감을 통해 재미있게 주제중심으로 자유롭게 활동할 수 있도록 하는 것 이 매우 중요합니다. 에듀테크 환경에서 재미있게 활동할 수 있는 디지털 헬스 프로 그램을 통하여 과학기술을 이해하고 융ㆍ복합 능력을 강화하고 창의적 역량을 강화 할 수 있습니다.

□ ICT를 활용한 신체활동을 통해 ICT 헬스프로그램의 디지털 헬스를 구현함으로써 학 생들은 과학적 지식의 이해를 바탕으로 학습내용과 건강이 연계된 재미있는 신체활 동을 경험할 수 있고, 교사들에게는 학교 현장에서 ICT를 활용한 교과연계 수업이 가 능하도록 하였습니다.

□ 차시대체형은 단순한 교과 내 지식전달이 아닌 활동과 경험을 통한 지식의 체득을 목 표로 하며, 자유학년제형은 교과 외 활동에서 건강과 관련한 활동중심의 차별화된 프 로그램을 제공하고자 하였습니다.

Ⅰ

프로그램

개발 배경과

목적

(7)

Ⅱ

프로그램

개발내용 및

과정

(8)

□ 프로그램 총괄표

- 고등학교 프로그램은 ‘ICT 헬스(ICT Health)’ 프로그램으로 차시대체형 3종, 6차시로 구성되어 있습니다.

- 본 프로그램은 과학, 기술, 체육 교과에서 추출한 지식내용을 통합예술활동(음악, 미술, 무용 등) 및 ICT를 활용한 인터랙티브 활동을 통해 더 효과적으로 이해하고 경험하도록 하였고, 이를 통 해 체화된 지식으로써 장기기억으로의 전환이 가능하도록 하였습니다.

- 인터랙션 활동을 통해 과학지식의 내용을 ICT와 연결하여 재미있게 활동하면서 이해할 수 있는 경험을 할 수 있도록 하였습니다.

- 모든 프로그램 내 활동은 재미 요소를 극대화하였고 개인, 모둠별 활동을 통해 다양한 상호작용 이 가능하도록 구성하였습니다.

- ‘ICT 헬스(ICT Health)’ 프로그램을 통한 다양한 활동과 경험은 학생들의 STEAM(융복합) 역량을 강화하고 창의성을 발현할 기회를 제공할 수 있습니다.

- 또한, 제한된 교실 환경을 에듀테크 환경(VR, 코딩, 어플리케이션 등)으로 주제학습을 할 수 있 는 프로그램을 제공하여 재미있게 활동하는 과정에서 다양한 과학기술을 경험하고 사고를 확 장할 기회를 얻습니다. 이러한 에듀테크 환경은 학생들이 융합형 인재로 성장할 수 있는 창의적 공간을 제공합니다.

Ⅲ

프로그램

내용 프로그램명 개발내용 차시별 주제

건강 -

4차 산업혁명을 만나다 : 디지털 헬스 (총13차시)

고등학교(6차시)

ICT 헬스 프로그램

바이오(Bio)와 건강 차시대체Ⅰ(3차시)

1. 맞춤 운동 2. 움직임과 심박수 3. 심폐기능강화

Exercise 과학과 시스템 상호작용

차시대체Ⅱ(2차시)

1. 우리 몸의 정보 2. 인터랙티브 아트 첨단과학과 건강

차시대체Ⅲ(1차시)

1. 스마트 건강 Exercise

(9)

□ 프로그램 구성

□ 2015 개정 교육과정 연계

Ⅳ

프로그램

구성 1차시. 우리 몸의 정보 2차시. 인터랙티브 아트

학습 목표

· HCI의 개념을 이해하고 다양한 사례 를 감상할 수 있다.

· 인간과 인간, 인간과 기계의 상호작 용을 움직임을 통해 표현할 수 있다.

· 모션 그래픽 영상을 창의적인 움직 임으로 구성하고 발표할 수 있다.

· 인터랙티브 아트의 개념을 다양한 사례 를 통해 이해할 수 있다.

· 아바타와 함께 춤을 추면서 움직임을 통한 상호작용을 경험할 수 있다.

활동 구성

상황 제시

[ 활동1 ] 인간과 컴퓨터 상호작용

(Human-Computer Interaction, HCI) ^{[ 활동1 ]} 움직임과 ICT 동영상 감상 [ 활동2 ]

HCI 사례 동영상 감상

창의적 설계

[ 활동1 ]

인간과 인간의 상호작용 [ 활동1 ]

춤추는 아바타 [ 활동2 ]

인간과 기계의 상호작용

감성적

체험

[ 활동1 ]

인간과 기계의 상호작용 움직임 발표

[ 활동1 ] 아바타와 함께 춤을

융합 과학

[ 내용요소 ] 센서

[ 성취기준 ] [12융과04-02]정보를 인식하는 여러 가지 센서의 기본 작동 원리를 이해하고, 휴대전화, 광통신 등 첨단 정보 전달기기에서 정보가 다른 형태로 변환되어 전 달되는 과정을 설명할 수 있다.

통합 과학

[ 내용요소 ] 문화예술 속 과학

[ 성취기준 ] [10과탐02-02]영화, 건축, 요리, 스포츠, 미디어 등 생활과 관련된 다양한 분야 에 적용된 과학 원리를 알아보는 실험을 통해 과학의 유용성을 설명할 수 있다.

기술

[ 내용요소 ] 첨단 통신 기술

[ 성취기준 ] [12기가04-06]정보통신기술 분야의 첨단 기술에 대하여 조사하여 보고, 정보 통신 산업의 발전 방안을 토의하고 발표한다.

체육

[ 내용요소 ] 신체 표현에서의 표현 문화와 신체 문화

[ 성취기준 ] [12체육04-01]신체 표현 양식과 창작 원리에 따라 느낌이나 생각, 감성 소통 을 움직임 표현에 적용하여 신체 문화를 이해하고 탐색한다.

음악

[ 내용요소 ] 음악의 구성

[ 성취기준 ] [12음01-02]악곡의 종류에 어울리는 신체표현을 한다.

(10)

□ Program 차시대체Ⅱ 과학과 시스템 상호작용

□ 1차시 우리 몸의 정보

1차시 프로그램은 ‘바른 자세’로 생각열기(상황제시) - 생각 펼치기(창의적 설계) - 생각 정리하기(감성적 체험)로 구성하였다. 본 차시는 HCI의 개념을 바탕으로 인간과 인간, 인 간과 기계의 상호작용을 이해하고 움직임을 통해 경험하고 표현하는 활동이다. 이러한 과정은 과학기술을 재미있는 활동을 통해 경험함으로써 기술을 즐겁게 이해하고 장기기 억으로의 전환이 가능하도록 한다.

Ⅴ

차시별 프로그램 구성

과목/준거틀 상황제시 창의적 설계 감성적 체험

융합과학 ○

통합과학 ○

기술 ○ ○ ○

체육 ○

음악 ○

(11)

프로그램명

과학과 시스템 상호작용 1차시

차시 주제

우리 몸의 정보

교육목표

· HCI의 개념을 이해하고 다양한 사례를 감상할 수 있다.

· 인간과 인간, 인간과 기계의 상호작용을 움직임을 통해 표현할 수 있다.

· 모션 그래픽 영상을 창의적인 움직임으로 구성하고 발표할 수 있다.

차시 설계의도

HCI의 개념을 바탕으로 인간과 인간, 인간과 기계의 상호작용을 이해하고 움직임을 통 해 경험하고 표현하는 활동이다. 이러한 과정은 과학기술을 재미있는 활동을 통해 경 험함으로써 기술을 즐겁게 이해하고 장기기억으로의 전환이 가능하도록 한다.

준비물

동영상 자료, 학생용 워크북 활동지, 태블릿PC, 인터넷WIFI

상황제시 인간과 컴퓨터 상호작용

[ 활동 가이드 ]

HCI의 개념을 이해하고 미디어 아트, 인터랙티브 아트 공연, 로봇과의 상호작용(HCI) 사례를 영상으로 감 상하는 활동이다. 이 활동을 통해 인간과 컴퓨터 상호작용의 원리가 적용될 수 있는 다양한 분야를 이해하 고 미래사회의 모습을 상상하고 예측하는 융복합 능력을 기를 수 있다.

활동1 인간과 컴퓨터 상호작용

(Human-Computer Interaction, HCI)

- 인간과 컴퓨터 상호작용인 HCI의 개념을 설명한다.

- HCI의 개념을 이해한다.

학습자료 인간과 컴퓨터 상호작용

HCI는 과학과 인문학 사이의 인터페이스다. 인간 컴퓨터 상호작용 (Human-Computer Interaction, HCI, CHI)은 인간과 컴퓨터 간 상호 작용에 대해 연구하는 분야다.

국제컴퓨터학회(Association of Computing Machinery, ACM)의 SIGCHI(Special Interest Group Computer Human Interaction) 정의 에 따르면 HCI는 어떻게 하면 사람들이 쉽고 편하게 컴퓨터 시스템과 상호작용할 수 있는가를 연구하는 학문으로, 시스템을 디자인하고 평 가하는 것과 함께 이러한 시스템을 사용하는 인간의 특성에 대해 연 구하는 분야다.

HCI에서 상호작용은 사용자와 컴퓨터 사이에 있는 사용자 인터페이 스에서 발현되는 작동을 의미하는데, 그 의미가 점차 확대되고 있다.

아울러 기술의 발전과 더불어 사용자, 컴퓨팅, 인터페이스 등의 정의 와 의미 또한 확장되고 있다.

1 우리 몸의 정보

중심 교과

융합 과학,

통합 과학,

기술

STEAM 요소

S, T, A

(12)

활동2 HCI 사례 동영상 감상

- 미디어 아트 사례를 감상한다.

- 미디어 아트 사례를 통해 이해를 확장한다.

- 인터랙티브 아트가 적용된 공연예술을 감상한다.

※ Box

· 출처: Creators

· https://www.youtube.com/watch?v=lX6JcybgD-

Fo&list=PLDrZrymk0dViuIepmvXIFy54v5pMovI9n&index=2

· 프로젝션 맵핑 기술을 활용한 미디어 아트

※ ECLIPS PICTURES - GALA STARTUP 2017 HOLOGRAM

· 출처: V Vlash

· https://www.youtube.com/watch?v=CwZPEPMjBYU&list=RDCwZ- PEPMjBYU&index=1

· 인터랙티브 아트 퍼포먼스

※ E세계의 ‘쿨’한 로봇 10선

· 출처: Topic

· https://www.youtube.com/watch?v=Mt6Zb9ENug8

· 인간과 상호작용이 가능한 로봇

학생용 활동지

선택활동 ^{생활 속 HCI}

- 이전에 HCI를 적용한 전시나 게임(Wii, 키넥트 등)을 경험한 적이 있 는지 이야기해본다.

(13)

활동1 인간과 인간의 상호작용

- 두 명이 마주 보고 선다.

- 한 사람이 자유롭게 움직이면 맞은편 사람이 거울처럼 상대방의 표 정과 움직임을 따라 한다.

- 활동을 할 때 움직이는 것이 어색하지 않도록 음악을 틀어준다.

- 처음에는 손바닥 마주 대기, 앉기, 멈추기 등 간단한 동작 2~3개를 연결하도록 하고 점진적으로 동작의 개수를 늘린다.

- 역할을 바꿔서 해본다.

학생용 활동지 학생용 활동지

창의적설계 여러 가지 상호작용 활동

[ 활동 가이드 ]

인간과 인간의 상호작용은 거울 모방하기 활동을 통해 이해하고, 인간과 기계의 상호작용은 모션 그래픽 을 활용하여 움직임을 구성하고 표현여 상호작용하는 활동이다. 이를 통해 HCI의 상호작용 개념을 활동 과 경험을 통해 이해하고 창의적인 사고의 확장을 함양할 수 있다.

중심 교과

기술, 체육

STEAM 요소

T, A

(14)

활동2 인간과 기계의 상호작용

- 모션 그래픽 동영상을 4개 준비한다.

- 태블릿PC로 영상을 감상하고 모둠별로 한 개의 동영상을 선택한다.

- 전체 영상 중 한 부분을 선택하여(30초) 모둠원이 모션 그래픽 영상 과 상호작용하는 움직임을 구성한다.

- 모둠원이 동시에 움직일 수도 있고, 한 명씩 차례대로 움직일 수 있다.

https://www.youtube.com/

watch?v=DRbRcjXXtHE&list=RD- DRbRcjXXtHE&start_radio=1&t=29

watch?v=0Ept5dpVfuc&list=RD- DRbRcjXXtHE&index=4

watch?v=urRXvBZfqxs&list=RD- DRbRcjXXtHE&index=8

watch?v=lddt8xbbObo&list=RD- DRbRcjXXtHE&index=26

학생용 활동지

선택활동 ^{감정 그림자}

- 화이트 보드 혹은 흰색 전지를 교실 앞에 준비한다.

- 모둠별로 감정을 선택하여 신체형태 혹은 움직임을 구성한다.

- 한 모둠씩 조명(빔프로젝트) 앞에 서고 다른 학생들은 발표하는 모둠 을 등지고 화면을 바라보고 앉는다.

- 모둠이 감정을 표현하면 다른 학생들은 그림자의 움직임을 보고 느 껴지는 감정을 이야기한다.

학생용

활동지

(15)

감성적체험 인간과 기계의 상호작용 표현

[ 활동 가이드 ]

모둠별로 구성한 상호작용 움직임 표현을 감상함으로써 인간과 기계의 상호작용을 이해하고 확장할 수 있다. 이 활동을 통해 미래환경에 대응할 수 있는 능력을 기를 수 있다.

활동1 인간과 기계의 상호작용 움직임 발표

- 모둠별로 모션그래픽 영상을 준비하고 동시에 움직임을 발표한다.

- 다른 모둠원은 발표를 감상한다.

학생용 활동지

선택활동 ^{감정의 차이}

- 각 모둠의 그림자 움직임을 보고 느껴진 감정을 이야기한다.

- 움직임으로 표현한 감정과 움직임을 관찰하고 느껴진 감정의 차이가 있는지 이야기한다.

학생용 활동지

중심 교과

기술, 음악

STEAM 요소

T, A

(16)

읽을거리 1 인간과 컴퓨터 인터랙션

인간-컴퓨터 상호작용(Human-Computer Interaction)은 컴퓨터 과학, 공학, 심리학, 사회과학, 디자인 등 다양한 분야의 전문가들이 중요한 역할을 수행하는 융합 학문이다. HCI에서 상호작 용은 사용자와 컴퓨터 사이에 있는 사용자 인터페이스에서 발현되는 작동을 의미하는데, 그 의 미가 점차 확대되고 있다.

HCI의 목적

HCI 학문의 목적은 시스템의 ‘기능성’만이 아니라 ‘사용 편의성(usability)’과 ‘안전성(safety)’ 그 리고 ‘효율, 효과성(efficiency, effectiveness)’이 고려된 컴퓨팅 시스템을 만들거나 개선하는 것 이다. 사람들이 컴퓨터라는 도구에 대한 부담 없이 원하는 일을 성공적으로 수행하는 데 도움을 줄 수 있도록 하기 위함이다. 즉, ‘사람이 자신의 일을 하기 위해 컴퓨터를 쓰는 것’이지 ‘컴퓨터라 는 도구가 인간보다 우선해 존재하는 것’은 아니다.

컴퓨터 시스템을 개발할 때를 예로 들어 보면 사용자가 어떻게 시스템을 조작해야 할지 고민 하지 않도록 조작에 대한 것들이 가시화(visibility)해 있어서 그 기능을 충분히 짐작할 수 있고 (affordance), 일을 어떻게 진행해야 할지 시스템으로부터 도움을 받을 수 있어야 한다. 그러기 위해서는 ‘사람’이 특정 객체를 보고 어떻게 생각하는지, 어떻게 행동하는지에 대해 관심을 기 울여야 한다.

따라서 HCI의 핵심 요소 중 하나는 ‘시스템을 사용할 사람’의 인지 프로세스를 고려해 컴퓨터 와 상호작용에서 장벽(barrier)이 없고 목표 달성에 도움이 되는 것으로, 그에 대한 고민이 매 우 중요하다. ‘컴퓨터나 기술에 사용자가 어떻게 하면 잘 적응해 나갈지’는 도움이 되는 고민 이 아니다. 사용자를 고려한 시스템을 만든다면 개인이나 조직에 획기적인 생산성 증가를 가 져오게 할 수 있다.

HCI의 연구 분야

인간과 컴퓨터 상호작용 연구 분야는 다양하지만 크게 사용자, 컴퓨터, 상호작용의 세 가지 분야 에서 어느 분야를 중점적으로 연구하느냐에 따라 분류가 된다. 우선 사용자자체를 연구하는 경 우라면 심리학, 인지심리학, 커뮤니케이션학, 사회학 등의 분야에서 사용자로서 인간을 연구한 다. 심리학에서는 행동, 개념, 요인에 대한 연구를 하며, 인지심리학에서는 인지, 관심, 기억과 문 제해결, 사용자의 능력과 한계, 학습 등에 관해 연구를 한다. 사회학이나 사회심리학에서는 SNS 같은 가상공간에서 인간의 행동이나 사회에 영향을 주는 기술에 관한 연구를 수행하기도 한다.

이처럼 HCI 관련 학문 분야는 매우 다양하고 시대 요구에 따라 추가되어 발전하고 있다. 최근에 는 사용자 경험(user experience), 사용자 가치(user value), 사회적 경험(social experience) 등 의 새로운 개념들이 나오고 있고, 사용자 분야의 연구와 인터랙션 분야를 같이 연구하는 경향 이 강하다. 사용자 경험(UX, User Experience)은 사용자가 어떤 시스템, 제품, 서비스를 직·간 접적으로 이용하면서 느끼고 생각하게 되는 지각과 반응, 행동 등 총체적 경험을 말한다. 사용 자 경험은 HCI 연구에서 사용된 개념이며, 아직도 많은 사용자 경험의 원리가 컴퓨터 공학 분야 의 소프트웨어와 하드웨어 개발에서 비롯되고 있다. 이 개념은 현재에 와서는 컴퓨터 제품뿐만 아니라 산업을 통해 제공되는 서비스, 상품, 프로세스, 사회와 문화에 이르기까지 널리 응용되 고 있다. 사용자 경험을 개발, 창출하기 위해서 학술적, 실무적으로 이를 만들어 내고자 하는 일 을 사용자 경험 디자인이라고 하며, 영역에 따라 제품 디자인, 상호작용 디자인, 사용자 인터페 이스 디자인, 정보 아키텍처, 사용성 등의 분야에서 주로 연구 개발하고 있다. 그러나 사용자 경 험은 다학제적이며 다분야의 총체적 시각에서 접근해 나가야 하는 핵심 원리를 바탕으로 한다.

(17)

사용자 가치란 제품·서비스의 사용 주기에 따라 사용자가 스스로 느끼고 얻을 수 있는 모든 가 치를 의미한다. 이는 사용성과 사용자 경험 개념을 구분 짓는 중요한 요인으로 경영학과 디자인 분야에서 부각되고 있으며 다양한 문헌에서 사용자 가치의 개념이 나타나고 있다. 주요 구성 요 소로는 다른 사람과 차별된다는 느낌, 제품에 대한 신뢰 등이 있다. 최근에는 사용자 경험을 보 다 전반적이고 구조적인 체계로 측정하기 위해서는 사용자가 특정 기술의 사용을 통해 추구하 는 가치(value)와 그 같은 가치를 실현할 수 있는 기술의 속성(attribute)과 결과(consequence), 그리고 속성, 결과, 가치와 연관 관계를 구조적인 체계로 살펴보아야 한다는 가치 중심 디자인 (value-sensitive design)이 등장하고 있다.

사회적 경험은 개인 사용자들의 행동이나 경험뿐만이 아니라 이들 사용자들이 다른 사용자들 과 상호작용하는 소셜 인터랙션(social interaction)에 초점을 맞추는 것이다. 한 가지 예로 소 셜네트워크서비스(SNS, Social Network Service)의 대중화와 더불어 한때 굉장한 인기를 끌 었던 스마트폰 게임인 <위룰(We Rule)>이 있다. 이 게임의 경우 혼자 플레이 하는 것이 아니 라 다른 사용자들과 여러 건물과 농장을 경영해 자신만의 왕국을 건설하는 게임이다. 이 게임 에서 플레이어는 지속적으로 SNS를 통해 관계를 맺고, 이를 통해 다른 플레이어의 성을 찾아 가 업무를 맡겨야만 더 많은 돈을 벌 수 있다. 따라서 대부분의 플레이어들은 트위터를 통해 공 유하거나 페이스북 친구들을 이 게임으로 초청해 같이 즐기는 경우가 많다. 플레이어들이 서로 인터랙션을 주고받으면서 맥락(context)을 계속해서 쌓아 나가는 것이 이 게임의 성공 비결이 고 이것이 ‘소셜 경험’이다. 그동안 마이크로(micro)적 사용자 경험이 어떻게 전체 커뮤니티에 서 군집을 이루어 집단 경험(collective experience)을 만들어 내고 새로운 가치를 창출하는가 하는 문제가 중요해졌다.

이런 측면에서 UX란 용어와 더불어 SX(Social eXperience)란 용어가 키워드로 부상하고 있다.

UX가 개별 사용자의 경험에 천착하고 개별 기기 디자인에만 쓰이는 것을 넘어서, 그런 하나하 나의 UX가 모여 집단 형태의 경험을 어떻게 창출하고, 또 보편적인 디자인으로 어떻게 승화할 것인가가 중요해지는 때가 오고 있다. 앞서 <위룰>의 사례를 보면 알 수 있듯이 온라인으로 친 구를 초대하고 타인과 협력을 해 게임을 진행하는 과정 동안 개인적인 목적만을 이루기 위해 무 의미한 관계를 형성하는 것은 문제가 있어 보인다. 관계를 통해 연결된 연결 지성이나 소셜 네 트워크는 자기 혼자만의 것이 아니다. 단어 그대로 ‘소셜’이기에 상대방을 배려하고 진정한 ‘신 뢰를 바탕으로 한 관계’ 형성이 뒷받침해야 건강한 소셜 인터랙션이 완성된다. 그렇지 않으면 금 세 ‘소셜 피로감(social fatigue)’ 때문에 형성된 네트워크가 한순간에 사라질 수 있다. 이러한 소 셜 네트워크의 문맥을 이해하고, 건강한 소셜 문화를 만드는 것이 중요하다.

사용자와 인터랙션 외에 기술적 HCI에 초점을 두는 분야도 있다. 컴퓨터학이나 산업공학에서 는 인간 공학적 연구나 사용자 인터페이스를 위한 알고리즘 개발, 시스템 구조나 소프트웨어의 개발에 관한 연구를 수행한다. 최근의 HCI 기술은 스마트 인터랙션을 중심으로 개발되고 있는 데, 스마트 디바이스에 적용할 음성, 터치, 제스처, 센서, 동작, 증강현실(AR), 무선통신 기술과 감 성 기반 인터랙션 기술 등이 집중적으로 개발되고 있다.

이와 함께 스마트 인터랙션을 위한 동작 인식과 증강현실 기술 등이 웨어러블 컴퓨팅과 함께 연 구가 되고 있다. 최근의 HCI 기술 발전 동향은 제한된 기계 중심의 인터페이스를 벗어나 체화한 인지(embodied cognition) 등 좀 더 인간 친화적인 조작 방법에 대한 연구가 주를 이루고 있다.

[네이버 지식백과] 인간과 컴퓨터 인터랙션 (인간과컴퓨터의어울림, 2014. 4. 15., 신동희)

읽을거리 2 [훤히 보이는 지능형 로봇] 로봇의 감성 인식과 표현

로봇에서 감성은 감성 인식, 감성 생성, 감성 표현기술로 구분할 수 있다. 로봇 감성 기술의 모델 은 심리학에서 인간을 모델링한 감성 모델을 적용하고 있으며 인지과학적인 접근 방법에도 연 구가 이루어지고 있다. 로봇의 감성은 인간-로봇 상호작용을 통한 사용자에게 자연스러움과 흥 미를 주고, 로봇의 상태를 표현 가능하게 하며 로봇에게 사회적 특성을 부여할 수 있다.

그러나 비전을 통한 인식 정보를 이용하여 인간의 감성을 파악하거나, 음성 인식을 통한 음성의 강도, 템포, 억양 등을 파악하여 감성을 파악 하는 데는 아직도 한계가 있으며, 감성 표현의 수단 으로는 주로 얼굴을 이용한 감성 표현에 집중되어 있고, 접촉과 같은 다양한 신체 부위를 통한 인간과 로봇 간의 감성적인 교류 및 감성 표현 기술은 미흡하다.

최근 생물체와 보다 가까운 로봇을 개발하기 위해 다양한 센서들이 개발되고 있으며 자연스러 운 인간과 로봇의 상호작용을 위한 연구가 진행되고 있다. 센서, 음성, 시각, 상황 인지 기술 등 다 양한 입력 정보를 통해 인간과 유사한 감성을 표현하고, 인간의 감성 상태를 파악해 인간과 상 호작용이 가능한 형태의 사회적 로봇에 대한 연구가 활발히 이루어지고 있다.

특히 시각 센서와 청각 센서뿐만 아니라 촉각 센서를 통해 사람과의 상호작용에서 인식될 수 있 는 감성적 상황지각(Emotional Context Perception)에 대한 연구가 진행되고 있다.

그러나 사람의 감성 상태는 주로 로봇의 감성을 변화시키는 요인으로 사용되기 보다는 로봇이 사람의 감성 상태에 따라 서비스를 제공할 수 있도록 연구되어 왔다. 지금까지 엔터테인먼트 로 봇 혹은 애완용 로봇에서 일반적으로 촉각 센서는 강화학습(Reinforcement Learning)에서 보 상과 처벌을 주기 위한 채널로 이용되어 왔다.

이외에도 로봇의 감성을 변화시킬 수 있는 상황을 감지하기 위해 조도 센서, 온도 센서, 가속도 센서, 후각 센서, 배터리 잔량 센서가 보편적으로 로봇에 사용되고, 타이머를 이용하여 로봇의 24 시간 주기 리듬(Circadian Rhythm)을 계산하여 감성 변화에 반영시키고 있다.

감성적 상황 지각이란?

센서들을 통해 감성로봇의 감성을 변화시킬 수 있는 상황을 지각하는 것을 감성적 상황 지각(Emotional Context Perception)이라 한다. 로봇은 다양한 센서들의 값을 기호화 (Symbolization)하여 감성적 상황을 지각하고, 사용자를 인식해 자신에게 적대적인 사 람인지 우호적인 사람인지 판단하여 그에 따라 변화된 감성을 행동으로 표현함으로써 사용자에게 지속적인 관심을 가질 수 있도록 한다.

시각센서를 통한 감성 인식

말을 사용하지 않은 의사소통(Non-Verbal Communication) 방법으로는 얼굴 표정과 몸짓 (Gesture)이 있다. 특히 얼굴 표정은 의식적으로 또는 무의식적으로 감성 상태가 잘 나타나는 의사소통이다. 얼굴 표정은 자신의 감성 상태를 나타내는 수단으로뿐만 아니라, 상대방의 감성 상태를 알 수 있는 중요한 요인이 된다.

얼굴 표정에 따른 감성 인식은 주로 인간과 컴퓨터 상호작용(HCI) 분야에서 사용자의 감성 상 태를 파악하여 그에 따른 적합한 정보를 제공할 수 있도록 하기 위해 연구되고 있으며, 최근 인 식 방법의 성능과 안정성을 높이기 위해 음성 정보를 같이 고려하는 다중모달 감성 인식(Multi- modal Emotion Recognition) 방법이 소개되고 있다.

(19)

인간 로봇 상호작용(HRI) 분야에서도 로봇이 사용자 별로 다른 정보를 제공해주거나 행동을 보 여 주기 위해 사용자의 얼굴을 보고 인식하는 기술들이 제한적으로 적용되거나 연구되고 있으 나, 로봇이 사용자의 얼굴 표정으로 사용자의 감성을 인식하는 연구는 초기 단계이다.

리틀워트(G. Littlewort)와 바틀레트(M.S. Bartlett)는 인간과 공존할 수 있는 사회적 로봇(social robot)이 인간과 자연스럽게 의사소통하기 위해서 요구되는 기술 중의 하나가 사용자의 얼굴 표정을 통해 자율적으로 감성을 인식하는 것으로 보고 있다.

이들은 비디오스트림 데이터에서 실시간으로 처리될 수 있는 AdaBoost와 SVM(Support Vec- tor Machine)을 결합한 인식 방법을 제안했고, 제안한 방법을 ATR에서 개발 중인 사회적 로봇 로보비(Robovie)에 적용해 평가한 결과, 4명의 사람과 로봇이 판단한 결과가 0.87%의 상관계 수(Correlation Coefficient)를 보임으로써 가능성을 확인했다.

청각센서를 통한 감성 인식

로봇이 사용자와 의사소통을 하면서 사용자의 감성 상태를 인식할 수 있는 또 다른 중요한 채 널은 청각 센서를 이용한 음성이다. 얼굴 표정에 따른 사용자 감성 상태 인식과는 다르게, 음성 을 통한 사람의 감성 상태를 인식할 때에는 감성 상태에 따른 구조화된 발화(Structured Utter- ance)를 찾기가 어렵기 때문에 일반적으로 화자(話者)들에게 주어진 문장들을 감성 상태에 따 라 말하도록 하여 화자마다 감성 상태에 따른 발화를 생성한다.

그러나 이렇게 생성된 구조화된 발화는 화자가 의식해서 감성 상태에 따라 발화하기 때문에 실 생활에 나타나는 감성에 따른 발화와는 차이가 있을 뿐만 아니라 화자 간의 차이도 있다. 이러 한 문제들 때문에 영화에서 화자의 감성이 나타나는 대사들을 인위적으로 추출해 실험에 사용 했고, 카즈노리 코마타니(Kazunori Komatani)는 불특정 다수의 감성 상태를 인식할 수 있도록 발화의 기본 주파수, 크기, 길이와 발화간의 시간을 기반으로 계산된 29개의 특징을 제안했다.

로봇이 자신과 대화하는 사람의 감성 상태에 따라 대화를 한다면, 사람에게 보다 친근한 느낌을 줄 수 있는 사회적 로봇이 될 것이다. 따라서 이러한 관점에서 연구들이 진행되고 있다. 대화중 에 화자에게 나타날 수 있는 감성은 즐거움이나 당혹감과 같이 일시적으로 나타나는 감성과 호 감, 긴장감과 같이 대화중에 변하지 않는 감성으로 구분된다.

카즈노리는 전자를 일시적 감성(Temporary Emotion)으로 정의하고 후자를 영구적 감성 (Persistent Emotion)으로 정의했으며, 타카유키 칸다(Takayuki Kanda)는 전자를 자율 감성 (Autonomic Emotion)으로 정의하고 후자를 자가 감성(Selfreported Emotion)으로 정의했다.

카즈노리와 타카유키 모두 자신이 제안한 방법을 사회성을 가진 로봇인 로보비(Robovie)에 적 용해 평가했다.

특히 타카유키는 사람들이 일반적으로 긴장한 상태에서 로봇과 대화를 하기 때문에 대화 중에 즐거움과 같은 자율 신경이 사람에게 나타나지 않게 되므로 기존 방법의 성능이 낮아진다고 분 석했다. 따라서 그는 화자의 발화와 얼굴 표정을 이용하여 화자가 긴장하고 있는지를 판단하고 화자의 긴장을 풀 수 있도록 도와주는 행동을 선택하는 긴장 완화 메커니즘(Tension-moder- ating Mechanism)을 제안했다.

촉각센서를 통한 감성 인식

애완용 로봇과 휴대용 로봇(Portable Robot)들이 관심을 받으면서, 접촉을 통한 인간과 로봇간 의 상호작용에 대한 관심이 높아지고 있다. 로봇에서 접촉 센서는 자율 주행을 위한 위치 측정이 나 장애물 회피와 같은 목적으로 사용되거나 이족 로봇에서 보행 시 몸의 균형을 유지할 때 또는 로봇이 자신의 손으로 물체를 조작할 때 동작을 제어하기 위해 사용되어 왔다.

읽을거리 3 거울신경 [거울처럼 반영하는 네트워크]

마음이론이란 어떤 학설이 아니라 인간의 능력을 표현하는 용어입니다. 이 능력은 뇌의 거울신 경(mirror neuron)이 담당합니다. 거울신경은 이탈리아의 신경생리학자 리촐라티(G. Rizzolat- ti)가 1990년대에 처음 원숭이의 이마엽에서 발견했습니다.

이마엽에는 근육에 운동 명령을 내리는 운동피질이 있는데, 이 운동피질은 크게 두 영역으로 나 눌 수 있습니다. 특정 근육에 직접 신경을 내보내는 일차운동피질이 있고, 운동을 계획하고 통 괄하는 앞운동피질과 보조운동영역이 있습니다. 리촐라티는 원숭이가 땅콩을 손으로 잡으려 할 때 앞운동피질의 신경세포에서 나타나는 신호를 연구했는데, 원숭이가 땅콩을 쳐다보기만 하거나 손으로 땅콩이 아닌 다른 것을 잡았을 때 이 세포는 활성화되지 않았지만, 원숭이에게 땅콩을 보여 준 다음 불을 끄고 원숭이가 땅콩이 담긴 접시로 손을 뻗게 했을 때는 이 신경세포 가 활성화되었습니다.

이 신경세포는 원숭이의 뇌에서 행동에 대한 계획, 즉 ‘접시에 있는 땅콩을 잡아라’는 명령을 내 리는 세포인 것입니다. 그런데 특이하게도 원숭이 자신의 손은 가만히 두고, 누군가가 접시 에 있는 땅콩을 손으로 잡으려는 모습을 봤을 때도 이 세포가 활성화되었습니다. 이것이 신경세포 에서 처음으로 관찰된 거울신경입니다.

거울신경은 원숭이보다 사람에서 훨씬 발달해 있습니다. 덕분에 타인의 행동을 보고 있기만 해도 자신이 그 행동을 하는 것처럼 뇌의 신경세포가 작동합니다. 이때 활동하는 세포는 관찰 자가 관찰된 행동을 똑같이 직접 할 때 작동하는 세포와 동일합니다. 거울신경은 타인의 행동 을 관찰할 때만 작동하는 것은 아닙니다. 어떤 행동이 어떻게 일어났는지 이야기만 듣고 있어 도 작동합니다. 그런데 거울신경에서 일어나는 과정은 관찰자의 의지나 생각과는 상관없이 자 동적으로 일어납니다. 어떤 행동을 인지하면 관찰자의 뇌는 마치 그 행동을 직접 행하는 것과 같이 작동하는 거죠.

거울신경의 존재를 알려 준 원숭이에게 땅콩 실험을 한 가지 더 해 봤습니다. 이번에는 원숭이에 게 땅콩을 잠시 보여 준 후 땅콩 접시를 칸막이 뒤로 숨겼습니다. 이제 원숭이는 땅콩 접시는 보 지 못하고, 칸막이만 볼 수 있습니다. 그런 다음 사람이 칸막이 뒤에 있는 땅콩을 집었습니다. 원 숭이는 사람의 팔이 칸막이 뒤로 사라지는 모습만 봤지, 직접 땅콩을 집는 모습은 볼 수 없었습 니다. 그런데 그것만으로도 원숭이의 거울신경은 반응했습니다. 일련의 행동 중에서 일부분만 관찰하더라도 거울신경 세포들은 행동 전체를 본 것처럼 작동한 것입니다.

거울신경이 처음 발견된 곳은 앞운동피질에 속하는 아래이마엽 뒷부분이었는데, 나중에는 아 래마루소엽(inferior parietal lobule)의 앞부분에서도 발견되었습니다. 이마엽과 마루엽 사이에 는 수많은 신경들이 연결되어 있는데, 이마엽은 주로 운동 명령을 내리고 마루엽은 감각을 통합 하는 부위이기 때문에 이마엽과 마루엽을 연결하는 신경들은 감각과 운동을 통합하는 기능을 합니다. 그래서 거울신경은 하나의 세포가 아니라, 이마엽의 운동영역이 마루엽에서 감각 신호 를 받는 신경 체계입니다. 이를 거울신경 체계(mirror neuron system)라고 합니다.

□ Program 차시대체Ⅱ 과학과 시스템 상호작용

□ 2차시 인터랙티브 아트

1차시 프로그램은 ‘바른 자세’로 생각열기(상황제시) - 생각 펼치기(창의적 설계) - 생각 정리하기(감성적 체험)로 구성하였다. 본 차시는 인터랙티브 아트의 개념을 다양한 사례 를 통해 이해하고, 아바타와 함께하는 댄스 프로그램을 통해 상호작용을 이해하고 체험 하는 활동이다. 이 활동을 통해 교실환경 속에서 재미있게 인터랙티브 아트를 경험하고 창의력과 상상력을 확장할 수 있다.

Ⅴ

차시별 프로그램 구성

과목/준거틀 상황제시 창의적 설계 감성적 체험

융합과학 ○

통합과학 ○

기술 ○ ○

체육 ○ ○

음악 ○ ○

(24)

프로그램명

과학과 시스템 상호작용 2차시

차시 주제

인터랙티브 아트

교육목표

· 인터랙티브 아트의 개념을 다양한 사례를 통해 이해할 수 있다.

· 아바타와 함께 춤을 추면서 움직임을 통한 상호작용을 경험할 수 있다.

차시 설계의도

인터랙티브 아트의 개념을 다양한 사례를 통해 이해하고, 아바타와 함께하는 댄스 프 로그램을 통해 상호작용을 이해하고 체험하는 활동이다. 이 활동을 통해 교실환경 속 에서 재미있게 인터랙티브 아트를 경험하고 창의력과 상상력을 확장할 수 있다.

준비물

동영상 자료, 학생용 워크북 활동지, 태블릿PC, 인터넷WIFI

상황제시 움직임과 ICT

[ 활동 가이드 ]

인터랙티브 아트의 다양한 사례를 동영상으로 감상함으로써 움직임과 ICT의 관계를 이해하고 일상생활 에 적용해 볼 수 있다. 이 활동을 통해 기계와 인간의 상호작용을 활동을 통해 이해하고 과학기술의 활용 가능성과 미래환경을 예측할 수 있다.

활동1 움직임과 ICT 동영상 감상

※ 인터랙티브 아트뮤지엄 감상하기

· 출처: 인터랙티브 아트뮤지엄

· https://www.youtube.com/watch?v=mUaoTR228JQ

· https://www.youtube.com/watch?v=lneRzbXSEHA

· 인터랙티브 미디어 아트와 움직임

※ LINES - an Interactive Sound Art Exhibition

· 출처: SOUNDS LIKE LIND

· https://www.youtube.com/watch?v=hP36xoPXDnM

· 인터랙티브 사운드 아트와 움직임 감상하기

2 인터랙티브 아트

중심 교과

융합 과학,

통합 과학,

기술

STEAM 요소

S, T

(25)

학생용 활동지

선택활동 미디어아트 그림으로 표현하기

- 사진 속 동작을 보고 연상되는 미디어 아트를 그림으로 표현한다.

학생용 활동지

창의적설계 춤추는 아바타

[ 활동 가이드 ]

인간과 기계의 상호작용을 춤추는 아바타를 통해 이해하고 실천하는 활동이다. 이 활동을 통해 미디어와 사람의 상호작용을 확대하여 실생활과 연결할 수 있는 아이디어를 확장할 수 있다.

활동1 ^{춤추는 아바타}

- 모바일/태블릿PC에서 코딩 프로그램을 실행한다.

- 모둠별로 댄스동작을 입력한다.

- 모둠이 원하는 음악을 선택한다.

- 음악에 맞춰 명령어대로 움직이는 아바타와 함께 춤춘다.

중심교과 기술, 체육, 음악 STEAM

요소 T, A

(26)

학습자료 댄스파티 코딩 프로그램

● 댄스파티 소개 홈페이지: https://code.org/dance

● 댄스파티 튜토리얼 홈페이지:

https://studio.code.org/s/dance/stage/1/puzzle/1 1) 나이 입력하기

2) 소개 동영상 (Dance Party –Warm Up, 2분 55초) 보기

3) 제시된 튜토리얼1 수행하기

5) 제시된 튜토리얼2~6 수행하기

[부록참조] 댄스파티 튜토리얼 사용방법 안내 4) 소개 동영상 (Dance Party – Events, 2분 10초) 보기

(27)

학습자료

학생용 활동지

선택활동 스티커로 만드는 언플러그드 댄스

- 학생용 워크북의 동작 스티커를 확인한다.

- 내가 구상한 동작의 순서대로 스티커를 붙여 댄스 동작을 연결한다.

- 동작 스티커를 붙인 순서대로 움직임을 구성한다.

- 모둠원이 서로의 스티커로 만든 언플러그드 댄스를 공유한다.

학생용 활동지

7) 제시된 튜토리얼7~12 수행하기 [부록참조] 댄스파티 튜토리얼 사용방법 안내

9) 자신만의 댄스파티를 만들어 보기

- 마음 바둑판에서 선정한 단어를 주제로 만들어 보기 6) 소개 동영상 (Dance Party – Properties, 2분 52초) 보기

8) 소개 동영상 (Dance Party – Party On! 1분 25초) 보기

[ 활동 시 유의사항 ]

· 홈페이지에 회원가입 후 로그인하면 다른 사람의 댄스파티 코드를 열어서 새롭게 수정할 수 있습니다.

(28)

감성적체험 아바타와 함께 춤을

[ 활동 가이드 ]

완성된 아바타의 움직임을 모둠별 또는 전체의 구성원이 다 함께 즐기는 댄스파티를 하는 활동이다. 이 과 정은 교실 환경 안에서 아바타와 재미있게 활동할 수 있는 경험을 하고, 이를 일상생활과 연계하여 미래환 경에 대응할 수 있는 능력을 기를 수 있다.

활동1 아바타와 함께 춤을

- 모둠이 만든 댄스 프로그램을 다른 모둠원에게 소개한다.

- 각 모둠이 만든 댄스 프로그램을 반 전체 구성원이 함께 따라해본다.

학생용 활동지

선택활동 스티커로 만드는 언플러그드 댄스 공유하기

- 모둠별로 가장 재미있게 만든 친구를 선발한다.

- 선발한 친구의 동작에 가장 잘 어울리는 음악을 모둠원이 함께 선정한다.

- 모둠별 한 명의 학생이 교실 앞에 나와서 동작 스티커를 붙인 활동지 를 보여주고 동작을 설명한다.

- 교사가 음악을 틀어주면 다 함께 동작을 따라한다.

- 2~3번 반복한다.

학생용 활동지

중심 교과

체육, 음악

STEAM 요소

A

(29)

읽을거리 1 인터랙티브 아트(Interactive Art)

‘인터랙티브 아트’를 그대로 직역하면 ‘상호 작용 예술’이라고 할 수 있습니다. 다시 말 해 관객과의 상호 작용이 있어야 성립되는 예술이라는 의미이기도 합니다.

회화나 조각과 같은 기존의 예술들은 작가의 의도에 따라 완성되고, 관객은 그 작품 을 감상하고 느끼는 [작품→관객]의 일방적인 관계였습니다. 반면, ‘인터랙티브 아트’

는 작가가 특정한 ‘입력’에 의해 변화되도록 작품을 구현한 후, 관객이 그 ‘입력’을 수 행하여 작품을 완성시키도록 하여 [작품↔관객]의 상호 관계를 만들었다고 할 수 있 습니다.

개인적으로 들어본 가장 쉬운 ‘인터랙티브 아트’에 대한 설명은 ‘가까이 가면 불 켜지 는 것’이었습니다. ‘가까이 가면’이라는 관객의 반응이 ‘불 켜지는 것’이라는 결과를 만 들어낸 것이지요. 생각하기에 따라서 ‘현관등’도 우리가 매일 맞이하는 ‘인터랙티브 아트’라고 생각하면 조금 과장일까요?

ArT Field: ‘가까이가면 불 켜지는’ 인터랙티브 아트의 대표적인 예 (출처: http://jbsong.com) 최근에 발표되는 다양한 미디어 아트 작업들 중에는 특히 인터랙티브 아트 작업이 많 습니다. 그 이유 중 하나는 관객이 직접 작업에 참여함으로써 관객 스스로가 작업의 방향을 결정할 수 있게 되고, 이러한 경험은 다시 ‘재미’로 다가오기 때문에 관객의 흥 미가 높아지는 결과를 얻게 되기 때문입니다.

아무래도 작가는 관객이 재미있어하는 작업을 하고 싶기 마련이므로 이러한 결과가 나오는 것이라고 볼 수 있겠죠. 하지만 또 한가지 중요한 사실은, 최근 기술의 발달과 더불어 기술의 공유와 사용이 아주 쉬워졌다는 것입니다.

이전에는 상상만 했던 작업들이 조금만 공부하면 구현 가능한 위치에 오게 된 것이 죠. 이것은 최근의 메이커 운동(Maker Movement)과도 연관이 깊은데요. 계속 말 로만 설명하면 지루하니 이쯤에서 다양한 인터랙티브 작업들을 살펴볼까 합니다.

① 작업을 만지지 마세요?

지금부터 소개해 드릴 몇 개의 작업은 미술관에 가면 항상 볼 수 있었던 바로 그 문구

‘만지지 마세요’와 정면으로 대치되는 인터랙티브 아트 작업들입니다. 관객이 만지고 돌리고 구동해봐야만 결과를 알 수 있는 작업들이죠.

첫 번째 소개할 작업은 teamVOID(저희팀;;)의 ‘Hammering’입니다. 실제 기계 장치 에 달린 회전 측정 센서를 통해 프로젝션으로 만들어진 가상의 기계 장치를 돌리고, 다시 모터를 통해 기어를 회전시켜 망치질을 하게 되는 작업입니다. 망치질이라는 아주 간단한 일도 복잡한 사고의 과정을 거친 결과이다는 의미를 가지기도 하고, 그 냥 망치를 들고 하면 간단할 일을 바보처럼 어렵게 한다는 의미를 지니기도 한 작업 이었습니다.

읽을거리 2 둘 이상의 가치 ‘인터랙티브 아트’

인간과 기술이 만나는 인터랙티브 아트의 발전과정

기술이나 예술 쪽에 관심이 있으시다면 인터랙티브(Interactive)라는 단어는 한 번 쯤 들어보셨을 겁니다.

읽을거리 3 둘 이상의 가치 ‘인터랙티브 아트’

모션 캡처(motion capture) 기술은 할리우드 영화를 중심으로 시각적 효과를 극대화 하기 위해 사용된 기술이다. 소비자들의 기호가 스턴트맨들조차도 감당하기 어려운 초인적인 액션과 수만 명을 넘어서는 대규모 군중 장면을 요구함에 따라 영화에 많 이 도입되고 있다. 특히 콘텐츠 제작에서 실제 사물의 움직임과 동일한 수준의 애니 메이션을 만들기는 쉽지 않아 실제 인간이나 동물의 움직임을 잡아내 디지털화하는 작업이 필요하다. 이러한 작업이 바로 모션 캡처다.

모션 캡처를 위하여 움직이는 점의 3차원 공간 위치를 측정할 수 있는 다양한 센서들 이 개발되었다. 이러한 센서를 이용해 실제 사람의 동작을 정교하게 컴퓨터 속에 재 현하는 일이 가능해졌다.

모션 캡처는 넓은 의미에서 보면 실세계에서 일어나는 생물 또는 무생물의 움직임을 분석 가능한 데이터로 바꾸는 과정이다. 좁은 의미에서는 실세계의 움직임을 녹화하 고 디지털화해 컴퓨터로 읽어들이는 모든 과정을 포함한다.

이러한 모션 캡처는 컴퓨터를 이용한 애니메이션, 영화 외에도 방송이나 게임 제작 분야에서도 가장 선호하고 있다. 실제로 의료 분야에서는 정형외과나 재활의학 분야 에서 환자의 걸음걸이나 움직임이 정상적인지를 판단하기 위한 진단의 목적으로, 또 는 수술을 통한 보정 뒤의 결과를 예측하기 위한 수단으로 사용해 왔다.

과학과 시스템 상호작용