77 장 멀티미디어 기술과 활용 장 멀티미디어 기술과 활용

(1)

컴퓨터와 IT 기술의 이해

77 장 멀티미디어 기술과 활용장 멀티미디어 기술과 활용

7.1 멀티미디어의 개념과 환경

7.2 멀티미디어의 활용 분야

7.3 멀티미디어 데이터의 처리

7.4 멀티미디어 기술의 발전 동향

(2)

7.1 멀티미디어의 개념과 환경



멀티미디어의 개념



멀티미디어 시스템의 구성

(3)

멀티미디어의 개념



멀티미디어 (Multimedia) 란 ?

 매체 : 인간 상호간에 정보 , 지식 , 감정 , 의사 등을 전달하는 수단

 ‘ 다수 (Multiple)’ 와 ‘매체 (Media)’ 의 합성어로 , 텍스트 , 이미 지 , 그래픽 , 사운드 , 애니메이션 , 비디오를 포함



멀티미디어의 정의와 특성

 첫째 , 멀티미디어는 상호대화 형태

 둘째 , 멀티미디어 데이터는 디지털 형태로 생성 / 저장 / 처리 / 표현

 셋째 , 멀티미디어는 다수의 미디어 정보를 동시에 포함

 마지막 , 멀티미디어 정보는 컴퓨터를 이용하여 처리 및 표현

7.1 멀티미디어의 개념과 환경

• TV 는 멀티미디어일까 ?

(4)

멀티미디어의 정보전달 효과



멀티미디어 정보의 효과와 장점 ?

 감각적으로나 미학적인 더 큰 만족감

 신경생리학자 폴 매클린 (Paul Maclean)

- 1970 년대 뇌의 3 층 모델 ==> 심층뇌 , 중간층뇌 , 표층뇌

 보고 듣고 실습하는 것 ( 상호작용형 멀티미디어 ) 의 80% 를 기억

==> 상호작용성 멀티미디어의 효과

(5)

멀티미디어 기술의 활용



멀티미디어 활용 예

 웹 문서는 이미지 , 그래픽 , 애니메이션 등을 포함

 MP3 플레이어를 통해 원하는 MP3 음악이나 비디오

 iPhone 은 전화 기능 외에 사진 , 멀티미디어 메시지 등을 전송

 Apple 의 iLife 는 iPhoto, iMovie, iDVD, GarageBand 등 기능지원

 Google Maps & YouTube, Google Street

iPhone 의 다양한 멀티미디어 기능 Apple 의 iLife 와 iPhoto

(6)

멀티미디어의 발전 배경

 컴퓨터 성능 향상은 멀티미디어가 가능하게 된 가장 중요 원동력

==> Moore's Law

 멀티미디어 정보를 저장할 수 있는 매체의 발전

 CD 와 DVD 저장매체 , 최근에는 Blu-ray Disc

 플래시 메모리의 용량도 해마다 두 배씩 증가

 멀티미디어 정보의 압축 / 복원 기술의 발전

==> 네트워크를 통해 멀티미디어 정보의 빠른 전송

 멀티미디어 데이터의 표준화

 인터넷은 멀티미디어 정보를 공유하기 위한 수단으로 가장 적절한 환 경을 제공

(7)

멀티미디어 시스템



멀티미디어 플랫폼 (Multimedia Platform)

- 콘텐츠를 제작하고 재생하는 하드웨어 및 소프트웨어 환경

멀티미디어 시스템의 계층구조

(8)



멀티미디어 하드웨어 환경

 멀티미디어 데이터의 입력과 출력을 담당하는 입출력장치

 사운드 , 그래픽 , 비디오 등의 정보를 처리하는 미디어 처리장치

 멀티미디어 정보를 저장하기 위한 저장장치

멀티미디어 하드웨어의 구성

(9)



멀티미디어 소프트웨어 환경

 운영체제 : 멀티태스킹 (Multitasking) 기능을 지원

 미디어 편집 소프트웨어 :

 예 ) Photoshop, Illustrator, WaveEdit, Cakewalk, Flash, Premiere 등

 콘텐츠 저작도구 (Contents Authoring Tool):

 생성 , 편집된 미디어 정보들을 통합하여 멀티미디어 콘텐츠로 제작

 예 ) 웹 페이지를 만드는 저작도구 : Dreamweaver, 나모 웹에디터 등 7.1 멀티미디어의 개념과 환경

멀티미디어 소프트웨어의 계층

(10)

멀티미디어 표준



다양한 형식의 멀티미디어 데이터

 플랫폼 (Platform) 에 독립적으로 , 공유하고 호환성 유지

 국제기구에서 표준화 작업을 진행



IT 및 정보통신 분야의 표준화 작업은 국제표준화 기구

 ISO(International Standard Organization), IEC, ITU-T 등

 지역 / 학회별 기구 : ANSI, IEEE, KS, JIS, BSI

 기업중심의 컨소시엄 : IMA, W3C 등



멀티미디어 데이터를 압축 , 저장하기 위한 국제표준의 예

 이미지 / 그래픽 BMP, GIF, JPEG 등 , 사운드 WAV, MP3, AAC 등

 동영상 표준 MPEG-2, MPEG-4, MPEG-7 등

 웹 환경의 표준으로 HTML, XHTML, XML, VRML( 또는 X3D) 등 7.1 멀티미디어의 개념과 환경

(11)

7.2 멀티미디어의 활용 분야



인터넷 환경에서 멀티미디어의 활용



모바일 멀티미디어



가상현실과 사이버스페이스

(12)

인터넷 환경에서 멀티미디어의 활용

 1990 년 대 중반까지 CD-ROM 에 멀티미디어 콘텐츠를 담아 배포

 오늘날 인터넷은 멀티미디어 콘텐츠 활용에 가장 적합한 환경

 웹브라우저를 이용하여 멀티미디어 정보를 편리하게 검색

 멀티미디어 플러그인 (Multimedia Plug-in)

 2 차원 애니메이션 Flash, 실시간 비디오 플레이어 등

 가상현실을 지원하기 위한 VRML 플레이어 등

 멀티미디어를 이용하는 대표적인 인터넷 활용 분야

 인터넷 신문 , 인터넷 잡지 , e- 러닝 분야 , 인터넷 쇼핑몰

 인터넷 폰 , 인터넷 채팅 , 인터넷 게임 , 음악사이트 , VOD 서비스 7.2 멀티미디어의 활용 분야

(13)

모바일 멀티미디어

 최근 우리사회는 이동성 (Mobility) 이 중요하게 인식되는 사회

 예 ) 스마트폰 , iPad 등

 모바일 멀티미디어

 휴대성기기를 이용하여 이동중 실시간으로 디지털 데이터 상호교환

 음성 , 멀티미디어 데이터 , GPS 데이터 등

 모바일 환경의 문제점

 모바일기기 화면 크기 및 해상도 , 스피커 성능 , 전원장치 , 전송에러 등

 최근 데이터 전송 대역폭 크게 증가 ⇒ 모바일 기기 제한성 많이 개선

 모바일 환경에서 멀티미디어의 활용 분야

 모바일 정보서비스 , 엔터테인먼트 분야 , 모바일 커뮤니케이션

 위치기반서비스 (LBS: Location Based Service), 텔레매틱스 응용 등 7.2 멀티미디어의 활용 분야

(14)

가상현실과 사이버스페이스



사이버스페이스 (Cyberspace, 가상공간 )

 네트워크를 매개로 컴퓨터와 같은 커뮤니케이션 수단을 기반으로 정 보와 지식 , 나아가 감각까지 공유할 수 있는 가상공간

 현실적으로 인터넷 환경에서 생성되며 가상현실 (VR: Virtual Reality) 기술을 이용하여 사이버스페이스 구축

 예 ) 3 차원 가상현실을 이용한 Linden Lab 의 Second Life

 인터넷 환경에서 3 차원 사이버스페이스

 자신의 분신인 아바타 (Avatar) 또는 캐릭터 ( 주민 ) 를 통해 ‘제 2 의 인 생’

 현실세계에서 불가능 / 어려운 일을 사이버스페이스를 통해 수행

7.2 멀티미디어의 활용 분야

(15)

7.3 멀티미디어 데이터의 처리



이미지와 그래픽 기술



사운드 처리 기술



애니메이션 기술



동영상의 개념과 압축 표준

(16)

이미지와 그래픽 기술



이미지와 그래픽

 이미지와 그래픽의 차이점 :

 이미지 ==> 실세계 , 그래픽 ==> 인공적으로 제작



픽셀 (Pixel: Picture Element)

 이미지와 그래픽 ( 래스터 그래픽 ) 을 구성하는 가장 작은 요소

 해상도 (Resolution): 이미지 ( 그래픽 ) 을 구성하는 픽셀 수를 의 미

7.3 멀티미디어 데이터의 처리

이미지와 그래픽의 합성

(17)



RGB 컬러모델

 각 픽셀은 적색 (Red), 녹색 (Green), 청색 (Blue) 의 값을 배합

 보통 R, G, B 각 픽셀마다 8 비트 할당 => 24 비트 사용

 예 , 1 비트 ( 흑백 ), 4 비트 (16 컬러 ), 8 비트 (256 컬러 ), 16 비트 (6 만컬러 )

(18)

래스터 그래픽과 벡터 그래픽



래스터 그래픽

 그림을 픽셀 단위로 저장하는 방식

 화면을 확대할 때 화질의 저하 ==> 확대하면 계단현상

 칠하기 도구 (Painting Tool) 에서 픽셀 형태로 생성 , 예 ) Painter 등



벡터 그래픽

 그림을 기하적 객체들을 나타내는 그래픽 함수로 표현

 일반적으로 파일의 크기가 래스터 그래픽 방식에 비해 작다

 화면 확대 시 화질의 저하가 발생하지 않는다

 일러스트레이션 (Illustration) 에 적합 , 예 ) Illustrator, Corel Draw 등

(19)

이미지와 그래픽의 파일 형식

 이미지는 디지털카메라 , 스캐너 등을 이용하여 생성 , 그래픽은 그래픽스 소프트웨어를 이용하여 생성



이미지와 래스터 그래픽

 BMP, TIFF, JPEG, GIF, PNG 파일 형식

 JPEG 은 흑백 및 컬러사진 압축을 위한 파일 형식으로 , 1992 년 ISO 국제표준

 GIF 압축은 이미지 보다는 그래픽의 경우 더 높은 압축률



벡터 그래픽

 SVG 파일 형식

(20)

사운드 처리 기술

 사운드는 귀로 들을 수 있는 모든 청각정보

 사운드는 크게 음악 , 음성 , 음향 효과의 세 분야

 사운드의 파형

 주파수 , 주기 , 진폭

 가청주파수대 : 20Hz ~ 20kHz



디지털 사운드

 컴퓨터에서 처리하기 위해서 디지털 형태로 변환

 ADC(Analog-to-Digital Converter): 표본화 (Sampling) 및 양자화 (Quantizing) 과정

 DAC(Digital-to-Analog Converter): 아날로그 형태의 소리로 재생 7.3 멀티미디어 데이터의 처리

0905 1005 95.9 이름 (2 명

&1 명 )

0905 1005 95.9 이름 (2 명

&1 명 )

(21)

디지털 사운드로의 변환



사운드의 표본화 (Sampling)

 아날로그 파형에서 변환을 위해 표본 (Sample) 을 취하는것

 사운드의 표본화율 (Sampling Rate)

 표본화율이 낮으면 메모리 용량이 작아지지만 원음을 반영하지 못함



디지털 사운드의 파일 형식

 WAV, MP3, AAC, WMA 등

아날로그 사운드의 표본화

표본화율 (KHz)

양자화

(bit) 모드 데이터 크기

(1분 ) 음질 sample (music)

11.025 8 mono 650 KB 전화

22.05 8 mono 1.3 MB AM 22.05 16 stereo 5.25 MB FM 44.1 16 stereo 10.5 MB CD

(22)

MIDI 음악

 MIDI(Musical Instrument Digital Interface):

 1983 년 세계 악기 제조업체들이 전자 악기와 컴퓨터 간의 상호 정보교환 을 위해 만든 규약

 음을 어떻게 연주할 것인지에 관한 정보 , 즉 음의 높이 및 음표의 길이 , 음의 강약 등에 대한 정보를 표현

 파일의 크기가 매우 작고 , 음질은 전적으로 신디사이저 성능에 따라

 예 ) CD 음악수준의 3 분 길이의 음악

 약 30 MB 가 필요 ( 압축하지 않을 경우 )

 MIDI 음악은 약 8KB 가 필요

22

제 목 크기 (KB) 시 간

엘리제를 위하여 17 2 분 38

초 Dancing Queen 78 3 분 57

초

007 주제가 46 1 분 52

초

Starwars 32 3 분 19

(23)

애니메이션 기술



애니메이션의 원리

 일련의 정지 이미지 (still image) 나 그래픽으로부터 생성

 잔상 효과 (persistence of vision) 이용

 일반적으로 초당 15~20 장 이상의 그림이면 자연스러운 움직임

 애니메이션을 구성하는 프레임들

애니메이션의 프레임들

(24)



플립북 애니메이션 (Flip-book Animation)

 1908 년 프랑스 에밀 콜 (Emil Cohl) 의

‘판타즈마고리 (Fantasmagorie)’ 부터 시작

 가장 단순한 형태의 애니메이션

 프레임기반 (Frame-based) 애니메이션으로 프레임을 일일이 그림

 컴퓨터로 표현할 경우 파일의 크기가 방대해지는 단점

 초당 16~20 프레임 => 1942, 디즈니 ‘ 밤비’ : 1 초당 24 프레임



셀 애니메이션 (Cel Animation)

 1913 년 존 랜돌프 (John Randolph) 개발

 ‘ 셀 (Cel)’ 은 투명한 종이를 뜻하는 ‘ Celuloid’ 를 의미

 기본적으로 하나의 배경 셀과 여러 장의 전경 셀이 필요

(25)



컴퓨터 애니메이션

 단순히 기존 수작업을 컴퓨터로 대신하는 것에서 시작

 3 차원 애니메이션과 특수효과 등 컴퓨터를 통해서만 제작할 수 있는 새로운 애니메이션을 가능



컴퓨터 애니메이션의 유형

 벡터 애니메이션

 독립적으로 움직이는 개체를 선 , 곡선과 같은 수학적 함수로 표현

 키프레임 트위닝 (Key Frame and Tweening) 기법

 중요한 장면인 키 프레임 (Key Frame) 만 컴퓨터로 제작 , 키 프레임 사이의 중간 프레임들은 컴퓨터에 의해 자동 생성

25

[ 키프레임과 트위닝 시연 ] (Web) [ 벡터 애니메이션 시연] (Web)

(26)



3 차원 컴퓨터 애니메이션

 영화 , 광고 , 게임 등 많은 분야에서 널리 사용

 사람이나 동물들의 움직임도 3 차원으로 표현

 역운동학 (Inverse Kinematics): 관절의 움직임을 역으로 계산

 모션 캡쳐 (Motion Capture): 마커 (Marker)/ 트랙커 (Tracker) 센서

 SoftImage XSI, MAYA, 3D Studio MAX 등 소프트웨어 이용

(27)

동영상의 개념과 압축 표준



동영상 / 영상 (Moving Image)

 정지 이미지 (Still Image) 들의 연속적 집합체

 이미지처리에서 이용되는 기술에 기반하여 영상처리 기술 발전

 프레임 (Frame): 비디오를 구성하고 있는 각 화면

 컴퓨터 비디오나 TV 는 초당 30 프레임 , 영화의 경우는 초당 24 프레 임



디지털 비디오의 압축

 비디오 데이터는 크기가 매우 방대해서 압축이 필수

 예 ) 초당 30 프레임의 TV 화면 1 초

 ==> 약 20MB (640 픽셀 x 480 픽셀 x 3Byte/ 픽셀 x 30 프레임 x 1 초 )

 가장 보편적으로 사용되고 있는 형식은 AVI, MOV, MPEG,

미국에서 구입한 비디오나 DVD 를 한국에서는 때문에 .

(28)

디지털 비디오의 압축



비디오 압축 기법

 데이터 중복성 (Data Redundancy) 제거 / 최소화

 시간적 , 공간적 변화가 적은 부분의 데이터 중복제거

 비디오압축 (Video Compression) 또는 부호화 (Encoding)

 무손실압축 (Lossless Compression) 기법

 X- 레이 , 단층촬영 (CT) 등 의료영상 , 압축률 비교적 낮다 2:1~3:1 정도

 손실압축 (Lossy Compression) 기법

 비교적 우수한 영상을 유지하면서 10:1~40:1 의 높은 압축률 7.3 멀티미디어 데이터의 처리

(29)

디지털 비디오의 압축



비디오 압축 표준

 MPEG 표준 : ISO 와 IEC 가 제정 , 1988 년부터 표준작업 시작

 MPEG-1, MPEG-2, MPEG-4, MPEG-7, MPEG-21 등

 MPEG-2: 디지털 TV 방송과 DVD 수준의 동영상을 목적 , 1995 년

 MPEG-4: 화상회의 , 비디오 전화 , DMB 방송 등의 목적 , 1998 년

 H.xxx 계열의 표준 ( 예 , H.264, H.263): ITU-T 가 주도

(30)

비디오 스트리밍

 데이터를 인터넷을 통해 받는 즉시 비디오 데이터를 재생

 다운로드 작업과 재생 작업이 동시에 진행 ,

 다운로드 방식 ==> 너무 많은 지연시간 (Delay Time) 이 발생

 스트리밍 소프트웨어

 RealNetworks, PacketVideo, Microsoft 사 등

 비디오 스트리밍은 화상전화 , 도로여건 정보의 전송 , 실시간 중계 방송 등의 분야에서 필수적

(31)

7.4 멀티미디어 기술의 발전 동향



멀티미디어 기술의 발전 동향

(32)

멀티미디어 기술의 발전 동향



멀티미디어 하드웨어의 발전

 GPU(Graphics Processor Unit) 속도는 18 개월마다 5 배 또는 8 개월마다 2 배씩 증가

 예 ) Nvidia, ATI Technologies 등

 대용량 멀티미디어 데이터의 저장 :

 플래시 메모리가 하드디스크를 대체할 것으로 기대

 차세대 DVD: 블루레이 (Blue Ray) 표준

7.4 멀티미디어 기술의 발전 동향

(33)



인터넷 환경의 빠른 변화

 인터넷 환경의 발전이 멀티미디어 확산에 매우 지대한 영향

 초고속 인터넷의 가파른 확산

 광케이블을 이용한 인터넷 전송속도의 빠른 증가

 인터넷 환경이 변하면서 DVD 가 완전히 사라질 것인가 ?

 예 ) 월마트와 BitTorrent 사는 이미 비디오 온라인 다운로드 사업 ,

 최근에 Apple 사는 iTunes 를 기반으로 한 ‘ iTunes Movie Rentals’



모바일 시대의 도래

 Microsoft 사의 빌 게이츠 (Bill Gates) 회장 ‘모바일 혁명’ 예견

 모바일 환경의 한계가 점진적으로 극복

 미래에는 더욱 강력한 멀티미디어 기능을 제공하는 스마트폰 , 태블 릿 PC, PMP, 내비게이션 장치 등의 모바일기기 예상

(34)



실세계와 가상세계의 융합

 멀티미디어의 활용은 실세계와 가상세계의 융합 방향으로 발전

 Apple 사 iPod( 실세계 mp3 player) 와 iTunes( 인터넷 가상세계 ) 결합

 증강현실 (AR: Augmented Reality) 기술

 사용자가 보는 현실세계에 컴퓨터가 만든 가상세계 정보를 합성

 구글 글래스 , AR Headset

(35)

IT 공학과 교과과정

학

기 시스템 및 기반 과목 소프트웨어 정보통신 / 멀티미디어 IT 기술 활용

4 학 년

2

1

3 학 년

2

1

2 학 년

2

1

1 학 년

2

1

전공필수 전공선택 네트워크 5

IT 기기 구조 2

컴퓨터그래픽 프로그래밍 7

IoT 응용 9 IT 소프트웨

어공학 4

웹프로그래밍 기초 6 모바일

프로그래밍 8

가상 / 증강 현실 응용 7

영상처리및 응용 7 알고리즘입문

0

클라우드 컴퓨팅 6

웹프로그래밍 응용 6

프로그래밍 입문 3,4 IT 기술과

산업동향 13

서버운영 및 보안 3,5 지능형

소프트웨어 4

객체지향 프로그래밍 3,4

기초

프로그래밍 3,4 데이터

구조 0

운영체제 원리 3

스마트 서비스 9

IT 기술의 이해 0

데이터마이 닝개론 4 졸업

프로젝 트

데이터베이스 3

IT 수학 0

C 응용 프로그래밍 3

컴퓨터비전 7

데이터분석

및 활용 10 HCI 10

UI/UX 설계 10

센서프로 그래밍10