제12장 멀티미디어 개론

단원 목표 멀티미디어의 정의와 발전을 이해한다. 각종 멀티미디어의 파일 형식과 특성을 이해한다. 멀티미디어 시스템의 하드웨어와 소프트웨어의 기능을 이해한다. 멀티미디어를 운용하는 각종 플레이어의 기능을 이해한다. 데이터 압축 방식과 특징을 이해한다. 멀티미디어의 활용으로 각종 최근의 장비를 이해한다. 멀티미디어 보안에 관하여 설명하며 워터마킹과 핑거프린팅에 관하여 이해한다.

멀티미디어 개요

멀티미디어의 개요 멀티미디어 정의 멀티미디어의 특징 집적도의 발전 미디어는 미디엄(medium)의 복수를 표현하는 단어로 사람의 의견이나 사물의 관련 내용을 표현 멀티미디어 정의 음향(Audio), 정지영상, 동영상 및 문서를 포함하는 다중 전달매체를 의미 멀티미디어의 특징 대화형이며, 마우스를 이용하여 소리의 크기, 영상의 크기 혹은 문서의 글자 크기를 조절 집적도의 발전 황의 법칙 반도체 집적도는 1년에 2배씩 증가 이를 주도하는 것은 개인 컴퓨터가 아니라 모바일 기기나 디지털 가전 등 비개인 컴퓨터 분야가 됨 2008년에 삼성이 128기가 비트짜리 NAND 플래시 메모리를 발표하지 못하였고 이 법칙이 깨짐

멀티미디어 데이터: 텍스트와 사운드, 이미지 텍스트 사운드 이미지 아스키코드로는 제한된 문자만을 표현할 수밖에 없기 때문에 유니코드를 이용하여 전 세계의 가능한 한 모든 문자를 표현 텍스트 컴퓨터와 통신기기에 사용할 표준 문자 부호화로 ASCII 코드(American Standard Code for Information Interchange: 미국 정보 교환 표준 부호)가 있음 사운드 형식에는 WAV(Wave Form)와 AV(Unix Audio) 파일, MIDI(Musical Instrument Digital Interface) 파일 등이 존재 8bits, 16bits, 24bits와 32bits로 데이터를 만듦 WAV 파일은 소리를 파형으로 저장 이미지 JPEG 파일은 압축파일이면서 영상의 질을 보존하는 영상파일로서 영상의 질을 제어하는 변수를 갖고 있음 이미지 파일 양식 TIF(Tag Image File) PNG(Portable Network Graphics) JPEG(Joint Photographic Experts Group) GIF(Graphic Interchange Format)

애니메이션과 영상 애니메이션 영상 1967년에는 우리나라 최초의 애니메이션 영화 홍길동이 개봉 여러 장의 그림을 연속 촬영, 조작하여 움직이도록 보이게 만든 영화의 일종 영상 NTSC(National Television System Committee) 일초당 프레임 수가 NTSC인 경우 29.97프레임 NTSC 방식은 대역압축을 위해 복잡한 회로를 내장 PAL(Phase Alternation Line system) 방식 PAL 방식에서는 25프레임

다양한 동영상 데이터 종류 비디오 파일형식에는 AVI(Audio Video Interleaved)가 있으며 이 형식은 비디오와 오디오를 섞어서 동영상을 구성한다는 말에서 유래 비디오 파일형식 AVI(Audio Video Interleaved) 압축하지 않은 상태이며 마이크로소프트 사에서 개발한 형식 MPEG(Moving Picture Experts Group) 동영상 압축을 위한 표준 형식이며 동영상 및 음성 압축 기술과 저작권 보호나 편집 등에 관련된 다양한 가이드라인을 포함하고 있음 WMV(Windows Media Video) Windows Media 비디오 코덱(codec)을 사용하여 압축하는 형식이며 윈도우 미디어로 재생 MKV(MatrosKa multimedia container for Video) 비디오 및 오디오 데이터를 담는 컨테이너이므로 마트로스카 인형에 비유한 것 AVI 등 기존 파일과 달리 화질 저하 없이 다양한 영상과 음성, 자막 파일을 한데 묶을 수 있는 파일 형식

02. 멀티미디어 시스템

멀티미디어 시스템: 하드웨어 하드웨어 하드웨어 구성은 입력장치,그래픽 카드, 저장장치 및 출력장치로 구성 멀티미디어 시스템 멀티미디어 PC(MPC: Multimedia PC) 그래픽 워크스테이션(Graphic Workstation) 입력장치, 그래픽 카드, 저장장치 및 장치드라이버와 출력장치로 구성 사운드카드 사운드의 입출력을 지원 그래픽카드 비디오 데이터를 고속으로 압축/복원하여 모니터 상에 재생함

소프트웨어 멀티미디어 재생 곰플레이어 멀티미디어 제작을 위한 소프트웨어 멀티미디어 재생에는 Window media player와 곰플레이어가 있음 멀티미디어 재생 Window media player Microsoft 윈도우에서 제공 다양한 형식의 동영상 파일과 오디오 등을 재생 인터넷 방송에도 많이 이용 곰플레이어 .wma, .avi 등의 파일을 재생 인터넷 영상을 재생하는 데 이용 멀티미디어 제작을 위한 소프트웨어 비디오, 오디오 및 백업 등의 작업을 위한 Nero 사의 Nero Burning Rom 시리즈 3D 그래픽을 위한 3D Max 등 다양한 소프트웨어

03. 데이터 처리

텍스트와 사운드 텍스트 사운드 텍스트처리는 포토샵으로 가능하고 사운드 처리는 mp3 오디오 플레이어가 존재함 포토샵(Photoshop) 사운드 MP3 오디오 플레이어 오디오 CD와 거의 같은 음질 갖음 크기는 0.1배로 높은 압축률 음악 파일을 MP3로 부호화하기 위해 dBpoweramp:MP3(Lame)를 사용 오그보비스(Ogg Vorbis) MP3 부호화의 유료화에 반대 음악을 부호화(encoding)와 복호화(decoding)하는 것은 무료 파일로 부호화하면 용량이 MP3 파일 용량보다 작아지며 음질은 MP3보다 더 우수 사용

이미지와 애니메이션 이미지 애니메이션 비디오 일반적인 프로그램 언어인 C 언어, 자바 혹은 매트랩(Matlab) 등을 이용하여 이미지를 처리 이미지 이미지를 처리하여 이미지의 모서리 부분만을 보이게 할 수 있음 원래 이미지, 에지 이미지, 저주파 통과 이미지 및 양각화 이미지를 나타냄 애니메이션 2D 도구 툰즈(Toonz) Motion(제작사: Apple Inc.), Adobe After Effects(제작사: Adobe Systems) Adobe Flash Professional(제작사: Adobe Systems) 3D 도구 MAYA(제작사: Autodesk), Softimage, LightWave 3D 등 비디오 비디오 저작도구 프리미어 프로(Premier Pro)

04. 압축

무손실 압축 압축한 후 다시 원래 데이터로 복원이 가능한 방법 런-길이 코딩(Run-Length Coding) 무손실 압축은 압축 후 원래 데이터로 복원이 가능함 압축한 후 다시 원래 데이터로 복원이 가능한 방법 런-길이 코딩(Run-Length Coding) 반복해서 나타나는 데이터를 반복 횟수와 반복되는 데이터로 기록 ‘paaaabbbbcddddd’라면 p!4a!4bc!5d으로 기록함 !기호는 반복하는 문자의 반복횟수가 나온다는 표시 허프만 코딩(Huffman Coding) 발생 빈도가 높은 문자를 작은 비트로 표시하는 방식 데이터 addddddddddbddcc라고 가정 a가 1번, b가 1번, c가 2번 및 d가 12번 발생 데이터는 a는 000으로, b는 001으로, c는 01로, d는 1로 각각 부호화

손실 압축 방법 오디오에서 MP3 파일 이산 코사인 변환 웨이브릿(wavelet) 코딩 방법 손실압축은 압축 후 다시 원래 데이터로 온전하게 복원은 불가능함 방법 원래 데이터에서 적합한 부분과 부적합한 부분을 나누어 부적합한 부분을 제거한 후 압축하는 방법 오디오에서 MP3 파일 인간의 청각 특성을 이용하여 감지하지 못하는 영역의 데이터를 제거하여 압축하는 방법 이산 코사인 변환 8×8 데이터에 이산 코사인변환을 취하면 거의 모든 값들이 작은 값을 갖게 됨 위쪽 그리고 왼쪽의 7×7 블럭만 그 값을 취하고 다른 값들은 0을 취하며 이를 다시 역 이산 변환하여 손실 압축한 그림을 보면 원래 그림과 거의 같음 웨이브릿(wavelet) 코딩 방법 전체 영상을 우선 4개로 나누어 변환하고 오른쪽 위쪽 화면을 다시 4개로 나누어 전송하는 방식 사람이 물체를 바라볼 때 처음에는 전체적인 모습을 보고 이후에 자세히 본다는 점을 이용함

혼합 압축 JPEG 압축 혼합압축은 손실압축과 무손실 압축을 둘 다 사용함 JPEG는 표준 영상 압축 방식이며 Joint Photographic Experts Group의 약어 영상의 색깔을 RGB에서 YCbCr로 바꿈 Y는 색의 밝기를 의미하며 휘도라 하고 Cb와 Cr은 각각 파랑색과 빨간색의 색차(chroma)라고 함 레나영상 및 레나영상을 YCbCr로 변환한 후의 Y 영상, Cb 영상 및 Cr 영상을 나타냄 3개의 성분 영상을 각각 838로 나누어 블록을 만듦 각 블록에 대하여 이산 코사인 변환을 취하면 그 값들이 양자화 마지막으로 허프만 코딩을 이용하여 압축

MPEG 압축 국제적인 단체인 MPEG(Moving Picture Experts Group)에서 정한 표준 GOP(Group of Pictures) 시간적 압축을 위한 영상들의 집합 전체 동영상은 시퀀스(sequence)라 하며 GOP의 집합으로 구성되어 있음 I-프레임(Intra-Frame) 복호화(재생) 시 다른 프레임의 영향을 받지 않음 P-프레임(Predictive-Frame)은 GOP 내에 있는 과거의 프레임 정보에서 재생 B-프레임(Bidirectional-Frame)은 과거의 프레임과 미래의 프레임 정보로부터 재생 각 프레임의 16316픽셀(pixel: Picture cell) 블록을 매크로 블록(MB: Macro Block)이라 하고, 매크로 블록은 838픽셀 단위로 나뉘어 이산 코사인 변환과 양자화 과정을 거침

JPEG 2000과 MPEG2 JPEG2000 MPEG-2 MPEG-2는 스트리밍에 관한 기술 양식임 JPEG2000 방식은 웨이브릿(wavelet) 변환의 정지 영상 압축 방식 우선 컬러 영상을 YCbCr로 변환한 후 각 영상을 웨이브릿 변환을 한 후 8개의 비트 평면을 부호화하는 과정을 거침 MPEG-2 멀티미디어 스트리밍에 중요한 부분을 차지함. 오디오와 비디오의 계층화, 부호화 및 복호화 지연, 저장 및 전송 시의 잡음에 의한 에러 대책 MPEG-1 및 H.261 표준과의 순방향 호환성(Forward Compatibility) 랜덤 액세스 및 채널변경(Channel Hopping) 가변 데이터율 처리 등을 지원하기 때문에 복잡한 구조이지만 스트리밍에 있어 중요한 부분을 차지하고 있는 압축 기술

FLAC 음원과 4K, 8K UHD FLAC 4K UHD FLAC(Free Lossless Audio Codec)은 디지털 오디오의 무손실 압축을 위한 오디오 코딩 형식이며 관련 코딩 및 디코딩의 구현도 지칭 FLAC FLAC 알고리즘으로 압축된 디지털 오디오는 원래 메모리 크기의 50~60%까지 줄일 수 있고, 원래 오디오 데이터로 복원이 가능함 FLAC(Free Lossless Audio Codec)는 2000년에 조시 코알슨(Josh Coalson)에 의해 개발 씨프 돗 org(Xiph.org) 기관과 FLAC프로그램을 공동으로 개발 FLAC는 저작권 사용료(royalty) 없이도 자유롭게 사용 가능한 프리 소프트웨어 FLA 파일에서 주파수가 높은 데이터를 삭제한 것이 MP3파일임 4K UHD 4K 해상도(4K Ultra High Definition; 4K Ultra HD; 4K UHD) 풀 HD(1,920×1,080)의 약 4배 화소수(가로: 4000 전후, 세로: 2000 전후) 3,840×2,160 지원 8K 해상도 4K 해상도의 2배로 7680×4320 해상도를 지원 2017년 5월 31일 , 지상파가 수도권 지역에서 UHD 방송을 시작 2021년까지 전국 대부분의 지역에서 UHD 방송을 할 예정

3D 디스플레이 3차원 디스플레이(3D display) 시차 장벽을 이용한 디스플레이 스테레오스코피(stereoscopy)는 안경을 이용한 3차원 디스플레이 오토스테레오스코피(Autostereoscopy)는 안경을 이용하지 않는 3차원 디스플레이 시차 장벽을 이용한 디스플레이 시차 장벽을 이용한 무안경식 3차원 디스플레이는 안경식 3차원 디스플레이와 마찬가지로 인간이 입체감을 느끼는 요소인 양안 시차를 이용함 영상물 앞에 특수한 슬릿을 설치함으로써 왼쪽 눈과 오른쪽 눈이 볼 수 있는 픽셀을 다르게 하여, 관찰자가 받아들이는 영상을 다르게 함 원통형 렌즈를 나열하여 빛을 굴절시키는 방법으로 왼쪽 눈과 오른쪽 눈이 서로 다른 픽셀을 보게 하는 렌타큘라 렌즈를 이용해도 같은 효과를 얻음

4차원 디스플레이 4차원 디스플레이(4D display) 4차원 디스플레이는 시각효과 외에 추가적인 효과를 주는 것으로 주로 영화에 이용 4차원 디스플레이(4D display) 4차원 영화(4D 영화, 4-D 영화)는 영화를 볼 때 영상에서 효과가 발생했을 경우, 기계 장비 등을 통해 그 물리적인 효과를 주는 영화 테마파크와 같은 곳에서 수분 길이의 짧은 영상물과 함께 간단한 의자 움직임과 물 분사 등의 형태 대형 멀티플렉스 영화관에서 4D 상영관을 개관 CJ CGV의 4DX와 롯데시네마 등 4D 영화 개발팀에서 일반 영화에 4D 효과를 추가한 것 기존 테마파크의 의자 움직임과 물 분사뿐만 아니라 바람, 안개, 비눗 방울, 레이저, 조명, 향기 등과 같은 특수효과가 동반됨

05. 멀티미디어 활용

웹페이지와 VOD, 원격 진료 대부분의 홈페이지는 멀티미디어를 포함하고 있어, 오디오를 청취할 수 있고 동영상을 볼 수 있으며, 마우스를 이용하여 각 멀티미디어를 제어 VOD VOD는 ‘Video On Demand’의 약어, 주문형 비디오 개인이 가지고 있는 VOD 단말기를 가입자 선로를 통해 각 전화국으로 연결하고 여기서 다시 인공위성으로 연결함으로써 수신이 가능 원하는 때에 원하는 프로그램을 선택할 수 있다는 점에서 대화형 TV의 원형 원격진료 환자들이 편안한 장소에서 전문의를 만나 병원에 직접 가서 받는 진료에 못지않은 고품질의 서비스를 받음

컴퓨터 게임 컴퓨터 게임의 방송 중계와 게임대회 개최 컴퓨터 게임이 현대인의 생활에 미치는 영향력이 점점 증대되고 있으며, 컴퓨터와 인터넷에 익숙한 청소년층에게 컴퓨터 게임은 단순한 오락의 의미를 넘어 하나의 문화이자 생활의 요소가 됨 컴퓨터 게임의 방송 중계와 게임대회 개최 온라인, 모바일 게임시장의 폭발적인 성장

06. 멀티미디어 보안

핑거프린팅과 워터마킹 핑거프린팅은 멀티미디어의 불법 복제를 막는 수요자 고유의 코드 혹은 정보를 삽입하는 방법 핑거프린팅 음악 CD의 불법 복제를 방지하기 위해 생산자가 소비자에게 판매할 때 각 CD에 수요자 고유의 코드를 삽입하는 방법을 핑거프린팅 기술 핑거프린팅 기술을 이용하여 각 음악마다 고유의 정보를 음악 파형 안에 삽입하되 음악의 성능은 그대로 유지할 수 있음 워터마킹 멀티미디어 콘텐츠(contents)에 고유한 정보를 삽입하여 불법 복제될 경우 고유정보를 추출하여 불법 복제자를 찾아내는 기술 극장에서 소형 캠코더(camcorder)를 이용하여 불법적으로 영화를 찍어서 배포 찍힌 영상의 프레임에는 극장 코드가 찍혀 있어 불법이 발생한 장소를 알려줌 비디오 워터마킹 기술의 응용 분야로서 비디오의 성능을 유지한 채 고유한 정보를 삽입하는 방법

디지털 저작권 관리 DRM DRM은 디지털미디어 접근 제어 기술의 집합이며, DRM 기술은 복사 또는 접근의 제한 등으로 불법적인 디지털 콘텐츠의 사용을 제한 DRM 디지털 콘텐츠를 보호할 수 있어야 하며, 안전한 배포가 가능 표준 DRM 구조 및 구입 프로세스 ① 콘텐츠 공급자는 콘텐츠 제작자로부터 콘텐츠를 획득한다. ② 사용자는 콘텐츠 공급자의 콘텐츠 목록에서 원하는 콘텐츠를 찾아 사용자 단말 에 다운로드한다. ③ 사용자는 콘텐츠를 사용하기 위해 콘텐츠 복호화를 할 수 있는 사용권한을 권한 발행자로부터 구입한다. ④ 권한 발행자와 콘텐츠 제작자 간 콘텐츠 비용 정산이 이루어진다.

모바일 DRM OMA DRM에서는 무선 모바일 환경에서 사용되는 콘텐츠의 안전한 유통과 콘텐츠 사용에 대한 상호 운용성을 부여할 수 있는 DRM 시스템에 대한 규격을 정의 모바일 DRM 국제 무선인터넷 표준기구 중에 하나인 OMA(Open Mobile Alliance)에서 2006년 OMA DRM V. 2.0을 정식으로 발표 HTML5에 관한 디지털저작권 관리 내용을 표준화하여 도입하는 문제에 대한 반론도 제기되고 있음