멀티미디어 프로젝트 주간: 수요일 4,5,6 교시 D617호 야간: 목요일 1,2,3 교시 D617호 인천대학교 컴퓨터공학과 성 미 영 mailto:mysung@incheon.ac.kr http://marvel.incheon.ac.kr/~mysung

교재 및 참고서적 교재 3D 게임 프로그래밍, 김용준 저, 한빛미디어, 2003. 부교재 개정판 멀티미디어 배움터, 최윤철, 고견, 임순범 공저, 생능출판사, 2003. 개정판 최신 멀티미디어 개론, 임철수, 이종배, 정선태 공저, 도서출판 그린, 2001.ㄴ 참고서적 Fundamentals of Multimedia, Ze-Nian Li, Marks S. Drew, Prentice Hall, 2004. Media Coding and Content Processing Volume 1, Ralf Steinmets, Klara Nahrstedt, Prentice-Hall, 2002. Multimedia: Computing, Communication & applications), Ralf Steinmetz and Klara Nahrstedt, 1995. (한국어판) 멀티미디어 전산, 통신 및 응용, 송병호 역, 도서출판 아진, 1999. ACM Press, Proceedings on the ACM Multimedia 2002, 2002. IEEE Computer Society, Proceedings on the IEEE Multimedia Systems ’02, 2002.

수업 개요 교과목 개요 멀티미디어 정보를 컴퓨터에서 처리하는데 필요한 하드웨어 및 소프트웨어 기술, 멀티미디어 정보 저장 방법, 압축 방법, 동기화 방법, 전송 방법, 상영 방법, 그리고 멀티미디어 프로그래밍 방법을 이해한다. 특히 멀티미디어 프로그래밍의 실제 기술에 대하여 깊이 있게 다루며, 멀티미디어의 총아인 게임을 제작하는 프로그래밍 기술인 Direct X 기반 3D 게임 프로그래밍 기술에 대하여 중점적으로 학습하며, 미디어 스트리밍 기술인 JMF (Java Media Framework), 각각의 미디어 및 통합 미디어를 다루는 저작 기술인 SMIL(Synchronized Multimedia Integration Language) 등에 대해서도 이해하고 그 유용성을 분석하여 새로운 인터넷 멀티미디어 시스템(Internet Multimedia System)을 설계하고 구현할 수 있는 고급 멀티미디어 전문가로서 갖추어야 할 지식과 기술을 교육한다. 수업 목표 멀티미디어 시스템의 개념에 대해 전반적으로 이해하고 이를 바탕으로 하여 인터넷 멀티미디어 시스템 (Internet Multimedia System)을 설계하고 구현할 수 있는 기초 및 고급 능력을 기르는 것이다. 멀티미디어 정보를 다루기 위한 컴퓨터 구조, 운영체제, 통신 및 멀티미디어 데이터베이스 등의 응용 분야에 필요한 기능들을 분석해 보고 현재 발표된 아래의 기술들을 실제로 다루어 봄으로써 멀티미디어의 개념을 깊이 있게 이해한다. DirectX 기반 3D 게임 프로그래밍 기술 JMF 미디어 스트리밍 기술 SMIL 통합 멀티미디어 기술 또한, Term-Project을 통하여 소규모 멀티미디어 시스템의 프로토타입을 구현해 보아 네트워크형 멀티미디어 전문가로서의 기초 및 고급 능력을 배양한다. 수업 방식: 강의 70%, 실습 30% 학습 평가 방법: 중간 30%, 기말(프로젝트) 30%, 과제 10%, 세미나 10%, 출석 20%

수업 내용 멀티미디어의 개요 멀티미디어 데이터의 처리 (이미지와 그래픽, 사운드, 애니메이션, 비디오) 멀티미디어 편집 소프트웨어 (Photoshop, CoolEdit, GIF Animator, Flash, Premiere) 3D 게임 프로그래밍 기술 이해 및 실습 1 (Direct3D 기초) 3D 게임 프로그래밍 기술 이해 및 실습 2 (Direct3D 수학) 3D 게임 프로그래밍 기술 이해 및 실습 3 (Direct3D 텍스처) 3D 게임 프로그래밍 기술 이해 및 실습 4 (Direct3D 라이트) 멀티미디어 데이터의 압축 및 복원 (JPEG, MPEG, H.261, H263) 중간시험 3D 게임 프로그래밍 기술 이해 및 실습 5 (Direct3D 애니메이션) 3D 게임 프로그래밍 기술 이해 및 실습 6 (Direct3D 세이더) 3D 게임 프로그래밍 기술 이해 및 실습 7 (Direct Sound ) 3D 게임 프로그래밍 기술 이해 및 실습 8 (Direct Play) 네트워크 프로그래밍 이해 및 실습 (Socket, RPC, RMI) 미디어 스트리밍 기술 및 통합 멀티미디어 기술 이해 및 실습 (JMF 및 SMIL) Term Project 발표

과제 Term Project : 멀티미디어 시스템 제작 (1 ~ 2인 1작품) 4월 30일까지 계획서 제출 6월 11일까지 결과물/최종보고서 제출 (수업시간에 발표) 내용 DirectX 기반 멀티미디어 응용 시스템 JMF (Java Media Framework) 기반 멀티미디어 응용 시스템 Windows Media Technology 기반 멀티미디어 응용 시스템 10분 세미나 4월 30일까지 주제 제출 수업 내용과 관련하여 적절한 시간에 발표 수시 과제 통합 멀티미디어 컨텐트 제작(SMIL, VRML, HTML, DHTML, XHTML, XML 등) 네트워크 프로그래밍(Socket, RPC, RMI)

세미나 주제 미디어/멀티미디어 저작도구: Photoshop, CoolEdit, Flash, Premiere, Authorware 등 통합 멀티미디어 언어: SMIL (Synchronized Multimedia Integration Language), DHTML (Dynamic HyperText Markup Language), XHTML (eXtensible HyperText Markup Language), VRML (Virtual Reality Management Language) 등 데이터 압축 기술: JPEG; Joint Photographic Experts Group, MPEG; Motion Picture Experts Group, MP3 (MPEG Audio Layer-3), H.263, SVG 등 디지털 사운드 관련 기술: Spatial audio, 3D sound, computer music (e.g., MIDI) 3D 그래픽스 기술: OpenGL, Direct3D, 3DMax Studio, Maya, VRML (Virtual Reality Modeling Language) 멀티미디어 스트리밍 기술: JMF (Java Media Framework) 등 멀티미디어 개발 환경 기술: MS Windows Media Technology 등 실시간 통신 프로토콜: RTP(Real-time Transfer Protocol), RTCP(RTP Control Protocol), RTSP(Real-time Stream Protocol) 등 분산 시스템 관련 기술: Open Group의 DCE (Distributed Computing Environment), OMG (Object Management Group)의 CORBA (Common Object Request Broker Architecture) with Multimedia Extensions, Sun Microsystems RMI (Remote Method Invocation), MS DCOM (Distributed COmponent architecture Model 멀티미디어 데이터베이스 관련 기술: (e.g., content-based retrieval of images) VOD (Video On Demand) 관련 기술 디지털 방송 기술 가상 현실 기술 애니메이션 기술 인식 기술 게임 기술 모바일 멀티미디어 기술 기타 멀티미디어 관련 창의적인 주제 환영

멀티미디어 인력 멀티미디어 인력 웹/CD-ROM 개발 인력 컴퓨터 게임 개발 인력 디지털 영상 개발 인력 멀티미디어 프로그래머에게 요구되는 자질 새로운 프로그램이나 컴퓨팅 환경을 재빨리 배우고 이해하는 능력 최적의 도구, 최적의 프로그래밍, 최적의 개발 환경 구축 능력 게임 프로그래머의 경우, 3차원 그래픽, 역학, 자료구조, 알고리즘, 인공지능, 네트워크 등 컴퓨터 공학 전문 지식 빠르고 안정적인 서비스 제공 위한 서비스맨쉽(servicemanship)

멀티미디어란? 디지털 정보를 적절한 방법으로 사용자에게 전달할 수 있는, 적어도 하나 이상의 연속 미디어와 이산 미디어가 통합된 것 애니메이션 텍스트 사운드 이미지 비디오 그래픽 Multimedia means an integration of continuous media (e.g., audio, video) and discrete media (e.g., text, graphics, images) through which the digital information can be conveyed to the user in an appropriate way. 정보 전달과 인식에 오감(시각, 청각, 촉각, 후각, 미각)을 최대한 활용하는 것 여러 가지 미디어 자료가 함께 어우러져 의미 있는 정보로 새롭게 탄생한 것

멀티미디어란? 멀티미디어의 특징 대용량 (the volume) 동기화 (synchronization) 멀티미디어의 특징 대용량 (the volume) 동기화 (synchronization) 멀티미디어 응용의 2 유형 On-demand (stored) : persistent Live : non-persistent 멀티미디어의 실제 연속 미디어를 포함한 두 가지 이상의 매체를 사용 대화 기능 (interactivity): 사용자의 의사 반영 데이터는 디지털 형태: 컴퓨터에서 데이터를 처리, 분석, 표현 위해 미디어의 분류 획득 미디어 (captured media) .vs. 합성 미디어 (synthesized media) 연속 미디어 (continuous media) .vs. 이산 미디어 (discrete media) 공간기반 미디어 (space-based media) .vs. 시간기반 미디어 (time-based media)

미디어의 분류 기준 1. Perception(지각) Medium: 사람은 컴퓨터 환경으로부터 어떻게 정보를 지각하는가? 시각 미디어: text, still image(graphics 포함), motion image 등 청각 미디어: music, voice, noise 등 (촉각 미디어) ... 2. Representation(내부표현) Medium: 컴퓨터 정보는 어떻게 부호화(coding) 되는가? text: ASCII나 EBCDIC 코드 문자의 sequence graphics: CEPT나 CAPTAIN videotext standard, GKS graphic standard audio: wave, 16bit PCM, ADPCM, MP3 ... image: bitmap, facsimile G3, JPEG combined AV sequence: TV standard(PAL, SECAM, NTSC), MPEG1,2,4,7, AVI, … 3. Presentation(외부표현) Medium : 어떠한 미디어를 통해서 정보가 컴퓨터에 입출력 되는가? 출력 미디어: 종이, 스크린, 스피커, HMD ... 입력 미디어: 키보드, 마우스, 카메라, 마이크 4. Storage(저장) Medium: 어디에 정보가 저장되는가? microfilm, floppy disk, hard disk(RAID), CD-ROM, DVD, holographic storage, ... 5. Transmission(전송) Medium: 무엇을 통해서 정보가 전달되는가? 유선: 전선쌍(twisted pair), 동축 케이블(coaxial cable), 광섬유(optical fiber) 무선: 공중파, 적외선, ... 6. Information Exchange(정보 교환) Medium: 상이한 지점간의 정보 교환에는 어떠한 정보 전달체계가 사용되는가? 중간의 저장 미디어 경유 전송 미디어로 직접 전송 조합(예, e-mail)

멀티미디어 처리 미디어의 인식(perception) 하드웨어 통해 입력하여 컴퓨터가 인식할 수 있는 형태로 저장 디지털 입력장치: ASCII 키보드, MIDI 키보드, 펜, 이미지 스캐너, 디지털 카메라, 오디오/비디오 디지타이저 아날로그 미디어 입력장치: 비디오 카메라, 마이크 미디어의 표현(representation) 컴퓨터에서의 처리 및 재생을 위하여 규약된 형식 필요 텍스트, 그래픽, 이미지, 애니메이션, 사운드, 비디오별 다양한 표현 형식 MIME(Multipurpose Internet Mail Extensions): 인터넷 메일의 표준화 규격 7개 주타입: 텍스트, 비디오, 이미지, 오디오, 메시지, 멀티파트, 응용 hypertext/hypermedia 미디어의 재생(presentation) 재생시에 원래의 멀티미디어의 내용이 제대로 전달되어야 함 멀티미디어 출력 소프트웨어: 윈도우즈의 출력 그래픽 출력 모듈인 GDI 멀티미디어의 출력 장치: 컴퓨터 모니터, 스피커, 프린터, 플로터 등 미디어의 저장(storage) 데이터의 방대함 때문에 압축 및 큰 저장 매체가 필요: CD-ROM, DVD 등 미디어 전송(transmission) 등 분산 응용의 특성에 따라 멀티미디어 통신, 실시간성 요구 및 서비스 품질(QoS) 요구 연속 미디어 전송에 시간적인 제약성: 음성 및 영상 서비스 미디어별로 요구되는 서비스 품질이 만족되도록 망에서의 미디어별 QoS 처리 지원 및 종단 컴퓨터에서의 효율적인 처리 필요: 텍스트와 영상 동시에 보낼 때

멀티미디어 처리를 위한 기술적 요구 사항 처리해야 할 데이터 양이 방대 1분 비디오: 360x240(pixels/frame)x3(bytes/pixel)x18(frames/sec)x60(sec)==~280MBytes 음성 64Kbps(bits per second)(전화 품질) 8K(Hz)x8(bits) ~ 705.6Kbps(digital audio tape 모노 품질) 44.1(KHz)x16(bits)x2 ~ 1.411Mbps(스테레오 품질) 동영상: 100Mbytes(보통 TV 품질) ~ 1.2Gbps(HDTV 품질) 다양한 미디어들의 동기화(synchronization)가 필요 공간 및 시간 동기화(spatio-temporal synchronization) 미디어내 동기화(intra-media synxhronization) 및 미디어간 동기화(inter-media synchronization) 각 미디어별로 다른 QoS(Quality of Service) 충족 요구 실시간 처리의 요구: 낮은 전송지연(delay) 및 변화(jitter), H/W 지원 및 S/W 지원 필요 복잡해진 표준화에 대한 요구 응용에 따른 다양한 대역폭 요구: 미디어별로 낮은 전송지연, 낮은 지터, 미디어간 동기 필요 멀티파티(multiparty) 요구:1-to-1, 1-to-many, many-to-many

멀티미디어 배움터 (iMMclass) ftp://ftpmm@marvel.incheon.ac.kr 에서 iMMclass 다운로드 멀티미디어의 개요 제 1 장. 멀티미디어와 정보화 사회 제 2 장. 멀티미디어 환경과 활용 제 3 장. 인터넷과 멀티미디어 멀티미디어 데이터의 처리 제 4 장. 이미지와 그래픽 제 5 장. 사운드 제 6 장. 애니메이션 제 7 장. 비디오

일찍 일어나는 새 당신이 새라면 아침에 일찍 일어나야 한다. 그래야 벌레를 잡아먹을 수 있을 테니까. 만일 당신이 새라면 아침에 일찍 일어나라. 하지만 만일 당신이 벌레라면 아주 늦게 일어나야 하겠지. 쉘 실버스타인