Multimedia Service for Home Networking 광통신 기반 디지털 서비스 Workshop (Oct. 30th, 2003) Dr. JongWon Kim Networked Media Laboratory Dept. of Information & Communications Kwang-Ju Institute of Science & Technology (K-JIST) http://netmedia.kjist.ac.kr

Contents Introduction Types of Multimedia Services for Digital Home Technology Trends for Multimedia Distribution in Home Networking Design Issues for Effective Media Distribution in Home Networking Network-adaptive Media Delivery Some Thoughts for Future Plan

Introduction

Applications of Home Networking Broadband Internet access sharing Digital media (audio, video) distribution  Broadcasting Multi-line telephony (VoIP)  Communications Multi-player games Remote access; Peripheral sharing, Data/file sharing Home automation (for management & security)

Requirements for Home Networking Provision of PnP (Plug and Play) & Common interfaces between various devices Low cost devices but with heterogeneous network support (topologies; network interfaces) Support for device mobility and easy reconfiguration Capable of integrating broadcasting & communications High-speed data transmission capability between devices Guaranteed security and privacy Support for various types of QoS

ETRI: FTTH기반 통합 홈게이트웨이 개요 디지털홈의 액세스망인 FTTH(Fiber To The Home)를 수용하여 1Gbps급 이상의 대역폭을 제공하고, 댁내에서는 100Mbps급 유무선 홈네트워크 기반의 기기들을 상호 연결하여 HDTV급 고품질 멀티미디어 기반의 디지털홈 서비스를 제공할 수 있는 통신방송 융합형 고신뢰성 홈게이트웨이 시스템 서비스/콘텐츠 액세스망 홈네트워크 방송망 엔터테인먼트 즐거운 삶 통신방송 융합형 홈게이트웨이 공공행정 Ethernet 통신망 편리한 삶 IEEE1394 원격의료 OPTIC F/E 안전한 삶 무선 VDSL 원격교육 개인의 Life Style을 풍요롭게 하는 미래 지향의 가정 환경 구축

Types of multimedia service for Digital Home

Types of Multimedia Services for Digital Home Home Gateway Gateway, Media converter, Contents server, … w/o Media Conversion Real-time Multimedia Distribution Service with Media Conversion Storage-based Multimedia Distribution Service Bi-directional Multimedia Delivery Service QoS, Multicast, M/W Protocol, Security (DRM) Support

Real-time Multimedia Distribution Service Distributing MM contents via unicast/multicast to the multiple client terminals over the heterogeneous networking environment; May involve the media conversion (i.e., transcoding stage) to support diverse capabilities of terminals. Satellite Cable Terrestrial IPTV Server IP SetTop HDTV ALL IP Network … IP SetTop HDTV Home Network Access Network Tablet Home Gateway PDA Media Content Internet Streaming VOD Server PC

Storage-based Multimedia Distribution Service By taking advantage of time-lapse based storage & play, multimedia contents are distributed to versatile terminals at any time Broadcasting IP-capable SetTop HDTV HN HG Broadcasting Internet TV HDD IP-capable SetTop HDTV HN HG Tablet PDA HDD Tablet PDA

Bi-directional Multimedia Delivery Service Serving media-based interactive multi-point communication (audio only, audio+video) by leveraging the home gateway as server/proxy for communication; Includes the security video Components of an AG Node Digital Video Digital Audio NETWORK Mixer Control Computer NTSC Video RGB Video Analog Audio Video Capture Computer Display Computer Audio Capture Computer Echo Canceller Requires Multicast Towards the advanced collaboration environment

Technology trends for multimedia distribution in Home Networking

기술현황 조사: 멀티채널을 기록할 수 있는 홈서버 일본 NEC 기능 MPEG-TS에서 스트림을 뽑아 저장장치에 저장 저장된 방송 MPEG스트림을 디코딩해서 TV에 재생 미들웨어의 기능 디렉토리 서비스: 스트림의 정보 스트림 제어: 스트림 저장 및 검색

기술현황 조사: 프락시 기능을 하는 홈서버 Sony 사설 서버의 역할 저성능 장치를 위한 계산자원, 데이터 공간 제공 인터넷으로 부터 미디어 다운로드

기술현황 조사: QoS를 지원하는 HG S/W 구조 Q-Soft 홈네트워크에서 QoS를 지원하는 소프트웨어 프레임워크 Master/Clients: Q-Soft Kernel, Resource reservation, Traffic policing, Packet scheduling Master: + Admission Control and Resource Manager

기술현황 조사: QoS를 지원하는 홈게이트웨이 구조 Subnetwork Bandwidth Manager (SBM) RFC 2814 For RSVP-based admission control over IEEE 802-style networks. 출처: IEEE Communications Magazine, April 2003

기술현황 조사: 홈게이트웨이 주요 제품들 SONY사의 CoCoon 프로젝트 PACE의 DSL4000 Microsoft의 Windows XP Media Center PACE의 DSL4000

기술현황 조사: SoftBank’s BBCableTV Triple Play Service - Broadcast TV: 17 channels (2Mbps MPEG2) - VoD:500 titles - Internet - VoIP Access ADSL Moderm DRM: NDS Headend IP STB Channel-1 DRM Vod Server - SGI Origin G/E: Cisco 6509 (EoEF) IP Multicast Access Channel-2 Mpeg2 Encoder - Harmonic ADSL Moderm IP STB IP STB - Samsung: SMF-F240 - M/W: Thirdspace Access Access - Corecess: 6524 - Utstacom: AN-200 IB

기술현황 조사: IP Broadcasting Demo (Netmanias)

Design issues for effective multimedia distribution in Home Networking

MM 서비스를 위한 홈 네트워크 환경 네트워크 환경 지원 예정 멀티미디어 서비스 HG 및 서비스를 받는 단말 ALL IP 환경: IEEE 1394 지원 문제는 별도. 외부 액세스 네트워크: 1Gbps 광액세스망. 내부 홈 네트워크 - 100 Mbps급 Fast Ethernet, 800 Mbps급 IEEE1394, 54Mbps급 802.11a 등. 지원 예정 멀티미디어 서비스 High Definition 지원 중심: MPEG-2 TS MP@HL 20Mbps 급 HD stream 중심. 실시간 분배 (미디어 변환 포함), 저장형, 쌍방향 멀티미디어 전송 서비스. HG 및 서비스를 받는 단말 HG 역할: Gateway, Media Converter, Contents server 등 다양한 기능을 하는 통합형 장치. 단말 종류: IP SetTop, PC, Tablet/PDA. HG와 일체화된 dedicated 단말기(능동형)들을 우선적으로 고려함. 단말의 능력에 따른 미디어 지원을 위한 변환(media adaptation) 기능 포함. QoS, Multicast, M/W Protocol (미디어 관련), Security (DRM) 지원 관련 QoS: 미디어 중심의 종단간 QoS 지원을 위한 네트워크 적응형 전송을 중심. 네트워크의 대역폭/손실/지연에 적응적인 미디어 분배 기법 소개. Multicast: IGMP 관련 등에 연관된 신속한 multicast 네트워킹 지원 문제, Scalable 한 multicast 기반 미디어 분배 (e.g., layered multicast). M/W Protocol (미디어 관련): 콘텐츠 검색/관리 및 미디어 서비스를 위한 프로토콜들 - UPnP, RTSP, SIP/SAP, SDP – 활용에 관련한 검토. Security (DRM): 관련된 security 문제를 간단하게 언급.

실시간 MM 분배 서비스 절차 (단말) 초기화 과정 프로그램 (콘텐츠/채널) 검색 콘텐츠 미디어 수신 요청 네트워크 관련 초기화 단말 관련 초기화 (관련 프로그램 기동 및 인증) 프로그램 (콘텐츠/채널) 검색 EPG, WWW Portal, SAP, HG Contents Directory 등 경우에 따라서 멀티캐스트 서비스 관련 요청 (IGMP join/leave) 콘텐츠 미디어 수신 요청 QoS 설정 (resource reservation & allocation) 및 인증 (authentication & billing) [VOD] RTSP 요청 [VOD] 또는 채널 변경 [IPTV] 콘텐츠 수신 및 재생 DRM 관련 처리 후 재생 스트리밍 서비스 제어 [VOD]

Client/Device Capabilities MM 서비스를 위한 홈 게이트웨이 구조 개념 Fast Ethernet IEEE 1394 IEEE 802.11 xDSL FTTH (PON) Contents Directory HMMP Agent HMMP Proxy Manager User Preference Client/Device Capabilities Multicast Stream-1 Interfaces Interfaces Transcoder Manager … Transmission Manager Classifier Multicast Unicast/ Multicast Stream-n Cache Unicast Device Interface Storage Manager Storage

멀티미디어 관련 설계 이슈들 (1) Media Converter 관련 Multicast 지원 관련 QoS 지원 관련 변환과 멀티캐스팅의 상관관계 (e.g., layered multicasting)? Proxy/Cache와 응답 속도의 관계에 대한 분석? Multicast 지원 관련 IGMP 관련 등에 연관된 신속한 multicast 네트워킹 지원 문제 Scalable 한 multicast 기반 미디어 분배 (e.g., layered multicast) Reliable Multicasting과의 접목? QoS 지원 관련 QoS 관리 방안: DiffServ-based QoS Manager? Both for access network and internal network for Home Networking 미디어 중심의 종단간 QoS 지원을 위한 네트워크 적응형 전송 (유무선 연계 문제 포함) Synchronized Multicast Media Streaming Framework

Synchronized Multicast Media Streaming Roles of Server Group coordination Feedback suppression Congestion control Retransmission-based Error Recovery Internet Audio Controller Video Source Specific Multicast Unicast feedback Ease of deployment PIM-SM SSM-enabled IP network Retransmission Buffer Inter-client Synchronization Fair services Mitigates clients heterogeneity Assist error recovery Presentation time difference DeMux Receiver Buffer Decoder (AD) VD Scheduler Compositor Monitor Timer Controller Intra-client Synchronization Buffer Control & Playout time discrepancy control Adaptive playout control Static/dynamic playback factor

멀티미디어 관련 설계 이슈들 (2) M/W Protocol (미디어관련) 지원 관련 M/W Protocol (미디어 관련): 콘텐츠 검색/관리 및 미디어 서비스를 위한 프로토콜들 - UPnP, RTSP, SIP/SAP, SDP UPnP: 통합형 HG 단말사이의 정보 교환용? RTSP: 미디어 스트리밍 지원 (VOD) SIP: 확장된 미디어 지원 기능 외부망 연결 및 쌍방향 서비스 발전, 통신서비스 융합에 유리 SAP: 프로그램 정보 획득용 SDP: 미디어 세션의 표준적인 description 방식

Network Adaptive Media Delivery

Media Delivery – Application vs Network Network Characteristics and Policies: Rate (CBR, VBR, ABR, …), Error (random/bursty in BER/PLR/CRL), Delay/Jitter (tolerance) Network-adaptive Delivery Content-aware Transport Network Application/Source Application/Source Characteristic : steady/burst, real-time?, loss-resilient?

Media Delivery – Adaptation & Support

Inter-operable Delivery with Protocol Support Standard-based vs. Proprietary Protocols? Related issue: Standardized media content representation (e.g. MPEG-X) vs. Others?

Media Streaming Related Protocols Hellix Darwin

Multicast Support for Multipoint Media Distribution Multicast streaming? Model (ASM, SSM, ALM/Overlay/P2P) Reliable Multicast Transport Mobile/Wireless Multicast Resilient Multicasting of continuous media

QoS-network Support for Quality Media Delivery QoS Model: IntServ, DiffServ, Traffic Engineering (MPLS), … QoS signaling Reservation and Allocation

Media Delivery – Network Adaptation Layered Video Encoding Network Adaptation & Receiver/ Prioritized Packetization Wired/Wireless User R-D / Networks Layered Corruption RPI Model Network R-D Network Adaptation Network Video Analysis Adaptation Adaptation Layered (Source Prioritized Pre- P r i o r i t i z e d en- Rate/Error Packeti- L a y e r e d process- coding Corrup- Resilience) zation (Network P a c k e t s Network ing (Network tion Rate/Loss/ Adaptation (only if Filtering) Analysis applicable) Delay) R e c S e i (Receiver / e l v e e r c t i User Target o Estimated Network Feedback n Minimum Adaptation) Available Bandwidth Network Constant (Network Bandwidth, Frame Monitoring Quality Constraint) Loss/Delay Network Feedback (end-to-end) Complexity & (Quality Rate Target Feedback Constraint) Control Minimum Handling Application Feedback Buffer Size (Receiver Constraint)

Advanced Delivery of Immersive Media Integrated MM Representation Smart Query QoS request Device Capability End User Wired/Wireless Internet Immersive Media Database with Metadata R Proxy Delivery Feedback Proxy Media Retrieval & Transcoding Robust and Flexible Media Delivery w/ Network Adaptation Reliable Media Distribution Techniques (P2P, Multicast) Robust and Flexible Media Delivery Techniques Network-Aware Representation & Network Adaptation Advanced Delivery for Immersive Media Media Storage & Retrieval Techniques

Some Thoughts for Future Plans

Ubiquitous Networking 광통신 기반 디지털 서비스 테스트베드 Biennale Gwangju FTTH Distribution Center Optical Networking ISP Network Storage Media Server Management Server Enhanced Access Grid Smart Office Ubiquitous Networking KOREN/KREONET APII/TEIN Busan Daejeon Seoul Gwangju KJIST Korea Multicast / QoS / IPv6 Router Wireless LAN

광주과기원 실감방송 ITRC Multi-modal Immersive Media Service Technology 3D Video Synthesis & Reconstruction Immersive Media Storage & Query/Browsing 3D Geometry Generation & Modeling Immersive Media Content Adaptation Interactive User Interface Immersive Media Compression & Integration Immersive Media Delivery Contents Service (Protocol & System) 3D Audio Generation & Reconstruction Multi-modal Immersive Media Service Technology Multi-D Haptic Generation & Reconstruction Digital Contents Management & Protection

Thank You! Send Inquiries to jongwon@kjist.ac.kr