첨단영상대학원 박경주교수 2009.10.08 첨단영상대학원 박경주 교수 디지털 엔터테인먼트 Lecture 6 http://graphics.cau.ac.kr/courses.htm 2009.10.08 첨단영상대학원 박경주 교수

Topics - Interaction Tomorrow 혼합현실 증강현실 가상현실

혼합 현실의 정의 혼합 현실 (Mixed Reality) 가상 현실과 증강 현실 모두를 통칭하는 단어 증강현실: 리얼리티를 보충하는 수단 Mixed Reality(MR) Virtuality Continuum Real Environment Augmented Reality(AR) Augmented Virtuality(AV) Virtual Environment

혼합 현실의 정의 Mixed Reality(MR) Virtuality Continuum Wisteria World Cybercity Walker RV-Border Guards 2000 Mixed Reality(MR) Virtuality Continuum Real Environment Augmented Reality(AR) Augmented Vituality(AV) Virtual Environment AR2 Hockey Living Room MR Systems Laboratory Inc. Cyber Mirage 99

실제와 가상(Reality & Virtuality) [ Woo, 1999 ]

가상 현실과 증강 현실 가상의 물체가 실제 환경의 일부분에 합성됨 VR AR 가상의 물체가 실제 환경의 일부분에 합성됨 사용자는 가상의 물체뿐만 아니라 실제 환경까지 동시에 볼 수 있다. 사용자를 가상으로 만들어진 3차원 공간 안으로 완전하게 몰입시키는 기술 사용자는 주변의 실제 환경을 전혀 볼 수 없음

증강 현실 가상 환경과 실제 환경의 혼합 사용자가 바라보는 실제 환경과 컴퓨터로 생성된 가상의 환경을 합성하여 새로운 영상을 합성해 내는 기술 = + Real world Virtual object Augmented Reality Real environment A virtual transparent teapot + Collaborative Geophysical Visualization.mov MagicBookExternalView.mov

Feature extraction & tracking 증강현실 시스템의 구성 증강 현실 시스템의 블록도 Display-Out AR Processing Image Capture Camera Frame Grabber Feature extraction & tracking Monitor or HMD Synthesis Virtual Object Rendering Camera Calibration Buffer

증강 현실 시스템 구현에 필요한 기술 3D 모델링 (3D Modeling) 삽입될 3차원 모델 생성 출력 장치 (Display Devices) 실제 현실과 컴퓨터 상에서 생성된 가상 현실을 혼합하여 사용자 에게 효과적으로 출력하기 위한 장치 카메라 교정 (Camera Calibration) 영상 취득을 위해서 사용된 카메라의 정보를 획득 실제 세계와 가상의 세계 사이의 좌표 값 계산 추적 과정 (Tracking) 사용자의 위치와 이동 방향 등을 감지 사용자의 움직임 정보를 취득하여 사용자의 이동이나 행동을 추 적하기 위한 기술

3D 모델링 (3D Modeling)   3D 모델 디자인 툴을 이용 3D reconstruction from image ex) MayaTM, SoftImageTM, … 3D reconstruction from image Range Finder (Laser scanner)  

출력 장치 (Display Devices) HMD (Head-Mounted Display) Optical see-through HMD Video see-through HMD Micro-optical HMD

Optical see-through head-mounted display 눈 앞에 반 투명한 optical combiner를 장착하고 장착된 optical combiner를 통해서 실제 환경과 가상 환경을 합성한다. Head Tracker (position,orientation) Virtual images from monitors reflection Real World transmission Optical Combiners Ronald T. Azuma Hughes Research Lab.

Video see-through head-mounted display 눈앞에 작은 모니터가 있는 방식으로 하나 또는 두 개의 카메라로부터 취득된 영상을 모니터에 출력시킨다. Video cameras Head Tracker Video Real World Graphics (Virtual images) Monitors Combiner Ronald T. Azuma Hughes Research Lab.

카메라 교정 (Camera calibration) 카메라 정보 계산 카메라와 피사체, 영상에 대한 상대적인 좌표값 계산 과정 사용자의 위치와 움직임 방향 추정 카메라 정보 (Camera parameters) 내부 정보 (Intrinsic parameter) Focal length, scale, skew, principal point. 외부 정보 (Extrinsic parameter) Rotation and translation

카메라 교정 (Camera calibration) 2차원 교정 도구 (2D calibration object)를 이용한 방법 Calibration with check board Implementation using patterns 620_AgusantoK.mpg

카메라 교정 (Camera calibration) 기하학적 정보를 이용하는 방법 교정 도구 (Calibrating object)가 필요 없는 방법 영상 내의 수직, 평행, 직각 등의 기하학적 정보를 이용 비교적 정보의 취득이 쉽고 카메라 교정에 필요한 충분한 정보를 제공함. Geometric information

카메라 교정 (Camera calibration) 기하학적 정보를 이용하는 방법 (a) 0th frame (b) 100th frame (c) 200th frame (d) 0th AR image (e) 100th AR image (f) 200th AR image Experiments images (320x240, total 345 frames) AR2withFiltering.avi

사용자 위치 추적 (Tracking) 사용자의 위치와 이동 방향에 대한 정보를 취득하는 과정 특정한 모양의 표식자(fiducial)를 사용자가 부착하고, 카메라가 해 당 표식자의 패턴을 인식하는 방법. 모션 추적 장치(motion tracking device)와 같은 하드웨어 장비를 이 용하는 방법. GPS (Global Positioning System)를 이용하는 방법. 주로 실 외에서 사 용되며 1m~100m정도까지의 오차가 발생함.

증강 현실의 응용 분야 의료영상 (medical visualization) 분야 MRI 또는 CT 영상을 이용하여 구성된 3차 원 모델을 신체와 합성하여, 수술 또는 기 타 치료에 이용. 상품 제조 및 수리 (manufacturing & repair) 3차원 모델을 실제의 제품과 합성하여 직 접 사용법을 배우는 듯한 효과를 얻을 수 있다. 주석 표현 (annotation & visualization) 기술 사용자가 주변 사물을 바라 볼 때 주변 사 물에 대한 정보를 실시간으로 제공해 주 는 기술

현실/가상 세계의 융합기술 사용 예 (1) Jellyfish Party HMD를 착용한 사용자가 스트로우 건을 이용하여 가상의 비누 방 울을 만들어 내며, 노즐의 종류에 따라 다양한 물체를 만들어 낼 수 있다.

현실/가상 세계의 융합기술 사용 예 (2) AR 게임 인터액티브 보드 게임 (Interactive Board Game): 실시간으로 삽입 된 가상 캐릭터와 체스 게임을 할 수 있다

현실/가상 세계의 융합기술 사용 예 (2) AR 게임 The AR Quake Project (at the University of Southern Australia) ARinQuake-01.avi ARinQuake-02.avi

현실/가상 세계의 융합기술 사용 예 (3) 증강 현실을 이용한 외과 수술 의사는 실시간으로 구성된 3차원 증강영상을 제공 받는다. 수술에 필요한 영상 데이터는 CT 촬영 장치나 초음파 촬영 장치 로부터 얻어진 데이터를 이용하여 재구성이 된다 ARinMedicine.mov

현실/가상 세계의 융합기술 사용 예 (3) 가상 의료 실습 시스템 (Virtual Reality Surgical Simulators) 가상으로 생성된 환자의 장기를 보며 의료 시술 실습을 수행함.

현실/가상 세계의 융합기술 사용 예 (4) 주석 표현 (annotation & visualization) 기술 사용자가 주변 사물을 바라 볼 때 바라보는 장면에 대한 정보를 HMD를 통하여 실시간으로 제공해 주는 기술 Annotating Real-World Objects Using Augmented Reality Eric Rose, et. al., ECRC S. Feiner, B. MacIntyre, M. Haupt, & E. Solomon, Columbia University

현실/가상 세계의 융합기술 사용 예 (4) 제품의 제조 및 수리 Computer-aided manufacture/maintenance Boeing wire harness assembly. Adam Janin wearing HMD. David Mizell, Boeing

현실/가상 세계의 융합기술 사용 예 (4) 실시간 GPS 정보를 이용하여 사용자에게 네비게이션에 필요한 합성 영상 제공 네비게이션 시스템 (Navigation system) 실시간 GPS 정보를 이용하여 사용자에게 네비게이션에 필요한 합성 영상 제공 Top red line : compass heading Text : position, instruction Center blue circle : current position at the center Blue triangle : direction to go Yellow line : the outline of the buildings

현실/가상 세계의 융합기술 사용 예 (5) 가상 이미징 (Virtual Imaging) 실제로 존재하지 않은 가상의 그래픽을 실제 환경에 있는 것처럼 합성하는 기술 ARinTV-01.asf ARinTV-02.asf

현실/가상 세계의 융합기술 사용 예 (6) 가상 스튜디오 (Virtual Studio) 실제 세트 대신 컴퓨터가 생성한 그래픽 세트를 배경으로 프로그 램을 제작하는 시스템

현실/가상 세계의 융합기술 사용 예 (7) 매직 북 (Magic Book) 실제 세계와 같이 입체적으로 이루어져 있는 세계를 실제로 구현 하기 위한 책 HMD를 착용한 사용자는 책 속의 마커 (marker)의 위치에 합성된 살 아 있는 듯한 3차원 영상을 볼 수 있다.

현실/가상 세계의 융합기술 사용 예 (8) 실시간 손동작 추적 기법을 이용한 Enhanced Desk 적외선카메라, 컬러 카메라 등을 이용하여 사람의 손동작을 감지 멀티미디어 컨텐츠를 보다 새롭고 다양한 방법으로 이용할 수 있 으며 보다 효율적이고 직관적인 인간과 기계 사이의 인터페이스 를 구축 할 수 있다

현실/가상 세계의 융합기술 사용 예 (9) 개인용 인터랙션 패널 (Personal Interaction Panel) 사용자가 HMD를 착용하고 접하게 되는 인터페이스는 특정한 형 태로 고정 되어 있지 않기 때문에, 필요한 목적에 따라 여러 가지 인터페이스가 개발되어 이용된다.

- “컴퓨터 및 복잡한 데이터와의 시각화(visualization), 가상현실(Virtual Reality) 이란? - “컴퓨터 및 복잡한 데이터와의 시각화(visualization), 조작(manipulation) 및 상호작용(interaction) 하는 구체적인 방법” 의미 (by “Silicon Mirage: The Art Science of Virtual Reality”) - 사용자가 현실처럼 인지할 수 있는 시뮬레이션되는 환경 - 가상환경(VE) 모델 및 그 환경과 상호작용할 수 있는 시스템 Various components of VR system. ㅇㅁㅇㅁㅇㅁ

가상 현실의 요소 -Immersion(몰입) + Interaction(상호작용) -Reality: Realtime, 3D space, sound, tactile feedback 인조환경(Synthetic Environments) : -Simulation -Conveniences, Advantages Virtual Reality 가상현실 Synthetic Environments Micro VR Macro VR Artificial Reality ㅇㅁㅇㅁㅇㅁ

인공현실(Artificial Reality) : -Immersion(몰입)이란? ‧ VR 장비에 의해 구현되는 실제감의 정도 ‧ VR 경험과 현실을 구분하기 어려울수록 높은 몰입감 ‧ 사용되는 영상 해상도와 애니메이션 프레임수도 영향 인조환경(Synthetic Environments) : -Simulation -Conveniences, Advantages 인공현실(Artificial Reality) : - Desktop 환경을 이용한 Simulation - Computer Graphics, Realtime Interactivity 측면 강조됨 - VRML, Architectural Walkthrough - Solution in search of Problem ㅇㅁㅇㅁㅇㅁ

가상현실(Virtual Reality) : 1993 1999 ㅇㅁㅇㅁㅇㅁ

인조환경(Synthetic Environments) : - Stereoscopic (Multi-) Projection System - 몰입감이 극대화된 Macro-VR ㅇㅁㅇㅁㅇㅁ

ㅇㅁㅇㅁㅇㅁ

가상환경(Virtual Environments) : - Tactile(촉각) feedback + Force feedback ⇒ Haptics - Haptic Interaction을 포함하는 Synthetic Environments ㅇㅁㅇㅁㅇㅁ

Why Touch ? 햅틱(haptic)은 촉감과 관련됨. 햅틱 상호작용면에서 사용자는 가상 또는 원격 환경에서 운동학적 존재감을 느낌. 시각 및 오디오 신호(cue)를 결합하여 몰입감 강조 햅틱 디스플레이는 실제 및 인공 세계 와의 인터페이스 역할 담당 I hear and I forget, I see and I remember, I do and I understand. ㅇㅁㅇㅁㅇㅁ

ㅇㅁㅇㅁㅇㅁ

ㅇㅁㅇㅁㅇㅁ

Multi-modal issues 시각정보는 햅틱 지각에 많은 영향을 미치며, 청각 정보에 의한 영향은 적다. 햅틱용 진동, 촉각 어레이(array), 온도 등을 사용해 존재감(현실감)을 증가하도록 함. 시각, 햅틱, 청각 등이 공간 및 시간적으로 함께 결합(registration) 되는 것이 중요함. ㅇㅁㅇㅁㅇㅁ

Exo-skeletal, CyberGrasp(Virtual Tech.) Example devices: Exo-skeletal, CyberGrasp(Virtual Tech.) ㅇㅁㅇㅁㅇㅁ

Ground based, PHANToM(Sensible Technologies) ㅇㅁㅇㅁㅇㅁ

Exo-skeletal, Ground based Pneumatic Haptic Interface (Southern Methodist Univ.) ㅇㅁㅇㅁㅇㅁ

for Surgical Enhancement & Telemedicine Image Overlay for Surgical Enhancement & Telemedicine Surgery Simulation ㅇㅁㅇㅁㅇㅁ

Eye Surgery Simulation ㅇㅁㅇㅁㅇㅁ

Knee Surgery Simulation ㅇㅁㅇㅁㅇㅁ

몰입형 가상현실 게임 시스템 ㅇㅁㅇㅁㅇㅁ

Homework2 Due: 10/22 중간고사 전 A4 한 장으로 첨단영상제 견학기 작성하여 제 출 2009년도 첨단영상제 일정: 10/13 – 10/16 10am – 6 pm 장소 : 중앙대학교 아트센터 전시실(2층) Rhythmic Gesture 융복합 공연 (15분) 10/15일 오후 5시 21세기 미래형 영상 콘텐츠 기술 Workshop 10/15일 오후 1:30 - 4:00 모션그래픽스연구실(http://graphics.cau.ac.kr/)