Haptics & Virtual Reality 햅틱스와 가상현실 Haptics & Virtual Reality 햅틱스와 가상현실 MeeYoung Sung Marvel Lab. (Multimedia Advanced Real Virtual Environment Laboratory) Computer Science & Engineering Department University of Incheon 1 Fall 2013

Haptics & VR Syllabus 2 Week (date)LecturePresenterReadingsAssignment Week1 (9.4)Overview Week2 (9.11)1. IntroductionSMY Week3 (9.18) 추석 Readings proposal Week4 (9.25)2. Input DevicesSMY Week5 (10.2)3. Output DevicesSMYHaptic VR project proposal Week6 (10.9)4. Computing Architecture for VR? Week7 (10.16)5. Modeling? Week8 (10.23)6. VR Programming? Week9 (10.30)project day? Week10 (11.6)7. Human Factors in VR? Week11 (11.13)8. Traditional VR Applications? Week12 (11.20)9. Emerging Applications of VR?At Home Exam Week13 (11.27)Seminar1 Week14 (12.4)Seminar2 Week15 (12.11)Seminar3 Week16 (12.18)Haptic VR project presentationHaptic VR project code & document

Course Objectives 가상현실에서 촉감과 힘을 통해 더욱 구체적이고 실제적인 정보를 전달하는 방법인 햅틱스 기술을 컴퓨터 그래픽스와 컴퓨터 네트워크 기술에 기반하여 깊이 있게 학습하고 연구 하여, 응용분야가 무한한 촉감가상현실 분야의 전문 능력을 갖춘 유능한 인재를 양성한다 첫째로, 가상환경을 만들기 위한 입출력장치, 컴퓨터 아키텍쳐, 모 델링 및 프로그래밍에 대한 기초 개념들을 실제 시스템을 다루고 활 용함을 통하여 햅틱스 기술의 기초를 이해한다. 둘째로, 인간의 촉감 감지과정, 촉감처리 및 제어, 촉각의 제시에 대 한 기술들을 학습한다. 셋째로, 실제 프로그램 언어를 이용하여 가상환경을 개발하고 햅틱 스 기술을 실험, 실습하여 촉감가상현실 시스템의 전문 능력을 갖춘 다. 3

Course Information 강의, 세미나, 토론, 실습을 병행 Seminar Textbook 또는 ebook 2 회 Paper 1 회 Haptic VR Project 수행 지정 과제 중 택 1 또는 더 좋은 과제 제안 가능 제 1 과제 : 햅틱 속성 제어기 (Tactual Haptic Controller) 제 2 과제 : 햅틱 원격 제어기 (Tele-Haptic Operator) Exam (textbook review) At Home Exam 1 회 Final Exam 1 회 4

Grading Criteria ( ) Seminar30% Exam (textbook)30% Haptic VR Project20% Attendance20% 5

Haptic VR Project 지정 과제 중 택 1 또는 더 좋은 과제 제안 가능 제 1 과제 : 햅틱 속성 제어기 (Tactual Haptic Controller) 햅틱 속성들을 사용자 입력에 의해 설정하고 설정된 4 개 속성 (Stiffness, Damping, Static friction, Dynamic friction) 값에 해당하는 촉감을 테스트 할 수 있는 간단한 제어기 제작 제 2 과제 : 햅틱 원격 제어기 (Tele-Haptic Operator) 햅틱 장치로 원격 객체를 실시간 원격 햅틱 탐침 (probe) 할 수 있도 록 서버의 햅틱 장치 제어가 원격의 햅틱 장치에 동일하게 실시간으 로 적용되게 하는 응용 제작 ( 원격의 햅틱 피드백을 서버로 전송하는 기능 포함 권장 ) CHAI3D 기반 코드 제공 6

Course Topics Introduction to Computer Haptics Computer Graphics for Haptics Computer Network for Haptics Collision Detection in Computer Haptics Haptic Rendering of Computer Haptics (Object Shapes, Surface Details, Deformable Objects) Selected Applications in Computer Haptics Virtual Reality Networked Virtual Reality 7

Textbook & Materials Virtual Reality Technology, Second Edition, Grigore C, Burdea, Phillippe Coiffet, Wiley Interscience, 2003.Virtual Reality Technology download-1.htmlhttp:// download-1.html Fundamentals of Computer Graphics, Second Edition, Peter Shirley et al. AK Peters, 2005.Fundamentals of Computer Graphics Exploiting Perception in High-Fidelity Virtual Environments, 2006 SIGGRAPH Course24, M. McLaughlin, J. P. Hespanha, and G. S. Sukhatme, "Introduction to Haptics", Chapter 1 in Touch in Virtual Environments, MISC Press Multimedia Series (Prentice Hall), Upper Saddle River, NJ, 2002, pp Introduction to Haptics L. A. Jones, "Kinesthetic Sensing", hypothetically to appear in Human and Machine Haptics, M. Cutkosky, R. Howe, K. Salisbury, and M. Srinivasan, eds., MIT Press, 2000.Kinesthetic Sensing 햅틱스 기술개발 동향 및 연구 전망, 경기욱, 박준석, 전자통신동향분석, 제 21 권, 제 5 호, pp93-108, 2006 년 10 월. Selected papers 8

Textbook: Burdea and Coiffet, Virtual Reality Technology, 2 nd Edition, Wiley,

Papers (to be added) Abdulmotaleb El Saddik, “The Potential of Haptics Technologies,” IEEE Instrumentation & Measurement Magazine, IEEE, pp , February Gabriel Robles-De-La-Torre, “The Importance of the Sense of Touch in Virtual and Real Environments,” IEEE Multimedia Vol. 13, Issue 3, Special issue on Haptic User Interfaces for Multimedia Systems, July-September K. Salisbury, F. Conti, and F. Barbagli, "Haptic Rendering: Introductory Concepts," IEEE Computer Graphics and Applications, vol. 24, pp , M. A. Srinivasan and C. Basdogan, "Haptics in Virtual Environments: Taxonomy, Research Status, and Challenges," Computer & Graphics, vol. 21, pp , V. Hayward, O. R. Astley, M. Cruz-Hernandez, D. Grant, and G. Robles-De-La-Torre, "Haptic Interfaces and Devices," Sensor Review, vol. 24, pp , R. L. Klatzky and S. J. Lederman, "Touch," in Handbook of Psychology, vol. 4, I. B. Weiner, Ed. New York, USA: Wiley, 2002, pp D. A. Lawrence, "Stability and Transparency in Bilateral Teleoperation," IEEE Transactions on Robotics and Automation, vol. 9, pp , C. Basdogan and C.-H. Ho, "Principles of Haptic Rendering for Virtual Environments," Haptic Rendering in Shared/Collaborative Environments - Transatlantic Touch Haptic Rendering in Shared/Collaborative Environments - LatencyHaptic Rendering in Shared/Collaborative Environments - Transatlantic Touch Haptic Rendering in Shared/Collaborative Environments - Latency C. Basdogan, C.-h. Ho, M. A. Srinivasan, and M. Slater, "An Experimental Study on the Role of Touch in Shared Virtual Environments," ACM Transactions on Computer-Human Interaction, vol. 7, pp , J. Kim, H. Kim, B. K. Tay, M. Muniyandi, M. A. Srinivasan, J. Jordan, J. Mortensen, M. Oliveira, and M. Slater, "Transatlantic Touch: A Study of Haptic Collaboration over Long Distance," Presence: Teleoperators and Virtual Environments, vol. 13, pp , C. Gunn, M. Hutchins, and M. Adcock, "Combating Latency in Haptic Collaborative Virtual Environments," Presence: Teleoperators and Virtual Environments, vol. 14, pp , N. Nitzsche, U. D. Hanebeck, and G. Schmidt, "Design Issues of Mobile Haptic Interfaces," Journal of Robotic Systems, vol. 20, pp , N. Nitzsche and G. Schmidt, "A Mobile Haptic Interface Mastering a Mobile Teleoperator," in Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, 2004, pp

Links Community The Haptics Community Haptics-L The International Society for Haptics Conferences Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems Eurohaptics Journals Presence: Teleoperators and Virtual Environments Haptics-e IEEE Transactions on Robotics ACM Transactions on Applied Perception Note: Much more journals regarding virtual reality, computer graphics, robotics, human- computer interaction and perception publish haptics articles Companies Sensable Technology Immersion Corporation Force Dimension Novint Technology Reachin 11

햅틱스란 햅틱스는 촉감을 재현하는 것을 목적으로 다양한 학문의 분야가 모여서 탄생한 새로운 학문 햅틱 (haptic) 이라는 단어는 그리스어로 ‘ 만지다 ’ 라는 뜻의 ‘haptesthai’ 에서 유래한 영어 단어로 ‘ 촉각의, 만지는 ’ 이라는 형용 사적 의미로 사용된다. 사람의 촉각을 구체적으로 표현하는 단어로는 손가락과 팔 등의 근감각을 통해서 만지고 있는 환경을 느끼는 과정을 가리키는 ‘kinesthetic’ 과 피부의 직접적인 접촉을 통해 접촉 환경을 느끼는 과정을 가리키 는 ‘tactile’ 이라는 단어가 있는데, ‘haptic’ 은 햅틱스 연구분야에서는 사전적 의미와는 별개로 위의 두 단어의 의미를 포함하여 촉각과 관련된 모든 감각을 합쳐서 부 르는 일반적인 용어로 사용되고 있다. 12

What is haptics? Comes from the Greek haptesthai, meaning to touchTactual sensory information conveyed to the brain: 1-Tactile information:The responses of receptors of the skin in contact with an object(texture information about an object) 2-Kinesthetic information: Net forces applied to limbs (coarse information about an object) 13

14

Haptic Research 15

10 Things That Will Change The Way We Live Fuel Cells 2.Gene Therapy 3.Haptics 4.Internet2 5.LifeStraw 6.MRAM 7.$100 Laptop 8.$200 Barrel Of Oil 9.VoIP 10.WiMAX 16

Haptics Research Haptic Interface: 촉각을 전달하기 위한 물리적 환경을 일 컫는 햅틱 인터페이스 개발 및 제어 Behavioral Neuroscience and Biological Psychology( 행 동신경과학과 생물심리학 ): 사람이 느끼는 촉감의 메커니 즘을 연구하는 신경과학 및 심리학 Haptic Rendering: 물리적 특성을 결정하고 하드웨어와 소프트웨어를 연동시켜 촉감을 모델링하는 햅틱 렌더링 Haptics Application: 햅틱스 기술을 적용한 햅틱 응용 시 스템 17

Haptic Research 18

Haptic Research

Haptics Interface 사용자에게 촉감을 전달하는 시스템 전체 구성요소 햅틱 디바이스 (haptic device) 원격접촉환경 (teleaction environment)/ 가상환경 (virtual environment) 제어기 (controller) F E ( 가상대리자가 가상의 물체에 부딪쳐서 발생하는 힘 ) 와 F M ( 사람 이 햅틱 디바이스를 통해 느끼는 힘 ) 이 똑 같도록 제어 20

Haptics Interface SensAble( 사 ) PHANToM TM 1993 년 MIT 인공지능연구실의 K. Salisbury 의 지도를 받고 있던 Thomas Massie 가 개발 및 창 업 Haptic Master 1994 년 일본의 츠쿠바 대학의 Iwata 교수 연구 실에서 개발 Delta 와 Omega Haptic Device 2002 년 스위스 EPFL 에서는 병렬형 구조인 를 개발하여 Force Dimension ( 사 ) 를 통해 상품화 3 자유도, 6 자유도 PERCRO, Virtual Technologies 외골격형 (exoskeleton type) 장치가 동경 공과대학의 SPIDAR 와이어를 직접 손가락 혼을 손으로 쥐는 부분에 연결하여 촉감을 재현 국내에서는 KAIST, KIST, 한양대학교, GIST 등에서 force feedback device 연구 중 미국 Immersion( 사 ) 가 가장 많은 특허 보유

Tactile Display

Behavioral Neuroscience and Biological Psychology ( 행동신경과학과 생물심리학 ) 사람의 지각 (perception) 및 인식 (cognition) 과 관련된 현상을 해석하 기 위하여 생물학 ( 신경과학 ), 인지과학, 물리학, 인간공학을 망라한 심리학적 연구 방법 23

Behavioral Neuroscience and Biological Psychology ( 행동신경과학과 생물심리학 ) 메르켈 디스크 (Merkel’s Disk) Pain 0.4~3Hz 의 피부 자극에 반응하고 0.4~1Hz 에 민 감하며, 주로 표면의 미세한 압력분포에 반응하 며 무늬나 모양을 지각하는 과정과 연관 마이스너 소체 (Meissner Corpuscle) Touch 3~100Hz 의 자극에 반응하고 25~40Hz 에서 민 감하며 주로 표면 위의 돌출된 부분이나 미세한 모양의 가장자리를 지날 때 반응하며 표면의 무 늬를 지각하는 과정에 보조적으로 연관 파치니언 소체 (Pacinian Corpuscle) Vibration 35~500Hz 범위의 자극에 반응하고 250~300Hz 에 민감하며, 진동을 지각하는 것과 연관 특히 역치 (threshold) 가 기계적 수용기 중에서 가장 낮아 사람이 250Hz 진동에서 가장 민감 루피니 말단 (Ruffini’s Ending) Stretch 0.5~400Hz 의 자극에 반응을 나타내긴 하지만 실제로는 표면을 문지른다든지 할 때 피부가 늘 어나는 현상 (skin stretch) 이 발생할 경우 전기 신호를 발생 24

Haptic Rendering 1995 년 K. Salisbury 에 의해 처음 제안된 용어 햅틱스 기술이 적용된 환경에서 사용자가 가상의 물체에 접촉하는 동 안 가상 물체와의 상호작용을 위해 햅틱 디바이스로 전달되는 힘 (force) 을 계산하는 일련의 모든 과정 컴퓨터 그래픽, 물리학, 재료역학, 동역학, 모델링 알고리듬 등을 망라 하여 컴퓨터 그래픽으로 렌더링을 하듯 촉감정보가 표현될 수 있도록 가상의 환경을 모델링하는 프로그래밍 과정 전반 충돌 검출 (collision detection) 접촉 저항력 계산 (contact impedance) 형상 표현 (shape representation) 마찰력 (surface friction) 동역학 계산 (dynamics) 표면 무늬 및 굴곡 표현 (surface curvature) 질감표현 (texture modeling) 물리적 제약상태 (physical constraints) 25

Haptics Standardization 26

Haptics Application 차세대 컴퓨터용 HCI 인터페이스 네트워크 기반 상호작용 체감형 / 체험형 시뮬레이터 오감 상호작용 (Multi-modal Interaction) 직관력을 높이는 장치 (Intuitive Interface) 27