촉감장비 (Haptic Device) 응용사례 장 대 성 www.3dif.co.kr // 3dif@3dif.co.kr

Applications for Force Feedback 가상 의료 적용분야(Virtual Medical Application) - 수술 시뮬레이터(Surgery Simulator): 수술 계획, 연습, 교육 - 진단 시뮬레이터 (Diagnostic Simulator): 디지털 촉진 가상 공학(Virtual Engineering) - Virtual Mock-Up - Digital Mock-up - Virtual Prototyping : Maintainability, Analysis, Virtual assembly - Training : Maintenance, Assembly 원격 조작(Teleoperation) - 원격 제어 (Remote Control) - 나노 기술 (Nanotechnology) - 의료 로봇 (Medical Robot) - 이동 로봇 (Mobile Robot) Date Visualization 직감적인 인터페이스(Intuitive Interface) Entertainment & Museum & Games

Applications for Force Feedback 의료 시뮬레이터 (Medical Simulator): 그래픽 기반의 수술 시뮬레이터: - MRI, CT 등의 의료영상에서 물리적 특성을 추출, 모델링 및 볼륨 렌더링 - 장기의 실시간 변형 가능한(Deformable) 그래픽 렌더링 - 수술 계획 및 진단, 해부학(Anatomical) 교육 - 가상 내시경(Virtual Endoscopy) 등 힘 반영 의료 시뮬레이터: - MRI, CT 등을 이용한 가상의 그래픽 환자 모델과 햅틱 장치를 연동하여 다양한 수술의 계획, 진단 및 훈련 - Multimodal (Visual + Aural + Haptic) 환경 - 장기의 변형이나 절개, 봉합 등의 그래픽 렌더링에 물리적 특성을 적용한 햅틱 렌더링 - 비 숙련 의사가 연습 할 수 있는 의료용 시뮬레이터 원격 의료 시뮬레이터:

Applications for Force Feedback 힘 반영 의료 시뮬레이터 (Medical Simulator): Mediseus® Epidural Simulator : Clinicans can explore and build upon their fundamental, procedural and technical Knowledge of an entire epidural procedure without risk - Medic Vision Ltd - Highly Developed Haptic Technology, Which generates realistic tissue feedback - Epidural anatomy with the aid of 2D images and interactive 3D models - Integrated Core Curriculum ( as a hospital training bechmark) - Real-Time Patient Response

Applications for Force Feedback 힘 반영 의료 시뮬레이터 (Medical Simulator): Mediseus® Temporal Bone Simulator : Perfecting the intricate skills of temporal bone surgery. Complete with force feedback technology, interactive 3D anatomy and dedicated curriculum content - Medic Vision Ltd - Highly Developed Haptic Technology - Unique 3D Microscope Technology - Interactive Temporal Bone Curriculum - Full Procedure Video - Practice / Assessment - Real Time-Evaluations

Applications for Force Feedback 힘 반영 의료 시뮬레이터 (Medical Simulator): VOXEL-MAN: TempoSurg simulator : for training and planning both the classical and the navigated surgical access to the middle ear. - http://www.uke.de/medizinische-fakultaet/voxel-man - based on virtual 3D models of the skull base derived from high-resolution CT data. - University of Hamburg

Applications for Force Feedback 힘 반영 진단 시뮬레이터 (Diagnostic Simulator): Haptic Cow Veterinary Training - http://www.touchaptics.com - 수의과 촉진(觸診) 교육 시뮬레이터 * MRI, CT등 의료 기술이 많은 발전을 하였어도, 수 많은 경험에서 얻은 촉진은 많이 사용되는 진료방법 * 촉진의 정확도를 높이기 위한 가상 디지털 촉진환경 - 인공 수정 과 임신 진단 - 정상적인 경우와 비 정상적인 경우 등 말과 고양이로 확대 Image courtesy of Dr. Sarah Baillie

Applications for Force Feedback 힘 반영 의료 시뮬레이터 (Medical Simulator): IRCAD HORUS (Haptic Operative Realistic Ultrasound Simulator) : 초음파 시뮬레이터로 실제환자 데이터의 음파 홀로그램에 의한 3차원 영상을 이용하여, 바늘을 유도하는 생검(biopsy) 또는 고주파 응고 치료 (Raido-frequency Thermal Ablation)의 계획 및 연습 시뮬레이터 - 두 대의 PHANTOM® Omni™ 사용 - 초음파 검사기의 트랜스듀서(탐촉자) 시뮬레이터 - 생검(biopsy), 고주파 응고 치료 또는 경피적 에탄올 주입술 에 사용되는 바늘 시뮬레이터 Images courtesy of Clement Forest of IRCAD

Applications for Force Feedback 힘 반영 의료 시뮬레이터 (Medical Simulator): VOXEL-MAN: SinuSurg simulator : for endonasal sinus surgery which allows to realistically explore the anatomy of the endonasal region. - The system provides endoscopic and microscopic views, - a wide selection of tools which are controlled with a force feedback device, - anatomical models with various organs at risk.

Applications for Force Feedback 3D-Doctor Able Software Corporation 벡터 기반 기술을 이용하여 3D 모델을 가시화 해주는 의료 영상처리 소프트웨어 - 미국 FDA 승인한 제품으로 의료 영상 및 3D 가시화 응용 소프트웨어 - MRI, CT, PET, Microscopy, 과학 및 산업용 3D 영상으로부터 3D Surfaces 생성 및 볼륨 렌더링을 하기 위한 진보적인 3D 모델링, 영상 처리, 측정 등의 기능 제공 - 3D Model Export : STL, DXF, 3DS, IGES, VRML, OBJ, raw triangles, XYZ

Applications for Force Feedback Avizo™ & Open Inventor: 시뮬레이터의 일반적 작업 흐름 Input inspection - Data input: measured/simulated 3D data - Data filtering - True 3D interaction, immediate feedback - Rapid visual inspection of input Image Processing and Manipulation - Image Segmentation - Alignment, Registration, Fusion Model reconstruction (Physical 모델) - Direct Volume Visualization - 3D surface reconstruction - Tetrahedral 3D meshes generation * 모델링(Modeling) ** 복잡한 현실세계의 특성을 정식화하여 현실세계를 이해하는데 도움이 되는 도구 ** 현실세계가 가지고 있는 관련변수 중에서 관심분야만 묘사 ** 가정 사항이 필수적으로 설정 -> 대부분 실제 발생결과는 모형 예측결과와 불일치

Applications for Force Feedback Avizo™ & Open Inventor: Model post-processing - Simplification & smoothing - Manual processing of badly shaped polygons / grid cells - Add/remove parts 수학적 (Mathematical) 모델 적용 - 수학 기호 및 관계를 표현하는 상징적 모델, 절차(알고리즘) 및 수학 방정식을 포함 - 햅틱 렌더링 - Matlab, Solver : Fluent®, I-DEAS®, Abaqus, Ansys, Nastran … 절차 (Procedure) 모델 적용 - 체계에 의한 수행되는 일련의 처리 과정의 모델 - 수학적, 논리적 처리에 의해 표현될 상황의 동적 관계의 모델 표현 Simulation - 모델들을 시간 흐름상에서 정해진 방법으로 구현되는 과정 - Manipulation on the reconstructed model - External or integrated simulation, e.g. on finite element grid

Applications for Force Feedback PGNX Surgetics Surgical Gesture Assistance 물리엔진 - Courtesy of Ambroise Leclerc, http://www.physigenics.com - PGNX Physics (material-oriented physics engine) 기반 * simulating phenomena as diverse as nuclear interactions, fluid dynamics, interactions with living human organs for surgery robotics, or game physics. generates an interactive numerical model of an organ or tissue in order to provide the surgeon with gesture and planning assistance demo - a beating heart model

Applications for Force Feedback 가상공학(Virtual Engineering) 실 제품의 디자인, 조립 및 기능 검증, 생산 공정을 가상 시뮬레이션 하여 제조기간과 개발비용을 획기적으로 절감할 수 있는 기술로 실물 제작 없이 제품 생산 공정 전 분야 에서 가상 제작과 미리 시뮬레이션 해보는 것 - Virtual Mock-Up, Digital Mock-up - Virtual Prototyping : Maintainability, Analysis, Virtual assembly - Training : Maintenance, Assembly - Manufacturing 기술 개발. 제품 제조 공정을 실제와 유사하게 시뮬레이션화하여 제품 설계, 제품의 조립 및 사용 성 등의 결함과 오류를 사전에 발견하여 제품 개발 기간 및 제조비용을 획기적으로 절감 - 기존 기술의 한계 * 기존 가상 조립 시뮬레이터는 시청각으로 작성 되여, 그래픽적으로 부품간의 충돌을 검출하여 해당부품의 진행을 멈출 수 있으나, 실제 작업의 손은 그대로 진행 되여 보는 시각적인 위치와 손 위치가 다르고, 부품의 무게나 부품 모양에 따른 직감적인 감각이 없어 현실감이 감소. - Multimodal Interaction : 촉감 정보 + 시각 정보 + 청각 정보 * 촉감 장치는 설계 매개변수들의 최적화에 도움을 주고, 조립 경로 및 정비 보수 시 발생될 수 있는 문제점을 사전에 해결.

Applications for Force Feedback Virtual Mock-Up 일반적으로 데스크톱 환경에서 수행되는 Digital Mock-up (DMU)에 가상현실 기술이 적용된 확장개념으로 가상환경에서 실시간 상호작용(Interactive)으로 조립, 디자인 검증, 기능 검증 및 변경 등을 수행 Digital Mock-Up - 자동차나 항공산업 분야와 그 외의 다른 많은 제조업 분야에서 개발 초기 단계부터 CAD/CAM System을 이용하여 모든 부품을 3차원 모델링하고, 실제 부품이 제작 되기 전에 가상으로 조립 검토하여 제작상의 문제를 사전에 해결 하거나, 많은 시간과 비용을 요구하는 시제품의 제작을 최소화 하여 최적화된 설계를 수행하여 제품의 품질을 높이고, 제품 개발 기간 및 엔지니어링 과정을 획기적으로 단축하려는 기술 직관력인 디자인 인터페이스 (Intuitive Design Interface) - 햅틱 인터페이스를 이용하여 컴퓨터 상에서 실제 물체를 만지는 것처럼. 가상의 모델을 사실 적인 3D촉감으로 덧붙이거나 제거, 또는 모양을 변형(Deform)하여 원하는 형태를 생성 * Touch * Manipulate : 6 자유도 입력 – x y z 축, Pitch, Roll 과 Yaw * Deform : 촉감을 이용한, 연속적인 형태의 변형

Applications for Force Feedback Virtual Mock-Up : FreeFormTM 햅틱 인터페이스를 이용하여 컴퓨터 상에서 실제 물체를 만지는 것처럼. 가상의 모델을 사실적이고 직관적인 3D 촉감으로 덧붙이거나 제거, 또는 모양을 변형(Deform)하여 원하는 형태를 생성 실제 조각하는 것처럼 직관적이고 풍부한 표현 성 및 디지털 툴의 장점인 효율성을 제공 하여 자신의 생각을 자유롭게 모델링 가상 물체 처리에 직관적인 햅틱 인터페이스 - Touch - Manipulate : 6 자유도 – x y z 축, Pitch, Roll 과 Yaw - Deform : 촉감을 이용한, 연속적인 형태의 변형

Applications for Force Feedback Virtual Mock-Up : FreeFormTM 사용 예

Applications for Force Feedback Virtual Mock-Up : FreeFormTM OpenRTRT™ 1.5 (Open Inventor DirectViz ) - Freeform Surfaces (NURBS, Subdivision Surfaces) - Direct ray tracing of spline surfaces (bicubic Bezier) - Huge saving in data size - Similar performance as triangles

Applications for Force Feedback Virtual Mock-Up : Advanced cockpit design Haptics technology can help to make your product usable, effective, and accepted by end users Force feedback technology in association with highly immersive haptic-graphic virtual environments can be used to assist in effective Human Factors design. - With such technology designers of aesthetic shapes such as a car body can manipulate shape models in real-time looking at a stereoscopic image and feeling its haptic sensation as if it were a prototype model. - Functionalities of the dashboard, gear shift and steering mechanism can also be simulated with the appropriate hardware PSA Peugeot Citroën, Team I3D

Applications for Force Feedback Virtual Mock-up : VR4Robots VR4Robots Navigator Pro - Tree C Technology B.V. - navigate through virtual environment and interact with virtual robots and manipulators. - based on man machine interfaces consistent with the robots- and manipulators functionality and degrees of freedom. - Interaction * Manipulation of a virtual robot by controlling the gripper motion from a haptic device * Experience tactile interaction with the virtual world using the haptic input device * Manipulation of virtual objects by grasping and placing using the virtual robot * Detection of collisions between robot and virtual world objects * Activity and component tracking and recording, robot motion recording …

Applications for Force Feedback Virtual Mock-Up : VR4Robots To solve your robotic and remote manipulation problems Custom design for robot & manipulator application engineers

Applications for Force Feedback Virtual Mock-Up : SimStudio2 Professional ㈜시뮬레이션연구소 http://www.simstudio.co.kr/korean/index.aspx 실시간 동역학 시뮬레이션 소프트웨어 플랫폼 - 로봇과 같은 다 관절 시스템의 제어 알고리즘을 정밀한 동역학 엔진을 이용하여 쉽게 시뮬레이션 * 다관절 로봇을 위한 실시간 동역학 시뮬레이션 엔진 DE( Dynamics Engine ) 탑재 * 복수의 동역학 엔진( DE, ODE 등 )을 유저가 선택적으로 사용하여 시뮬레이션 다 물체, 다 충돌 시뮬레이션 상황에서 정밀한 충돌 검출 및 해석 모듈 - 휴머노이드 보행 알고리즘개발, 로봇 손을 이용한 물체 grasping 제어 등 각종 센서 및 액추에이트에 대한 가상 디바이스 시뮬레이션 실시간 인터랙티브 시뮬레이션 - 햅틱 장치(PHANTOM Omni)를 이용하여 시뮬레이션 되고 있는 가상의 로봇 및 환경과 힘을 주고 받는 등의 상호작용 - 실제 실험환경에서는 하기 힘든 다양한 종류의 실험을 수행

Applications for Force Feedback Digital Mock-Up : Dental Lab System - SensAble사의 솔루션 - 햅틱을 사용하여 치과 보철 제작

Applications for Force Feedback Virtual Prototyping: 본격적인 생산에 앞서 그 타당성의 검증이나 성능 평가를 위해 미리 시험 삼아 만들어 보는 가상 모형 Maintainability, Analysis, Virtual assembly Physical prototyping - High cost per prototype - Long lead time per prototype - Long design cycle - Few iterations due to cost - Difficult to implement design changes on the prototype - Serially organized engineering tasks - Requires trained model makers due to craft required Expensive, inflexible and inefficient Virtual prototyping - Low cost per prototype - Short lead time per prototype - Short design cycle - Many iterations possible - Easy to implement design changes on the prototype - Concurrent engineering possible - Can be implemented by design engineers Cost effective, flexible and fast

Point – Object Interaction Object- Object Interaction Applications for Force Feedback Virtual Prototyping 가상조립, 가상 모형제작, 조립과 정비경로 계획 등과 같은 어플리케이션은 부품의 충돌과 그에 따른 반발 등을 표현하기 위한 6 자유도의 힘과 토크 요구 F x y z ROLL PITCH YAW Point – Object Interaction (3DOF Output) Object- Object Interaction (6DOF Output) Assembly Path Planning, Boeing

Applications for Force Feedback 원격조작 (Teleoperation) 햅틱 인터페이스는 기본적으로 원격조작에서 시작 접근이 어려운 핵 시설 내부, 우주, 해저, 지하 등의 극한 환경에서 기계를 조작하기 위해 일반적으로 Master / Slave 구조 초기에는 기구적 링크로만 연결된 형태, 가까운 거리, 전기적 신호/파워를 가지고 제작 - 1954년 Argonne National Laboratory - 원격에서 발생된 정보인 시청각에 의한 현실감에 한계 Tele-Haptics - 정보전달에 촉감 정보를 추가하여, 먼 거리 환경 혹은 가상 환경의 사실성을 크게 증대 - 네트워크 지연시간 (Network latency) - Master 와 Slave 간의 동작 범위 및 자유도 차이 - Slave 환경의 동역학 요소 적용 분야 - 원격 제어 (Remote Control) - 나노 기술 (Nanotechnology) - 의료 로봇 (Medical Robot) - 이동 로봇 (Mobile Robot)

Applications for Force Feedback 원격 제어 (Remote Control) : Haptics can dramatically improve the quantity and quality of information available to the operator during remote control. When manipulating inaccessible or hazardous material, - to understand the manipulator behavior and surround, * to reduce the risk of accidents and the time required to perform the manipulation task. Robot telemanipulation - Stanford University - By using Haptic Device to directly control the robot, * Feel the reactions and limitations of the manipulator (robot dynamics, robot workspace, etc.) * understand the remote environment in a very intuitive way by feeling collision with obstacles * even receive haptic guidance information to prevent dangerous operations.

Applications for Force Feedback 원격 제어 (Remote Control) Aerospace 항공기에서 두 대의 omega.7 과 M7(SRI) 수술 로봇 시스템을 이용한 수술 평가 실험 - 2007년 9월 - NASA의 C-9 항공기를 사용하여 4일 동안 240회 포물선 비행 * 우주의 마이크로 중력과 수송기의 전술 비행에 따른 중력의 변화를 시뮬레이션 - 절개와 봉합 * 신시내티 대학의 외과의사 - 기류의 변화 와 중력의 변화 순간에 발생하는 오류에 대한 보상을 하도록 프로그래밍 협업 - Force dimension - NASA - SRI International

Applications for Force Feedback 나노기술 (Nanotechnology) 적용 가능한 분야 - 탄소 나노 튜브의 조작/조제품 (preparation) - 분자 및 원자의 시뮬레이션 - MEMS 어셈블리와 테스트 등 - 나노조작기 (Nanomanipulator) 원자현미경 : 미세한 탐침(0.1㎛ ~0.01nm)을 원자 한 두 개 크기의 거리 정도로 시료에 접근시켜 측정 및 가공 - 주사탐침 현미경(Scanning Probe Microscope, SPM) * 시료와 탐침 양쪽에 일정한 크기의 전류를 걸고 탐침을 시료 위로 움직이면 탐침은 양자역학적 터널링 현상으로 시료의 원자 모양에 따라 상하로 움직이고, 탐침의 움직임을 분석하여 시료의 원자구조 이미지를 생성 - 원자력간 현미경(Atomic Force Microscope, AFM) * 시료 원자와 탐침 원자 간에 작용하는 힘을 이용하여 시료의 형상(image) 획득 * 탐침의 움직임은 컴퓨터에 의해 컨트롤 되며, 최종적으로 영상(image) 방식으로 출력 * 전류가 통하지 않는 시료에도 적용 (SPM은 전류를 이용하여 측정) * 단점 - SPM보다 저 해상도, 장점 - 시료 손상이 거의 없어 폭 넓게 사용

Applications for Force Feedback 나노기술 (Nanotechnology) To not only look at atoms and molecules - but also to touch them 나노-스케일 (Nano-Scale) - 나노, 매크로(macro)등 미세 단위에서의 힘과 움직임 등을 전달하는 과정에서의 손 떨림 제거, 정밀한 힘의 제어, 힘 증폭 등으로 재료에 대해 정밀한 조작 및 조작자의 힘을 적절하게 제어 나노조작기 (Nanomanipulator) - 햅틱 인터페이스를 사용하여 원자 현미경을 제어 - 측정 데이터에서 3차원 가시화 및 모델을 생성하여 시각과 촉각을 통해 데이터를 인지 및 조작 - 3rdTech * SPM에 햅틱 인터페이스를 연결, 나노-스케일 하여 데이터(시료)를 지각적으로 측정하거나, 나노-스케일 샘플 처리를 원격조작 Images courtesy of UNC

Applications for Force Feedback 나노기술 (Nanotechnology) 원자력간 현미경(Atomic Force Microscope, AFM) 조작 - 탐침에서 시료와 작용하는 힘(deflection of the beam)을 측정하고 시각적으로 표현 (표면 형태) - 탐침의 움직임은 컴퓨터에 의해 컨트롤 되여, 최종적인 영상(image)만 획득 - SPM에 햅틱 인터페이스를 연결하여 탐침(probe) 조작 * 나노-스케일로 축소 하여 탐침의 미세 조작 * 미세한 작용 힘(deflection of the beam)을 나노-스케일로 확대하여 전달 * 절단, 스크래치, 구조 이동 (예,carbon nanotubes) …

Applications for Force Feedback 나노기술 (Nanotechnology) 세포 조작 방법 개선 - 원자현미경(AFM), 마이크로 피펫 등 접촉 형 방식 : 시각에 의존하여 조작, 조작 시 변형에 따른 힘을 사용자가 제어할 수 없어 과도한 힘에 의해 대상 체가 손상 - 촉감 부여 :,장치의 팁(tip)에 센서를 부착 조작자의 손에 세포의 촉감을 전달하여 효율적인 조작 - 나노-스케일, 충돌 검출, 햅틱 렌더링 등 AFM : 생명과학 연구분야 적용 예 - DNA 구조를 손상시키지 않고도 관찰 - 단백질 구조의 형태, 구조 변경 시 (예, 구부릴 때) 필요한 에너지의 양 … - 특정 조건하에서 생명체의 움직임

Applications for Force Feedback 나노기술 (Nanotechnology) 마이크로 조작기 (Micromanipulation) - 나노, 매크로(macro)등 미세 단위에서의 힘과 움직임 등을 전달하는 과정에서의 손 떨림 제거, 정밀한 힘의 제어, 힘 증폭 등으로 재료에 대해 정밀한 조작 및 조작자의 힘을 적절하게 제어 - 햅틱 인터페이스를 사용하여 micro-manipulation robot 연결

Applications for Force Feedback 의료용 로봇 시스템 수술 보조 로봇 (Surgery Assistant Robot) : 수술 중 의사에게 수술 종류와 절차에 따른 정밀도 유지, 수술 전 계획을 세운 수술 경로를 제시 하여 계획된 수술 부위에 정확히 접근할 수 있도록 도와주고, 수술 진행 상황의 지속적 확인 및 시야 확보 등을 보조 하는 로봇, - 미세자세 보조 로봇: * 최소침습수술(MIS), 미세수술, 생체검사(biopsy) 등 - 네비게이션(Navigation) 보조 로봇: * 영상 가이드, 수술 시야 확보 수술 로봇(Surgery Robot) - 의사를 대신하여 수술 과정의 전체 또는 일부를 로봇이 담당 - 수술의 정확성과 성공률을 높이거나 수술 시간과 비용을 단축 원격 수술 로봇 (Teleoperation Surgery Robot) - 수술 로봇이 먼 거리 또는 수술공간의 확보를 위한 원격 제어 - 도구에 대한 정확한 제어와 촉감 전달로 의사에게 먼 거리에서도 실제 감을 가지고 수술 재활 로봇(Rehabilitation Robot)

Applications for Force Feedback 수술 보조 로봇 (Surgery Assistant Robot) 최소침습수술 (MIS, Minimally Invasive Surgery) - 환부를 개복하지 않고 환부에 수술도구와 카메라를 삽입 - 약 1 cm의 길이로 3~5곳 절개 - 긴 손잡이의 도구 : Grip & Cut, Video laperoscope - 장점 : 수술시간이 짧고 회복이 빠르다. - 단점 : 수술이 어려워짐, 2차원 영상을 통해 환부를 보고 수술을 하기에 의사의 피로도가 높음, 손 떨림 등의 영향이 더 커짐, 환부의 촉감이 매우 나빠짐 최소침습수술 (MIS, Minimally Invasive Surgery) 로봇 시스템 - Master-Slave 시스템, 원격 제어 - Video-images and haptic sensation are reproduced at the surgeon’s console. - 장점 : 사람에 비하여 정밀하고 안정되게 제어 피로에 지치지 않고 작업에 대한 반복성이 우수 사람이 하기 어려운 움직임 수행 금지된 행동을 엄격하게 이행 손 떨림과 같은 수술에 지장을 주는 요소 제거 수술 공간 확보

Applications for Force Feedback Medical Haptics Collaborative haptics makes it possible to combine the surgeon’s expertise with the mechanical precision of robots. - Controlling the surgical instruments (mounted on a robot) via an Haptic Device * the high-precision and scaling ability of the robotic tools. - With multiple sources of information in the OR (planning, imagery, etc.), the system can overlay visual and tactile guidance information to the surgeon in real-time - preventing unwanted tool behavior and locally enhancing the gesture precision. omega.medical : - highly advanced hardware and software solutions - real-time control, haptic rendering and 3D imaging image courtesy of DLR

Applications for Force Feedback The Sensei™ Robotic Catheter System Hansen Medical computerized catheter actuation technology to provide stable and predictable control of catheter movement. - to provide fine guide catheter control in three dimensions, to enhance the physician's ability to access hard to reach anatomy, repeat procedure steps, and maintain stability during interventional procedures. - uses the 3-dof omega.medical haptic device to precisely control the tip of the catheter. image courtesy of Hansen Medical

Applications for Force Feedback Medical gesture assistance Haptic devices combined with image processing. 생검(biopsy) 진행 시, biopsy knife가 올바른 위치에서 성공적으로 샘플을 얻기 위해 최적화된 이미지 처리와 툴의 실 시간 추적이 중요 적용 예 - 스캐너 이미지에 저장된 정보를 번역하여 툴의 gesture 유도정보로 전달되고, 의사 손에 있는 custom-built Delta Robot에도 전달. - The device leaves the radiologist fully in charge of the procedure, but provides tactile guidance that improves gesture speed and accuracy. SurgiScopein action, Surgical Robotics Lab, Humboldt-University at Berlin, courtesy of Prof. DrTim C. Lueth) .

without force feedback Applications for Force Feedback 원격조작 (Teleoperation) 이동로봇 (Mobile Robot) - 대부분의 로봇은 주로 고정된 위치에서 제어하는 산업용 - 접근이 어려운 극한 환경, 위험 상황 등에서 로봇의 작업공간을 늘리기 위해 이동 로봇을 사용 - 구조(Rescue), 탐침(mining) … 지능(Intelligence) 형: - 인공지능(Artificial Intelligence) 프로그래밍된 작업 수행 - 지도생성, 위치파악, 장애물 회피, 경로계획 알고리즘 연구 원격조작(Tele-operation) 형 : - 원격지에서 인간이 조정 및 조작 - 국내 : 유비퀴터스 환경에서 로봇 제어, 원격제어, 구동 메커니즘에 관심 - 일본, 미국 : 로봇의 원격 조정 및 원격조작에 관심 - 미국 USC, Tele-operation of Mobile Robot : 웹 상에서의 원격조작(Tele-operation) 로봇 운영 without force feedback with force feedback

Applications for Force Feedback 원격조작 (Teleoperation) 이동로봇 (Mobile Robot) Haptics can help operators build a real-time representation of the robot environment during teleoperation of a mobile robot. - the readings of the sensors aboard the robot - By using a Haptic Device to directly convey to the user’s hand a haptic representation of the distance-to-obstacles around the robot, the operator is instinctively drawn to the path of least resistance, which corresponds to the safest possible path for the robot.

Applications for Force Feedback 과학 데이터 과학 데이터 시각화 (Scientific Data Visualization) - 현실 세계에의 자연 현상은 상대적으로 너무 크거나, 작고, 변화의 속도는 너무 빠르거나, 느려서 일반적인 환경하에서 자연 현상을 이해하거나 구현 하기가 어렵다. * 계산과학의 발전으로 고성능 컴퓨터를 이용하여 현실에서 구현하기 힘든 모의 실험 등을 수행 - 과학적 가시화란 계산하는 과정에서 만들어진 방대한 양의 자료를 컴퓨터 그래픽스를 이용하여 이미지를 생성해냄으로써 과학자들이 자신의 연구 결과를 보다 포괄적으로 이해하여 문제를 빠르게 해결할 수 있게 해주는 것. - 물리:전기전자, 화학, 천문, 대기환경, 기계, 항공, 생명 등 과학 기술 분야 전반에 걸쳐서 활용 Multimodal Interaction : 촉감 정보 + 시각 정보 + 청각 정보 - 방대한 양의 과학 데이터를 시각화 하고 직관적인 성질인 촉감 정보 및 청각 정보를 첨가하여 매우 효율적으로 과학 데이터를 분석, 이해 및 처리 - 현실감 높은 Graphic Quality, 몰입 시스템 (CAVE, Workbench, …) - 거리에 따른 입체 음향 (3D Sound), 햅틱 사운드 - 대용량 데이터 시각화 및 처리 기술 - 직관적인 양 방향성의 촉감 처리 기술 * Deformable Object 의 실시간 햅틱 렌더링 Images courtesy of Univ. of Utah

Applications for Force Feedback 햅틱을 이용한 과학적 데이터 처리 유동(Flow) 데이터 처리 - 3차원 모델의 유동 시뮬레이션 결과를 벡터 필드 또는 Tensor 필드를 시각화하고 사용자가 촉각을 통해 직관적인 인식 할 수 있도록 햅틱 렌더링 적용 벡터 필드 시각화 - 공간상에 눈에 보이지 않거나 표현하기 어려운 데이터의 진행을 이해 하기 쉽게 표현하는데 사용 - 바람이나 물의 진행 방향 및 세기, 온도의 전도, 전자기파 등의 과학적 데이터의 시각화에 사용 Tensor 필드 시각화 : A tensor is an object which extends the notion of scalar, vector, and matrix. - Tensor 필드의 아이콘화 - 고유한 값 추출 - Rate of strain tensor computation - 출력이 6 자유도인 햅틱 장비가 유용 ** 예: Components of stress, a second-order tensor, in 3D

Applications for Force Feedback 햅틱을 이용한 과학적 데이터 처리 Force-field due to two electric charges: - cs.unc.edu - The user can move a rigid-body through the field using the 6-DOF device and feel force and torque exerted by the field on the rigid-body. Force-field due to uniform flow inside and around a cylinder: - The scenario shows ideal fluid flow in and around a cylinder. The user feels strong unstable forces at the singularities inside the cylinder. 4D Torus - An example of using haptics to explore and visualize mathematical objects that exist outside of normal 3D space. A 4D dimensional torus (doughnut) is explored with haptics and graphics to allow researchers to feel objects that cannot be easily visualized. - Courtesy of Hui Zhang and Andrew Hanson - Department of Computer Science, Indiana University

Applications for Force Feedback 햅틱을 이용한 과학적 데이터 처리 Project GROPE - Haptic Displays for Scientific Visualization - 1990, University of North Carolina, F. Brooks, Jr., M. Ouh-Young, J. Batter, P. Jerome - Molecular docking system Chemical Force Feedback (CFF) system - NVIS, Linköping University - 단백질과 기질(substrate)의 결합을 시각과 촉감으로 실시간으로 평가 - This is done by extracting gradient information from pre-calculated potential fields based on a protein, thus evaluating the forces acting on the substrate virtually held by the user. Protein folding simulation - 단백질의 기능은 그 단백질의 3차원 구조와 밀접한 관계 * 세포 안에서 리보솜에 의해 단백질이 합성되면 저절로 고유 3차원 구조로 접힘(folding) - 계산에 의한 단백질 3차원 구조 예측 * potential 함수들 : 단백질 분자의 원자 사이의 상호작용 에너지를 기술하고, 전체 계의 에너지를 단백질 분자 3차원 구조의 함수로 서술한 다음 … , 주어진 단백질 (즉 주어진 아미노산 서열)의 세포 내 고유 구조를 구하려는 시도가 많이 있었고 따라서 이에 필요한 포텐셜 에너지 함수가 여러 단백질 접힘 …

Applications for Force Feedback Avizo XMolecular Features of Avizo Xmolecular - Visualization of static molecules as well as time dependent data (trajectories). - Computation and visualization of configuration densities from trajectories - "BondAngle-style" visualization - Extraction and visualization of molecular surfaces - Computation and visualization of secondary structures and Hydrogen bonds - Visualization of additional quantities like scalar or vector fields with color coding … benefits - Analysis of conformational changes - Combination with high-end amira features - Molecular alignment and docking - Conformation density computation - Flexible selection and coloring schemes …

Applications for Force Feedback 햅틱을 이용한 과학적 데이터 처리 Immersive Drilling Planner - The BP Visualization Center at the University of Colorado - utilizes haptics to plan the path of an oil well. - based on Open Inventor, Courtesy of TerraSpark Geoscience Seismic/Geological Modeling - Images courtesy of Reachin

Applications for Force Feedback proSENSE™ 햅틱 네트워크, 미리 정의된 햅틱 효과, 데이터 수집 및 분석 기능의 통합 촉감 솔루션 - 드래그 앤 드롭(drag-and-drop) 인터페이스 - MathWork사의 MATLAB® 과 Simulink® 개발 플랫폼 기반의 프로그램 개발 환경 힘 데이터 분석 : Force data collection & analysis - 다양한 기능의 MATLAB 응용 환경에서 위치(Position) 와 힘 데이터를 실시간 추적, 후처리 분석. - 재활, 의료 교육 및 시뮬레이터 개발 및 연구원에게 힘 데이터의 포괄적인 이해에 도움 네트워크상의 촉감 - 네트워크 지연과 패킷 손실을 시뮬레이션 환경에서 수행 및 테스트 - 다양한 네트워크 지연 보상 기술 : TiDeC™(특허, 시간지연보상기술) - 네트워크 시스템 자동 동기화(auto-synchronization)

Applications for Force Feedback 직관력인 인터페이스 (Intuitive Interface) 촉각은 시각, 청각에 비하여 반응이 빠르면서도 높은 집중력을 요구하지 않으므로 사용자의 높은 직관력을 활용하는 곳에 적용 iDrive 컨트롤러 : 햅틱 회전조절기(haptic knob) - 이머젼에서 개발, - 하나의 원형의 버튼 형태로, 오디오, 실내 온도, 내비게이션 등 여러 가지의 내부 기능을 조절 - 여덟 방향으로 밀거나 돌리거나 눌러서 기능을 조절, 선택 메뉴에 따라 촉감이 달라짐 - 컨트롤러와 현재의 상태를 중앙 콘솔에 위치한 LCD 스크린에 표시 햅틱 코맨더 - 일본 알프스 전기(ALPS Electric Co., Ltd) - 햅틱 기술을 적용한 운전대와 페달, 기어 시스템을 개발 * 자동차 바퀴에 센서를 부착하여 노면의 상태를 감지, 운전대에는 햅틱 모터 장착, 페달에 저항감 * 바퀴가 차선을 벗어난다거나 운전자가 졸음운전을 하는 경우에는 운전대에 경고 진동 드라이브 바이 와이어(DBW: Drive-by-Wire)의 문제점: - 운전대, 브레이크 페달, 변속 기어와 자동차 바퀴를 연결하는 기존의 유압 시스템 대신 컴퓨터가 전선을 통해 보내는 신호로 구동하는 DBW 시스템은 운전자가 노면의 느낌을 직접적으로 감지할 수 없음

Applications for Force Feedback Gaming haptic device 컴퓨터, 비디오 게임의 가상 공간에서 게이머에게 촉감을 구현 - 양 방향성의 force feedback, 진동, 질감 등 - 게임 물리 엔진에 촉감 부여 - Tele-Haptics * 협업과 경쟁 : 예) haptic dual (sward), Haptic Block Tower FALCON – NOVINT - low-end haptics can be used purely for fun ! - the technology behind Force Dimension haptic devices

Applications for Force Feedback CHAI 3D Open source set of C++ libraries * For computer haptics, visualization and interactive real-time simulation * Multi-platform : Windows, Mac OS-X, Linux * Graphics Rendering : Open GL, Dynamic lighting, 2D and 3D texturing, Material properties GLUT and .NET viewports * Haptic Rendering : Finger-Proxy model with variable radius, Potential field models, Static and dynamic friction models, Stick-slip, viscous, vibration, magnetic effects * Collision Detection : AABB models, Spherical models * File support : BMP, .TGA, .3DS, .OBJ Haptic Devices * Universal haptic device handler, Virtual haptic device, omega.x and delta.x device support Novint Falcon device support, Freedom 6 device support, Phantom devices support * Template for custom device integration I/O Boards : Servo2Go I/O board, Sensoray 626 I/O board Extensions - ODE (Open Dynamic Engine) , GEM (Deformable Models), BASS (Audio Library)