모바일 햅틱 디스플레이를 위한 렌더링 시스템 Rendering System for Mobile Haptic Display

Slides:



Advertisements
Similar presentations
드론 ( Drone) 기술 보안 시스템 응용 컴퓨터공학 이동규. CONTENTS 2/18.
Advertisements

Wireless Mobile Resource Management 1. 시스템 개요 2. 시스템 소개 3. 시스템 Back-up PLAN 4. 시스템 주요 Reference C.O.N.T.E.N.T.S.
기술분야에너지 관리 연구과제명 Advanced Energy Mgmt. Algorithm 개발 필요성신재생 발전기기, 에너지 저장장치, 에너지 소비장치가 공존하는 Smart Grid Home 환경에서 사용자의 불편을 최소화하면서 효율적으로 에너지를 절감할 수 있는 새로운.
Kim, Sung-Ho School of Computer, Information and Communication Engineering Sangji Univ.
Ⓒ sblim, 가상환경과 멀티미디어 멀티미디어의 이해 임순범 1. Ⓒ sblim, 가상현실의 소개 가상현실의 개념 가상현실의 종류 Amusement Park (VRML 예제 ) 사원 둘러보기 (VRML 예제 ) 강의실 (QuickTime.
Haptics & Virtual Reality 햅틱스와 가상현실 Haptics & Virtual Reality 햅틱스와 가상현실 MeeYoung Sung Marvel Lab. (Multimedia Advanced Real Virtual Environment Laboratory)
TOTAL 악취 측정 SYSTEM. 1. 악취 일반사항 2. Cairpol 악취 Sensor 3. Alpha MOS 복합악취 (OU) 측정 시스템 목 차.
유비쿼터스 city코리아 Vision Source:정통부 u-korea전략.
4장. 생체역학적 원리 Kinesiology for musculoskeletal system ch4 근골격계 작업치료
입체영상 세미나 아주대 정보통신연구소 게임애니메이션 센터 김주철
School of Computer, Information & Communication Engineering
㈜맥스무비 영화관 발권 전산망 시스템.
Vision System Lab, Sang-Hun Han
Mathematics for Computer Graphics
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법
2016 정보통신론 가상현실과 증강현실 VR & AR 김성민 김학건.

9. 가상환경과 멀티미디어 멀티미디어의 이해 임순범.
임베디드 SW 시스템 소개 - 임베디드 운영체제 - 임베디드 리눅스 - 임베디드 인터넷
좋은 사람들의 아침 ( ) 미래디자인 - 융합 가상현실의 세계.
소비자 만족도 설문조사 결과.
“컴퓨터와 소프트웨어 혁명” 이 점 숙 컴퓨터와 인터넷 “컴퓨터와 소프트웨어 혁명” 이 점 숙
Nondestructive Material Testing with Ultrasonics
멀티 디바이스 컨텐츠 제공을 위한 안드로이드 동기화 시스템
Virtual Reality Introduction HyoungSeok Kim
안드로이드 폰을 이용한 아두이노 자동차 컨트롤
Ubiquitous Computing - Concepts -
Animation 제작기법에 대하여 2001/03/13 미디어공학과 V 주다영.
 midi LOGGER GL220   신제품 소개 Dec, 2011.
12. 데이터베이스 설계.
OpenGL Programming (II) 3D Graphics Fundamentals
강관 내부 마킹 솔루션 소개 ㈜ 씨.아이.제이 코리아.
Woodencoste T - Express 박봉석 이의성.
경영개선을 위한 티켓 자동발매기(KIOSK)
EPS Based Motion Recognition algorithm Comparison
AFC-1500 FASTENING SYSTEM.
Critical Success Factors for Project Management Information System in Construction 김건웅.
가상플랫폼을 사용한 임베디드SW 개발 (CoWare CoWare Virtual Platform Designer 사용)
Chapter 13. Computer Animation
Inverse Kinematics HyoungSeok Kim
Surgical Plan Solution for Deformity Correction
UNIT 05 로보틱스 개론 (ROBOT ARM) 로봇 SW 교육원 조용수.
회전(Rotation) 각 변위 (Angular displacement) 각 속도 (Angular Velocity)
학업 성취도에 영향을 미치는 요인.
for Robust Facial Landmark Localization
High Performance Real-Time Motion Capture Systems
네트워크 기반 촉각 센싱 시스템 전자부품연구원 (KETI).
High Performance Real-Time Motion Capture Systems
광학 계산식 App 개발 및 제작 : SW Team.
동작인식을 이용한 재활훈련 시스템 콘텐츠서비스연구팀 최완.
TinyOS Tutorial Network lab. 김인태
Changing Objectives of Optimization
사회복지프로그램 기획 및 평가 -로직모델을 중심으로 김유심(가양4종합사회복지관장) 프로그램의 개발과 평가의 개념
CSG 인지과학특강 I (Theory of Mind for Robots)
센서 8. 정전형 Motion Sensor(운동 센서)
13 주차 미래의 변화와 미래 선도 기술의 이해와 활용.
실감SW 산업인재 양성사업단 2017 해커톤 캠프(2차) - 아이디어톤 주제
소프트웨어 형상관리: 목차 변경 및 형상관리의 기초 개념 형상항목 확인 및 버전관리 변경관리 감사 및 감사보고 99_11
가상현실 앱 첫 화면 이미지 가상현실이란 여러 가지 인간의 감각 (시각, 청각, 촉각, 후각, 미각)을 이용한 인간과 컴퓨터간의 인터페이스로써 실시간 시뮬레이션과 여러 가지 인간 감각의 컴퓨터와의 상호작용을 말한다. 학 교 명 : 영동대학교 발 표 자 : 김재성 학.
PhoeniX Technologies Incorporated
운동역학특론 SPORT BIOMECHANICS
Metal Forming CAE Lab., Gyeongsang National University
MR 댐퍼의 동특성을 고려한 지진하중을 받는 구조물의 반능동 신경망제어
이족 보행 시뮬레이션 서울대학교 운동연구실 운동연구실에서는 사람의 보행에 대한 시뮬레이션을 연구하고 있습니다.
정보 INFRA 구축 RF카드를 이용한 고객관리시스템 구축 에클라트소프트.
디자인과 문화 디자인과 문화 제 11 강 미래사회와 디자인 생활디자인학과 문 찬.
8.회전 운동 © 2014 Pearson Education, Inc..
The Graphics Process: Summary
Progress Seminar ~ Ji Soo LEE.
ADLAD System MANUAL [ ] SEM. Digital Appliance ADLAD System ?
Presentation transcript:

모바일 햅틱 디스플레이를 위한 렌더링 시스템 Rendering System for Mobile Haptic Display 2007. 5. 22. 이채현 xlos@postech.ac.kr Haptics and Virtual Reality Laboratory POSTECH attention의 설명 spatial perception의 설명

Motivation Limited Workspace of a Haptic Device 현재 널리 사용되는 대부분의 햅틱 디바이스 고정된 장치 제한적인 작업 공간(workspace) 사용자가 느낄 수 있는 물체 크기의 한계 POSTECH Haptics and Virtual Reality Lab.

Motivation Haptic Devices for Large Virtual Environment 다양한 대형 가상환경용 햅틱 디바이스의 개발 좁은 작업 공간의 한계를 극복 대형 가상환경에서 사용가능 안정성, 물체의 세부 특징 재현, 고강도 재현, 재사용성 면에서 문제 (a) GROPE - manipulator type (Brooks Jr et al, 1990) (b) SPIDAR – tensioned string (Buoguila et al, 2000) (c) HapticGEAR- exoskeleton type (Hirose et al, 2001) 햅틱 디바이스의 작업 공간의 한계를 벗어나기 위해 많은 시도들이 있었습니다. 대형 매니퓰레이터형 타입은 GROPE는 작업 공간은 매우 크지만, 안정성이 떨어지고, 물체의 세부 특징을 재현하기 어렵습니다. 팽팽하게 잡아당긴 끈으로 이루어진 SPIDAR는 안정성은 보통이지만, 물체의 세부 특징 재현과 재사용성 면에서 한계를 지닙니다. 사용자가 몸에 착용하는 HAPTIC GEAR의 경우, 작업 공간과 안정성은 뛰어나지만, 고강도 재현과 물체 세부 특징 재현이 어렵습니다. POSTECH Haptics and Virtual Reality Lab.

Motivation Mobile Haptic Interface 이동형 햅틱 디바이스의 개발 (Nitzsche et al, 2001) 고정된 햅틱 디바이스 밑에 모바일 로봇 설치 사용자의 움직임에 따라 모바일 로봇을 이동 사용자는 고정된 햅틱 디바이스의 작업 공간보다 큰 물체를 느낄 수 있음 Primitive모델만 로딩 가능 모션 플래닝 알고리즘을 위한 실험용 MHI (Barbagli et al, 2004) Pioneer2DX와 Nomad XR4000 사용 모바일 로봇을 항상 물체 표면의 법선 벡터 방향과 수직하게 이동 물체의 표면이 울퉁불퉁하거나, 복잡한 모델의 경우 적용이 힘듦 Mobile Haptic Interface (MHI) 2001년에 처음 소개된 Mobile Haptic Interface는 이러한 한계점을 극복하며 작업공간의 크기, 안전성, 고강도 재현, 물체의 세부 특징 재현, 재사용성 모든 면에서 뛰어납니다. 단, MHI는 단순히 사용자를 따라서 움직이고, 평면, 원기둥, 구와 같은 단순한 모델만을 사용한 초보적인 수준의 모바일 햅틱 디스플레이 입니다. 실험용 MHI POSTECH Haptics and Virtual Reality Lab.

Goals of this Research 연구의 최종 목표 본 논문에서의 범위 대형 환경에서 사용 가능한 모바일 햅틱 디스플레이를 개발 상하이동장치를 추가하여 햅틱 피드백 범위를 최대화 다중 사용자용 MHD시스템 개발 본 논문에서의 범위 포스텍 R&A 연구실에서 개발한 모바일 로봇에 적합한 MHD 시스템 개발 사용자를 위한 모션 플래닝 알고리즘 햅틱 렌더링 및 비주얼 렌더링 복잡한 모델 로딩 가능 모바일 로봇이 사용자에게 미치는 힘 분석 MHD의 개념도 Prototype of MHD POSTECH Haptics and Virtual Reality Lab.

Haptic Interface Point (HIP) Contents System Configuration Robot Motion Planning Algorithm Kinematics Force Analysis Mobile Haptic Display - Overview Conclusion 우선 연구가 시작된 동기와 관련된 연구에 대해서 간략히 설명한 후, 연구 목표에 대해서 언급하겠습니다. 그리고 현재 개발되고 있는 시스템에 대한 설명을 드린 후, 개발된 모션 플래닝 알고리즘, 측정값 오차를 보정하기 위한 Kinematic Calibration, 사용자에게 힘을 전달하기 위한 haptic rendering, 그리고 실제로 사용자에게 전달된 힘을 보여 드린 후, 현재 개발된 시스템의 프로토타입을 동영상과 함께 소개해 드리도록 하겠습니다. Haptic Interface Point (HIP) POSTECH Haptics and Virtual Reality Lab.

System Configuration Hardware 사용자와 모바일 로봇의 위치 추적 IS-900 트래커 사용 (InterSense Inc.) 모바일 로봇 세 개의 전방향성(omnidirectional) 바퀴로 구성된 모바일 로봇 자체 제작 (by POSTECH R&A Lab) 햅틱 디바이스 PHANToM Premium 1.5 사용 (SensAble Technologies, Inc.) 비주얼 디스플레이 Head Mounted Display 사용 (i-VISOR) IS900 트래커 PHANToM Premium 1.5 MHD시스템 전방향성 바퀴 i-VISOR POSTECH Haptics and Virtual Reality Lab.

Motion Planning Algorithm Goals of Motion Planning Algorithm PHANToM Premium 1.5 안정적인 작업 공간 PHANToM Premium 1.5가 주어진 힘을 정확하고 확실하게 전달할 수 있는 영역 Maximum Workspace Usable Workspace Workspace of PHANToM Premium 1.5 (top view) 로봇 모션 플래닝의 목표 햅틱 디바이스의 HIP를 안정적인 작업 공간으로 이동 사용자와 모바일 로봇간 충돌 방지 모바일 로봇이 사용자의 주변에서 이동 POSTECH Haptics and Virtual Reality Lab.

Motion Planning Algorithm Configuration Space x, z, Φ로 이루어지는 3차원 공간 로봇은 한 점으로 표현 사용자는 원기둥으로 표현 z Φ x POSTECH Haptics and Virtual Reality Lab.

Motion Planning Algorithm Target Pose of the Mobile Robot 매 순간의 로봇의 목표 위치와 방향 HIP의 위치가 안정 영역으로 오도록 설정 사용자와 HIP가 일직선이 되는 곳 항상 사용자를 바라보도록 방향 설정 로봇과 사용자의 거리는 사용자의 팔의 길이 + 로봇의 반지름을 유지 Target pose of the mobile robot POSTECH Haptics and Virtual Reality Lab.

Motion Planning Algorithm Pseudo Code π’ = 30 if d < radius of user π’ = 0 if π < π’ SubTarget = target else SubTarget = Rot (user, π’) PCurrent_robot_position change SubTarget to satisfy distance (user, SubTarget) == d’ go to SubTarget robot d π user d’ target π’ = predefined degree d’ = human arm length + robot radius POSTECH Haptics and Virtual Reality Lab.

Motion Planning Algorithm Algorithm Description MHD Work space 사용자 π robot target d user user robot target d d’ π user π robot target d d’ Configuration space POSTECH Haptics and Virtual Reality Lab.

Motion Planning Algorithm Direction Set 로봇이 매 순간 사용자를 바라보도록 설정 mobile robot b a user v1 Φ? v2 POSTECH Haptics and Virtual Reality Lab.

Motion Planning Algorithm Simulation Simulator.avi POSTECH Haptics and Virtual Reality Lab.

Motion Planning Algorithm Evaluation 모바일 로봇이 사용자를 쫓아갈 수 있는 영역 분석 모션 플래닝 알고리즘을 적용 모바일 로봇은 항상 최고 속도를 낼 수 있다고 가정 1초 뒤에 사용자가 움직였을 때 모바일 로봇이 쫓아갈 수 있는 영역을 표시 모바일 로봇이 따라갈 수 있는 사용자의 영역 사용자의 현재 위치 모바일 로봇의 현재 위치 POSTECH Haptics and Virtual Reality Lab.

Evaluation Results of Angular Velocity Change (a) 0.5m/s 20degree/s (b) 45degree/s (c) 90degree/s (d) 120degree/s (e) 150degree/s (f) 200degree/s POSTECH Haptics and Virtual Reality Lab.

Evaluation Results of Line Velocity Change (a) 0.5m/s 90degree/s (b) 0.4m/s (c) 0.3m/s (d) 0.2m/s (e) 0.1m/s POSTECH Haptics and Virtual Reality Lab.

Kinematics Coordinate Definition 좌표계 사이의 변환(transformation)을 유도 WorldTRobot , WorldTTool : World좌표계에서 모바일 로봇과 HIP의 위치를 계산 RobotTWorld : World좌표계에서의 속도벡터를 Robot좌표계로 변환 PHANToMTWorld : World좌표계에서의 힘벡터를 PHANToM좌표계로 변환 IS900 z x 5 2 Sensor Tool y φ x y x 3 z y z z x y z 1 y y x Robot x z y MHD 시스템에는 다양한 좌표계가 존재합니다. 우선, IS900 트래커는 트래커 자체의 좌표계를 가지고 있으며, 이 좌표계를 기준으로 값이 나오게 됩니다. 또한 로봇 역시 자체의 좌표계를 가지고 있고, 속도 계산을 할 때는 로봇 좌표계를 기준으로 값을 넣어줘야 합니다. 팬텀 또한 좌표계를 가지고 있는데, 이 좌표계를 기준으로 힘 명령을 주어야 합니다. 그러므로 각 좌표계간의 변환을 정확하게 알아야 하며, 이를 이용하여 world 상에서의 HIP의 위치 계산, 모바일 로봇의 위치 계산, 로봇 좌표계 상의 속도 계산, 팬텀 좌표계 상의 힘 계산등을 정확히 할 수 있습니다. Robot x 4 PHANToM z World POSTECH Haptics and Virtual Reality Lab.

Kinematics Transformation IS900 z x Sensor y φ x y z z y y x Robot x z World Θ3 Tool x Θ2 y z 각각의 변환은 다음과 같습니다. World to IS900변환은 우선 right handed system인 openGL에서 left haded system인 IS900 좌표계로 변환되도록 축을 맞춰줍니다. 그리고 IS900의 원점은 천장에 달려있는 receiver의 중심이므로 2624mm, 즉 2.624m만큼 y축으로 이동시킵니다. IS900에서 Sensor좌표계로 가는 변환은 센서의 위치값만큼 이동을 시키고, z축을 중심으로 방향 파이만큼 회전시킵니다. Sensor에서 Robot좌표계로 가기 위해서는 x와 y축을 바꿔주고, x축으로는 206mm만큼, z축으로는 -370mm만큼 이동시킵니다. Robot에서 PHANToM좌표계로 가기 위해서는 y축과 z축을 바꿔주고, x축으로는 -1.6mm만큼, y축으로는 –235.8mm만큼, z축으로는 59.2mm만큼 이동시킵니다. 여기서 빨간색으로 표시한 오프셋값은 실제로 측정한 값이기 때문에 오차가 있을 수 있습니다. 이는 뒷장에 나오는 Kinematics Calibration을 통해서 보정해줍니다. PHANToM에서 Tool좌표계로 가기 위한 변환은 각각의 joint angle값이 theta1, theta2, theta3일 때 다음과 같습니다. Θ1 x y z x z y Robot PHANToM POSTECH Haptics and Virtual Reality Lab.

Kinematics HIP Position Calculation 최종 변환 유도 논문 32 쪽 참조 최종적으로 HIP위치를 구하기 위한 변환은 다음과 같습니다. Rotation matrix부분의 자세한 값은 논문의 32쪽에 나와있습니다. HIP의 위치 값은 모바일 로봇에 달려있는 센서의 위치와 방향, 햅틱 디바이스의 joint angle들의 값과 에 각 좌표축의 변환에 포함된 상수값에 의해서 결정됩니다. 하지만, 이 상수값이 얼마나 정확한지 알 수가 없기 때문에 다음과 같은 실험을 하였습니다. POSTECH Haptics and Virtual Reality Lab.

Kinematics HIP Position Calculation Error 모바일 로봇과 햅틱 디바이스를 랜덤하게 움직이며 1초 간격으로 데이터를 수집 경우에 따라 최대 -40 mm ~ 40 mm 정도의 오차 발생 실제 transformation이 얼마나 정확한지를 확인하기 위해서 다음과 같이 HIP의 위치에 센서를 설치하고, 변환에 의해서 계산된 HIP의 위치와 실제 센서를 통해 측정된 HIP의 위치간의 오차를 확인하여 보았습니다. 보시는 것과 같이 모바일 로봇과 햅틱 디바이스를 랜덤하게 움직이며 1초 간격으로 에러를 측정한 결과, 최대 40mm의 오차가 있는 것을 확인할 수 있습니다. HIP 위치에 설치된 센서 POSTECH Haptics and Virtual Reality Lab.

Kinematics Calibration Reformulate the Transformation (1) IS900 z x Sensor y φ x y z z y y x Robot x z World Θ3 Tool x Θ2 y z 이러한 오차는 직접 측정한 좌표축 간의 오프셋 값에서 발생한 것으로 추정되는데요. 아무래도 직접 자로 측정하는 것이 한계가 있고, 특히 Robot좌표계에서 PHANToM좌표계로 이동하는 오프셋 값의 경우, 팬텀좌표계가 공중에 떠 있기 때문에 측정하는데 오차가 있을 수 밖에 없었습니다. 그래서 센서에서 로봇좌표계로 가는 오프셋 값을 SRx, Sry, SRz로 두고, 로봇에서 팬텀좌표계로 가는 오프셋값을 RPX, Rpy, RPz와 같은 변수로 두고 에러를 최소화 하는 이 변수들의 값을 찾아보기로 하였습니다. Θ1 x y z x z y Robot PHANToM POSTECH Haptics and Virtual Reality Lab.

Kinematics Calibration Reformulate the Transformation (2) 실제 변환에서 각각의 오프셋값들이 미치는 영향을 다음과 같습니다. POSTECH Haptics and Virtual Reality Lab.

Kinematics Calibration Data Sampling & Least Square Solution 총 100개의 데이터를 수집 모바일 로봇의 위치와 방향, 햅틱 디바이스의 joint angle들을 무작위로 설정 Least Square Solution F가 최소가 되게 하는 SRx, SRy, SRz, RPx, RPy, RPz값을 찾음 x y z Sensor 좌표계 y 모바일 로봇의 위치와 방향, 그리고 햅틱 디바이스의 joint angle들이 에러에 미치는 영향을 최소화 하기 위해서 각각을 랜덤하게 설정한 후, 100개의 데이터셋을 만들고 데이터를 수집하였습니다. 그리고 변환에 의해 계산된 위치를 이러한 x,y,z벡터로 정의하고, 센서에 의해 측정된 실제 HIP의 위치를 Sx,Sy,Sz벡터로 두고, 이러한 값들의 오차 제곱의 합을 최소화하는 least square solution을 찾았습니다. 빠르게 수렴할 수 있도록 각 변수의 초기값은 직접 측정한 변수로 두었습니다. 실제로 다음과 같이 직접 측정한 값과 least square solution 사이에는 약 3mm 에서 최대 약 20mm정도의 오차가 있는 것을 확인하실 수 있습니다. PHANToM 좌표계 y x z Robot 좌표계 z x POSTECH Haptics and Virtual Reality Lab.

Kinematics Calibration Result & Discussion y World 좌표계 x z z Sensor 좌표계 x y z y Robot 좌표계 x Sensor 좌표계 Robot 좌표계 ψ 각 변환의 오프셋 값들을 least square solution으로 대체 하기 전과 한 후의 오차를 비교해 보았습니다. 보시는 것고 같이 y축의 오차는 뚜렷하게 감소하였지만, x와 z축의 오차는 오히려 조금 증가한 것을 확인할 수 있습니다. 이는 Kinematics calibration 과정에서 센서 좌표계와 로봇 좌표계간의 각도가 같다는 가정에서 문제가 생긴 것으로 추정됩니다. Kinematics calibration 과정에서 센서 좌표계와 로봇 좌표계간의 각도 차이를 프사이로 정의하고, 이 항을 넣어서 보정하면 좀 더 나은 결과를 얻을 수 있을 것입니다. Y축의 오차는 눈에 띄게 감소했지만, x와 z축의 오차는 오히려 조금 증가했음 Sensor좌표계와 Robot좌표계가 일치 하지 않아서 생기는 문제로 추론됨 Sensor와 Robot 좌표계 사이의 각도 차이를 고려해 주어야 한다. POSTECH Haptics and Virtual Reality Lab.

Haptic Rendering Force Command 논문 42 쪽 참조 FT = HIP에 작용하는 힘 벡터 FR = 모바일 로봇에 작용하는 힘 벡터 TP = 햅틱 디바이스에 작용하는 토크 벡터 DT = FT 에 의해 움직인 HIP의 변위 DR = FR 에 의해 움직임 모바일 로봇의 변위 DP = TP 에 의해 회전한 햅틱 디바이스 joint angle들의 변위 자코비안의 정의에 따라, HIP에 작용된 전체 일의 양은 동일함으로, 다음은 햅틱 렌더링을 위한 힘 명령입니다. 우선, HIP의 위치 함수는 모바일 로봇의 위치와 방향, 햅틱 디바이스의 joint angle들에 의해서 결정됩니다. 여기서 모바일 로봇이 위아래로 움직이지는 않기 때문에 Ry항을 제거하고, x, y, z 항들을 각각의 변수들로 편미분하여 자코비안을 계산해보면 다음과 같은 3 by 6 matirx를 구할 수 있습니다. 자세한 수식은 논문 42페이지를 참고하시면 됩니다. 각각을 ~~~와 같이 정의하고 자코비안의 정의에 따라 HIP가 움직인 변위는 모바일 로봇의 변위와 햅틱 디바이스의 joint angle들의 변위에 자코비안 매트릭스를 곱한 것으로 계산됩니다. 여기서 3by6 자코비안 행렬으르 3x3 두 개의 행렬로 나누어 쓰면 다음과 같습니다. 만약 여기서 모션 플래닝 알고리즘에 따른 모바일 로봇의 위치를 시간에 대한 함수로 볼 수 있다면, 매 순간 마다 모바일 로봇은 고정된 것으로 생각할 수 있기 때문에 JR * DR term이 virtual displacement가 되어 무시할 수 있으므로, HIP의 변위는 다음과 같이 계산될 수 있습니다. Virtual work theorem을 적용하여 힘 사이의 관계를 알아보면, 전체 일의 양은 동일함으로 HIP에 가해진 힘과 HIP가 이동한 거리를 곱한 것은 햅틱 디바이스에 가해진 토크와 joint angle들의 변위의 곱과 같습니다. Dt를 다음과 같이 치환하면 Dp가 사라지고, 최종적으로 힘과 토크의 관계는 자코비안을 곱한 것과 같습니다. Haptic rendering 알고리즘으로는 HIP의 위치에 따라 물체와 충돌이 일어났을 경우, 가장 가까운 물체의 표면을 찾아 HIP가 물체를 뚫고 들어간 거리에 비례하여 힘을 주는 virtual proxy algorithm을 사용하여 사용자에게 전달할 힘을 계산하였고, 여기에 계산된 자코비안을 곱하여 햅틱 디바이스에게 토크 명령을 주게 됩니다. 여기서 알 수 있는 점은 사용자에게 전달된 힘은 순수하게 햅틱 디바이스의 토크, 즉 햅틱 디바이스가 내는 힘에만 관계된다는 것입니다. 자코비안 행렬을 나누면, 모바일 로봇의 위치를 시간에 대한 함수로 볼 수 있다면, By Virtual Proxy Algorithm POSTECH Haptics and Virtual Reality Lab.

Force Analysis Force Affected by The Mobile Robot 배경 이론상 모바일 로봇을 완벽히 위치제어하고, 모바일 로봇과 햅틱 디바이스 사이의 댐핑(damping)이 0이라면, 모바일 로봇의 움직임이 HIP에 미치는 힘은 없다. (Nitzsche et at, 2003) 실제로는 모바일 로봇을 완벽히 위치 제어하지는 못함 실험 HIP의 위치에 힘 센서를 설치 HIP에 기록되는 힘을 이용하여 모바일 로봇이 HIP에 미치는 힘을 분석 Nano17 힘 센서 실제 니쉐에 따르면 모바일 로봇을 완벽히 위치제어를 하고, 모바일 로봇과 햅틱 디바이스 사이의 댐핑이 0이라면, 모바일 로봇의 움직임이 HIP에 미치는 힘은 0이라고 합니다. 하지만, 실제로는 모바일 로봇을 완벽하게 위치제어를 할 수가 없기 때문에 HIP의 위치에 다음과 같이 힘 센서를 설치하여 힘이 어떻게 기록되는지를 실험적으로 살펴보았습니다. HIP의 위치에 설치된 힘 센서 POSTECH Haptics and Virtual Reality Lab.

Force Analysis Results x z 벽 MHD 모바일 로봇이 움직이지 않는 경우 X와 z축으로 큰 벽이 있고, 사용자는 모서리 부근에서 벽을 만지는 실험을 하였습니다. 주로 x와 z축으로 힘이 나오게 되는데요. 보시는 것과 같이 모바일 로봇을 움직이는 않는 경우와 모바일 로봇이 움직이는 경우, 명령된 힘과 실제 기록된 힘간의 차이가 크지 않음을 알 수 있습니다. Commanded Force Recorded Force 모바일 로봇이 움직이는 경우 POSTECH Haptics and Virtual Reality Lab.

Mobile Haptic Display System Overview Tracker Server IS-900 Processor Position & orientation 100Hz Position & orientation 190Hz 모바일 로봇의 전체 시스템은 다음과 같습니다. 먼저 사용자와 모바일 로봇에 설치된 센서로부터 IS900프로세서가 190Hz로 값을 읽어옵니다. 그리고 트래커 서버는 IS900프로세서로 부터 값을 읽은 다음, MHD에 설치된 랩탑 컴퓨터에게 100Hz로 무선랜을 통해 정보를 전송합니다. 그리고 랩탑은 이 정보를 사용하여 사용자에게 HMD를 통해 60Hz로 그림을 그려주고, 햅틱 디바이스에게 1khz로 힘명령을 주고 모바일 로봇에게는 10hz로 속도 명령을 주게됩니다. Graphics 60Hz Force 1000Hz Head Mounted Display IS-900 Tracker Laptop Velocity 10Hz Wired Wireless LAN (UDP) User POSTECH Haptics and Virtual Reality Lab. Mobile Robot

Mobile Haptic Display Software 다음은 모바일 햅틱 디스플레이의 소프트웨어 구성입니다. 좀 더 자세히 설명을 드리면, 총 두 개의 소프트웨어로 구성되어 있습니다. 트래커 서버는 단순히 IS900트래커로부터 값을 읽어 전송하는 역할만을 하게됩니다. MHD에는 총 두 개의 프로그램이 돌아가는데요. 우선 햅틱 서버가 센서 정보를 받은 다음, 변환을 이용하여 world좌표계에서의 HIP 위치와 사용자의 위치를 계산합니다. 그리고 모션 플래닝 알고리즘을 적용하여 모바일 로봇의 다음 목표 위치를 설정하고, 이에 따라 속도 벡터를 계산 한 뒤, 모바일 로봇에게 USB를 통해 전송합니다. 그리고 virtual proxy 알고리즘을 이용해 사용자에게 전달될 힘을 계산한 다음, 햅틱 디바이스에게 힘 명령을 줍니다. 마지막으로 햅틱 서버는 비주얼 서버에게 world 좌표계상의 HIP의 위치와 로봇의 위치를 전송합니다. 비주얼 서버는 이를 이용하여 사용자에게 모바일 로봇과 만지는 물체, HIP의 위치를 사용자에게 입체적으로 보이도록 그려줍니다. POSTECH Haptics and Virtual Reality Lab.

Mobile Haptic Display POSTECH PODI ver.0.8 모바일 로봇은 사용자를 피해 잘 이동함 HIP는 대부분 안정적인 작업 공간 안에 위치함 복잡한 돌고래 모델에도 잘 적용됨 사용자는 햅틱 디바이스를 통해 실제 크기의 돌고래를 느낄 수 있음 사용자는 HMD를 통해 입체적인 화면을 전달받을 수 있음 사용자가 PODI를 사용하는 모습 현재 완성되어 있는 시스템입니다. POSTECH Mobile Haptic Display의 약자를 따서 PODI라고 지어 보았습니다. HMD를 통해 사용자에게 전달되는 화면 POSTECH Haptics and Virtual Reality Lab.

Conclusion 모바일 햅틱 디스플레이를 위한 시스템 구성 모바일 햅틱 디스플레이를 위한 소프트웨어 구성 모션 플래닝 알고리즘 개발 모바일 로봇이 햅틱 디바이스가 내는 힘에 미치는 영향 분석 Future Work 상하이동장치 추가 HIP위치 추적 개선 Texture 추가 협업 환경에서의 햅틱 피드백 효과 분석 결론을 맺겠습니다. POSTECH MHD를 위한 시스템을 구성하였고, 햅틱 서버, 비주얼 서버, 트래커 서버 등 필요한 소프트웨어를 효율적으로 구성하였습니다. 그리고 MHD에 적합한 모션 플래닝 알고리즘을 개발하였고, 마지막으로 현 시스템에서 모바일 로봇이 햅틱 디바이스가 내는 힘에 미치는 영향을 분석하여 보았습니다. 앞으로 MHD로 더 할 수 있는 일은 연구의 최종 목표에도 언급되었듯이 상하이동장치를 추가하고, kinematics calibration을 좀 더 잘해서 HIP의 위치 추적을 개선하고, texture를 추가해서 더 자세한 질감을 느낄 수 있도록 하고, 협업 환경에서의 햅틱 피드백 효과를 분석해 보는 것입니다. POSTECH Haptics and Virtual Reality Lab.