스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 IPIU2007 스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 백영기, 최종현, 이경무 서울대학교 컴퓨터비전 연구실 2007.2.8
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Introduction 스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 What is Rectification? Introduction To transform image so that the corresponding point should be in same height in stereo vision system. Computer Vision Lab. Seoul Nat’l Univ. IPIU2007 1/15
Binocular Rectification VS Trinocular Rectification Introduction 스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Binocular Rectification VS Trinocular Rectification * Binocular Rectification Rectify * Trinocular Rectification Rectify Computer Vision Lab. Seoul Nat’l Univ. IPIU2007 2/15
Pros and Cons of Trinocular Rectification Introduction 스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Pros and Cons of Trinocular Rectification Pro: More accurate than binocular rectification. Con: Mathematically and geometrically complicated and ambiguous. Computer Vision Lab. Seoul Nat’l Univ. IPIU2007 3/15
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Goal of This Work 스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Goal of This Work Efficient trinocular rectification method. Intuitive Easy to understand graphically and simple. Accurate as much as a state of the art. Computer Vision Lab. Seoul Nat’l Univ. IPIU2007 4/15
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Notation 스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Notation Pin-hole Camera Model Projection Matrix : Homogeneous 3D Coordinate : Imaged Homogeneous 2D Coordinate : Homogeneous 3D Camera Center : Inhomogeneous Coordinate of C : 3X4 Camera Matrix : 3X3 Internal Parameter Matrix : 3X3 3D Rotation Matrix : 3X3 Identity Matrix Computer Vision Lab. Seoul Nat’l Univ. IPIU2007 5/15
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Notation 스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Notation (Cont’d) Correspondence Between 3D points and imaged 2D points Between two imaged 2D points : Homography : Scale Factor Computer Vision Lab. Seoul Nat’l Univ. IPIU2007 6/15
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Notation 스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Notation (Cont’d) Rotation matrix Original projection matrix The new projection matrix for rectification Computer Vision Lab. Seoul Nat’l Univ. IPIU2007 7/15
Condition for Trinocular Rectification 스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Condition for Trinocular Rectification I. Obtained images are parallel to a plane which is ~~~composed of three cameras centers. II. Internal parameters of all cameras are same. III. The angle of diagonal epipolar line should be 45º : Rectified Image : Disparity Value Computer Vision Lab. Seoul Nat’l Univ. IPIU2007 8/15
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Condition 스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Condition Details Condition I – Rotation Matrix The new X-axis is parallel to baseline between left and right camera. The new Z-axis is perpendicular to a plane composed of three camera centers. The new Y-axis is perpendicular to new X and new Z-axis, simultaneously. Computer Vision Lab. Seoul Nat’l Univ. IPIU2007 9/15
Condition Details Condition II – Internal Parameter 스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Condition Details Condition II – Internal Parameter To obtain homography for rectification, we assume the arbitrary one similar to original internal parameter matrix K from all projection matrices. The rectified image with this condition Computer Vision Lab. Seoul Nat’l Univ. IPIU2007 10/15
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Condition 스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Condition Details Condition III – Affine Transform Transform matrix Length between left and right camera center. Length between top and baseline from left and right camera. Computer Vision Lab. Seoul Nat’l Univ. IPIU2007 11/15
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Experimental Result 스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Experimental Result Image Size : 640 x 480 Camera Calibration Using calibration RIG. Target Image Right Left Top Computer Vision Lab. Seoul Nat’l Univ. IPIU2007 12/15
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Experimental Result 스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Experimental Result Rectified Images Computer Vision Lab. Seoul Nat’l Univ. IPIU2007 13/15
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Experimental Result 스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Experimental Result Rectification Error (Unit: pixel) R-L R-T L-T Average 0.113021 0.0758203 0.0730634 Minimum error 0.001007 0.0007324 0.0012408 Maximum error 0.529724 0.2337340 0.3106760 Computer Vision Lab. Seoul Nat’l Univ. IPIU2007 14/15
스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Conclusion 스테레오 비젼을 위한 3장 영상의 효율적인 영상정렬 기법 Conclusion We proposed an efficient image rectification method for trinocular stereo vision. Simpler and more intuitive than previous works. The accuracy of the algorithm is similar to previous ones or better. Computer Vision Lab. Seoul Nat’l Univ. IPIU2007 15/15