Light field camera and its applications 2014-02-11 Yeong-Jun Cho

Contents Introduction Light field cameras Applications Conclusion

Introduction Light-filed or Plenoptic or Directional camera Lytro camera Raytrix

Introduction Plenoptic function 공간에 대한 시각 정보는 어떻게 표현 될까?

Introduction Plenoptic function A single view Ray directions

Introduction Plenoptic function 𝜆 A single view and color Function of wavelength Color image from single point of view

Introduction Plenoptic function And time 𝜆 t Time

Introduction Plenoptic function 𝜆 Multiple views All possible views (관측자의 3차원 위치)

그러나 일반적인 2D 카메라로는 Plenoptic function를 실측하기 어려움 Introduction Plenoptic function - By Adelson 𝜆 𝜽, 𝝓 :Ray direction 𝝀 :Wavelength 𝒕 :Time 𝑽 𝒙 , 𝑽 𝒚 , 𝑽 𝒛 :Ray direction Light field 정보 Plenoptic function을 구하게 되면 특정 장소에 대한 모든 Light field 정보를 얻게 됨 ▶ 장소의 완벽 재현 가능 그러나 일반적인 2D 카메라로는 Plenoptic function를 실측하기 어려움 공간내에 존재하는 모든 빛정보를 획득하여 가지고 있다면, 그 공간을 똑같이 인위적으로 다른 장소에서 그대로 재현해 낼 수 있다.

▶ 개별 빛들의 세기 및 방향에 대한 정보를 잃게 됨. Introduction 일반적인 2D 카메라 <2D 카메라 영상 생성> 우리가 사용하는 디지털 카메라는 이러한 빛에 대한 정보를 획들 할 수 있는 대표적인 장치. 카메라 렌즈를 통하여 들어온 빛의 세기 정보를 영상 센서를 이용하여 획득, 영상 데이터로 저장. 기존 카메라는 물체의 한점으로 부터 나오는 빛들이 카메라 렌즈를 통과한 후에 영상 센서의 한점에 모여 적분된 값을 획득 -> 개별 빛들의 세기 및 방향에 대한 정보를 잃게 된다. 물체의 한점으로 부터 나오는 빛들이 렌즈 통과 후 영상 센서의 한 점에 모여 적분 됨. ▶ 개별 빛들의 세기 및 방향에 대한 정보를 잃게 됨.

Light-field cameras Light field 획득 방식 다수 카메라 배열 방식 (Multiple camera array) 렌즈 배열 방식 (Lens array)

Multiple camera array를 이용한 Light-field cameras Light field 획득 방식 다수 카메라 배열 방식 (Multiple camera array) < Stanford 대학의 100대의 카메라로 이루어진 카메라 배열 (2005) > 우리가 사용하는 디지털 카메라는 이러한 빛에 대한 정보를 획들 할 수 있는 대표적인 장치. 카메라 시야각(FoV)을 겹치게 배열 고해상도의 Light field 정보를 획득 Multiple camera array를 이용한 가려진 영역 복원

Light-field cameras Light field 획득 방식 다수 카메라 배열 방식 (Multiple camera array) < Stanford 대학의 100대의 카메라로 이루어진 카메라 배열 (2005) > 장점 단점 카메라 자체 부피로 인해, 카메라 간의 간격에 제약이 따르기 때문에 이로 인해 카메라 사이에 존재하는 light filed 정보를 얻을 수 없다. 넓은 FoV 획득가능 고해상도의 Light field 정보를 획득 비싼 시스템 구축 비용 카메라 배치, 신호이득(gain) 차이 로 인한 색상 불일치 ▶ 카메라 Calibration 필요 카메라 자체 부피로 인한 한계

Light-field cameras Light field 획득 방식 렌즈 배열 방식 (Lens array)

Light-field cameras Light field 획득 방식 렌즈 배열 방식 (Lens array) Object Camera lens Image sensor <렌즈 배열 방식의 light field 획득 개념> <2D 카메라 영상 생성> Image sensor Microlens array (2,3) (2,4) (3,4) (3,3) 일반 디지털 카메라 기반으로 Micro Lens Array를 영상 센서 앞에 위치시킴 ▶ 방향별로 분리된 빛 정보를 저장

Light-field cameras Light field 획득 방식 렌즈 배열 방식 (Lens array) Object Camera lens Image sensor <렌즈 배열 방식의 light field 획득 개념> <2D 카메라 영상 생성> 일반 디지털 카메라 기반으로 Micro Lens Array를 영상 센서 앞에 위치시킴 ▶ 방향별로 분리된 빛 정보를 저장 우리가 사용하는 디지털 카메라는 이러한 빛에 대한 정보를 획들 할 수 있는 대표적인 장치. <렌즈 배열 방식으로 얻은 Light field raw image>

Light-field cameras Light field 획득 방식 렌즈 배열 방식 (Lens array) Image sensor Microlens array (2,3) (2,4) (3,4) (3,3) Object Camera lens Image sensor <렌즈 배열 방식의 light field 획득 개념> 장점 단점 우리가 사용하는 디지털 카메라는 이러한 빛에 대한 정보를 획들 할 수 있는 대표적인 장치. 저렴한 시스템 구축 비용 소형화 가능 카메라 간 보정 문제가 단순 낮은 해상도 획득 가능한 light field 정보가 제약됨 ▶ 카메라 aperture width 에 의존적

Applications Novel view synthesis / Depth estimation …. <Light field camera raw image 예시> <Image sensor> <Light-field camera로 획득된 다시점 영상> Micro Image 내에서 같은 화소 위치에 있는 값들의 조합/재배치를 통해 시점이 서로 다른 다시점 영상 획득 가능 ▶ 각 Pixel은 어떠한 신호처리도 필요 없이 간단히 조작됨 Micro Image 의 화소들에 대한 R,t 정보를 미리 알고 있으므로 생성된 다시점 영상을 이용해 별도의 calibration 없이 depth estimation 추정 <추정된 depth 예시>

Applications 실시간 HDR(High Dynamic Range) 영상 생성 Using light field camera… <HDR 영상 생성> <Low exposure (small aperture width)> <High exposure (large aperture width)> 서로 다른 노출을 가지는 이미지를 복합하여 전체적으로 안정된 밝기 값을 가지는 이미지 획득 정지 영상에 대해서만 적용 가능 Light field camera의 경우 각각의 Micro lens의 aperture width를 각기 다르게 공정 비디오 영상에 대해서도 HDR 기법 적용이 가능함 Aperture width Micro lens <Micro lens array> Micro lens 각각 다른 aperture width를 가짐

Applications Super-resolution 영상 획득 Multi-frame 기반의 super-resolution

Applications Digital Refocusing Digital Refocusing by Ray-Tracing [1] Imaginary image plane Image sensor Digital Refocusing by Ray-Tracing [1] 예제 영상 [1] Ren Ng et al. ‘Light Field Photography with a Hand-held Plenoptic Camera’ , Stanford Tech Report STSR 2005-02

Conclusion Light field camera 다수카메라 배열 방식, Micro lens 배열 방식 분리된 빛 정보를 획득 상용화 제품 : Lytro camera (2012) Issues Micro lens calibration Super-resolution Applications to computer vision

Thank you