직접광과 간접광의 분리방법 창원대학교 정보통신공학과 박동규 2009. 12.

목차 Ice breaking 관련 연구 직접광과 간접광의 분리 방법 4. 장면과 조명과의 거리에 따른 분리 빛의 이론 Nayar의 고주파 조명패턴을 이용한 분리 기법 직접광과 간접광의 분리 방법 4. 장면과 조명과의 거리에 따른 분리 5. 비활성화된 영역에서의 밝기 측정 6. 이미지 처리의 응용 7. 결론 및 향후 연구과제

Ice breaking 빛과 색 빛 전자기파의 한 종류 가시광선 780-380나노미터의 파장을 가진 빛

Ice breaking 전자기파와 가시광선

Ice breaking Rayleigh Scattering

Ice breaking 500m 고도에서 찍은 일몰

Ice breaking 사과의 색은?

Source: http://webvision.med.utah.edu/sretina.html 색의 과학(Color Science) 색의 3요소 가시광선을 복사하는 광원 광원에서 나오는 관선을 반사하거나 투과시키는 물체 광선을 지각하는 인간의 감각기관(눈) 자연광의 분광분포 Source: http://webvision.med.utah.edu/sretina.html

색의 과학(Color Science) 색상신호 C(λ)는 C(λ) = E(λ) S(λ)로 정의됨 (광원의 분광분포) (물체의 분광반사) (사람의 시감효율) R = ∫ E(λ) S(λ) qR(λ) dλ = ∫ C(λ) qR(λ) dλ G = ∫ E(λ) S(λ) qG(λ) dλ = ∫ C(λ) qG(λ) dλ B = ∫ E(λ) S(λ) qB(λ) dλ = ∫ C(λ) qB(λ) dλ * λ(람다)는 물리학에서 파장을 의미함

관련 연구 빛의 이론 장면을 구성하는 빛은 크게 직접광 성분(direct light)과 간접광 성분(indirect light)으로 구분 다음은 장면을 구성하는 빛의 성분에 대하여 간단히 설명드리겠습니다. 장면을 구성하는 크게 직접광성분과 간접광 성분으로 구분할수 있습니다. 직접광 성분은 광원으로 부터 직접적으로 오는 빛을 의미합니다. 간접광 성분은 광원에 의한 빛이 반사되거나 산란되어 들어오는 빛을 말합니다. 광원이 있고 장면위의 한점 P에서 직접광과 간접광에 의해 들어오는 우리가 카메라를 통해 관찰하고자 하는 점 p 에는 광원으로 부터의 직접광 성분 a와 간접광 성분인 BCDE 가 함께 들어오게 되는데 B는 어쩌구

직접광과 전역광의 예 surface source B D A C P A : Direct B : Interreflection E participating medium D : Volumetric translucent surface E E : Diffusion C C : Subsurface A A : Direct surface source B B : Interreflection P camera

관련 연구 Nayar의 고주파 조명패턴을 이용한 분리 기법 j i 직접광과 간접광 성분:상호반사 표면 광원 카메라 직접광 BRDF : 빛이 어떻게 표면에서 반사되는지를 나타내는 함수 직접광 간접광 라디언스 BRDF

2. 관련 연구 Nayar의 고주파 조명패턴을 이용한 분리 기법 i 고주파 조명패턴 표면 광원 카메라 P(Rho) N(Nu) 카메라 광원에 의해 활성화된 영역

전역광원+직접광원

전역광원은 거의 없으며 직접광성분이 주를 이룸

2. 관련 연구 Nayar의 고주파 조명패턴을 이용한 분리 기법 고주파 조명패턴 표면 광원 i P(Rho) N(Nu) 카메라

2. 관련 연구 Nayar의 고주파 조명패턴을 이용한 분리 기법 i 고주파 조명패턴 표면 광원 카메라 Lg : 광원이 활성화된 영역 으로부터 받는 전역광의 양 광원 i P(Rho) N(Nu) 카메라 광원에 의해 활성화된 영역

점선 : 광원이 활성화되지않은 영역에서는 전역광이 없다고 가정하자 2. 관련 연구 Nayar의 고주파 조명패턴을 이용한 분리 기법 고주파 조명패턴 표면 Lg : 광원이 활성화된 영역 으로부터 받는 전역광의 양 광원 점선 : 광원이 활성화되지않은 영역에서는 전역광이 없다고 가정하자 i P(Rho) N(Nu) 카메라 광원에 의해 활성화된 영역

직접광원이 닿지 않으므로 전역광성분만을 고려함 2. 관련 연구 Nayar의 고주파 조명패턴을 이용한 분리 기법 고주파 조명패턴 표면 광원 i 직접광원이 닿지 않으므로 전역광성분만을 고려함 P(Rho) N(Nu) 카메라 광원에 의해 활성화된 영역 광원이 활성화되지 않은 영역

점선 : 광원이 활성화되지않은 영역에서의 전역광성분까지 고려하면 2. 관련 연구 Nayar의 고주파 조명패턴을 이용한 분리 기법 고주파 조명패턴 표면 광원 점선 : 광원이 활성화되지않은 영역에서의 전역광성분까지 고려하면 i P(Rho) N(Nu) 카메라 광원에 의해 활성화된 영역 +

빛이 활성화되지 않은 영역의 밝기: b, 0<=b<=1 2. 관련 연구 고주파 조명패턴 빛이 활성화되지 않은 영역의 밝기: b, 0<=b<=1 + - 직접광 간접광

3. 직접광과 간접광의 분리 실험환경 고주파 조명 패턴: 체커보드 조명 패턴 해상도: 1024*768 상하 좌우로 2픽셀씩 이동하여 25개의 패턴 생성 흰색: 빛이 비춰지는 영역, 검은색: 빛이 차단된 영역 조명: 빔 프로젝터(해상도:1024*768) 디지털 카메라를 이용하여 장면 촬영 <체커보드 조명패턴>

3. 직접광과 간접광의 분리 실험환경 체커보드 조명 객체 카메라 카메라 프로젝터 프로젝터(조명)

<체커보드 조명을 비추어 촬영한 이미지> 3. 직접광과 간접광의 분리 분리 과정 <장면> <체커보드 조명을 비추어 촬영한 이미지> <최대 밝기( )> <최소밝기( )>

3. 직접광과 간접광의 분리 실험 결과 <장면> <직접광 성분> <간접광 성분>

3. 직접광과 간접광의 분리 실험 결과 <장면> <장면>

3. 직접광과 간접광의 분리 실험 결과 <직접광 성분>

3. 직접광과 간접광의 분리 실험 결과 <간접광 성분>

4. 장면과 조명과의 거리에 따른 분리 분리 결과의 정확도를 높이기 위한 실험환경 찾기 100cm 80cm 60cm 픽셀 크기: 4*4, 6*6, 8*8 조명의 위치: 60cm, 80cm, 100cm 직접광과 간접광 성분을 합한 장면과 실제 장면 비교 간접광 성분의 민감도 측정 100cm 80cm 60cm

4. 장면과 조명과의 거리에 따른 분리 4*4 일때 분리결과 조명과 물체와의 거리 60cm 80cm 100cm 실제 장면 직접광+간접광 직접광 간접광 60cm 80cm 100cm 4*4 일때 분리결과

4. 장면과 조명과의 거리에 따른 분리 6*6 일때 분리결과 조명과 물체와의 거리 60cm 80cm 100cm 실제 장면 직접광+간접광 직접광 간접광 60cm 80cm 100cm 6*6 일때 분리결과

4. 장면과 조명과의 거리에 따른 분리 8*8 일때 분리결과 조명과 물체와의 거리 60cm 80cm 100cm 실제 장면 직접광+간접광 직접광 간접광 60cm 80cm 100cm 8*8 일때 분리결과

4. 장면과 조명과의 거리에 따른 분리 실험 결과 조명의 밝기는 거리의 제곱에 반비례함 가까운 위치에서는 빛의 반사가 큼 멀리 있을 경우 빛의 세기가 약하므로 간접광 성분이 줄어듬 밝기 차이 거리(cm)

5. 비활성화된 영역에서의 밝기(b) 측정 α=1/2 일때

5. 비활성화된 영역에서의 밝기(b) 측정 b값 b값 측정 방법 빛이 활성화 되지 않은 영역에서의 전역광(간접광) 성분의 비율 값 0에 가까울수록 간접광 성분의 크기가 작아짐 정확한 b값의 측정이 필요함 b값 측정 방법 실제 장면 = 직접광 성분+ 간접광 성분 B값에 따라 장면의 직접광과 간접광의 성분의 크기가 달라짐 분리 결과를 결합한 장면과 실제 장면을 비교하였을때 차이가 적을때 분리 결과가 가장 좋다. 따라서 정확한 b값의 측정이 필요하다. 우리가 아는 값

5. 비활성화된 영역에서의 밝기(b) 측정 b = 0 일때 + = <실제장면> <직접광+간접광> 분리 결과를 결합한 장면과 실제 장면을 비교하였을때 차이가 적을때 분리 결과가 가장 좋다. 따라서 정확한 b값의 측정이 필요하다. <직접광+간접광> <실제장면>

5. 비활성화된 영역에서의 밝기(b) 측정 측정된 b = 0.2319 일 때 + = <실제장면> 분리 결과를 결합한 장면과 실제 장면을 비교하였을때 차이가 적을때 분리 결과가 가장 좋다. 따라서 정확한 b값의 측정이 필요하다. <직접광+간접광> <실제장면>

5. 비활성화된 영역에서의 밝기(b) 측정 물체 표면의 거칠기에 따른 b값 측정 표면 거칠기 실제 장면 직접광+간점광 직접광 간접광 거친 표면 b = 0.1784 매끈한 표면 b = 0.1702

5. 비활성화된 영역에서의 밝기(b) 측정 재질에 따른 b값 측정 물체의 재질 실제 장면 직접광+간점광 직접광 간접광 천 나무 b = 0.1189 양초 b = 0.1632

5. 비활성화된 영역에서의 밝기(b) 측정 재질에 따른 b값 측정 물체의 재질 실제 장면 직접광+간점광 직접광 간접광 유리 피부 b =0.1960

5. 비활성화된 영역에서의 밝기(b) 측정 간접광 성분과 b값의 관계 b 재질 나무 천 유리 양초 피부 b 값 0.1189 0.1356 0.1549 0.1632 0.1960 Lg 비율(%) 28 36 47 62 76

5. 이미지 처리 응용 새로운 이미지 생성 장면 직접광 간접광 실제 색상 초록색으로 색상변경 분홍색으로

6. 이미지 처리 응용 간접광 성분의 특성이용-비닐 커버에 가려진 물체의 이미지 추출 <직접광 성분> <실제 장면> <간접광 성분>

<밝기 조절(imadjust)> 6. 이미지 처리 응용 이미지 enhancement <실제 장면> <밝기 조절(imadjust)> <간접광 성분>

<대비향상( ahapthisteq)> 6. 이미지 처리 응용 이미지 enhancement <실제 장면> <대비향상( ahapthisteq)> <간접광 성분>

<이미지 필터링(unsharp)> 6. 이미지 처리 응용 이미지 enhancement <실제 장면> <이미지 필터링(unsharp)> <간접광 성분>

다양한 물체의 분리 결과 <실제 장면> <직접광+간접광> <직접광> <간접광>

다양한 물체의 분리 결과 <실제 장면> <직접광+간접광> <직접광> <간접광>

Face: Without and With Makeup Without Makeup Global Direct With Makeup 출처 : http://www1.cs.columbia.edu/CAVE/projects/separation/separation.php

Makeup

Blonde Hair Direct Global 출처 : http://www1.cs.columbia.edu/CAVE/projects/separation/separation.php

7. 결론 결론 고주파 조명패턴을 이용한 장면의 분리 장면과 조명과의 거리에 따른 실험을 통하여 간접광 성분을 고려하여 적절한 위치를 설정 빛이 비추어지지 않는 영역에서 존재하는 빛의 성분 값을 측정함으로 분리된 장면의 합과 실제 장면의 차이를 줄임으로 분리결과의 정확도를 높임 물체의 속성에 따라 측정된 값이 달라지며 간접광 성분의 영향을 많이 받음을 알 수 있었다. 이미지 처리의 응용으로 간접광의 특성을 이용하여 가려진 물체의 형태를 추출 가능

Thanks.