공간 시각 목표 : Where pathway 기제 이해 및 그에 기반한 공간구조/변화 표상 모델 및 인식기술 개발 정찬섭, 이일병, 김민식 (연세대), 남종호(가톨릭 대) 목표 : Where pathway 기제 이해 및 그에 기반한 공간구조/변화 표상 모델 및 인식기술 개발 - 공간구조 (색/밝기, 결 구조) 복원률 95% - 이동 표적 탐지 및 인식률 90% - 선택적 주의기제에 의한 공간정보처리 능률 개선 25% 1차년도 2001 2차년도 2002 3차년도 2003 공간시각 모듈 보완/ 통합 및 응용 시스템개발 공간구조/변화 표상 원리 분석 공간구조/변화 표상 모델 개발 공간구조분석을 위한 영상 전처리 연구 (색/밝기 복원, 결 속성) 깊이, 운동 정보 표상 원리 규명 공간주의기제 특성 분석 색상정보에 의한 주의기반 공간 특징요소의 국소적인 결합 및 구성 방법 연구. 색채/밝기 복원 모델 개발 표면결,깊이,운동정보 표상모델 개발 뇌영상 기반 주의과정 모델 설계 이동 물체 탐지 및 인식 모델 개발 색채/밝기 복원 모델의 실용화를 위한 수정 및 보완 표면결,깊이,운동 지각 통합 모델 주의 기반, 이동물체 탐지 및 인식모델의 수정 및 보완.

공간시각 연구 추진체계 공간분석을 위한 영상 전처리 공간표상 정보속성 분석 및 특징 추론 공간적 주의 기제 밝기, 색, 대비 정 신 물 리 학 및 모 델 링 접 근 뇌 영 상 기 법 경 심 적 공간분석을 위한 영상 전처리 공간표상 정보속성 분석 및 특징 추론 공간적 주의 기제 삼차원 공간처리 모형 및 인식 시스템 개발 결변화, 운동, 깊이, 위치 선택, 결합, 전이

1. Color Constancy for Digital Images Determinants of Digital Colors This figure shows the determinants of digital colors. When we are taking pictures with a digital camera, the light hitting a point on a surface is split into three rays and each ray passes through one of RGB filters. The intensity of light in each ray is encoded by a sensor behind a filter. Because each filter has a constant property, we can make I-prime substitute for FK IK.

The formula for recovering the color of + L (R+G+B) ENERGY COLOR COMPONENTS As the last step of recovering surface colors, the luminance value at a pixel is multiplied by the relative surface reflectance for a channel. The resulting values CR, CG, and CB are the final product of our model. As in this figure, the logic behind this final step is straightforward. A lump of light energy at a pixel is divided into three color components CR, CG, and CB by the splitter PK, the relative surface reflectance.

The Schematic Diagram L C OC PQ>.005? IR PSC CM R, G, B PQ>.005? C IR PSC CM This flowchart shows the schematic diagram of the key components of our system that I have introduced so far. PQ : Proportion of equi_max in three channels IR : Intra-Channel Ratio-Scale, L : Luminance PSC : Proportion of Surface Color for each channel C : Recovered color, OC : Overflow Controller CM : Contrast Manipulator

Performance Evaluations 1. Natural scenes Simulation with blackbody 20,000K Original simulated Recovered

A Mondrian having balanced surface colors 2. Mondrians with simulated illumination of blackbody 10,000K A Mondrian having balanced surface colors Original Simulated Recovered

Limitations 1. Insolvable - Multiple light sources 2. Solvable - Spectral bias of the entire surfaces - Dominant higher-order illumination 1st-order illumination 2nd-order illumination Problems similar to the case of multiple light sources Equi_max RGB parts that help constancy Glassy or specula surfaces may also help constancy However, the system has some limitations. It returns incorrect answers when there are multiple light sources, spectral bias of the entire surfaces, and/or dominant higher-order illumination in the picture-taking scene. With multiple light sources, human visual system also fail to maintain color constancy and the problem is insolvable. Mathematically, with three equations, the unknown variables increase multiplicatively. For these latter two problems, human constancy system works very well and the secrete of solution seems to be in the parts of surfaces having equal maximum channel-values. If there are no such parts, the system cannot avoid failure. By adopting this secrete, our digital model can solve these problems to some extent.

MAE & Its underlying mechanism 2. 운동처리기제와 형태처리기제의 상호작용 MAE & Its underlying mechanism Motion sensor Opponency Comparator Neural Habituation : Reduction of responsiveness Ganglion cell (Barlow & Hill, 1963) Simple & complex cell (Ciaschi et al. 1993) MT & MST cell (Peterson et al., 1995) Adaptive Recalibration Hypothesis (Anstis et al., 1998)

Observations: Perceptual Plasticity of MAE Demonstration: Linear MAE Demonstration: Rotary MAE Annulus rotation – Out-of-Phase Annulus rotation – In-Phase Inner disk rotation – In-Phase

ADAPTATION TEST MAE MAE MST ? IT Out of phase In phase

3. 공간 표상의 군집화 효과 실험을 통하여 군집화 효과가 공통된 세부특징을 지닌 대상 자체뿐만 아니라 그 세부특징을 공유했던 위치에 근거하여 일어남을 발견. 이는 군집화가 위치 혹은 초기 선택(early selection)과 관련이 있음을 시사. * 군집화 효과 < 자극을 이동시킨 조건의 예 >

4. 공간적 주의가 필요한 시각탐색과 작업기억 BDFH + 재배열된 알파벳을 기록하세요 + 알파벳순으로 재배열하는 과제수행 실험목적: 작업기억과 시각탐색에서의 공간주의는 서로 연관이 있는가? 이를 살펴보기 위해 작업기억의 지속적인 활성화가 시각탐색의 수행효율에 영향을 미치는지를 봄. 방법: 작업기억을 활성화시키기 위한 기억과제를 수행하면서 동시에 시각탐색과제를 수행함. 결과: 단독으로 시각탐색과제를 수행한 경우와 비교해 기억과제와 시각탐색과제를 동시에 수행하는 경우 탐색 수행 효율이 유의미하게 떨어짐. 논의: 시각탐색에 필요한 공간주의의 운용은 작업기억과 관련이 있으며, 지속적으로 작업기억 리소스가 사용되고 있는 경우에는 2차로 수행되는 주의의 수행 효율이 간섭을 받게 됨. 이중과제 (기억 + 시각탐색) 반응시간(ms) 단독시각탐색 <반응시간 그래프>

5. 공간 배경맥락 와 시각탐색 블록 1 블록 11, 12 … 실험목적: 탐색 과제와 무관한 시각적 배경맥락의 반복 제시가 표적 탐색수행에 도움이 됨. 이 때, 배경맥락 정보의 어떤 측면이 시각탐색과정에서 도움이 되는가? 방법: 마지막 두 블록에서 배경을 반전시키거나, 배경형태의 위치를 변화시킴. 결과: 배경의 윤곽선이 유지되고 명암이 바뀌는 조건에서는 수행이 여전히 좋았으나, 배경형태의 위치가 변하는 조건에서는 수행이 유의미하게 떨어짐. 논의: 배경맥락에 포함된 윤곽선의 형태나 그 위치가 맥락단서로서 시각탐색에 영향을 미치며, 이러한 배경맥락의 형태와 위치는 탐색 자극의 배열형태와 암묵적으로 연합되어 학습됨. < 배경을 반전시킨 조건의 예 > 배경반전 동일맥락 변화맥락

6. 대비변조에의한 역행운동 착시 회전과 함께 대비가 낮아지면 강력한 역행운동 착시를 경험하게 됨 순응기간을 요구하지 않음 사각파형인 경우는 착각적 역행운동이 없음 정현파일 경우에만 대비가 0인 상태 후에 경험하게 됨

대비변화에 따른 운동방향 왜곡 대비가 줄어들면 대상의 경계가 불확실해져서 관찰자로부터 멀어지는 운동으로 파악될 수 있음 대비도 0 이후의 위치에 대한 오류 판단에 의한 착각적 역행운동지각 관찰자 X-axis Z-axis 운동진행방향

운동궤적과 예상위치 공간상 운동궤적에 따른 착각적 역행운동량의 차이가 있음 세가지 운동궤적에 따른 착시량 예시 1, 2, 3 관찰자 나타난 위치 예측한 위치

7. 색상정보 및 움직임 정보를 이용한 선택적 공간정보처리 모형 연구 2차년도 연구목표 : 움직임 정보를 이용한 이동 물체 탐지 움직임 정보를 이용한 이동물체 탐지 망막의 생물학적 메커니즘 이해와 활용 움직이는 물체의 방향, 속도등 으로 움직임 정보 분석 움직임 정보를 이용한 이동 물체 탐지 모형 제안 광범위한 영역과 특정 영역의 움직임을 동시에 탐지가 가능한 망막의 특성 이해 광각렌즈와 펜-틸트-카메라를 이용한 시스템 설계

이동 물체 탐지 모형 제안 제안하는 시스템의 특징 광각 렌즈를 장착한 카메라와 펜-틸트-줌 카메라를 이용함으로써 광범위한 영역에 대한 움직임 추적과 특정 대상의 추적을 동시에 할 수 있음 빠른 속도와 노이즈 제거 효과를 보여주는 블록 기반 방식 으로 움직임 감지 후 속도와 방향으로 움직임 추적

제안하는 실시간 이동물체 추적 시스템 2 1 ⑤ ① ④ ② ③ Frame Grabber 이동물체 추적 모듈 카메라 제어 모듈 카메라로 부터 컴퓨터로 영상신호 전송 이동물체 추적 모듈 1. 광각렌즈를 장착한 카메라로 부터 전송된 영상을 블록화 (전처리) 2. 영상차를 이용한 움직임 감지 3. 이동물체의 속도와 방향 계산후 미래의 위치 예측 4. 입력된 움직임 영역 중 색상값과 거리를 계산하여 후보를 추적 대상으로 선택 5. 카메라 제어 모듈에 추적 대상의 좌표값 전송 카메라 제어 모듈 1. 광각 렌즈의 굴절된 좌표값을 펜-틸트 -줌 카메라의 구동 좌표에 맞게 재조정 해서 펜- 틸트-줌 카메라를 Pan-Tilt 제어 2. 추적 대상의 크기에 맞게 Zoom 제어 3. 펜-틸트-줌 카메라에 제어 신호 전송 ① ② ③ ④ ⑤ 광각 렌즈 카메라 펜-틸트-줌