히스토그램 그리고 이진화 This course is a basic introduction to parts of the field of computer vision. This version of the course covers topics in 'early' or 'low' level vision and parts of 'intermediate' level vision. It assumes no background in computer vision, a minimal background in Artificial Intelligence and only basic concepts in calculus, linear algebra, and probability theory.

Image Enhancement 목표: 영상의 화질 개선 두가지 접근 방법 보기 좋은 영상을 만들기 위해 다음 단계의 처리를 위해 두가지 접근 방법 공간 영역에서 화질 개선 .... 마스크를 영상 픽셀에 적용하여 주파수 영역에서 화질 개선 .... 퓨리어 변환 후 필터 적용하여

Spatial Domain Methods T(I(x,y)) neighborhood N I(x,y) I’(x,y) 변환 함수 T 픽셀 단위 – 픽셀 값을 다른 픽셀 값으로 영역 단위 – 이웃 영역을 픽셀 값으로 이웃 영역 통상적으로 정사각형 - 3x3, 5x5, etc 중심 픽셀 I(x,y) I’(x,y) = T(I(x,y)) O=T(I)

Point Transforms: General Idea O = T(I) Transfer Function T I = 입력 픽셀 값 O = 출력 픽셀 값 T = 변환 함수 255 INPUT OUTPUT Usually a monotonic function, 1-1 mapping

Grayscale Transforms 포토샵 예제 Output gray value I’(x,y) Input gray value I(x,y)

Point Transforms: Brightness

Point Transforms: Linear Stretch 255 OUTPUT INPUT 255

Linear Scaling 입력 영상이 좁은 범위의 밝기 값만 사용하는 경우: 변환 함수 F ? 출력 영상은 전 구간의 밝기 값을 사용하도록 변환 변환 함수 F ?

Linear Scaling 변환 함수 F 는 두 점 (Imin , 0)와 (Imax , K)를 연결하는 직선 룩-업 테이블 형태로 구현 가능 Slope is m and the intercept is b

Scaling Discrete Images 밝기 값 구간이 K 개의 레벨인 이산 영상인 경우 ?

Point Transforms:Thresholding I(x,y) → I’(x,y) 임계 값 사용하여 이진화 (thresholding) t 255 Imax if I(x,y) > t Imin if I(x,y) ≤ t I’(x,y) = t=89

Threshold Selection 무작위로 선택 히스토그램 사용하여 선택 결과 영상 보면서 인터랙티브하게 선택

Histograms 영상의 밝기 값 분포를 표현하는 그래프 밝기 값의 빈도수를 표현하여 공간 정보 손실 초래

Image Histogram 가로축 = 밝기 값, 세로축 = 빈도수 I max 가로축 = 밝기 값, 세로축 = 빈도수 For an image with dimensions M by N I max

Probability Interpretation 상대적인 빈도수를 확률 분포 함수로 해석 가능  P(I(x,y) = i) = H(i)/(MxN) 

Cumulative Density Function 상대적 빈도수 = 확률 분포 함수 누적 분포 함수 P(I(x,y) = i) = H(i)/(MxN) Gray Value

Color Histograms

Histogram Equalization 히스토그램은 마루(peaks), 골(valleys), 낮은 평원(low plains)으로 구성 마루 = 좁은 구간에 많은 픽셀이 모여 형성 낮은 평원 = 넓은 구간에 적은 픽셀들이 모여 형성

Histogram Equalization 목표 = 히스토그램이 전체적으로 평평한 형태를 갖도록 영상 변환 마루에 속하는 픽셀들은 넓은 범위의 값을 갖도록 조정 낮은 평원에 속하는 픽셀들은 좁은 범위의 값을 갖도록 조정 전 구간의 밝기 값이 사용되도록 변환 예제 : Note low utilization of small gray values

Desired Histogram 모든 밝기 값이 동일한 빈도수를 갖도록 …. 명암 대비 상승 효과 유도

Brute Force 밝기 값은 변화시킬 픽셀 선택 방법? 방법 1. 무작위로 선택 방법 1. 무작위로 선택 방법 2. 이웃 픽셀의 밝기 값을 참조하여 선택  많은 계산 시간 필요 방법 3. 근사 방법

Histogram Equalization 이상적으로, 밝기 값 p를 갖는 픽셀 수, Np : 위 식을 근사화시킨 다음 수식 적용 CH = 누적 히스토그램 j = 입력 영상의 밝기 값 i = j에 대응되는 히스토그램 평활화될 영상의 밝기 값 Np = M*N G i = MAX 0, round CH(j) Np -1

Example CH(j) = S H(i) G=8 MxN=2400 Np=300 ideal 0 1 2 3 4 5 6 7 100 100 900 1600 2100 2200 2300 2400 1 800 2 G=8 MxN=2400 Np=300 CH(j) = S H(i) i=0 j 2 700 4 3 500 6 4 100 6 5 100 7 6 100 7 7 7 800 600 400 200 800 600 400 200 ideal 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7

Example

Histogram Equalization Algorithm For an NxM image of G gray levels, say 0-255 Create image histogram For cumulative image histogram Hc Set Rescan input image and write new output image by setting T(p) = round ( Hc (p)) G-1 NM gq = T(gp)

Noise Reduction 잡음 ? 잡음 제거 방법 ? + = image noise ‘grainy’ image 이웃 영역 필터(마스크) 사용하여 선형 필터 (저주파 통과, 고주파 통과) 비선형 필터 (미디언) + = image noise ‘grainy’ image

Noise Image 영상 밝기 값 → 잡음(랜덤 형태) → 밝기 값 + 잡음 → Noise Image + Noise

Sources of Noise 잡음 소스 = CCD 칩 열 에너지에 의해 발생 전달 과정에서 발생 IR 센서인 경우 매우 심각 Radiation from the long wavelength IR band is used in most infrared imaging applications

Noise 랜덤 형태의 백색 잡음 Image Image + Noise

Noise Reduction - 1 잡음 제거 방법 ? 예: 균일한 밝기의 1차원 영상 인접 3 픽셀 값의 평균 평균이 0인 가우시안 잡음의 경우 매우 효과적 Ai-1 Ai Ai+1 Ci

Noise Reduction - 1 평균 연산 – 영상 스므딩 Ai-1 Ai Ai+1 Ai+2 Ci+1

Neighborhood Operations 영상 A에 마스크 B를 회선 연산(convolving) 하여 결과 영상 C 생성 마스크 B의 가중치 합은 1이 되도록 조정 C = A * B B = [ B1 B2 B3 ] Ci = Ai-1 ´B1 + Ai ´B2 + Ai+1 ´B3 B = [1 1 1] Ci = 1 3 Ai-1 + Ai + Ai+1 3

2D Analog of 1D Convolution 입력 영상 vs. 스므딩된 영상

2D Blurring Kernel C = A * B 1 1 1 B = 1 9

Convolution 기본 개념: 필터링 = 마스크를 이용한 회선 연산 회선 연산 기본 개념: 필터링 = 마스크를 이용한 회선 연산 커널 (kernel) = NxN 마스크, N = 홀수 회선 연산 커널의 중심을 영상의 각 픽셀에 정렬 시킨다 커널의 가중치와 영상의 픽셀 값을 곱하여 더한다 더한 결과 값을 커널 중심 픽셀의 값으로 한다

Example Result Image Kernel Image

Border Problem 커널 위치에 픽셀이 없는 경우: 영상 경계 밖의 픽셀 값을 0으로 처리 영상 경계 밖의 픽셀 값을 인접 픽셀 값으로 대치 커널이 포함되는 픽셀에 대해서만 처리 – 영상 크기 감소

Convolution Size Image size = M1 N1 Mask size = M2 N2 N1 M1- M2 +1 N1-N2+1 N1 N2 N1-N2+1 Typical Mask sizes = 33, 5 5, 77, 9 9, 1111 What is the convolved image size for a 128   128 image and 7  7 mask?

Convolution = I M *

Noise Reduction - 1 Image + Noise Image + Noise - Blurred Uncorrupted Image

Noise Reduction - 1 잡음은 고주파 성분을 가지므로 잡음 제거 연산(스므딩 연산)은 저주파 통과 효과 잡음 제거 연산에 의해 영상의 고주파 성분도 제거 → 잡음 제거와 영상의 고주파 성분 보존 문제 상충

Noise Reduction - 1 세밀한 부분을 포함하는 영상 잡음 제거 결과 영상의 세밀한 부분도 제거됨

hmmmmm….. Image Blurred Image - =

Noise Reduction - 2: Median Filter 비선형 필터 이웃 영역의 픽셀 값을 크기 순으로 정렬시킨 후 중간 픽셀 값 선택 영상의 세밀한 부분을 보존하는 효과 특수 형태 잡음(salt and pepper noise)에 매우 효과적 How does media filter work? Get data from a window centered at the to-be-processed pixel Sort the data (from min to max) Put the median value in the filtered image Original Low-pass Median

저주파 통과 필터: 스므딩 연산에 의해 영상의 세밀한 부분 사라짐 미디언 필터: 영상의 세밀한 부분 보존됨 Noise Reduction - 2 Low-pass Median 저주파 통과 필터: 스므딩 연산에 의해 영상의 세밀한 부분 사라짐 미디언 필터: 영상의 세밀한 부분 보존됨

Edge Preserving Smoothing 에지를 보존하면서 영상 스므딩 Nagao-Maysuyama Filter Kuwahara Filter

Nagao-Matsuyama Filter 9개의 위치에서 5x5 커널에 포함된 픽셀들의 분산 계산 분산(variance)이 가장 적은 커널 선택 선택된 커널에 포함된 픽셀 값의 평균을 커널의 중심 픽셀 값으로 대치

Kuwahara Filter 5x5 마스크를 4개의 영역으로 분리 (a, b, c, d) 각 영역에서 픽셀 값들의 평균과 분산 계산 가장 작은 분산을 갖는 영역의 평균을 5x5 마스크의 중심 픽셀 값으로 대치

Kuwahara Filter Example Original Median (1 iteration) Median (10 iterations) Kuwahara