PCA Lecture 9 주성분 분석 (PCA) This course is a basic introduction to parts of the field of computer vision. This version of the course covers topics in 'early' or 'low' level vision and parts of 'intermediate' level vision. It assumes no background in computer vision, a minimal background in Artificial Intelligence and only basic concepts in calculus, linear algebra, and probability theory. Lecture 9 주성분 분석 (PCA)

Feature Vectors & Representation Power 특징 벡터 분석 방법은 ? 특징 벡터의 성능을 가시적으로 나타내는 방법은 ?

Mean, Variance, Covariance and Correlation

Covariance Explained

Covariance Cheat Sheet

Organize your data into a set of (x, y)

Plug your variables into the formula 각 x, y 값과 n 값을 수식에 대입 -> 공분산 Cov(x, y)

Covariance is unbounded 변수 x와 y의 값의 크기가 매우 다를 수 있다 공분산 값을 정규화하기 위해 상관계수 사용 :

correlation of 1 indicates perfect positive correlation 상관계수는 항상 1 에서 -1 사이의 값을 갖는다 상관 계수가 1 이면, 이는 두 변수가 완벽한 긍정 상관 관계를 가짐을 나타낸다 x 가 증가하면 y 도 증가하고, x가 감소하면 y 도 감소한다 As an example of this sort of covariance, let's consider the simple business model of a lemonade stand. If x represents the number of lemonades you sell and y represents the money you make, y will always increase with x. It doesn't matter how many lemonades you sell — you'll always make more money buy selling more lemonades. You won't, for instance, start losing money after you sell your thousandth lemonade. You'll earn the same amount of profit as you did for the very first sale.

correlation of -1 indicates perfect negative correlation 상관 계수가 -1 이면, 이는 두 변수가 완벽한 부정 상관 관계를 가짐을 나타낸다 x 가 증가하면 y 는 감소하고, x가 감소하면 y 는 증가한다 As an example of this sort of correlation, let's consider a very basic supply and demand scenario. In extremely simplified terms, if x equals the number of products a company makes and y equals the price it charges for these products, as x increases, y will decrease. In other words, the more common a product becomes, the less expensive it becomes.

correlation of 0 indicates no correlation 상관 계수가 0 이면, 이는 두 변수가 전혀 상관 없음을 나타낸다 한 변수 값의 증가 또는 감소가 다른 변수 값에 어떠한 영향도 주지 않는다 As an example of this sort of correlation, let's consider the case of someone who is taking a homeopathic remedy for a viral illness. If x represents the dosage of the remedy taken and y represents the viral load in the person's bloodstream, we wouldn't necessarily expect y to increase or decrease as x increases. Rather, any fluctuation in y would be completely independent of x.

value between -1 and 1 indicates imperfect correlation -1 에서 1 사이의 상관계수는 다소 긍정 또는 다소 부정적 상관 관계를 나타낸다 예를 들어, 상관 계수 0.8은 두 변수가 매우 높은 긍정 상관 관계를 가짐을 나타낸다. 변수 x 값이 증가하면 변수 y 값도 일반적으로 증가하고, 변수 x 값이 감소하면 변수 y 값도 일반적으로 감소한다

An Example

Do everything this time using matrices Data Means Deviations Covariance Matrix ??

Covariance Matrix Shown in red along the diagonal, we see the variance of scores for each test. The art test has the biggest variance (720); and the English test, the smallest (360). So we can say that art test scores are more variable than English test scores. The covariance is displayed in black in the off-diagonal elements of matrix V. The covariance between math and English is positive (360), and the covariance between math and art is positive (180). This means the scores tend to covary in a positive way. As scores on math go up, scores on art and English also tend to go up; and vice versa. The covariance between English and art, however, is zero. This means there tends to be no predictable relationship between the movement of English and art scores.

How to use Covariance of Features 공분산 정보를 어디에 활용 ?

Principle Component Analysis 데이터들의 주 성분은 ?

Projection onto Y axis 데이터가 Y 축으로는 넓게 분포되어 있지 않음. 즉, 분산 값이 크지 않음.

Projection onto X axis X 축을 따라 넓게 분포되어 있음. 즉, 큰 분산 값을 가짐

Eigenvectors and Eigenvalues in PCA 데이터가 주어지면, 공분산 행열을 이용하여 고유벡터와 고유값을 생성할 수 있다 고유벡터와 고유값은 항상 쌍으로 만들어진다 고유벡터는 방향을 나타낸다. 앞의 예에서, 고유벡터는 수직, 수평, 또는 45도 방향 등이 될 수 있다 고유값은 대응되는 고유벡터 방향에서의 분산을 나타낸다. 즉, 주어진 방향에서 데이터들의 분포 정도를 나타낸다 주성분은 가장 큰 고유값을 갖는 고유벡터를 말한다

Example

Example: 1st Principle Component

Example: 2nd Principle Component

Dimensionality Reduction

Only 2 dimensions are enough ev3 is the third eigenvector, which has an eigenvalue of zero.

Reduce from 3D to 2D

How to select the reduced dimension? 주어진 데이터의 유효 차원을 자동으로 선택할 수 있나 ? 이를 위한 필요한 것은 ? PCA 를 이용하여 ...