부록 1: 행렬대수의 기본개념 1. 기본정의 2. 행렬 연산 전치(transpose) 행렬의 동등(equal) 행렬의 덧셈(뺄셈) 행렬의 곱셈(multiplication) 크로넥커 곱(Kronecker product)

부록 1: 행렬대수의 기본개념 3. 행렬대수의 기초 행렬의 대각합(trace) 행렬식(determinant of a square matrix) 계수(rank)와 비특이(nonsingluar) 행렬 선형종속(linear dependence) 역행렬(inverse matrix) 선형등식체계(linear equation system)의 해 고유값(characteristic roots or eigenvalues)과고유벡터(characteristic vectors or eigenvectors) 직교행렬(orthogonal matrices)과 대칭행렬의 대각화(diagonalization) 멱등행렬(idempotent matrix) 이차형태(quadratic form) 확률변수(random variables) 집합의 공분산 행렬

1. 기본정의 ◈ 행렬(matrix) → 행과 열로 정돈된 실수들의 사각형 배열(rectangular array) ◈ 차수(order) → 배열의 크기는 행과 열의 수에 의해 나타냄

1. 기본정의 개의 행과 개의 열을 갖는 차수가 인 행렬 는 숫자들 는 행렬 의 원소들

1. 기본정의 ◈ 정방행렬(square matrix) → 행과 열의 수가 같은 특별한 행렬 차수 의 행렬은 스칼라(scalar) 차수 의 행렬은 열벡터(column vector) 차수 의 행렬은 행벡터(row vector)

1. 기본정의 종속변수 가 개의 독립변수 의 선형함수이며 만일 개의 표본 관측치가 있다면 회귀모형은 다음과 같은 개의 등식의 집합으로 표시

1. 기본정의 이 선형회귀모형은 벡터와 행렬을 이용하여 다음과 같이 간단하게 표현될 수 있음 , , ,

1. 기본정의 ◈ O 행렬(zero matrix) : 모든 원소가 0인 행렬 예) ◈ 항등행렬(identity matrix) : 주 대각선(principal diagonal)을 따라 모든 원소가 1이며 그 밖의 모든 원소는 0인 정방행렬 여기서 여기서 만일 이면 아니면

1. 기본정의 ◈ 대각행렬(diagonal matrix) 주 대각선외의 모든 원소들이 0인 정방형 행렬 모든 항등행렬은 대각행렬에 속함 예) 여기서 만일 이면

1. 기본정의 ◈ 삼각행렬(triangular matrix) 주 대각선의 한쪽에 있는 모든 원소들이 0 인 정방행렬 예) 여기서 만일 혹은 이면

1. 기본정의 ◈ 대칭행렬(symmetric matrix) 주 대각선을 중심으로 상위에 있는 원소들과 하위에 있는 원소들이 서로 대칭인 정방행렬 예) 여기서

1. 기본정의 ◈ 치환행렬(permutation matrix) 행과 열이 각각 하나의 1을 포함하고 나머지 원소들은 모두 0인 정방행렬 모든 항등행렬은 치환행렬에 속함 예)

1. 기본정의 ◈ 분할행렬(partitioned matrix) : 적당한 차수의 부행렬들(submatrices) 로 나누어진 행렬 예)

1. 기본정의 ◈ 블록대각행렬(block diagonal matrix) : 주 대각선에 위치한 정사각형 부행렬들을 제외한 다른 부행렬들은 0 행렬로 구성된 행렬 여기서 개의 부행렬 의 각각이 정사각형이나 같은 차수일 필요는 없으며 는 0 행렬 예)

2. 행렬 연산 1) 전치(transpose) 차수가 인 행렬 의 전치(transpose)는 행렬 의 행과 열이 바뀐 차수가 인 행렬을 만들며 일반적으로 혹은 로 표기된다. 즉, 차수가 인 행렬 가 있다고 하자 이때 의 전치행렬인 은

2. 행렬 연산 ☞ 전치행렬과 관련된 속성 ▪ (A')' = A ▪ (A+B)' = A' + B‘ ▪ (AB)' = B'A‘   ▪ (A')' = A ▪ (A+B)' = A' + B‘ ▪ (AB)' = B'A‘ ▪ (ABC)' = C'B'A' ▪ I' = I ▪ A가 정방행렬이고 A = A'면 A는 대칭행렬이다. ▪ (kA)' = A'k' = A'k = kA' 여기서 k는 스칼라이다. ▪ 만일 A'A = 0 이면 A = 0

2. 행렬 연산 2) 행렬의 동등(equal) 만일 두 행렬 A와 B의 차수가 같고 모든 i와 j에 대하여 인 경우 두 행렬은 동등(equal)함  즉, A = B 예) 인 행렬 와 인 행렬 가 있다면 두 행렬은 동등(A = B)함

2. 행렬 연산 3) 행렬의 덧셈(뺄셈) → 행렬 A, B의 덧셈(뺄셈)은 두 행렬의 차수가 같아야 함 → 두 행렬의 각 대응 원소의 합(차)이 새 행렬 C의 원소가 됨 즉, 모든 i와 j에 대하여 이 성립됨을 의미 예) 다음 두 행렬 A, B의 합은 새 행렬 C를 생성

2. 행렬 연산 4) 행렬의 곱셈(multiplication) 행렬 A에 스칼라 k를 곱하는 연산은 행렬의 각 원소들에 대해 k를 곱하게 됨. 즉, 예) 인 경우

2. 행렬 연산 만일 의 차수가 그리고  의 차수가 라고 하면 행렬의 곱 는 다음과 같이 차수 의 새로운 행렬 C로 정의 됨

2. 행렬 연산 → 행렬 A와 B의 곱셈이 가능하기 위해 A의 열의 수가 B의 행의 수와 같아야만 함 → 일반적으로 가 성립 → 일반적으로 가 성립 예)

2. 행렬 연산 ☞ 행렬의 덧셈 및 곱셈의 속성 ▪ A + B = B + A   ▪ A + B = B + A ▪ (A + B) + C = A + (B + C) = A + B + C ▪ k(A + B) = kA + kB 여기서 k는 스칼라 ▪ A(B + C) = AB+ AC ▪ (AB)C = A(BC) = ABC

2. 행렬 연산 5) 크로넥커 곱(Kronecker product) → 차수가 인 행렬과 차수가 인 행렬 의 곱 → 차수가 인 행렬과 차수가 인 행렬 의 곱 → 행렬 의 각 원소들이 행렬 와 곱을 수행하여 새로운 행렬을 만들게 됨 → 기호 에 의해 표현

2. 행렬 연산 ☞ 크로넥커 곱의 속성   ▪

3. 행렬대수의 기초 1) 행렬의 대각합(trace) ◈ 정방행렬 A의 대각합(trace) → 행렬의 대각선상에 위치한 요소들의 합으로 정의 → 로 표기됨 예)

3. 행렬대수의 기초 ☞ 행렬의 대각합과 관련된 속성 ▪ tr(kA) = k tr(A)   ▪ tr(kA) = k tr(A) ▪ tr(A+B) = tr(A) + tr(B) ▪ tr(A') = tr(A) ▪ tr(AB) = tr(BA)

3. 행렬대수의 기초 2) 행렬식(determinant of a square matrix) → det(A) 또는 |A|로 표기함 → 행렬 그 자체는 스칼라가 아니지만 행렬의 행렬식은 스칼라임에 유의 일 경우

3. 행렬대수의 기초 일 경우 → 개의 여인자(cofactor)를 계산하는 문제로 간소화하여 계산 → A 행렬에서 i번째 행과 j번째 열이 삭제된 부행렬의 행렬식은 원소 의 소행렬식(minor)이며 로 표기 → 소행렬식에 의 부호가 주어질 때 여인자 가 정의

3. 행렬대수의 기초 은 행렬에 있는 어떤 행이나 열을 기준으로 각 원소와 그 원소의 여인자의 곱의 합에 의해 구할 수 있음 (i번째 행을 기준) 혹은 (j번째 행을 기준)

3. 행렬대수의 기초 예) 의 행렬식 을 구해보자. → 행렬 를 첫 번째 행에 대해 전개하여 다음과 같이 행렬식 을 구할 수 있음

3. 행렬대수의 기초 ☞ 행렬식과 관련된 속성 ▪ |A′| = |A| ▪ |AB| = |A||B|

3. 행렬대수의 기초 3) 계수(rank)와 비특이(nonsingluar) 행렬 ◈ 계수(rank) ◈ 특이행렬(singular matrix) : |A|=0이면 A는 특이행렬 ◈ 비특이행렬(nonsingular matrix) : |A| 0 이면 A는 비특이행렬 비특이행렬 M( )은 정의에 의해 개의 선형독립인 행(또는 열)들을 가지므로 이 행렬의 계수는 역으로 계수가 인 행렬 M( )은 비특이행렬

3. 행렬대수의 기초 예) : M행렬의 차수는 , 계수가 3 → M은 비특이행렬 : S행렬의 차수가 , 계수는 1로

3. 행렬대수의 기초 ☞ 행렬계수와 관련된 속성 ▪ 0 행렬의 경우 그 행렬계수는 0이다. ▪ A가 행렬이면 이다. ▪   ▪ 0 행렬의 경우 그 행렬계수는 0이다. ▪ A가 행렬이면 이다.   ▪ ▪ 행렬계수는 비특이행렬의 전승 혹은 후승에 의해 변하지 않는다. ▪ A가 행렬일 때   A가 비특이행렬(|A| ≠ 0) 이면 , A가 특이행렬(|A| = 0)이면  이다. 

3. 행렬대수의 기초 4) 선형종속(linear dependence) n개의 벡터들의 집합 과 n개의 스칼라들의 집합 이 있다고 하자. ◈ 선형종속(linear dependence) → 을 충족하지만 모든 스칼라가 0이 아닌 스칼라들의 집합이 존재하면 은 선형종속　

3. 행렬대수의 기초 ◈ 선형독립(linear independence) → 그 집합이 선형종속이 아니면 선형독립 → 스칼라들의 집합이 인 경우에만 이 충족된다면 벡터들의 집합 은 선형독립

3. 행렬대수의 기초 예) 4개의 벡터들의 집합 으로 구성된 행렬 X가 있다고 가정 → 선형종속

3. 행렬대수의 기초 5) 역행렬(inverse matrix) ◈ 정방행렬 A의 역행렬(inverse matrix) → 로 표기 → 만일 이면 → A의 역행렬이 존재하기 위해서는 A 행렬이 비특이행렬이어야만 함

3. 행렬대수의 기초 여인자행렬(cofactor matrix)을 , 그리고 A의 수반행렬(adjoint matrix)을 로 정의하면 A의 역행렬은

3. 행렬대수의 기초 예) 의 행렬식은 -2로 비특이행렬 → 역행렬 존재 - 여인자행렬과 수반행렬을 구하면 예) 의 행렬식은 -2로 비특이행렬 → 역행렬 존재 - 여인자행렬과 수반행렬을 구하면 - 따라서 A의 역행렬은

3. 행렬대수의 기초 ☞ 역행렬과 관련된 속성   ▪ 역행렬이 존재하면 그것은 유일하다. ▪ ▪  

3. 행렬대수의 기초 6) 선형등식체계(linear equation system)의 해 선형등식체계 형태 → 행렬의 형태로 →

3. 행렬대수의 기초 선형등식체계의 해 A가 정방행렬( )이고 비특이행렬이면 선형등식체계의 해는 유일함

3. 행렬대수의 기초 예) 다음과 같은 두 선형등식체계가 있다고 하자 이 선형등식체계에서 는 정방행렬이고 비특이행렬 이 선형등식체계에서 는 정방행렬이고 비특이행렬 → 선형등식체계의 해는 유일함 세번째 행은 첫번째 행과 두번째 행의 합으로 등식의 수(m=2) 보 다 변수의 수(n=3)가 많음 → 이 경우 는 특이행렬로 이 선형등식체계 의 해를 구하지 못함

3. 행렬대수의 기초 7) 고유값(characteristic roots or eigenvalues)과 고유벡터(characteristic vectors or eigenvectors) 정방행렬 A( )의 고유값(characteristic roots or eigenvalues)은 다음을 만족하는 스칼라 는 행렬 A의 고유벡터(characteristic vectors or eigenvectors) 위의 등식을 다시 쓰면

3. 행렬대수의 기초 가 특이행렬( )이면 비자명해(nontrivial solution) 를 가짐 이 고유행렬식은 A의 차수에 따라 의 다항식(polynomial)함수로 표시 → A가 행렬이면 고유행렬식은 의 n차 다항식으로 표시

3. 행렬대수의 기초 예) 이면 A의 고유행렬식은 으로 의 2차 다항식

3. 행렬대수의 기초 고유값은 이 되는 이므로 을 만족하는 는 3과 1 첫번째 고유값 3을 이용하면, 행렬방정식은 고유값은 이 되는 이므로 을 만족하는 는 3과 1 첫번째 고유값 3을 이용하면, 행렬방정식은 → 이 방정식을 만족하는 무수한 해( )가 존재 제약식을 부과하여 유일한 해를 구할 수 있음

3. 행렬대수의 기초 로 첫번째 고유벡터는 고유값이 1인 경우에도 같은 방법에 의해 계산하면 , , 두번째 고유벡터는

3. 행렬대수의 기초 8) 직교행렬(orthogonal matrices)과 대칭행렬의 대각화(diagonalization) → 고유값은 실수(복소수(complex)가 아님) → 각 고유값에 대응되는 고유벡터는 직교(orthogonal)

3. 행렬대수의 기초 ◈ 직교행렬(orthogonal matrix) → 모두 다른 개의 고유값에 대응되는 고유벡터로 구성된 행렬 → 의 전치행렬과 역행렬이 일치 혹은

3. 행렬대수의 기초 앞의 예에서 의 고유벡터가 와 이 고유벡터로 구성된 행렬 은 직교행렬 앞의 예에서 의 고유벡터가 와 이 고유벡터로 구성된 행렬 은 직교행렬 가 대칭행렬이면 를 대각선행렬(diagonal matrix)로 만드는 직교행렬 이 존재

3. 행렬대수의 기초 가 대칭행렬이면 를 대각선행렬(diagonal matrix)로 만드는 직교행렬 이 존재 → ( )의 행렬 표현은 이 행렬등식의 양변을 에 의해 전승하면

3. 행렬대수의 기초 주대각선에 의 고유값을 갖는 대각선행렬 이 만들어짐 → 대칭행렬의 대각화(diagonalization)

3. 행렬대수의 기초 ☞ 직교행렬과 관련된 속성 ▪ 직교행렬의 고유값은 +1 과 -1로 된다.   ▪ 직교행렬의 고유값은 +1 과 -1로 된다. ▪ 직교행렬 의 이나 도 직교행렬이다. ▪ 직교행렬의 행렬식은 +1이거나 -1이다.

3. 행렬대수의 기초 9) 멱등행렬(idempotent matrix) → 와 를 만족하는 행렬 A → 은 대칭행렬로 전치행렬과 동일 → 은 과 동일하므로 은 멱등행렬

3. 행렬대수의 기초 ☞ 멱등행렬과 관련된 속성 ▪ 멱등행렬의 고유값은 1 또는 0이다.   ▪ 멱등행렬의 고유값은 1 또는 0이다. ▪ A가 멱등행렬이면 I - A 도 멱등행렬이다.

3. 행렬대수의 기초 10) 이차형태(quadratic form) 다음과 같이 행렬 와 벡터 를 각각 정의

3. 행렬대수의 기초 다음 벡터는 에 의한 일차형태(linear form)라 함 대칭행렬 A와 벡터 에 의해 정의된 스칼라 는 에 의한 이차형태(quadratic form)

3. 행렬대수의 기초 에 의한 이차형태는 - 일차형태와 이차형태에 대한 편미분 벡터 의 각 원소에 의한 일차형태의 편미분은 예) 에 의한 이차형태는 - 일차형태와 이차형태에 대한 편미분 벡터 의 각 원소에 의한 일차형태의 편미분은

3. 행렬대수의 기초 이를 벡터로 표현하면 즉,

3. 행렬대수의 기초 앞의 예에서 제시한 이차형태에 대한 편미분을 구해보면 벡터 의 각 원소에 의한 이차형태의 편미분 일반적 형태

3. 행렬대수의 기초 11) 확률변수(random variables) 집합의 공분산 행렬 여기서 이므로 평균이 0이고 분산이 이고 서로 독립(independent)인 개의 확률변수 집합 을 정의하자. 이때 확률변수의 기대값이 0이므로 공분산 행렬은 여기서 이므로

3. 행렬대수의 기초 확률변수의 공분산이 인 일반적인 경우의 공분산 행렬은