Definition:고유값과 고유벡터

미지수가 $n$개인 연립미분방정식

$\displaystyle \begin{cases} a_{11}x_1(t)+a_{12}x_2(t)+\cdots+a_{1n}x_n(t)=x_1'(t) \\a_{21}x_1(t)+a_{22}x_2(t)+\cdots+a_{2n}x_n(t)=x_2'(t) \\ \quad \vdots \\a_{n1}x_1(t)+a_{n2}x_2(t)+\cdots+a_{nn}x_n(t)=x_n'(t) \end{cases}$

은 다음과 같은 행렬로 나타낼 수 있다.

$\displaystyle \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} \end{bmatrix} \begin{bmatrix} x_1(t) \\ x_2(t) \\ \vdots \\ x_n(t)\end{bmatrix}=\begin{bmatrix} x_1'(t) \\ x_2'(t) \\ \vdots \\ x_n'(t)\end{bmatrix}$

미지수가 한 개일 때 $x'(t)=ax(t)$이므로 initial condition $x(t=0)$을 지정하면 $x(t)=x(0)e^{at}$이다. $A$는 linear이므로 superposition principle에 따라서 $Ax(t)_1=x'(t)$이고 $Ax(t)_2=x'(t)$이면 $A(c_1x(t)_1+c_2x(t)_2)=c_1Ax(t)_1+c_2Ax(t)_2=c_1x'(t)_1+c_2x'(t)_2=(c_1x(t)_1+c_2x(t)_2)'$이다. 그러므로 $a$를 고정하여 해의 모든 성분이 $x_i(t)=x_ie^{at}$라 가정하고 연립미분방정식을 풀면 해가 존재하는 $a$들을 찾음으로써 그 합으로 $0$ 또는 $e^{\lambda t}$들로 이루어진 모든 해를 찾을 수 있다. 이러한 $a=\lambda$들을 행렬 $A$의 eigenvalue(고유값, 고윳값)라 하고, 해 $x_i(t)=x_i e^{\lambda t}$에서 상수 $x_i$들로 이루어진 벡터 $x(t)$를 $A$의 eigenvector(고유벡터)라 한다.

이 연립미분방정식의 $x(t)$는 initial condition $x(t=0)$을 포함하는 open interval에서 $A$의 성분이 모두 연속 함수일 때 open interval에 속하는 $t$마다 독립인 벡터들을 만드는 서로 다른 해들의 linear combination으로 유일하다. $x_i(t)=x_ie^{\lambda t}$를 단순히 $x_i$로 대체하면 $x_i'(t)=\lambda x_i e^{\lambda t}$이므로 연립미분방정식은 $Ax=\lambda x$로 쓸 수 있다. 따라서 $\lambda$는 $(A-\lambda I)x=O$를 만족시킨다. $x$는 $A-\lambda I$의 null space의 원소이므로 $x\neq 0$가 존재하려면 $\det(A-\lambda I)=0$이어야 한다. 행렬식을 전개하면 $\lambda$에 대한 다항식이며 이를 $A$의 characteristic polynomial(특성 다항식)이라고 한다.

• $A$의 성분이 실수이더라도 $\lambda$는 복소수일 수 있다. 이제 symmetric matrix와 orthogonal matrix는 conjugate transpose와 Hermitian adjoint를 정의하여 Hermitian matrix와 unitary matrix로 확장할 이유가 생긴다.
• 각 고유값에 대응하는 고유벡터는 eigenspace $A-\lambda I$의 null space를 구성해야 하므로 하나가 아니다. 즉 $\lambda$의 고유벡터에 상수를 곱해도 $\lambda$의 고유벡터이고, 중근에는 독립인 여러 개의 고유벡터가 대응할 수도 있다.
• 각 행렬에 대응하는 특성 다항식은 유일하다. 그러나 $\lambda_0$마다 $(\lambda-\lambda_0)^n$이 할당되며 이 중근의 개수를 $\lambda_0$의 algebraic multiplicity(대수적 중복도)라 하고, $\lambda$마다 $A-\lambda I$의 null space가 할당되며 이 차원을 $\lambda$의 geometric multiplicity(기하적 중복도)라 한다. 대수적 중복도가 $1$이면 simple eigenvalue이고 두 중복도가 같으면 semisimple eigenvalue이다.

성질들

• $Ax=\lambda x$이면 $(A+cI)x=Ax+cx,\ A^2x=\lambda Ax,\ x=\lambda A^{-1}x,\ (A-\lambda I)^T=A^T-\lambda I$이므로 $A+cI,\ A^2,\ A^{-1},\ A^T$의 고유값은 $\lambda+c,\ \lambda^2,\ 1/\lambda,\ \lambda$이다.
• 정의에 의해서 고유벡터는 함수 $A$를 취하면 고유값, 즉 상수만이 곱해지는 벡터이다. 따라서 모든 벡터는 $I$의 고유벡터이다.
• 평면에서 벡터를 회전시키는 행렬은 복소 고유값을 가지고, 사영 행렬은 eigenvalue $\lambda$와 eignevector $x$에 대해서 $\lambda^2x=\lambda x$이므로 $\lambda_1=1,\ \lambda_1=0$이다. 사영 행렬의 고유값이 $1$인 eigenspace는 사영 행렬의 column space이고, 고유값이 $0$인 eigenspace는 사영 행렬의 null space이다.
• triangular matrix의 고유값은 $A-\lambda I$의 determinant가 $a_{ii}-\lambda$들의 곱이므로 이를 $0$으로 만드는 $\lambda=a_{ii}$이다.
• $A-\lambda I$의 determinant를 alternating multilinear form으로 생각하면 $a_{ii}-\lambda$가 들어 있는 항을 모두 제거한 항들로 나눌 수 있다. 그러면 $\lambda$가 없는 항은 $A$의 determinant이고, $\lambda$가 $n-1$개 있는 각 항은 determinant가 $0$인 triangular matrix들과 determinant가 $a_{ii}\lambda^{n-1}$인 대각 행렬로 나누어지므로 이들 항에 대한 determinant의 합은 $A$의 trace이다. $\det(A-\lambda I)=(\lambda-\lambda_1)\cdots(\lambda-\lambda_n)$라고 가정하면 Vieta's formulas에 따라서 $\displaystyle \det A=\prod_i \lambda_i, \tr A=\sum_i \lambda_i$이다.
• $A$의 모든 고유값이 $0$이 아니면 $A$의 역행렬이 존재한다. $A+B$의 고유값의 합은 $A,\ B$의 고유값의 합이고 $AB$의 고유값의 곱은 $A,\ B$의 고유값의 곱이다.
• 고유벡터가 서로 다른 고유값에 대응하면 서로 독립이다.
• $n$개의 고유값에 대응하는 $n$개의 고유벡터가 독립일 때 모든 벡터 $x=c_1x_1+\cdots+c_nx_n$에 대해서 $Ax=\lambda_1c_1x_1+\cdots+\lambda_n c_n x_n$가 정해지므로 이러한 행렬은 유일하다

complete solution

연립미분방정식의 미지수가 한 개일 때 $A$의 고유값이 $a_{11}$이면 $x(t)=\begin{pmatrix}x_1e^{a_{11}t}\end{pmatrix}^T$에 대해서 $cx(t)$들이 $Ax(t)=a_{11}x(t)$를 만족시키는 $x_1$이 적어도 1차원, 많아야 1차원을 이룬다. $x_1=1$을 넣어 보면 모든 해는 $ce^{a_{11}t}$이다. 미지수가 두 개일 때 $A$의 고유값이 $\lambda_1,\ \lambda_2$이면 $x=\begin{pmatrix} x_1e^{\lambda_1 t} & x_2e^{\lambda_1 t}\end{pmatrix}^T$에 대해서 $cx$들이 $Ax=\lambda_1 x$를 만족시키는 $(x_1,\ x_2)$는 적어도 1차원, $\lambda_1$이 중근이면 많아야 2차원을 이루고, $x=\begin{pmatrix} x_1e^{\lambda_2 t} & x_2e^{\lambda_2 t}\end{pmatrix}^T$에 대해서 $cx$들이 $Ax=\lambda_2 x$를 만족시키는 $(x_1,\ x_2)$가 적어도 1차원, $\lambda_2$가 중근이면 많아야 2차원을 이룬다. 따라서 고유값이 중근이 아니라면 각 고유값에 대해서 $x_1=1$이나 $x_2=1$을 넣어 보아 하나의 해 $(x_1,\ x_2)$를 구한 다음, 여기에 상수를 곱한 것들은 $c$에 넣을 수 있고 모든 해는 $c_1(x_1e^{\lambda_1 t},\ x_2e^{\lambda_1 t})+c_2(x_1e^{\lambda_2 t},\ x_2e^{\lambda_2 t})$이다.

대각화

$n$개의 고유값에 대응하는 $n$개의 고유벡터가 독립일 때 이들이 각 열을 이루는 행렬 $Q$를 뒤에 곱하면 각 고유벡터는 $A[Q]_i=\lambda[Q]_i$를 만족하므로 이는 $Q$에 각 고유값이 대각 성분을 이루는 행렬 $\Lambda$를 뒤에 곱한 것과 같다. 따라서 $AQ=Q\Lambda$에서 $A=Q\Lambda Q^{-1}$이며 $A^k=(Q\Lambda Q^{-1})^k=Q{\Lambda}^kQ^{-1}$이다. 이를 $A$의 Eigendecomposition(고유값 분해)이라고 한다.

참고 자료

• https://people.math.wisc.edu/~aseeger/319/notes2.pdf
• Gilbert Strang. Linear Algebra and Its Applications.