고유값과 고유벡터

미지수가 $n$개인 연립미분방정식

$\displaystyle \begin{cases} a_{11}x_1(t)+a_{12}x_2(t)+\cdots+a_{1n}x_n(t)=x_1'(t) \\a_{21}x_1(t)+a_{22}x_2(t)+\cdots+a_{2n}x_n(t)=x_2'(t) \\ \quad \vdots \\a_{n1}x_1(t)+a_{n2}x_2(t)+\cdots+a_{nn}x_n(t)=x_n'(t) \end{cases}$

은 다음과 같은 행렬로 나타낼 수 있다.

$\displaystyle \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} \end{bmatrix} \begin{bmatrix} x_1(t) \\ x_2(t) \\ \vdots \\ x_n(t)\end{bmatrix}=\begin{bmatrix} x_1'(t) \\ x_2'(t) \\ \vdots \\ x_n'(t)\end{bmatrix}$

미지수가 한 개일 때 $x'(t)=ax(t)$이므로 initial condition $x(t=0)$을 지정하면 $x(t)=x(0)e^{at}$이다. $A$는 linear이므로 superposition principle에 따라서 $Ax(t)_1=x'(t)$이고 $Ax(t)_2=x'(t)$이면 $A(c_1x(t)_1+c_2x(t)_2)=c_1Ax(t)_1+c_2Ax(t)_2=c_1x'(t)_1+c_2x'(t)_2=(c_1x(t)_1+c_2x(t)_2)'$이다. 그러므로 $a$를 고정하여 해의 모든 성분이 $x_i(t)=x_ie^{at}$라 가정하고 연립미분방정식을 풀면 해가 존재하는 $a$들을 찾음으로써 그 합으로 $0$ 또는 $e^{\lambda t}$들로 이루어진 모든 해를 찾을 수 있다. 이러한 $a=\lambda$들을 행렬 $A$의 eigenvalue(고유값, 고윳값)라 하고, 해 $x_i(t)=x_i e^{\lambda t}$에서 상수 $x_i$들로 이루어진 벡터 $x(t)$를 $A$의 eigenvector(고유벡터)라 한다.

이 연립미분방정식의 $x(t)$는 initial condition $x(t=0)$을 포함하는 open interval에서 $A$의 성분이 모두 연속 함수일 때 open interval에 속하는 $t$마다 독립인 벡터들을 만드는 서로 다른 해들의 linear combination으로 유일하다. $x_i(t)=x_ie^{\lambda t}$를 단순히 $x_i$로 대체하면 $x_i'(t)=\lambda x_i e^{\lambda t}$이므로 연립미분방정식은 $Ax=\lambda x$로 쓸 수 있다. 따라서 $\lambda$는 $(A-\lambda I)x=O$를 만족시킨다. $x$는 $A-\lambda I$의 null space의 원소이므로 $x\neq 0$가 존재하려면 $\det(A-\lambda I)=0$이어야 한다. 행렬식을 전개하면 $\lambda$에 대한 다항식이며 이를 $A$의 characteristic polynomial(특성 다항식)이라고 한다.

• $A$의 성분이 실수이더라도 $\lambda$는 복소수일 수 있다. 이제 symmetric matrix와 orthogonal matrix는 conjugate transpose와 Hermitian adjoint를 정의하여 Hermitian matrix와 unitary matrix로 확장할 이유가 생긴다.
• 각 고유값에 대응하는 고유벡터는 eigenspace $A-\lambda I$의 null space를 구성해야 하므로 하나가 아니다. 즉 $\lambda$의 고유벡터에 상수를 곱해도 $\lambda$의 고유벡터이고, 중근에는 독립인 여러 개의 고유벡터가 대응할 수도 있다.
• 각 행렬에 대응하는 특성 다항식은 유일하다. 그러나 $\lambda_0$마다 $(\lambda-\lambda_0)^n$이 할당되며 이 중근의 개수를 $\lambda_0$의 algebraic multiplicity(대수적 중복도)라 하고, $\lambda$마다 $A-\lambda I$의 null space가 할당되며 이 차원을 $\lambda$의 geometric multiplicity(기하적 중복도)라 한다. 대수적 중복도가 $1$이면 simple eigenvalue이고 두 중복도가 같으면 semisimple eigenvalue이다.

성질들

• $Ax=\lambda x$이면 $(A+cI)x=Ax+cx,\ A^2x=\lambda Ax,\ x=\lambda A^{-1}x,\ (A-\lambda I)^T=A^T-\lambda I$이므로 $A+cI,\ A^2,\ A^{-1},\ A^T$의 고유값은 $\lambda+c,\ \lambda^2,\ 1/\lambda,\ \lambda$이다. $A$의 고유벡터는 $A+cI,\ A^2,\ A^{-1}$의 고유벡터와 같다.
• 정의에 의해서 고유벡터는 함수 $A$를 취하면 고유값, 즉 상수만이 곱해지는 벡터이다. 따라서 모든 벡터는 $I$의 고유벡터이다. 평면에서의 회전은 복소 고유값과 고유벡터를 가진다. 사영 행렬은 eigenvalue $\lambda$와 eignevector $x$에 대해서 $\lambda^2x=\lambda x$이므로 $\lambda_1=0,\ \lambda_2=1$이다. 사영 행렬의 고유값이 $0$인 eigenspace는 사영 행렬의 null space이고, 고유값이 $1$인 eigenspace는 사영 행렬의 column space이다.
• triangular matrix의 고유값은 $A-\lambda I$의 determinant가 $a_{ii}-\lambda$들의 곱이므로 이를 $0$으로 만드는 $\lambda=a_{ii}$이다.
• $A-\lambda I$의 determinant를 alternating multilinear form으로 생각하면 $a_{ii}-\lambda$가 들어 있는 항을 모두 제거한 항들로 나눌 수 있다. 그러면 $\lambda$가 없는 항은 $A$의 determinant이고, $\lambda$가 $n-1$개 있는 각 항은 determinant가 $0$인 triangular matrix들과 determinant가 $a_{ii}\lambda^{n-1}$인 대각 행렬로 나누어지므로 이들 항에 대한 determinant의 합은 $A$의 trace이다. $\det(A-\lambda I)=(\lambda-\lambda_1)\cdots(\lambda-\lambda_n)$라고 가정하면 Vieta's formulas에 따라서 $\displaystyle \det A=\prod_i \lambda_i, \tr A=\sum_i \lambda_i$이다.
• $A$의 모든 고유값이 $0$이 아니면 $A$의 역행렬이 존재한다. $A+B$의 고유값의 합은 $A,\ B$의 고유값의 합이고 $AB$의 고유값의 곱은 $A,\ B$의 고유값의 곱이다.
• $\lambda_1$에 고유벡터 $x_1$이 대응하고 $\lambda_2\neq \lambda_1$에 고유벡터 $x_2$가 대응하면 $x_1,\ x_2$는 독립이다. 증명은 다음과 같다: $c_1x_1+c_2x_2=0$이면 양변에 $A$를 곱하여 $c_1\lambda_1 x_1+c_2\lambda_2x_2=0$이고 가정에서 $c_2x_2=-c_1x_1$이므로 $c_1(\lambda_1-\lambda_2)x_1=0$이다. $x_1\neq 0$이므로 $c_1=0$이어야 하고 $c_2=0$이다. induction을 써서 $c_1(\lambda_1-\lambda_n)=c_{n+1},\ \cdots$로 정의하여 양변에 $A$를 곱하면 서로 다른 $n$개의 고유값에 대응하는 $n$개의 고유벡터는 독립이다.
• $n$개의 고유값에 대응하는 $n$개의 고유벡터가 독립일 때 모든 벡터 $x=c_1x_1+\cdots+c_nx_n$에 대해서 $Ax=\lambda_1c_1x_1+\cdots+\lambda_n c_n x_n$가 정해지므로 이러한 행렬은 유일하다.

complete solution

연립미분방정식의 미지수가 한 개일 때 $A$의 고유값이 $a_{11}$이면 $x(t)=\begin{pmatrix}x_1e^{a_{11}t}\end{pmatrix}^T$에 대해서 $cx(t)$들이 $Ax(t)=a_{11}x(t)$를 만족시키는 $x_1$이 적어도 1차원, 많아야 1차원을 이룬다. $x_1=1$을 넣어 보면 모든 해는 $ce^{a_{11}t}$이다. 미지수가 두 개일 때 $A$의 고유값이 $\lambda_1,\ \lambda_2$이면 $x=\begin{pmatrix} x_1e^{\lambda_1 t} & x_2e^{\lambda_1 t}\end{pmatrix}^T$에 대해서 $cx$들이 $Ax=\lambda_1 x$를 만족시키는 $(x_1,\ x_2)$는 적어도 1차원, $\lambda_1$이 중근이면 많아야 2차원을 이루고, $x=\begin{pmatrix} x_1e^{\lambda_2 t} & x_2e^{\lambda_2 t}\end{pmatrix}^T$에 대해서 $cx$들이 $Ax=\lambda_2 x$를 만족시키는 $(x_1,\ x_2)$가 적어도 1차원, $\lambda_2$가 중근이면 많아야 2차원을 이룬다. 따라서 고유값이 중근이 아니라면 각 고유값에 대해서 $x_1=1$이나 $x_2=1$을 넣어 보아 하나의 해 $(x_1,\ x_2)$를 구한 다음, 여기에 상수를 곱한 것들은 $c$에 넣을 수 있고 모든 해는 $c_1(x_1e^{\lambda_1 t},\ x_2e^{\lambda_1 t})+c_2(x_1e^{\lambda_2 t},\ x_2e^{\lambda_2 t})$이다.

$\begin{pmatrix} a & b \\ 3a & 3b \end{pmatrix}$의 특성 다항식은 $(a-\lambda)(3b-\lambda)-3ab=\lambda(\lambda-a-3b)$이므로 대수적 중복도가 $1$인 $\lambda=0, \lambda=a+3b$를 가지고 $\begin{pmatrix} a & b \\ 3a & 3b \end{pmatrix},\ \begin{pmatrix} -3b & b \\ 3a & -a \end{pmatrix}$의 null space $c\begin{pmatrix} 1 & -a/b\end{pmatrix}^T,\ c\begin{pmatrix} 1 & 3\end{pmatrix}^T$를 고유벡터로 가진다. $\displaystyle \begin{cases}ax_1(t)+bx_2(t)=x_1'(t) \\ 3ax_1(t)+3bx_2(t)=x_2'(t) \end{cases}$의 해는 $\displaystyle \begin{cases}x_1(t)=c_1+c_2e^{(a+3b)t} \\ x_2(t)=-ac_1/b+3c_2e^{(a+3b)t} \end{cases}$이다.

$\begin{pmatrix} a & b \\ 0 & a \end{pmatrix}$의 특성 다항식은 $(a-\lambda)^2$이므로 대수적 중복도가 $2$인 $\lambda=a$를 가지지만 $\begin{pmatrix} 0 & b \\ 0 & 0 \end{pmatrix}$의 null space는 $b$가 RREF의 pivot이므로 $c\begin{pmatrix} 1 & 0\end{pmatrix}^T$로 1차원을 이룬다. 부족한 고유벡터는 $(A-\lambda I)x_2=x_1$ 또는 $(A-\lambda I)^2x=0$에서 얻을 수 있다. 따라서 $\displaystyle \begin{cases}ax_1(t)+bx_2(t)=x_1'(t) \\ ax_2(t)=x_2'(t) \end{cases}$의 해는 $\displaystyle \begin{cases}x_1(t)=c_1e^{at}+bc_2te^{at} \\ x_2(t)=c_2e^{at} \end{cases}$이다.

$\begin{pmatrix} a & 0 \\ 0 & a \end{pmatrix}$의 특성 다항식은 $(a-\lambda)^2$이므로 대수적 중복도가 $2$인 $\lambda=a$를 가지고 $\begin{pmatrix} 0 & 0 \\ 0 & 0 \end{pmatrix}$의 null space는 $c_1\begin{pmatrix} 1 & 0\end{pmatrix}^T+c_2\begin{pmatrix} 0 & 1\end{pmatrix}^T$로 2차원을 이룬다. $\displaystyle \begin{cases}ax_1(t)=x_1'(t) \\ ax_2(t)=x_2'(t) \end{cases}$의 해는 $\displaystyle \begin{cases}x_1(t)=c_1e^{at} \\ x_2(t)=c_2e^{at} \end{cases}$이다.

대각화

$n$개의 고유값에 대응하는 $n$개의 고유벡터가 독립일 때 이들이 각 열을 이루는 행렬 $Q$를 뒤에 곱하면 각 고유벡터는 $A[Q]^i=\lambda[Q]^i$를 만족하므로 이는 $Q$에 각 고유값이 대각 성분을 이루는 행렬 $\Lambda$를 뒤에 곱한 것과 같다. 따라서 $AQ=Q\Lambda$에서 $A=Q\Lambda Q^{-1}$이며 $A^k=(Q\Lambda Q^{-1})^k=Q{\Lambda}^kQ^{-1}$이다. 이를 $A$의 Eigendecomposition(고유값 분해)이라 하는데, 행렬을 $A=SDS^{-1}$로 분해하는 작업을 역으로 생각하면 $AS=SD$이어야 하므로 $[SD]^i=D_{ii}[S]^i$에서 $A[S]^i=D_{ii}[S]^i$이며 $S$의 각 열은 고유벡터이다. 따라서 $A$의 고유값 분해를 $A$의 diagonalization(대각화)라고 한다.

참고 자료

• https://people.math.wisc.edu/~aseeger/319/notes2.pdf
• Gilbert Strang. Linear Algebra and Its Applications.