Definition:벡터의 직교와 사영

두 벡터 $a,\ b$가 피타고라스의 정리 $\| a\|^2+\|b\|^2=\|a-b\|^2$를 만족할 때 orthogonal(직교)이라 하고 $a\perp b$라 쓴다. $\displaystyle \|a\|^2=\sum_i a_i^2=a^Ta$이므로 두 벡터가 직교할 조건은 $\displaystyle 2\sum_i a_ib_i = 0$이다. 여기에서 좌변의 $a^Tb$를 두 벡터의 dot product(점곱) 또는 scalar product라 하며 이는 inner product를 이룬다. 그렇다면 두 벡터 $a,\ b$에 대해서 비율 $a^Tb/a^Ta$는 $\displaystyle a^Tb-\frac{a^Tb}{a^Ta}a^Ta=0$이므로 $\displaystyle a \perp \left(b-\frac{a^Tb}{a^Ta}a\right)$를 만족시킨다. 즉 $\displaystyle \frac{a^Tb}{a^Ta}a$는 $ca$들 가운데 $b$에 가장 가까운 벡터이다. 이를 $b$의 $a$로의 projection(사영)이라 하고 $\operatorname{proj}_a b$라 쓴다.

이때 $\displaystyle \frac{a^Tb}{a^Ta}a=\frac{aa^T}{a^Ta}b$가 성립하여 outer product $\displaystyle \frac{aa^T}{a^Ta}$를 $a$로의 사영을 뜻하는 matrix operator로 얻는데, 이를 projection matrix(사영 행렬)라 한다.

Cauchy–Schwarz inequality

부등식 $\|b-\operatorname{proj}_a b\|^2\geq 0$은 $\displaystyle \left\|b-\frac{a^Tb}{a^Ta}a\right\|^2=\left(b^T-\frac{a^Tb}{a^Ta}a^T\right)\left(b-\frac{a^Tb}{a^Ta}a\right)=b^Tb-2\left(\frac{a^Tb}{a^Ta}\right)(a^Tb)+\left(\frac{a^Tb}{a^Ta}\right)^2(a^Ta)=(b^Tb)(a^Ta)-(a^Tb)^2\geq 0$로 전개할 수 있다. 이를 Cauchy–Schwarz inequality(코시-슈바르츠 부등식)라 한다.

삼각 함수의 덧셈 정리 또는 law of cosines를 이용하여 두 벡터의 사잇각 $\theta$에 대해서 $a^Tb=\|a\|\|b\|\cos\theta$를 얻을 수 있다. 즉 내적이 $0$보다 크면 $|\theta|<\pi/2$이고, 내적이 $0$보다 작으면 $|\theta|>\pi/2$이다. 이에 따라 Cauchy–Schwarz inequality는 $|\cos\theta|\leq 1$과 같으므로 부등식의 등호는 두 벡터가 평행할 때 성립한다.

직교군

$0$이 아닌 $n$개의 벡터 $v_i$가 각각 나머지 $n-1$개의 벡터와 모두 직교할 때, 벡터들의 일차 결합과 $v_i$를 내적하면 $v_i^Tv_i$ 항만 남으므로 일차 결합이 $0$인 경우는 $v_i=0$인 경우밖에 없다. 따라서 $n$개의 벡터가 서로 직교하면 linear independent이다. 직교하는 $n$개의 벡터들의 일차 결합으로 공간의 모든 벡터를 유도할 수 있으면 orthogonal basis(직교 기저)라 하고, 각 $\|v_i\|=1$이면 orthonormal basis(정규 직교 기저)라 한다. 정규 직교 기저의 각 벡터가 각 열을 이루는 행렬을 orthogonal matrix(직교 행렬) 또는 orthonormal matrix라 하며 $n\times n$ 직교 행렬들은 orthogonal group(직교군)을 이루어 $\O(n)$라 쓴다. $\R^2$에서 orthogonal matrix는 회전 행렬들이다:

$v_1=(\cos\theta,\ \sin\theta),\ v_2=(-\sin\theta,\ \cos\theta)$

직교 행렬 $Q$에 대해서 $Q^{-1}=Q^T$이다.

직교 여공간

두 공간의 모든 벡터가 서로 직교할 때 두 공간이 직교한다고 하면 행렬 $A$의 null space의 원소는 $Ax=0$의 각 행과 직교하므로 $A$의 행 공간과 null space는 직교하는 두 공간이고, 마찬가지로 열 공간과 left null space는 직교하는 두 공간이다. 식으로 나타내면 $Ax=b,\ A^Tx'=b'$가

$\displaystyle \begin{bmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23}\end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3\end{bmatrix}=\begin{bmatrix} b_1 \\ b_2 \end{bmatrix},\ \begin{bmatrix} a_{11} & a_{21} \\ a_{12} & a_{22} \\ a_{13} & a_{23}\end{bmatrix} \begin{bmatrix} x'_1 \\ x'_2 \end{bmatrix}=\begin{bmatrix} b'_1 \\ b'_2 \\ b'_3 \end{bmatrix}$

일 때 $(x'_1[A]_1+x'_2[A]_2)^T=A^Tx'=[b']^1$이므로 row space에 속하는 모든 열벡터 $A^Tx'$에 대해서 null space의 원소 $x$와의 내적 $(A^Tx')^Tx=x'^TAx$는 항상 $0$이다. $Ax=b$의 해가 존재한다는 것은 $b$가 열 공간의 원소라는 뜻이고, 이는 $b$가 left null space에 직교한다는 뜻이다. 따라서 $x'^TA=0$일 때 $x'^Tb=0$이어야 한다.

한편 null space는 $Ax=0$의 해들을 모두 모은 것이므로 row space의 각 원소에 직교하는 모든 벡터를 모은 것이기도 하다. 이러한 관계를 orthogonal complement(직교 여공간)라 하며 내적 공간 $V$의 부분 공간 $W$의 직교 여공간을 $W^{\perp}$와 같이 쓴다. $V=\R^n$에서 $(W^{\perp})^{\perp}=W$이므로 $\dim W+\dim W^{\perp}=\dim V$이다.

참고 자료

• Gilbert Strang. Linear Algebra and Its Applications.