벡터의 직교와 사영

두 벡터 $a,\ b$가 피타고라스의 정리 $\| a\|^2+\|b\|^2=\|a-b\|^2$를 만족할 때 orthogonal(직교)이라 하고 $a\perp b$라 쓴다. $\displaystyle \|a\|^2=\sum_i a_i^2=a^Ta$이므로 두 벡터가 직교할 조건은 $\displaystyle 2\sum_i a_ib_i = 0$이다. 여기에서 좌변의 $a^Tb$를 두 벡터의 dot product(점곱) 또는 scalar product라 하며 이는 inner product를 이룬다. 그렇다면 두 벡터 $a,\ b$에 대해서 비율 $a^Tb/a^Ta$는 $\displaystyle a^Tb-\frac{a^Tb}{a^Ta}a^Ta=0$이므로 $\displaystyle a \perp \left(b-\frac{a^Tb}{a^Ta}a\right)$를 만족시킨다. 즉 $\displaystyle \frac{a^Tb}{a^Ta}a$는 $ca$들 가운데 $b$에 가장 가까운 벡터이다. 이를 $b$의 $a$로의 projection(사영)이라 하고 $\operatorname{proj}_a b$라 쓴다.

Cauchy–Schwarz inequality

부등식 $\|b-\operatorname{proj}_a b\|^2\geq 0$은 $\displaystyle \left\|b-\frac{a^Tb}{a^Ta}a\right\|^2=\left(b^T-\frac{a^Tb}{a^Ta}a^T\right)\left(b-\frac{a^Tb}{a^Ta}a\right)=b^Tb-2\left(\frac{a^Tb}{a^Ta}\right)(a^Tb)+\left(\frac{a^Tb}{a^Ta}\right)^2(a^Ta)=(b^Tb)(a^Ta)-(a^Tb)^2\geq 0$로 전개할 수 있다. 이를 Cauchy–Schwarz inequality(코시-슈바르츠 부등식)라 한다.

삼각 함수의 덧셈 정리 또는 law of cosines를 이용하여 두 벡터의 사잇각 $\theta$에 대해서 $a^Tb=\|a\|\|b\|\cos\theta$를 얻을 수 있다. 즉 내적이 $0$보다 크면 $|\theta|<\pi/2$이고, 내적이 $0$보다 작으면 $|\theta|>\pi/2$이다. 이에 따라 Cauchy–Schwarz inequality는 $|\cos\theta|\leq 1$과 같으므로 부등식의 등호는 두 벡터가 평행할 때 성립한다.

직교군

$0$이 아닌 $n$개의 벡터 $v_i$가 각각 나머지 $n-1$개의 벡터와 모두 직교할 때, 벡터들의 일차 결합과 $v_i$를 내적하면 $v_i^Tv_i$ 항만 남으므로 일차 결합이 $0$인 경우는 $v_i=0$인 경우밖에 없다. 따라서 $n$개의 벡터가 서로 직교하면 linear independent이다. 직교하는 $n$개의 벡터들의 일차 결합으로 공간의 모든 벡터를 유도할 수 있으면 orthogonal basis(직교 기저)라 하고, 각 $\|v_i\|=1$이면 orthonormal basis(정규 직교 기저)라 한다. 정규 직교 기저의 각 벡터가 각 열을 이루는 행렬을 orthogonal matrix(직교 행렬) 또는 orthonormal matrix라 하며 $n\times n$ 직교 행렬들은 orthogonal group(직교군)을 이루어 $\O(n)$라 쓴다. $\R^2$에서 orthogonal matrix는 회전 행렬들이다:

$v_1=(\cos\theta,\ \sin\theta),\ v_2=(-\sin\theta,\ \cos\theta)$

직교 여공간

두 공간의 모든 벡터가 서로 직교할 때 두 공간이 직교한다고 하자.