Definition:벡터의 직교와 사영

두 벡터 $a,\ b$가 피타고라스의 정리 $\| a\|^2+\|b\|^2=\|a-b\|^2$를 만족할 때 orthogonal(직교)이라 하고 $a\perp b$라 쓴다. $\displaystyle \|a\|^2=\sum_i a_i^2=a^Ta$이므로 두 벡터가 직교할 조건은 $\displaystyle 2\sum_i a_ib_i = 0$이다. 여기에서 좌변의 $a^Tb$를 두 벡터의 dot product(점 곱) 또는 scalar product라 하며 이는 inner product를 이룬다. 그렇다면 두 벡터 $a,\ b$에 대해서 비율 $a^Tb/a^Ta$는 $\displaystyle a \perp \left(b-\frac{a^Tb}{a^Ta}a\right)$를 만족시킨다. 즉 $\displaystyle \frac{a^Tb}{a^Ta}a$는 $ca$들 가운데 $b$에 가장 가까운 벡터이다. 이를 $b$의 $a$로의 projection(사영)이라 하고 $\operatorname{proj}_a b$라 쓴다.

$\|b-\operatorname{proj}_a b\|^2\geq 0$은 Cauchy–Schwarz inequality(코시-슈바르츠 부등식) $|a^Tb|\leq \|a\|\|b\|$이다. law of cosines에 따라서 두 벡터의 사잇각이 $\theta$일 때 $a^Tb=\|a\|\|b\|\cos\theta$이므로 이 부등식은 $|\cos\theta|\leq 1$과 같다. 등호가 성립하는 것은 두 벡터가 평행할 때이다.

직교 여공간

$0$이 아닌 $n$개의 벡터 $v_i$가 각각 나머지 $n-1$개의 벡터와 모두 직교할 때 벡터들의 일차 결합과 $v_i$를 내적하면 $v_i^Tv_i$ 항만 남으므로 일차 결합이 $0$인 경우는 $v_i=0$인 경우밖에 없다. 따라서 $n$개의 벡터가 서로 직교하면 linear independent이다.