View source for Definition:벡터의 직교와 사영

두 벡터 $a,\ b$가 피타고라스의 정리 $\| a\|^2+\|b\|^2=\|a-b\|^2$를 만족할 때 '''orthogonal'''(직교)이라 하고 $a\perp b$라 쓴다. $\displaystyle \|a\|^2=\sum_i a_i^2=a^Ta$이므로 두 벡터가 직교할 조건은 $\displaystyle 2\sum_i a_ib_i = 0$이다. 여기에서 좌변의 $a^Tb$를 두 벡터의 '''dot product'''(점곱) 또는 '''scalar product'''라 하며 이는 inner product를 이룬다. 그렇다면 두 벡터 $a,\ b$에 대해서 비율 $a^Tb/(a^Ta)$는 $\displaystyle a^Tb-\frac{a^Tb}{a^Ta}a^Ta=0$이므로 $\displaystyle a \perp \left(b-\frac{a^Tb}{a^Ta}a\right)$를 만족시킨다. 즉 $\displaystyle \frac{a^Tb}{a^Ta}a$는 $ca$들 가운데 $b$에 가장 가까운 벡터이다. 이를 $b$의 $a$로의 '''projection'''(사영)이라 하고 $\operatorname{proj}_a b$라 쓴다.

$[(a^Tb)a]_i=a_1b_1a_i+\cdots+a_nb_na_i$와 $[(aa^T)b]_i=\begin{pmatrix}a_ia_1 & a_ia_2 & \cdots & a_ia_n\end{pmatrix}b=a_ia_1b_1+\cdots+a_ia_nb_n$가 같으므로 $a$로의 projection은 outer product<ref>https://en.wikipedia.org/wiki/Outer_product</ref>를 하여 벡터 $b$에 작용하는 연산자로 볼 수 있다:
: $\displaystyle \frac{aa^T}{a^Ta}=\frac{1}{\|a\|^2}\begin{bmatrix} a_1a_1 & a_1a_2 & \cdots & a_1a_n \\ a_2a_1 & a_2a_2 & \cdots & a_2a_n  \\ \vdots & \vdots & \ddots & \vdots \\ a_na_1 & a_na_2 & \cdots & a_na_n \end{bmatrix}$
이러한 행렬을 '''projection matrix'''(사영 행렬)라 한다.<ref>http://optics.szfki.kfki.hu/~psinko/alj/menu/04/nummod/Projection_Matrices.pdf</ref> $P$가 사영 행렬이면 $P^T=P$이고 $P^2_{ij}=a_i(a^Ta)a_j/(a^Ta)=P_{ij}$이다. 열 공간이 $ca$들인 대칭 행렬이므로 $\rank P=1$이고 행 공간과 열 공간이 같아 null space가 $a$에 직교한다.

== 전치 행렬 ==
내적을 이용하면 다음을 만족하는 $A^T$를 행렬 $A$의 전치 행렬로 정의할 수 있다:
: $\langle Ax,\ y\rangle=\langle x,\ A^Ty\rangle$
다음이 성립한다.
* $(AB)^T=B^TA^T$이다. $\langle A(Bx),\ y\rangle=\langle Bx,\ A^Ty\rangle=\langle x,\ B^T(A^Ty)\rangle$로 보일 수 있다.
* $(A^T)^{-1}=(A^{-1})^T$이다. $A^T(A^{-1})^T=(A^{-1}A)^T=I=(AA^{-1})^T=(A^{-1})^TA^T$로 보일 수 있다.
* $A^TAx=0$이면 $Ax=0$이다. $A^TAx=0$이면 $x^TA^TAx=0$에서 $(Ax)^TAx=\|Ax\|^2=0$으로 보일 수 있다. 이는 $A^T$의 null space와 $A$의 column space가 직교 여공간이기 때문이다. 따라서 $A$의 각 열이 독립이면 $Ax=0$일 때 $x=0$이므로 $(A^TA)^{-1}$이 존재한다. 마찬가지로 $AA^Tx=0$이면 $A^Tx=0$이고, $A$의 각 행이 독립이면 $A^Tx=0$일 때 $x=0$이므로 $(AA^T)^{-1}$이 존재한다. 이는 $Ax=b$의 해 $x$가 row space의 원소일 때 $x$를 $A$의 row들의 linear combination으로 나타내어 $AA^Tx'=b$를 만족시키는 $A^Tx'=x$로 쓰면 해 $x'$가 존재하는데, 그러한 $x'$가 유일하다는 뜻이다.
* $(A^TA)^T=A^TA$이다.
* $AA^T=A^TA$이면 모든 $x$에 대해서 $\|Ax\|=\|A^Tx\|$이다.<ref>https://en.wikipedia.org/wiki/Normal_matrix</ref> $\|Ax\|^2=(Ax)^T(Ax)=x^TA^TAx,\ \|A^Tx\|^2=(A^Tx)^T(A^Tx)=x^TAA^Tx$로 보일 수 있다.

== Cauchy–Schwarz inequality ==
부등식 $\|b-\operatorname{proj}_a b\|^2\geq 0$은 다음과 같이 전개할 수 있다:
: $\displaystyle \left\|b-\frac{a^Tb}{a^Ta}a\right\|^2=\left(b^T-\frac{a^Tb}{a^Ta}a^T\right)\left(b-\frac{a^Tb}{a^Ta}a\right)=b^Tb-2\left(\frac{a^Tb}{a^Ta}\right)(a^Tb)+\left(\frac{a^Tb}{a^Ta}\right)^2(a^Ta)=(b^Tb)(a^Ta)-(a^Tb)^2\geq 0$
이를 '''Cauchy–Schwarz inequality'''(코시-슈바르츠 부등식)라 한다.

삼각 함수의 덧셈 정리 또는 law of cosines를 이용하여 두 벡터의 사잇각 $\theta$에 대해서 $a^Tb=\|a\|\|b\|\cos\theta$를 얻을 수 있다.<ref>https://en.wikipedia.org/wiki/Direction_cosine</ref> 즉 내적이 $0$보다 크면 $|\theta|<\pi/2$이고, 내적이 $0$보다 작으면 $|\theta|>\pi/2$이다. 이에 따라 Cauchy–Schwarz inequality는 $|\cos\theta|\leq 1$과 같으므로 부등식의 등호는 두 벡터가 평행할 때 성립한다.

== 직교군 ==
$0$이 아닌 $n$개의 벡터 $v_i$가 각각 나머지 $n-1$개의 벡터와 모두 직교할 때, 벡터들의 일차 결합과 $v_i$를 내적하면 $v_i^Tv_i$ 항만 남으므로 일차 결합이 $0$인 경우는 $v_i=0$인 경우밖에 없다. 따라서 $n$개의 벡터가 서로 직교하면 linear independent이다. 직교하는 $n$개의 벡터들의 일차 결합으로 공간의 모든 벡터를 유도할 수 있으면 '''orthogonal basis'''(직교 기저)라 하고, 각 $\|v_i\|=1$이면 '''orthonormal basis'''(정규 직교 기저)라 한다. 정규 직교 기저의 각 벡터가 각 열을 이루는 행렬을 '''orthogonal matrix'''(직교 행렬) 또는 '''orthonormal matrix'''라 하며 $n\times n$ 직교 행렬들은 '''orthogonal group'''(직교군)을 이루어 $\O(n)$라 쓴다. $\R^2$에서 orthogonal matrix는 회전 행렬들이다:
: $v_1=(\cos\theta,\ \sin\theta),\ v_2=(-\sin\theta,\ \cos\theta)$
직교 행렬 $Q$에 대해서 $Q^{-1}=Q^T$이다.

== 직교 여공간 ==
두 공간의 모든 벡터가 서로 직교할 때 두 공간이 직교한다고 하자. 행렬 $A$의 null space의 원소는 $Ax=0$의 모든 행과 직교하므로 $A$의 행 공간과 null space는 직교하는 두 공간이고, 마찬가지로 $A$의 열 공간과 left null space는 직교하는 두 공간이다. 식으로 나타내면 $Ax=b,\ A^Tx'=b'$가
: $\displaystyle \begin{bmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23}\end{bmatrix}
\begin{bmatrix} x_1 \\ x_2 \\ x_3\end{bmatrix}=\begin{bmatrix} b_1 \\ b_2 \end{bmatrix},\ \begin{bmatrix} a_{11} & a_{21} \\ a_{12} & a_{22} \\ a_{13} & a_{23}\end{bmatrix}
\begin{bmatrix} x'_1 \\ x'_2 \end{bmatrix}=\begin{bmatrix} b'_1 \\ b'_2 \\ b'_3 \end{bmatrix}$
일 때 $x'_1([A]_1)^T+x'_2([A]_2)^T=A^Tx'=[b']^1$이므로 $A$의 row space에 속하는 모든 열벡터 $A^Tx'$에 대해서 $A$의 null space의 원소 $x$와의 내적 $(A^Tx')^Tx=x'^TAx$는 항상 $0$이다. $Ax=b$가 해를 가지지 않으면 $b$가 $A$의 column space에 없다는 뜻이므로 $A^Tx'=0$은 $b$와 직교하지 않는 해를 가진다.<ref>https://en.wikipedia.org/wiki/Fredholm_alternative</ref>

$A$의 null space는 $Ax=0$의 해들을 모두 모은 것이므로 $A$의 row space의 각 원소에 직교하는 모든 벡터를 모은 것이기도 하다. 이러한 관계를 '''orthogonal complement'''(직교 여공간)라 하고, 내적 공간 $V$의 부분 공간 $W$의 직교 여공간을 $W^{\perp}$와 같이 쓴다. 행렬 $A$가 예를 들어 $A:\R^m\to \R^n$로 주어지면 $\R^m$의 모든 벡터는 $r$차원의 행 공간과 그에 직교하는 $m-r$차원의 null space로 분리할 수 있고, $\R^n$의 모든 벡터는 $r$차원의 열 공간과 그에 직교하는 $n-r$차원의 left null space로 분리할 수 있다.

== 최소 제곱법 ==
독립인 식이 미지수보다 더 많아서 해가 없는 경우에는 오차가 가장 적은 해를 구하는 방법을 생각해 볼 수 있다. 독립인 식이 여러 개이고 미지수가 한 개일 때, 해가 존재하려면 $0=b-ax$이어야 하는데 이 조건과의 오차 $\displaystyle \sum_i (b_i-a_ix)^2$를 최소화하는 $x$는 $xa$를 $b$에 가장 가깝게 만들어야 한다. 즉 그러한 해는 $\hat{x}=a^Tb/(a^Ta)$이다. $a$가 영벡터이면 $\hat{x}$를 정할 수 없지만 pseudoinverse는 $0^T=0$이다.<ref>https://www.omnicalculator.com/math/pseudoinverse</ref>

이러한 '''least squares''' 방법을 미지수가 여러 개일 때로 일반화하려면 $A$의 열 공간에 속하는 점 $Ax$들 가운데 $b$에 가장 가까운, 즉 오차 $\|b-Ax\|$를 최소화하는 벡터 $\hat{x}$를 찾아야 한다. $n$차원에서의 직교와 사영을 정의했기 때문에 직관을 따라서, 그러한 $\hat{x}$가 $b-A\hat{x}$를 $A$의 열 공간에 수직으로 만든다고 생각할 수 있다. 따라서 $b-A\hat{x}$는 $A$의 left null space에 속하고 $A^T(b-A\hat{x})=0$이다. 이를 '''normal equations'''(정규 방정식) 또는 '''ordinary least squares'''라고 한다. 여기에서 $\hat{x}=(A^TA)^{-1}A^Tb$을 얻는다. 따라서 $b$의, $A$의 column space $Ax$로의 projection은 $A(A^TA)^{-1}A^Tb$이다.

* $b^T-x^TA^T$를 최소화하는 벡터 $x^T$는 $b^T-x^TA^T$가 $(b^T-x^TA^T)A=0$을 만족시킨다. 따라서 $x^T=b^TA(A^TA)^{-1}$이다.
* $b-A^Tx$를 최소화하는 벡터 $x$는 $b-A^Tx$가 $A(b-A^Tx)=0$을 만족시킨다. 따라서 $x=(AA^T)^{-1}Ab$이다.
* $b^T-x^TA$를 최소화하는 벡터 $x^T$는 $b^T-x^TA$가 $(b^T-x^TA)A^T=0$을 만족시킨다. 따라서 $x^T=b^TA^T(AA^T)^{-1}$이다.

=== 유사 역행렬 ===
$n\times m$ 행렬과 $m\times r$ 행렬을 곱하면 $n\times r$ 행렬이므로 $A$가 $n\times m$ 행렬일 때 right inverse는 $AA^{-1}=I_{n\times n}$이고 left inverse는 $A^{-1}A=I_{m\times m}$이다. $AA^{-1}=I$인 right inverse $A^{-1}$에 대해서 $A^{-1}A$는 $m$차원 벡터를 $A$의 row space로 project하고, $A^{-1}A=I$인 left inverse $A^{-1}$에 대해서 $AA^{-1}$는 $n$차원 벡터를 $A$의 column space로 project한다.<ref>https://math.stackexchange.com/questions/544809/how-can-we-derive-the-pseudo-inverse-of-a-matrix-from-its-singular-value-decompo</ref> 최소 제곱법에서 $x$에 $A^{-1}b$를 넣어 계산하면 right inverse는 $A^T(AA^T)^{-1}$이고 left inverse는 $(A^TA)^{-1}A^T$이다. 이는 Frobenius norm에 대해서 $\|I-AX\|$를 최소화한다.

$A^{-1}$이 pseudoinverse이면 $m\times n$ 행렬 $C$에 대해서 $A^{-1}+(I_m-A^{-1}A)C+(I_n-AA^{-1})C$도 pseudoinverse이다.<ref>https://en.wikipedia.org/wiki/Generalized_inverse</ref> 이들 중에 $AA^{-1}A=A,\ A^{-1}AA^{-1}=A^{-1}$이면서 $AA^{-1},\ A^{-1}A$가 대칭 행렬인 유일한 pseudoinverse를 '''Moore–Penrose inverse'''라 한다.<ref>https://math.stackexchange.com/questions/1537880/what-forms-does-the-moore-penrose-inverse-take-under-systems-with-full-rank-ful</ref>

== 이산 푸리에 변환 ==

== 참고 자료 ==
<references />
* Gilbert Strang. Linear Algebra and Its Applications.

[[Category:Mathematics]]