内积空间
内积空间
对于一个线性空间 \(V\)，如果存在一个二元运算 \((\cdot, \cdot): V \times V \to F\)，满足：
- \((u, u) \ge 0\)，仅当 \(u=0\) 时取等。注意这蕴含着 \((u,u)\in \mathbb{R}\)（严格正定性）
- \((u, v) = \overline{(v, u)}\)。（共轭对称性）
- \((au + bv, w) = a(u, w) + b(v, w)\)。（第一变量线性）
则称这个运算为 \(V\) 上的内积。定义了内积的线性空间叫做线性空间。
内积有什么性质呢？可以将 \(\mathbb{R}^n\) 上的内积对比着看。
柯西-施瓦茨不等式
我们希望有 \((u, v)\overline{(u, v)} \le (u, u)(v, v)\)。
考虑 \((u + \lambda v, u+\lambda v) = (u, u) + \overline\lambda(u, v) + \lambda(v, u) + \lambda \overline\lambda(v, v)\)。由正定性知道此式非负。
设 \(v\ne 0\)（否则显然成立），则令 \(\lambda = -\frac{(u,v)}{(v,v)}\)，带入得到：
\[ (u, u)(v, v) \ge 2(u,v)(v,u)-(u,v)(v,u) = (u,v)\overline{(u,v)} \]
且取等的条件为 \(u+\lambda v =0\)，也即 \(u,v\) 线性相关时取等。
常见的内积空间
考虑闭区间上连续函数组成的空间 \(C[a, b]\)，定义内积如下：
\[ (f,g) = \int_{a}^b f(x)\overline{g(x)} \mathrm{d}x \]
则对应的柯西-施瓦茨不等式为：
\[ \left(\int_{a}^b f(x)\overline{g(x)} \mathrm{d}x \right)^2 \leq \left( \int |f(x)|^2\mathrm{d}x\right)\left( \int|g(x)|^2\mathrm{d}x \right) \]
范数
既然有了内积，不难想到范数，也即向量长度的概念。定义 \(\lVert u \rVert = \sqrt{(u,u)}\)。这是一个合理的长度吗？
首先，范数作为度量，得是一个非负实数。这由正定性保证。且仅当 \(u=0\) 时 \(\lVert u \rVert = 0\)。
又由于开了根号，所以 \(\lVert ku \rVert = |k| \lVert u \rVert\)。
又因为柯西-施瓦茨不等式，我们有 \((u,v)\overline{(u, v)} \le \lVert u \rVert \cdot \lVert v \rVert\)。
所以可以得到：\(\lVert u+v \rVert^2 = \lVert u \rVert^2 + 2(u,v)\overline{(u,v)} + \lVert v \rVert^2 \le (\lVert u \rVert + \lVert v \rVert)^2\)。
此即三角不等式。
综合上面三条，我们发现，这确实是一个合理的长度定义。
夹角
我们不加修改地套用 \(\mathbb{R}^n\) 中夹角的概念：\(u,v\) 的夹角 \(\theta = \arccos \frac{|(u,v)|}{\lVert u \rVert\lVert v \rVert}\)。
如果 \((u,v)=0\)，此时夹角 \(\theta = \frac{\pi}{2}\)。我们称这样的两个向量 \(u,v\) 正交。
投影
同样地，我们可以定义 \(v\) 在 \(u\) 上的投影向量：\(v_{\parallel} = \frac{(u,v)}{(u,u)}u\)。而 \(v\) 中与 \(u\) 正交的部分为 \(v_{\perp}=v - \frac{(u,v)}{(u,u)}u\)。
正交基
既然已经有了内积，我们就可以定义所谓正交基：如果 \(V\) 的基 \(B\) 中任意两个基向量都正交，我们称 \(B\) 是 \(V\) 的正交基。
向量用正交基表示有什么好处呢？若 \(u = \sum x_{i}b_{i}, v = \sum y_{i}b_{i}\)，其中 \(b_{i}\) 是正交基。那么，在计算 \((u,v)\) 时，我们发现 \(i \ne j\) 的 \(b_{i},b_{j}\) 对答案的贡献是 0。则 \((u,v) = \sum x_{i}\overline{y_{i}}(b_{i}, b_{i})\)。
进一步地，如果 \(\lVert b_{i} \rVert = 1\)，我们就有 \((u,v) = \sum x_{i}\overline{y_{i}}\)。此时的 \(B\) 都是单位向量，我们称为标准正交基或规范正交基。
在规范正交基下，计算内积和 \(F^n\) 中别无二致。一组普通的基将 \(V\) 同构到 \(F^n\)，而一组规范正交基在同构的过程中还保持了范数不变。这也是“规范”一词的含义。
正交化
既然正交基这么好，我们怎么得到一组正交基呢？
首先我们需要任意一组基。接下来，通过格拉姆-施密特正交化，我们可以把任何一组基变成正交基。
所谓正交基，无非就是要求所有向量正交。假设我们已有一组基 \(\{b_{i}\}\)。我们将 \(b_{1}\) 作为结果的第一个基向量 \(c_{1}=b_{1}\)。
接下来，我们希望第二个向量 \(c_{2}\) 与 \(c_{1}\) 正交。这很简单，只要用 \(b_{2}\) 减去 \(b_{2}\) 在 \(c_{1}\) 上的投影。\(c_{2} = b_{2} - \frac{(c_{1},b_{2})}{(c_{1},c_{1})}c_{1}\)。
同理，由于 \(c_{1},c_{2}\) 正交，所以 \(b_{3}\) 分别减去 \(c_{1},c_{2}\) 上的投影后与 \(c_{1},c_{2}\) 都正交。（减的两部分不会互相影响，读者可自证）
不难归纳出得到正交基 \(\{c_{i}\}\) 的方法：\(c_{i} = b_{i} - \sum_{k<i} \frac{(c_{k},b_{i})}{(c_{k},c_{k})}c_{k}\)。
这样得到的 \(c_{i}\) 就是一组正交基。由于 \(b_{i}\) 线性无关，不难证明 \(c_{i}\) 线性无关（证明在计算每个 \(c_{i}\) 前已有的 \(c_{k}\) 线性无关，而 \(c_{i}\) 不能由 \(c_{k}\) 线性表出）。
最后，如果你需要一组规范正交基，那么用 \(\frac{c_{i}}{\lVert c_{i} \rVert}\) 即可。
正交矩阵
如果方阵 \(A\) 满足 \(AA^\text{T} = A^\text{T}A = I\)，则称 \(A\) 为正交矩阵。（我更喜欢叫它规范正交阵，因为它所表示的线性映射不改变范数。）
显然有 \(A^{-1} = A^T\)。在图像上，这样的线性映射实际是一种旋转。
简单考察 \(AA^\text{T},A^\text{T}A\) 的计算过程，不难发现 \(A\) 的行向量与列向量都正交。所以叫做正交矩阵。