标准正交基

Orthonormal Basis
标准正交的向量 $q_{1}, \dots, q_{n}$ 满足：
相互垂直并且模都为 1

q_{i}^{T} q_{j} = {\begin{cases} 0 i \neq j Orthogonal \\ 1 i = j unit | | q_{i} | | = 1 \end{cases}

标准正交的向量作为矩阵的列
将矩阵记为 $Q$

\begin{array}{r} Q^{T} Q = [\begin{array}{c} q_{1}^{T} \\ q_{2}^{T} \\ ⋮ \\ q_{n}^{T} \end{array}] [\begin{array}{c} q_{1} & q_{2} & \dots & q_{n} \end{array}] = [\begin{array}{c} 1 & 0 & \dots & 0 \\ 0 & 1 & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & 1 \end{array}] = I = Q^{- 1} Q \end{array}

矩阵的转置等于逆矩阵 Transpose=Inverse $Q^{T} = Q^{- 1}$

$| | Q x | | = | | x | |$
$(Q x)^{T} (Q y) = x^{T} Q^{T} Q y = x^{T} y$

如果使用标准正交基进行向量投影：
$Q^{T} Q \hat{x} = \hat{x} = Q^{T} b$ $p = Q \hat{x}$

\begin{aligned} \hat{x} & = Q^{T} b \\ p & = Q \hat{x} = Q Q^{T} b = b \\ b & = q_{1} (q_{1}^{T} b) + \dots + q_{n} (q_{n}^{T} b) \end{aligned}

$b = Q Q^{T} b$ 本质上也为变换的思想
将向量或函数通过变换分解为 perpendicular pieces
然后将 pieces 通过逆变换重新得到原来的向量或函数

Gram -Schmidt Process

利用线性独立的向量组来构建标准正交基
假设有三个独立的向量 $a, b, c$
目的是得到标准正交的向量 $p_{1}, p_{2}, p_{3}$

先构造三个相互垂直的向量 $A, B, C$ ，再标准化
$A = a$
$B = b - \frac{A^{T} b}{A^{T} A} A$
$C = c - \frac{A^{T} c}{A^{T} A} A - \frac{B^{T} c}{B^{T} B} B$
$\dots$

则标准正交的向量：

$p_{1} = \frac{A}{| | A | |}, p_{2} = \frac{B}{| | B | |}, p_{3} = \frac{C}{| | C | |}, \dots$

其实本质思想很简单
就是向量减去在所有正交基上的投影，得到新的正交基

矩阵分解

\begin{array}{r} A = Q R \end{array}

\begin{array}{r} [\begin{array}{c} a & b & c \end{array}] = [\begin{array}{c} q_{1} & q_{2} & q_{3} \end{array}] [\begin{array}{c} q_{1}^{T} a & q_{1}^{T} b & q_{1}^{T} c \\ q_{2}^{T} b & q_{2}^{T} c \\ q_{3}^{T} c \end{array}] \end{array}

由向量投影知： $A^{T} A \hat{x} = A^{T} b$
所以有： $A^{T} A = (Q R)^{T} Q R = R^{T} R$ $R^{T} R \hat{x} = R^{T} Q^{T} b$
最小二乘法的最优近似解则为： $\hat{x} = R^{- 1} Q^{T} b$

AI 结构化补充（2026-05-02）

定义

Orthonormal Basis 标准正交基是一组既两两正交又已经单位化的基向量；它把坐标分解变成互不耦合的点积计算。

向量 $q_{1}, \dots, q_{n}$ 标准正交，当且仅当

q_{i}^{T} q_{j} = δ_{i j} = {\begin{cases} 1, & i = j, \\ 0, & i \neq j . \end{cases}

这里的 $δ_{i j}$ 是 Kronecker delta。等式同时表达两个条件： $q_{i}^{T} q_{i} = ∥ q_{i} ∥^{2} = 1$ 表示单位长度， $q_{i}^{T} q_{j} = 0 (i \neq j)$ 表示正交。

把这些向量放成矩阵列

Q = [q_{1} q_{2} \dots q_{n}],

则所有点积一次写成

Q^{T} Q = [\begin{matrix} q_{1}^{T} \\ q_{2}^{T} \\ ⋮ \\ q_{n}^{T} \end{matrix}] [\begin{matrix} q_{1} & q_{2} & \dots & q_{n} \end{matrix}] = I_{n} .

这条式子不要求 $Q$ 是方阵；当 $Q \in R^{m \times n}$ 且 $m > n$ 时， $Q^{T}$ 只是左逆，不能写成普通逆矩阵。

与正交矩阵的边界

若 $Q$ 同时是方阵，则 $Q^{T} Q = I$ 推出

Q Q^{T} = I, Q^{T} = Q^{- 1} .

这时 $Q$ 是正交矩阵，它的行向量和列向量都构成全空间的标准正交基。正交矩阵保持长度与角度：

∥ Q x ∥^{2} = (Q x)^{T} (Q x) = x^{T} Q^{T} Q x = ∥ x ∥^{2},

并且

(Q x)^{T} (Q y) = x^{T} Q^{T} Q y = x^{T} y .

若 $Q$ 不是方阵，上述保持长度的结论对输入坐标 $x \in R^{n}$ 仍成立，即 $∥ Q x ∥ = ∥ x ∥$ ；但 $Q Q^{T}$ 不再是恒等矩阵，而是投影到 $Q$ 的列空间。

投影和坐标

设 $Q$ 的列张成子空间 $C (Q)$ 。把向量 $b$ 投影到 $C (Q)$ 时，标准正交性使正规方程直接退化为

\hat{x} = Q^{T} b, p = Q \hat{x} = Q Q^{T} b .

其中 $\hat{x}$ 的第 $i$ 个分量就是 $q_{i}^{T} b$ ，也就是 $b$ 沿 $q_{i}$ 的一维投影系数。投影矩阵为

P = Q Q^{T}, P^{2} = P, P^{T} = P .

只有当 $Q$ 是覆盖全空间的方阵标准正交基时，才有 $Q Q^{T} = I$ ，于是 $p = b$ ，并且

b = q_{1} (q_{1}^{T} b) + q_{2} (q_{2}^{T} b) + \dots + q_{n} (q_{n}^{T} b) .

若 $Q$ 只给出真子空间的标准正交基， $Q Q^{T} b$ 只是 $b$ 在该子空间中的最佳近似。

例如

Q = \frac{1}{3} [\begin{matrix} - 1 & 2 & 2 \\ 2 & - 1 & 2 \\ 2 & 2 & - 1 \end{matrix}]

的三列是 $R^{3}$ 的标准正交基。对 $b = (0, 0, 1)^{T}$ ，

q_{1}^{T} b = \frac{2}{3}, q_{2}^{T} b = \frac{2}{3}, q_{3}^{T} b = - \frac{1}{3} .

前两个一维分量之和

\frac{2}{3} q_{1} + \frac{2}{3} q_{2}

是 $b$ 到 $span {q_{1}, q_{2}}$ 的投影；三个分量全部相加时，因为 $Q$ 是方阵标准正交矩阵，

\frac{2}{3} q_{1} + \frac{2}{3} q_{2} - \frac{1}{3} q_{3} = b .

这说明标准正交基把一个向量拆成互相垂直的一维投影，再由这些分量相加重构。

构造方式

格拉姆-施密特正交化从线性无关向量 $a, b, c$ 出发，先构造正交向量 $A, B, C$ ，再单位化：

A = a,

B = b - \frac{A^{T} b}{A^{T} A} A,

C = c - \frac{A^{T} c}{A^{T} A} A - \frac{B^{T} c}{B^{T} B} B .

最后令

q_{1} = \frac{A}{∥ A ∥}, q_{2} = \frac{B}{∥ B ∥}, q_{3} = \frac{C}{∥ C ∥} .

每一步都把新向量中沿已有方向的投影减掉，所以保留原来的张成空间，同时把列之间的耦合消去。实际数值计算中，修正Gram-Schmidt会一次减去一个投影，通常比一次性减去全部投影更稳定。

一个具体三向量过程是

a = [\begin{matrix} 1 \\ - 1 \\ 0 \end{matrix}], b = [\begin{matrix} 2 \\ 0 \\ - 2 \end{matrix}], c = [\begin{matrix} 3 \\ - 3 \\ 3 \end{matrix}] .

先得

A = a, B = b - \frac{A^{T} b}{A^{T} A} A = [\begin{matrix} 1 \\ 1 \\ - 2 \end{matrix}],

再得

C = c - \frac{A^{T} c}{A^{T} A} A - \frac{B^{T} c}{B^{T} B} B = [\begin{matrix} 1 \\ 1 \\ 1 \end{matrix}] .

此时 $A^{T} B = A^{T} C = B^{T} C = 0$ ，长度分别为 $\sqrt{2}, \sqrt{6}, \sqrt{3}$ ，所以除以这些长度后得到标准正交列 $q_{1}, q_{2}, q_{3}$ 。

与 QR 分解

若 $A = [a_{1} \dots a_{n}]$ 的列线性无关，Gram-Schmidt 产生的标准正交列组成 $Q = [q_{1} \dots q_{n}]$ 。每个 $a_{j}$ 都只需要前 $j$ 个 $q_{i}$ 表示：

a_{j} = r_{1 j} q_{1} + \dots + r_{j j} q_{j} .

因此

A = Q R, R = Q^{T} A,

其中

R = [\begin{matrix} q_{1}^{T} a_{1} & q_{1}^{T} a_{2} & \dots & q_{1}^{T} a_{n} \\ 0 & q_{2}^{T} a_{2} & \dots & q_{2}^{T} a_{n} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & q_{n}^{T} a_{n} \end{matrix}]

是上三角矩阵。最小二乘问题 $min_{x} ∥ A x - b ∥$ 因 $A = Q R$ 化为

A^{T} A = R^{T} Q^{T} Q R = R^{T} R,

从而

R \hat{x} = Q^{T} b .

这比直接处理 $A^{T} A \hat{x} = A^{T} b$ 更适合计算，因为核心只剩下标准正交投影和上三角回代。