二次型

Quadratic Form

在线性代数和优化理论中非常重要

含有 $n$ 个变量 $x_{1}, x_{2}, \dots, x_{n}$ 的二次齐次函数称为二次型，若二次型只含有平方项，则称为标准二次型

\begin{aligned} f (x_{1}, x_{2}, \dots, x_{n}) & = a_{11} x_{1}^{2} + \dots + a_{n n} x_{n}^{2} + 2 a_{12} x_{1} x_{2} + \dots + 2 a_{n - 1, n} x_{n - 1} x_{n} \end{aligned}

将 $a_{j i} = a_{i j}$ 即写为 $2 a_{i j} x_{i} x_{j} = a_{i j} x_{i} x_{j} + a_{j i} x_{j} x_{i}$ ，并写为矩阵的形式：

\begin{aligned} f & = a_{11} x_{1}^{2} + \dots + a_{n n} x_{n}^{2} + a_{12} x_{1} x_{2} + a_{21} x_{2} x_{1} + \dots + a_{n - 1, n} x_{n - 1} x_{n} + a_{n, n - 1} x_{n} x_{n - 1} \\ = x_{1} (a_{11} x_{1} + a_{12} x_{2} + \dots + a_{1 n} x_{n}) + \dots + x_{n} (a_{n 1} x_{1} + a_{n 2} x_{2} + \dots + a_{n n} x_{n}) \\ = (x_{1}, x_{2}, \dots, x_{n}) (\begin{array}{c} a_{11} & a_{12} & \dots & a_{1 n} \\ a_{21} & a_{22} & \dots & a_{2 n} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ a_{n 1} & a_{n 2} & \dots & a_{n n} \end{array}) (\begin{array}{c} x_{1} \\ x_{2} \\ ⋮ \\ x_{n} \end{array}) \\ = x^{T} A x \end{aligned}

$A$ 为对称矩阵，称为二次型的矩阵

寻找可逆的线性变换 $x = C y$ 使得原二次型变为标准型

{\begin{cases} x_{1} = c_{11} y_{1} + c_{12} y_{2} + \dots + c_{1 n} y_{n} \\ x_{2} = c_{21} y_{1} + c_{22} y_{2} + \dots + c_{2 n} y_{n} \\ \dots \dots \\ x_{n} = c_{n 1} y_{1} + c_{n 2} y_{2} + \dots + c_{n n} y_{n} \end{cases}

\begin{aligned} f & = x^{T} A x = (C y)^{T} A C y = y^{T} (C^{T} A C) y \\ = k_{1} y_{1}^{2} + k_{2} y_{2}^{2} + \dots + k_{n} y_{n}^{2} \\ = (y_{1} + y_{2} + \dots + y_{n}) (\begin{array}{c} k_{1} \\ k_{2} \\ ⋱ \\ k_{n} \end{array}) (\begin{array}{c} y_{1} \\ y_{2} \\ ⋮ \\ y_{n} \end{array}) \end{aligned}

对实对称矩阵 $S$ ，二次型

x^{T} S x

可以理解为由 $S$ 定义的能量。正定矩阵要求所有非零 $x$ 的能量为正；正半定矩阵则允许某些非零方向能量为零。

借助正交谱分解 $S = Q Λ Q^{T}$ ，令 $x = Q y$ ，可得标准形

x^{T} S x = y^{T} Λ y = λ_{1} y_{1}^{2} + \dots + λ_{n} y_{n}^{2} .

因此二次型分类最终落到特征值符号：全正为正定，非负为正半定，既有正又有负为不定。

若 $S$ 是实对称正定矩阵，则方程

x^{T} S x = 1

在二维中给出以原点为中心的椭圆，在 $n$ 维中给出椭球。由谱分解

S = Q Λ Q^{T}

并令 $X = Q^{T} x$ ，可化为主轴坐标下的标准形

X^{T} Λ X = λ_{1} X_{1}^{2} + \dots + λ_{n} X_{n}^{2} = 1.

椭圆的轴方向由 $S$ 的特征向量给出，半轴长为 $1 / \sqrt{λ_{i}}$ ；特征值越大，对应半轴越短。

例如

5 x^{2} + 8 x y + 5 y^{2} = 1

对应

S = (\begin{matrix} 5 & 4 \\ 4 & 5 \end{matrix}) .

它的单位特征向量方向为

\frac{1}{\sqrt{2}} (1, 1)^{T}, \frac{1}{\sqrt{2}} (1, - 1)^{T},

特征值分别为 $9$ 和 $1$ 。令

X = \frac{x + y}{\sqrt{2}}, Y = \frac{x - y}{\sqrt{2}},

则

5 x^{2} + 8 x y + 5 y^{2} = 9 X^{2} + Y^{2},

所以椭圆化为

9 X^{2} + Y^{2} = 1.

二次型也是多元函数二阶近似的核心。若函数 $F$ 在某点一阶导数为零，则该点附近的主要变化由 Hessian 矩阵决定：

H = (\begin{matrix} F_{x x} & F_{x y} \\ F_{y x} & F_{y y} \end{matrix}) .

当 $H$ 正定时，二次主部 $h^{T} H h$ 在所有非零方向上为正，图像在该点附近像向上的碗，因此该临界点是局部极小点；当 $H$ 不定时，不同方向上二次型符号相反，对应鞍点。三变量时 Hessian 扩展为

H = (\begin{matrix} F_{x x} & F_{x y} & F_{x z} \\ F_{y x} & F_{y y} & F_{y z} \\ F_{z x} & F_{z y} & F_{z z} \end{matrix}) .