协方差

Covariance) $C o v (X, Y$

反映随机变量之间依赖关系的一个数字特征

一、基本定义

协方差定义为：｛(一个随机变量减去其期望) 乘以 (另一个随机变量减去其期望)｝的期望，实际上就是随机变量的函数的期望

\begin{aligned} C o v (X, Y) & = E {[X - E (X)] [Y - E (Y)]} \\ = E (X Y) - E (X) E (Y) \end{aligned}

若 $X$ 的取值为 $x_{i}$ ， $Y$ 的取值为 $y_{j}$ ，联合概率为

p_{i j} = P (X = x_{i}, Y = y_{j}),

并记 $m_{1} = E (X)$ 、 $m_{2} = E (Y)$ ，则二者的协方差是

σ_{12} = \sum_{i} \sum_{j} p_{i j} (x_{i} - m_{1}) (y_{j} - m_{2}) .

这里必须使用联合概率 $p_{i j}$ 。两个变量各自的边缘概率只能给出各自均值和方差，不能决定“高于均值的 $X$ 是否常常和高于均值的 $Y$ 同时出现”。

\begin{aligned} C o v (X, Y) & = E [X Y + E (X) E (Y) - X E (Y) - Y E (X)] \\ = E (X Y) + E (X) E (Y) - E (Y) E (X) - E (X) E (Y) \\ = E (X Y) - E (X) E (Y) \end{aligned}

特别的，当 $X, Y$ 独立时， $E (X Y) = E (X) E (Y)$ ，所以协方差 $C o v (X, Y) = 0$

协方差的数值大小受变量单位和量级的影响，因此它不是一个标准化的度量，受 $X, Y$ 本身度量单位的影响, 引出相关系数 $ρ_{X Y}$

\begin{aligned} ρ_{X Y} & = \frac{C o v (X, Y)}{\sqrt{D (X) D (Y)}} \\ C o v (X, Y) & = ρ_{X Y} \sqrt{D (X) D (Y)} \end{aligned}

二、协方差的性质

\begin{aligned} C o v (X, X) = D (X) \\ C o v (X, Y) = C o v (Y, X) \\ C o v (a X, b Y) = a b C o v (X, Y) \\ C o v (C, X) = 0 C 为 常 数 \\ C o v (X_{1} + X_{2}, Y) = C o v (X_{1}, Y) + C o v (X_{2}, Y) \end{aligned}

协方差与方差的关系：

D (X + Y) = D (X) + D (Y) + 2 C o v (X, Y)

当 $X, Y$ 独立时， $D (X + Y) = D (X) + D (Y)$

\begin{aligned} C o v (X_{1} + X_{2}, Y_{1} + Y_{2}) & = C o v (X_{1}, Y_{1} + Y_{2}) + C o v (X_{2}, Y_{1} + Y_{2}) \\ = C o v (X_{1}, Y_{1}) + C o v (X_{1}, Y_{2}) + C o v (X_{2}, Y_{1}) + C o v (X_{2}, Y_{2}) \end{aligned}

三、联合概率、独立与边界

协方差衡量的是中心化后的乘积平均值：若 $X - m_{1}$ 与 $Y - m_{2}$ 经常同号，协方差为正；若经常异号，协方差为负；若正负抵消，则协方差为零。

当 $X, Y$ 独立时， $p_{i j} = p_{i} P_{j}$ ，于是

\begin{aligned} σ_{12} & = \sum_{i} \sum_{j} p_{i} P_{j} (x_{i} - m_{1}) (y_{j} - m_{2}) \\ = [\sum_{i} p_{i} (x_{i} - m_{1})] [\sum_{j} P_{j} (y_{j} - m_{2})] = 0. \end{aligned}

所以独立一定推出零协方差。但零协方差只说明线性共同变化为零，并不一般推出独立。例如令 $X \in {- 1, 0, 1}$ 等概率取值，令 $Y = X^{2}$ 。此时 $E (X) = 0$ 、 $E (X Y) = E (X^{3}) = 0$ ，所以 $C o v (X, Y) = 0$ ；但 $Y$ 完全由 $X$ 决定，二者显然不独立。

公平硬币例子能看出联合概率的作用。若两个硬币分开抛，四个结果 $(1, 1), (1, 0), (0, 1), (0, 0)$ 的概率都为 $\frac{1}{4}$ ，两个变量独立，协方差为 $0$ 。若两个硬币同面粘在一起，只可能出现 $(1, 1)$ 与 $(0, 0)$ ，且概率各为 $\frac{1}{2}$ ，则 $m_{1} = m_{2} = \frac{1}{2}$ ，并且

σ_{12} = \frac{1}{2} {(1 - \frac{1}{2})}^{2} + \frac{1}{2} {(0 - \frac{1}{2})}^{2} = \frac{1}{4} .

此时 $σ_{1} = σ_{2} = \frac{1}{2}$ ，所以 $σ_{12} = σ_{1} σ_{2}$ ，达到最大正协方差。对应的二维协方差矩阵为

V_{glue} = [\begin{matrix} σ_{1}^{2} & σ_{1} σ_{2} \\ σ_{1} σ_{2} & σ_{2}^{2} \end{matrix}] = [\begin{matrix} \frac{1}{4} & \frac{1}{4} \\ \frac{1}{4} & \frac{1}{4} \end{matrix}],

其行列式为 $0$ ，表示两个变量完全线性依赖，协方差矩阵是奇异的。

协方差的绝对值受两个标准差约束：

| σ_{12} | \leq σ_{1} σ_{2} .

等号对应中心化变量几乎处处成线性比例；若某个变量方差为 $0$ ，它与任何变量的协方差都为 $0$ ，但这时不能再用相关系数衡量二者关系。

四、线性组合中的作用

协方差正是方差在加法下多出的交叉项。对两个有有限方差的变量，

V a r (x + y) = σ_{x}^{2} + σ_{y}^{2} + 2 σ_{x y} .

因此正协方差会放大和的方差，负协方差会抵消一部分方差；当 $x, y$ 独立时，交叉项消失。