相关系数

Correlation Coefficient) $ρ_{X Y}$

刻画了随机变量之间的线性相关程度

\begin{aligned} ρ_{X Y} & = \frac{C o v (X, Y)}{\sqrt{D (X) D (Y)}} = \frac{E [(X - E (X)) (Y - E (Y))]}{\sqrt{D (X) D (Y)}} \\ = E [(\frac{X - E (X)}{\sqrt{D (X)}}) (\frac{Y - E (Y)}{\sqrt{D (Y)}})] \end{aligned}

协方差的一种标准化形式，它通过除以两个变量的标准差来消除量纲和量级的影响，使得相关系数的值域在 -1 到 1 之间。 $| ρ_{X Y} | \leq 1$
提供了一个无单位的度量，使得不同数据集的相关性可以进行比较。
$| ρ_{X Y} |$ 的值越接近 1，线性相关程度越高； $| ρ_{X Y} |$ 的值越接近 0，线性相关程度越弱
$| ρ_{X Y} | = 1$ ：存在常数 $a, b$ 使得 $P {Y = a + b x} = 1$ 。也称为 $Y$ 的变换完全由 $X$ 的线性函数给出
$ρ_{X Y} = 0$ ：称 $X, Y$ 不相关。

注意：

$X, Y$ 相互独立时， $ρ_{X Y} = 0$ ，称 $X, Y$ 不相关
但是 $X, Y$ 不相关，不一定能推出 $X, Y$ 相互独立
（如果 $X, Y$ 服从二维正态分布，则：相互独立与不相关等价）

均方误差 $e$ ：

\begin{array}{r} e = E [Y - (a + b X)]^{2} \end{array}

最小二乘法
用 $a + b X$ 来近似 $Y$ 的均方误差
当 $a_{0}, b_{0}$ 满足以下关系时，可以使得均方误差最小

\begin{aligned} a_{0} = E (Y) - E (X) \cdot \frac{C o v (X, Y)}{D (X)} b_{0} = \frac{C o v (X, Y)}{D (X)} \end{aligned}

均方误差的最小值：

\begin{aligned} m i n {e} & = E [Y - (a_{0} + b_{0} X)^{2}] = (1 - ρ_{X Y}^{2}) D (Y) \end{aligned}

AI 结构化补充（2026-05-02）

Correlation Coefficient) $ρ_{X Y}$

刻画了随机变量之间的线性相关程度

一、定义与标准化

\begin{aligned} ρ_{X Y} & = \frac{C o v (X, Y)}{\sqrt{D (X) D (Y)}} = \frac{E [(X - E (X)) (Y - E (Y))]}{\sqrt{D (X) D (Y)}} \\ = E [(\frac{X - E (X)}{\sqrt{D (X)}}) (\frac{Y - E (Y)}{\sqrt{D (Y)}})] \end{aligned}

若记 $σ_{x y} = C o v (X, Y)$ 、 $σ_{x} = \sqrt{D (X)}$ 、 $σ_{y} = \sqrt{D (Y)}$ ，则

ρ_{x y} = \frac{σ_{x y}}{σ_{x} σ_{y}} .

相关系数就是把 $X, Y$ 各自中心化并缩放到单位标准差后得到的协方差。它消除了量纲和尺度影响，所以变量从米换成厘米不会改变 $ρ$ 。

二、取值范围与含义

由 $| σ_{x y} | \leq σ_{x} σ_{y}$ 得到

- 1 \leq ρ_{x y} \leq 1.

$| ρ_{X Y} |$ 越接近 $1$ ，线性相关程度越高；越接近 $0$ ，线性共同变化越弱。
$ρ_{X Y} = 1$ 表示两个中心化变量同向成比例。
$ρ_{X Y} = - 1$ 表示两个中心化变量反向成比例。
$ρ_{X Y} = 0$ 称为不相关，只表示线性协方差为零。

若 $Y = - X$ 且 $D (X) > 0$ ，则 $σ_{y} = σ_{x}$ 、 $σ_{x y} = - σ_{x}^{2}$ ，所以

ρ_{x y} = - 1.

对应的二维相关矩阵为

R = [\begin{matrix} 1 & - 1 \\ - 1 & 1 \end{matrix}],

其行列式为 $0$ ，因为第二个变量完全由第一个变量线性决定。

三、独立、不相关与边界

$X, Y$ 相互独立时， $σ_{x y} = 0$ ，因此 $ρ_{X Y} = 0$ 。反过来， $ρ_{X Y} = 0$ 不一定推出独立。例如 $X \in {- 1, 0, 1}$ 等概率取值， $Y = X^{2}$ ，则 $C o v (X, Y) = 0$ ，但 $Y$ 由 $X$ 决定。

只有在额外结构下，例如 $(X, Y)$ 服从二维正态分布时，不相关才与独立等价。

相关系数需要 $σ_{x} > 0$ 且 $σ_{y} > 0$ 。若某个变量是常数，标准差为 $0$ ，协方差仍可定义，但相关系数没有定义。相关系数也只刻画线性关系，不能排除强非线性依赖。

四、与线性最小二乘

均方误差 $e$ ：

\begin{array}{r} e = E [(Y - (a + b X))^{2}] \end{array}

最小二乘法
用 $a + b X$ 来近似 $Y$ 的均方误差
当 $a_{0}, b_{0}$ 满足以下关系时，可以使得均方误差最小

\begin{aligned} a_{0} = E (Y) - E (X) \cdot \frac{C o v (X, Y)}{D (X)} b_{0} = \frac{C o v (X, Y)}{D (X)} \end{aligned}

均方误差的最小值：

\begin{aligned} m i n {e} & = E [(Y - (a_{0} + b_{0} X))^{2}] = (1 - ρ_{X Y}^{2}) D (Y) \end{aligned}