熵

Entropy 熵

刻画系统宏观状态所对应的不确定性、无序程度或可实现微观状态数的物理量，是连接热力学、统计物理与信息论的核心概念。

在经典热力学中，熵是表征系统状态的状态函数。对可逆过程，有

d S = \frac{δ Q_{rev}}{T},

其中 $δ Q_{rev}$ 为可逆吸热， $T$ 为绝对温度。对从状态 $A$ 到状态 $B$ 的过程，熵变为

Δ S = S_{B} - S_{A} = \int_{A}^{B} \frac{δ Q_{rev}}{T} .

这个定义表明，熵并不是简单的"混乱程度"口号，而是与热交换和可逆过程紧密相关的严格物理量。

在统计物理中，玻尔兹曼公式给出熵的微观解释：

S = k_{B} \ln Ω,

其中 $k_{B}$ 为玻尔兹曼常数（ $k_{B} \approx 1.381 \times 10^{- 23} J / K$ ）， $Ω$ 表示与宏观状态相容的微观状态数。

更一般的 Gibbs 熵公式适用于非等概率分布：

S = - k_{B} \sum_{i} p_{i} \ln p_{i},

其中 $p_{i}$ 为系统处于第 $i$ 个微观状态的概率。当所有微观状态等概率（ $p_{i} = 1 / Ω$ ）时，Gibbs 熵退化为玻尔兹曼公式。

孤立系统的总熵不会自发减少，这就是热力学第二定律的典型表达：

Δ S_{孤立} \geq 0.

平衡态对应在给定约束下熵达到极大的状态，而非平衡态意味着系统内部仍存在流、梯度或持续交换过程。

在信息论中，Shannon 信息熵刻画离散随机变量 $X$ 的概率分布所携带的不确定性：

H (X) = - \sum_{i = 1}^{n} p (x_{i}) \log_{2} p (x_{i}),

单位为比特（bit）。若使用自然对数，则单位为纳特（nat）。

关键性质

对连续随机变量，定义微分熵：

h (X) = - \int_{- \infty}^{+ \infty} f (x) \ln f (x) d x,

其中 $f (x)$ 为概率密度函数。微分熵可取负值，与离散情况性质不同。

交叉熵与 KL 散度的关系

$H (p, q) = H (p) + D_{KL} (p ∥ q)$ ，因此最小化交叉熵等价于最小化 KL 散度。这是机器学习中交叉熵损失函数的理论基础。

二者形式上的相似并非偶然。令 $k_{B} = 1$ 并取自然对数，Gibbs 熵公式与 Shannon 熵在数学形式上完全一致。它们都反映了"一个宏观描述背后还剩多少可能性"这一更一般的结构。

Landauer 原理进一步揭示了物理联系：擦除 1 比特信息至少耗散能量 $k_{B} T \ln 2$ ，将信息论中的熵与热力学中的熵在物理层面联结起来。