训练就是让模型分布 Q 不断逼近数据分布 P，而 KL 散度正是这「差距」的标尺

真实标签构成一个分布 P（one-hot 或软标签），模型 softmax 输出另一个分布 Q，损失函数要回答「Q 离 P 还差多远」。 这一节推导信息论里度量两个分布差异的两个核心量——KL 散度与交叉熵，并证明那条贯穿整个分类训练的恒等式：交叉熵=熵+KL。理解它，你就明白为什么最小化交叉熵等价于让模型分布逼近数据分布。 因果链：用对数似然比定义 KL → 由 ln x≤x−1 证其非负 → 交叉熵拆成熵加 KL → 固定 P 时最小化交叉熵=最小化 KL → JS 与正反向 KL 处理对称性与覆盖模式。

2.1 KL 散度：以 P 为基准衡量 Q 的额外代价

KL 散度（相对熵）定义为 D_KL(P‖Q)=Σₓ p(x)·log₂[p(x)/q(x)]=E_P[log(P/Q)]，bit 为单位（用 ln 即 nat）。 说人话就是：真实分布是 P，你偏用分布 Q 去编码，平均每个样本要比用最优的 P 多花多少比特。 注意：D_KL(P‖Q) 有方向，第一个 P 是「真实/基准」，加权的取值、期望的计算，全按 P 来。

手算一组（用 nat）。真实 P=[0.7,0.3]，候选 Q₁=[0.5,0.5]：D_KL(P‖Q₁)=0.7ln(0.7/0.5)+0.3ln(0.3/0.5)=0.7ln1.4+0.3ln0.6≈0.7×0.3365+0.3×(−0.5108)≈0.2355−0.1532=0.0823。再算反方向 D_KL(Q₁‖P)=0.5ln(0.5/0.7)+0.5ln(0.5/0.3)≈−0.1682+0.2554=0.0872。两个方向数值不同，直接说明 KL 不对称。

KL 还有两个等价形式要认得：D_KL(P‖Q)=E_P[log P]−E_P[log Q]=−H(P)−E_P[log Q]，也就是「负的 P 自身熵」减去「P 下 Q 的平均负对数似然」，它也等于用 Q 代替 P 所造成的对数损失增量（excess log-loss）。正因如此，模型评估里的对数损失、最小描述长度原理、变分推断全都能写成 KL。注意：期望按第一个分布 P 取——谁是基准就按谁的概率对各项加权，这决定了它在「P 有质量而 Q 给得少」的取值上惩罚极重。

2.2 证明 KL≥0：Gibbs 不等式

KL 非负不是拍脑袋的经验结论，靠一条简单不等式就能推出来。对任意 x>0 有 ln x≤x−1——你想啊，ln x 在 x=1 处的切线就是 x−1，整条曲线都在切线下面，等号只有 x=1 的时候才成立。令 x=q/p，按 P 加权再取负：−D_KL(P‖Q)=Σp ln(q/p)≤Σp(q/p−1)=Σ(q−p)=Σq−Σp=1−1=0，于是 D_KL(P‖Q)≥0，等号当且仅当处处 p=q。这就是 Gibbs 不等式。

这个证明同时解释了三件事：KL 为 0 当且仅当两分布完全相同（可作为「拟合到位」的判据）；它天然非负，适合当训练要最小化的目标；以及凡是「对数概率比的期望」形式的量都有这种非负结构（l4 的 ELBO、互信息都靠它）。要求 q(x)=0 而 p(x)>0 时 KL 趋于无穷——模型绝不能把真实可能出现的事件概率压成 0，这也是标签平滑与混合分布要避免零概率的原因。

2.3 交叉熵与核心恒等式 H(P,Q)=H(P)+KL(P‖Q)

交叉熵定义 H(P,Q)=−Σₓp(x)log q(x)：用模型分布 Q 的 −log q 当「编码长度」，却按真实 P 取期望。它能拆成两项：H(P,Q)=−Σp log q=−Σp log p+Σp log(p/q)=H(P)+D_KL(P‖Q)。第一项 H(P) 只由真实分布决定、与模型 Q 无关，是个常数；第二项才衡量 Q 与 P 的差距。

这条恒等式是分类训练的理论核心：训练数据固定后 H(P) 不变，所以「最小化交叉熵 H(P,Q)」与「最小化 KL(P‖Q)」是完全等价的优化问题——模型调 Q 去逼近 P。手算（nat）：P=[0.7,0.3] 的自身熵 H(P)=−0.7ln0.7−0.3ln0.3≈0.6109；对 Q₁=[0.5,0.5]，H(P,Q₁)=−(0.7+0.3)ln0.5=−ln0.5≈0.6931，于是 KL=0.6931−0.6109=0.0823，与 2.1 直接算的完全一致。

再拿个更「自信」的候选 Q₂=[0.9,0.1] 对照，你就能直观感受到——自信不等于准确。算一下：H(P,Q₂)=−0.7ln0.9−0.3ln0.1≈0.0738+0.6908=0.7645，对应的 KL 散度是 0.7645−0.6109=0.1537，反而比之前「平庸」的 Q₁ 效果更差。原因很直白：真实占比 0.3 的第二类，Q₂ 只给了 0.1 的概率，−ln0.1 带来的重罚，远远盖过它在第一类上押对的那点优势。交叉熵只罚「在真实类别上不够自信」，你在别的类上瞎极端自信，半毛钱好处都没有。

先把正确类概率 q_c 和交叉熵损失的对应关系列出来，帮你建立直觉：q_c=1→L=0；0.7→0.357；0.5→0.693；0.1→2.303；0.01→4.605。损失是关于 q_c 的凸函数，q_c 接近 0 时损失急剧上升，梯度 −1/q_c 也跟着变大——模型在「几乎全错」时收到的学习信号，远强于「基本正确」的时候。这和 MSE 那种有界的二次惩罚完全不同，也是分类任务偏爱交叉熵的原因之一。

再补一个三分类手算巩固「按 P 加权」的方向：P=[0.5,0.3,0.2]、Q=[0.4,0.4,0.2]，D_KL(P‖Q)=0.5ln(0.5/0.4)+0.3ln(0.3/0.4)+0.2ln(0.2/0.2)=0.5ln1.25+0.3ln0.75+0≈0.5×0.2231+0.3×(−0.2877)≈0.1116−0.0863=0.0253 nat，两分布越接近值越小；若 Q 在 P=0.2 的第三类给 0，则该项 0.2ln(0.2/0)→+∞，仅一个未覆盖取值就能让 KL 爆炸，再次说明 Q 的支撑集必须覆盖 P。

2.4 连续情形、JS 散度与工程注意

连续分布把求和换积分：D_KL(p‖q)=∫p(x)log[p(x)/q(x)]dx，变分自编码器里两个高斯的 KL 就有闭式解（l4 细算）。当需要一个真正对称、平滑、有界的度量时用 JS 散度 JSD(P,Q)=½KL(P‖M)+½KL(Q‖M)，M=½(P+Q)：它对称、非负、上界有限，GAN 早期的目标就与 JS 散度同源（后来因 JS 在不交叠分布上梯度为零而改用 Wasserstein 距离）。

顺带讲清 GAN 后来为什么弃 JS 改用 Wasserstein（推土机距离）：JS 与 KL 在两个分布支撑集不重叠时要么梯度恒为零（JS）、要么直接无穷大（KL），而高维空间里真实数据流形与生成流形维度都很低、几乎不可能相交重叠，原始 GAN 因而频繁梯度消失。Wasserstein 度量「把一堆概率土 P 搬运成 Q 的最小代价」，即便分布不重叠也平滑、能给出有意义的梯度，WGAN 据此显著稳定训练。这里不要求会推，而是让你建立选型直觉：选散度前先问「分布是否可能不交叠、梯度是否连续、是否需要对称有界」。

本节小结

一条推导链顺下来：KL(P‖Q)=E_P[log(P/Q)] 是以 P 为基准、用 Q 编码的额外代价 → 由 ln x≤x−1 推出 Gibbs 不等式 KL≥0、P=Q 才为 0，但方向不对称（手算 0.0823≠0.0872）→ 交叉熵 H(P,Q)=−Σp log q=H(P)+KL，固定 P 时最小化交叉熵=最小化正向 KL（数值 0.6109+0.0823=0.6931）→ 自信不等于准确（Q₂ 的 KL 0.1537 更大）→ 连续用积分、对称有界用 JS、生成模型按模态需求选正/反向 KL，并严防 log(0)。