多分类网络最后一层几乎固定是「softmax + 交叉熵」，这一节把它的梯度亲手推出来

模型最后输出一串任意实数 logits，softmax 把它们变成和为 1 的类别概率，交叉熵再把概率和 one-hot 标签变成标量损失。为什么是这个组合、它的梯度长什么样、为什么比 MSE 更适合分类？这一节全部用推导和手算回答。因果链：logits 经 softmax 归一为概率 → one-hot 下交叉熵退化为 −log s_c → 对 logits 求导得到极简的 s−y → 对比 MSE 说明其优势 → 用困惑度度量语言模型、用标签平滑校准过度自信。

3.1 softmax：把任意实数压成和为 1 的概率

softmax 对 logits z=(z₁…z_K) 定义 s_k=e^z_k/Σⱼe^z_j。指数保证结果非负，除以总和保证 Σs_k=1；它是「软」的 argmax——最大的 logit 对应最大概率，但不会把概率全占了，两个 logit 差距越大，结果越接近 one-hot。直接算 e^z 有问题，z 很大的时候数值会溢出。数值稳定的做法是先减最大值：s_k=e^z_k−m/Σe^z_j−m（m=max z），分子分母同乘 e^−m，结果不变，但指数不会再爆炸。

手算 z=[2.0,1.0,0.1]：减不减最大值结果相同，e²≈7.389、e¹≈2.718、e⁰.1≈1.105，总和≈11.212，于是 s≈[0.659,0.242,0.099]，和为 1。注意 softmax 对整体加常数不变（只关心 logits 之差），所以最后一层常不设偏置也能正常分类。

softmax 有两个必须会用的代数性质。第一个是平移不变：给所有 logit 同加常数 c，s_k=e^z_k+c/Σe^z_j+c=e^c·e^z_k/(e^c·Σe^z_j)=原式，所以只有 logits 之差有意义，这也正是「减去最大值做稳定化」合法的根据。第二个是它和 argmax 的关系：带温度 T 时 s_k=e^z_k/T/Σe^z_j/T，T→0 收敛为 one-hot（最大分量为 1）、T→∞ 收敛为均匀分布，普通 softmax 是 T=1 的折中；argmax 不可导而 softmax 处处可导，需要「软的最大值」做梯度优化时就用它。

3.2 one-hot 下交叉熵退化为 −log s_c

分类标签是 one-hot 向量 y，正确类 c 处为 1、其余为 0。交叉熵 L=−Σₖyₖln sₖ 里只有 y_c=1 的那一项能留下来，所以 L=−ln s_c。损失只看模型给正确类的概率：给得越接近 1，损失越接近 0；给得越低，损失越大，而且是按对数急剧往上窜的。这就是 l2 恒等式在 H(P)=0 时的特例，也是最大似然的逻辑——最大化正确类的似然 s_c，跟最小化 −ln s_c 是一回事。

沿用上例 s_c=0.659，L=−ln0.659≈0.417。两个极端帮你建立直觉：要是模型完美，s_c=1，那 L=−ln1=0；要是把正确类概率压到 0.01，L=−ln0.01≈4.605，梯度也跟着变大，逼着模型快速纠正。交叉熵对「严重错误」给的是强梯度，这刚好是分类训练想要的。

3.3 核心推导：交叉熵对 logits 的梯度恰为 s−y

这是必须会独立推的结果。由 L=−ln s_c 与 ln s_c=z_c−lnΣⱼe^z_j，分两种情况对 z_k 求导。当 k=c：∂ln s_c/∂z_c=1−e^z_c/Σ=1−s_c，故 ∂L/∂z_c=−(1−s_c)=s_c−1。当 k≠c：∂ln s_c/∂z_k=−e^z_k/Σ=−s_k，故 ∂L/∂z_k=s_k。

两种情况用 one-hot y_k 合并成一个极简式：∂L/∂z_k=s_k−y_k。手算上例（y=[1,0,0]）梯度=s−y=[−0.341,0.242,0.099]：正确类得到负梯度（−0.341），把它的 logit 往上推；每个错误类得到与其概率成正比的正梯度（0.242、0.099），把它们往下压。梯度之和为 0，这是 softmax 平移不变性的体现。预测越错（s_c 越小），正确类梯度 s_c−1 越接近 −1，更新越猛；预测越对，梯度越接近 0，自然停止。

把「交叉熵如何约掉 softmax 导数」用链式法则再推一遍，你会更信这个结果。单个 softmax 的雅可比为 ∂s_k/∂z_j=s_k(δ_kj−s_j)：对角元 s_k(1−s_k)、非对角元 −s_ks_j；交叉熵对概率的导数 ∂L/∂s_k=−y_k/s_k。链式合并 ∂L/∂z_j=Σ_k(−y_k/s_k)·s_k(δ_kj−s_j)=−y_j+s_j·Σ_k y_k，one-hot 时 Σy_k=1，于是等于 s_j−y_j。复杂的雅可比与 1/s 恰好抵消，只剩误差本身，这也是框架把 LogSoftmax 与 NLLLoss 融合实现、数值更稳的代数原因。

3.4 困惑度：语言模型的「等概率候选数」

语言模型逐词预测分布，用平均交叉熵衡量，取指数得到困惑度 PPL=exp(平均 NLL)（nat）或 2^{平均交叉熵 bit}。它的解释很直观：模型在每个位置相当于在 PPL 个等概率候选词之间犹豫。PPL 越小越好：PPL=1 表示完全确定、百发百中；PPL=10 相当于平均在 10 个等可能词里选。手算例子：若平均交叉熵（nat）=ln10≈2.303，则 PPL=e².303=10。

注意：PPL 和交叉熵是单调一一对应的。降低 PPL 就是降低交叉熵。大家习惯报 PPL，只是因为「候选词个数」比「奈特数」更符合直觉。不同分词器（tokenizer）会改变词表和每个词的概率。跨模型比 PPL 必须用相同分词和相同测试集，否则数字不可比。

记三个口算锚点就行：平均每词负对数似然是 ln2≈0.693 nat 的时候，PPL=2（对应两个候选）；是 ln10≈2.303 的时候，PPL=10；是 0 的时候，PPL=1。字符级模型还常用 bits-per-character=平均交叉熵(bit)/字符数，它和词级 PPL 粒度不一样，不能直接比，得先统一到同一 token 粒度再下结论。

3.5 标签平滑：别让模型把概率押成 0 和 1

one-hot 硬目标逼模型给正确类打 1、其余类打 0，会导致过度自信（over-confidence）、logits 越拉越大、泛化与校准变差。标签平滑把目标改了：每一类都留 ε/K 的保底概率，公式是 y_smooth=(1−ε)y+ε/K——正确类变成 (1−ε)+ε/K，其余各类变成 ε/K。K=3、ε=0.1 时，目标从 [1,0,0] 变成 [0.933,0.033,0.033]（各类概率和仍为 1）。它相当于给分布加了个均匀先验，属于一种正则，约束模型别把错误类的概率压到 0，在图像分类、翻译任务里常能提升校准效果和鲁棒性。代价是训练达不到 0 损失——因为目标本身就不是 one-hot 形式的。

标签平滑为什么能改善校准？硬目标训练到后期，正确类 logit 会趋向无穷大——因为 CE 只在 s_c=1 时才取 0，模型对错误答案「过度确定」，置信度远高于真实正确率，期望校准误差会变差。平滑后正确类目标概率有上界 (1−ε)+ε/K<1，最优 logit 被拉回有限值，置信度和真实正确率更一致。代价是训练交叉熵的下界变成 −ln(1−ε+ε/K)>0，看到损失稳定降不到 0 别误判为没收敛——那正是平滑在起作用。

本节小结

一条推导链：softmax s_k=e^z_k/Σe^z_j（减 max 防溢）把 logits 归一为概率（手算 [0.659,0.242,0.099]）→ one-hot 下交叉熵 L=−ln s_c（=0.417，完美时为 0）→ 分两种情况求导合并得 ∂L/∂z=s−y=[−0.341,0.242,0.099]，错误越大梯度越大、分量和为 0 → 相比之下 softmax+MSE 会梯度饱和，故分类用 CE → PPL=exp(平均CE) 表等概率候选数、标签平滑用 (1−ε)y+ε/K 防过度自信。