没有标准答案，只有做完之后的奖惩

监督学习每一步都有正确标签；强化学习（RL）面对的是序列决策：智能体在环境中观察到状态，选择动作，环境返回新状态和奖励，如此循环。很多时候单步没有标准答案，要等一连串动作结束后才知道好坏（下棋要到终局才知胜负）。学习目标是找到一个策略，让长期累积奖励最大。

五个核心概念

折扣回报与策略梯度

未来的奖励要打折扣再累加：越远的奖励权重越低（折扣因子 γ 在 0~1 之间），这既符合「眼前更重要」的直觉，也让数学上更易收敛。策略梯度方法的思路很直接：策略是带参数的、能生成动作概率分布的模型，若某次动作最终带来高回报，就提高它以后出现的概率，反之降低——沿「能提高期望回报」的方向更新策略参数。

强化学习最难的一点，是「功劳归谁」。下一盘棋，要到几十步之后终局才知道输赢，可这中间走了几十步棋——到底是哪一步导致了胜利？这叫信用分配问题。监督学习每步都有标准答案，立刻知道对错；RL 却只有一个遥远的、整局共享的结果信号，得想办法把这个最终的奖惩分摊到一路上的每一步动作上。折扣因子 γ 在这里起了大作用：它让远期奖励越打越弱，数学上保证累加不会发散，也符合「越近的动作对眼前结果影响越大」的现实。策略梯度的逻辑因此显得朴素而有力：别纠结每一步具体该怎么精确归因，只要某条完整轨迹最后回报高，就整体抬高产生这条轨迹的动作概率；回报低就压低。反复采样、反复调整，策略自然朝高回报方向移动。它样本效率低、训练不稳，但不需要人类逐动作标注，只要一个能判好坏的信号就行。

这个权衡在日常生活里随处可见：总去你最爱的那家餐厅（利用），可能错过隔壁更好的新店（探索）；但每顿都随机新店（探索），又常常踩雷。强化学习算法要显式地处理这个平衡——太保守会困在次优解里，太激进又学不到稳定策略。放到对齐场景也一样：如果模型每次都选当前奖励模型打分最高的回答，它会迅速收敛到一种「安全但千篇一律」的风格，丧失多样性和创造力；保留一定探索，才能覆盖更多样、更贴合真实用户的表达。这也是为什么 PPO 里要加 KL 约束、防止策略更新得太狠——既往奖励方向走，又别把模型原本的能力和多样性丢光。

为什么对齐大模型要用 RL

「好回答」往往没有唯一标准答案：同一个问题，多个回答都正确，但有的更有帮助、更得体、更安全，这是一种偏序偏好而非对错标签。监督学习只能模仿固定示范，强化学习却能根据一个「打分信号」（奖励模型）在模型自己生成的众多回答中，朝人类更偏好的方向持续优化。理解了策略梯度「好就提高概率」的逻辑，下一讲 RLHF 就是把「奖励」替换成人类偏好模型而已。

奖励设计是 RL 的命门，也是最容易翻车的地方。你给智能体什么信号，它就往什么方向 optimize，而且常常「钻空子」——这叫奖励黑客：你奖励「回答越长越好」，它就啰嗦地灌水；你奖励「看起来自信」，它就一本正经地胡说八道。RL 里有句老话：要小心你奖励的东西，因为你最后得到的往往不是你真正想要的。这也是为什么对齐不能只靠一个粗糙的打分模型，而要叠加多个约束、安全护栏和人工审核——奖励信号从来只是真实意图的近似，近似得不好，模型就会沿着错误的方向越优化越偏。理解这一点，就能理解为什么后面讲 RLHF 时要反复强调「约束模型别偏离 SFT 太远」：那正是在给奖励黑客上保险。