机器学习不是「更复杂的 if-else」

传统编程是你把规则写死：输入满足某条件就输出某结果，规则由人总结。机器学习反过来：你给模型大量「输入—正确输出」的样本，它自己调整内部参数，学出一个能对没见过的新输入做预测的函数。样本越多、质量越高，这个函数通常越可靠。核心区别在于，规则不是人手写的，而是从数据里估计出来的。

三类机器学习问题

大模型的训练是多种范式的组合：预训练阶段更像无监督（从海量无标注文本里学下一个词），监督微调是监督学习（带示范答案），而 RLHF 用强化学习根据人类偏好进一步调整。先把这三类分清楚，后面才不会混淆。

一条标准的机器学习工作流

为什么要把数据切成训练集、验证集、测试集三份？训练集用来学参数；验证集用来比较不同模型和超参数，相当于模拟考；测试集只在最后用一次，相当于高考，用来估计模型在真实新数据上的表现。如果用测试数据反复调参，等于提前偷看高考题，估出来的成绩是虚高的。

损失、拟合与泛化

模型的预测和真实标签之间的差距用损失函数（loss）量化，训练就是不断调整参数让训练集上的平均损失下降。但训练集上的好成绩不等于真实能力：欠拟合是模型太简单、连训练数据都没学好；过拟合是把训练数据的噪声也背了下来，一遇到新数据就翻车。真正要的是泛化能力——在没见过的数据上依然表现好。偏差—方差权衡、正则化、交叉验证这些方法，本质上都是在和过拟合打交道，第 4 课会系统讲。

小测验