给一堆散点画一条最贴合的直线——最小二乘就是这个直觉的严格化

生活里你早做过最小二乘：身高和体重摆在坐标系里是一簇散点，你想画一条直线「大致穿过这群点」，让每个点到直线的竖直距离都别太大。这节要做的，就是把「画一条最贴合的直线」这件凭感觉做的事，变成可以一步步推导、能算出确定答案的数学。

因果线如下：先用高中的 y=wx+b 写出这条直线 → 定义「误差平方和」作为衡量贴合好坏的分数 → 对 w、b 分别求导、令导数等于 0，解出最优直线 → 再把这组方程改写成紧凑的矩阵形式，得到机器学习里反复出现的闭式解 β=(XᵀX)⁻¹Xᵀy → 最后问一句：既然有这么漂亮的闭式解，神经网络为什么不直接套公式，非要一圈圈迭代？

1.1 生活直觉：为什么要「平方」误差，而不是直接相加

拿到三个点 (1,2)、(2,2)、(3,4)，每条直线 y=wx+b 都对应一组竖直误差：预测值减去真实值。直接把误差相加有个大毛病——正误差和负误差会互相抵消，一条「一半偏高、一半偏低」的直线也能加出 0，看起来完美，其实很差。

平方一下就干净了：每个误差先平方再加起来，正负号一律变正，再也无法互相抵消。这个「误差平方和」记作 S，谁的 S 最小，谁就是最贴合的直线。平方还有个好处：它处处光滑可导（m2 学过，光滑才好求导找最低点），而取绝对值 |误差| 在折线处不可导。这就是「最小二乘」名字的由来——最小化误差平方和。

1.2 从高中知识搭桥：直线、斜率与「求导=0 找最低点」

先把要用的旧知识摆出来，每个首次出现的符号都标读法：•直线 y = w·x + b：w 是斜率（每多 1 单位 x，y 多多少），b 是截距（x=0 时的高度）。•残差 rᵢ（读「r i」）= 真实 yᵢ − 预测值 = yᵢ − (w·xᵢ + b)。•平方和 S = Σᵢ rᵢ²，Σ 是求和号，把所有样本的残差平方加起来。•「对 w 求导令其等于 0」：m2 讲过，光滑函数在最低点处切线水平、导数为 0。把 S 看成只关于 w 的函数（b 暂时固定），S 对 w 的导数为 0 的那个 w，就是让 S 最小的斜率。对 b 同理。两个方程联立，就能同时解出 w 和 b。

1.3 严格表述：对 w、b 求导 = 0，解出正规方程

设三个点 (1,2)、(2,2)、(3,4)，把残差平方和逐项写开：S = (2 − w − b)² + (2 − 2w − b)² + (4 − 3w − b)²。对 b 求导（每项用链式法则：先对括号整体求导乘 2 倍，再乘括号里对 b 的系数 −1）：∂S/∂b = −2[(2−w−b) + (2−2w−b) + (4−3w−b)] = −2[8 − 6w − 3b]。令它等于 0：8 − 6w − 3b = 0，即 6w + 3b = 8。对 w 求导（第二项括号里对 w 的系数是 −2，第三项是 −3）：∂S/∂w = −2[1·(2−w−b) + 2·(2−2w−b) + 3·(4−3w−b)] = −2[18 − 14w − 6b]。令它等于 0：14w + 6b = 18。于是得到两个二元一次方程（这就叫正规方程的雏形）： 6w + 3b = 8 14w + 6b = 18从第一式解出 b = (8 − 6w)/3，代入第二式：14w + 6·(8−6w)/3 = 18，即 14w + 2(8−6w) = 18 → 14w + 16 − 12w = 18 → 2w = 2 → w = 1。回代得 b = (8−6)/3 = 2/3 ≈ 0.667。

1.4 手算小例：从「竖直误差」到 SSE，再到矩阵形式

把刚解出的 w=1、b=2/3 代回每个点，看预测与残差（每步中间值都写出来，你拿纸笔能复现）：•点1 x=1：ŷ₁ = 1·1 + 2/3 = 5/3 ≈ 1.667；残差 r₁ = 2 − 5/3 = 1/3 ≈ 0.333。•点2 x=2：ŷ₂ = 1·2 + 2/3 = 8/3 ≈ 2.667；残差 r₂ = 2 − 8/3 = −2/3 ≈ −0.667。•点3 x=3：ŷ₃ = 1·3 + 2/3 = 11/3 ≈ 3.667；残差 r₃ = 4 − 11/3 = 1/3 ≈ 0.333。误差平方和 SSE = (1/3)² + (−2/3)² + (1/3)² = 1/9 + 4/9 + 1/9 = 6/9 = 2/3 ≈ 0.667。这就是「所有直线里最小的那个分数」。

现在把它写成矩阵形式，这是机器学习教材里的标准长相。把每个样本的截距项 1 和特征 x 并排，排成设计矩阵 X（3 行 2 列）：X = [[1,1],[1,2],[1,3]]，目标向量 y = [2,2,4]ᵀ，待求参数 β = [b, w]ᵀ。严格结论：最小二乘的解是 β = (XᵀX)⁻¹Xᵀy，读作「β 等于 X 转置乘 X 的逆，再乘 X 转置乘 y」。其中 Xᵀ 是把 X 行列互换；上标 −1 表示矩阵求逆（类比数的倒数）。

手算验证这台机器确实给出 β=[2/3, 1]：•XᵀX = [[1,1,1]·X 按列点积] = [[3, 6],[6, 14]]（3 是 3 个 1 相加；14 = 1²+2²+3²）。•Xᵀy = [1·2+1·2+1·4, 1·2+2·2+3·4] = [8, 18]。•det(XᵀX) = 3·14 − 6·6 = 42 − 36 = 6（非 0，所以可逆）。•二阶矩阵求逆公式 (1/det)[[d,−b],[−c,a]]：(XᵀX)⁻¹ = (1/6)[[14,−6],[−6,3]] = [[7/3,−1],[−1,1/2]]。•β = (XᵀX)⁻¹(Xᵀy) = [[7/3,−1],[−1,1/2]]·[8,18] = [7/3·8 − 1·18, −1·8 + 1/2·18] = [56/3−18, −8+9] = [2/3, 1]。矩阵法与逐点求导法得到完全一样的 b=2/3、w=1，互相印证。

1.5 为什么 AI / 大模型需要它：从一条直线到一片损失曲面

你刚做的事，就是一切监督学习的原型：假设函数（直线）→ 损失（SSE）→ 求最优参数。stage17 的线性回归课直接调用这个 β=(XᵀX)⁻¹Xᵀy，机器学习入门那一节讲「训练=最小化损失」，根子就在这里——均方误差 MSE 就是最小二乘的损失，而 m3 已讲过它等价于「高斯噪声假设下的极大似然」。

本节小结

串成一条线：用直线 y=wx+b 拟合散点，为避免正负误差互相抵消，平方后相加得到损失 S=Σ(yi−wxi−b)² → 对 w、b 分别求导令其为 0，解出正规方程，本例 w=1、b=2/3、SSE=2/3 → 补一列 1 把截距收进设计矩阵 X，问题紧凑写成 β=(XᵀX)⁻¹Xᵀy，手算 XᵀX=[[3,6],[6,14]]、det=6 验证一致 → 线性回归因损失凸、参数少才有闭式解；深度网络非凸、参数海量，求不出解析式，只能用 m2 的梯度下降一圈圈逼近。下一课把「单个偏导」升级成「多个偏导排成的一张表」——雅可比矩阵。