一个神经元在算什么

人工神经元是对生物神经元的极简抽象：它接收若干输入 x，每个输入乘一个权重 w，求和再加偏置 b，得到线性结果 z；然后过一个激活函数 f，输出 a = f(z)。权重表示「这个输入有多重要」，偏置表示「默认的触发倾向」，激活决定「以多大强度向下一层输出」。

关键一问：为什么必须有激活函数

假设没有激活函数，无论叠多少层，每层都是线性变换 z=w·x+b。两层线性变换复合后仍是线性变换：W₂(W₁x+b₁)+b₂ = (W₂W₁)x + (W₂b₁+b₂)，等价于只有一层。也就是说，没有非线性，再深的网络也只是「换了件衣服的线性回归」，学不了曲线边界。激活函数引入非线性后，每层都能把数据「掰弯」一点，层层叠加就能逼近极其复杂的函数。

打个比方：线性变换像用直尺不断平移旋转，无论做多少次，画出来的还是一条直线；激活函数就是那把能把直线掰成折线、曲线的钳子。没有它，你把同一把直尺叠一千次，结果仍然是直线。正是每层「掰弯」一点点，几十层之后就能在高维空间里捏出任意复杂的决策边界——这就是为什么深度有意义、而深度又必须配非线性。这条逻辑后面会反复出现：卷积、注意力、FFN，再复杂的结构，如果中间没有非线性穿插，整体也会塌缩回一个线性模型。

常见激活函数与取舍

ReLU 之所以成为默认，是因为正区间梯度恒为 1，不会像 Sigmoid 那样在深处把梯度一层层乘没；但它在负区间梯度为 0，可能出现「神经元死亡」。GELU、Swish 等平滑变体在大模型里更常见，它们处处可导、训练更稳定，细节属于工程选型，记住「隐藏层默认 ReLU 系、输出层按任务选」即可。

为什么 Sigmoid 在深网里特别糟？看它两端的形状就知道：当输入很大或很小时，曲线几乎拉平，导数趋近于 0。反向传播时梯度要从输出一路连乘回输入，每经过一个 Sigmoid 就乘上一个小于 1、甚至接近 0 的因子，叠几十层后，靠近输入的层拿到的梯度几乎为零——参数像被冻住一样学不动，这就是梯度消失的经典来源。ReLU 正面解决了这点：正区间导数恒等于 1，连乘不会衰减，梯度能顺畅地传到深层。它的代价是负区间直接输出 0、梯度也为 0，一旦某个神经元长期落在负区就再也醒不过来（神经元死亡），于是又演化出 Leaky ReLU（给负区留一条极小斜率）、GELU（平滑过渡）等修补方案。输出层为什么另选：做二分类就用 Sigmoid 压成概率，做多分类用 Softmax 把多类压成和为 1 的概率分布，做回归则直接线性输出，不加激活。

多层感知机 MLP 的结构

层与层之间是全连接的：每个神经元都和上一层所有神经元相连。浅层学到的是边缘、组合这类基础特征，越往深越抽象。参数量随「输入维度 × 神经元数」累加，这也是为什么处理图像时全连接会爆炸、需要 CNN 的局部连接。

全连接的「全」既是优点也是诅咒：它不假设数据有任何结构，理论上最自由，但自由度太高也意味着把大量参数花在无关连接上。一张中等尺寸的图片拉直成向量就是上万维，再接一层几千个神经元，光是这一层的权重矩阵就有上千万参数，既慢又极易过拟合。更糟的是它完全无视「相邻像素才相关」这件天然事实——把图片左右翻转、平移一下，全连接层的输入向量就全乱了，它却得从零重新学。这种「我先验一无所知」的状态，正是下一课 CNN 要用局部连接和权值共享来打破的：与其让每个神经元自由地连，不如把图像特有的结构先验写进网络里。