你观察到的是结果，想知道的是原因——贝叶斯定理就是反向推理的公式

模型上线后看到用户点了广告，你想知道他到底是不是目标用户；检测呈阳性，你想知道真患病的概率。正向概率 P(证据|原因) 往往好估，反向的 P(原因|证据) 才是决策所需。这一节建立联合、边缘、条件三种概率的换算，推出贝叶斯定理，并亲手算两个反直觉但极其重要的数字例。因果链：联合分布包含全部信息 → 条件概率固定已知信息 → 乘法与链式拆联合概率 → 贝叶斯反转为后验 → 独立性简化计算、朴素贝叶斯落地分类。

2.1 联合、边缘与条件：一张概率表的三种看法

联合概率 P(A,B) 是两件事同时发生的概率。边缘概率是把不关心的维度求和消掉：P(A)=Σ_b P(A,B=b)，这个求和过程叫边缘化。条件概率是已知 B 发生的世界里重新归一的概率：P(A|B)=P(A,B)/P(B)，分母 P(B) 是条件世界的总概率。三者由乘法公式连起来：P(A,B)=P(A|B)·P(B)=P(B|A)·P(A)，多个变量时推广为链式法则 P(A,B,C)=P(A)P(B|A)P(C|A,B)。

条件概率的关键是换了一个样本空间：P(A|B)只在B发生的那些情形里计数，所以要除以P(B)重新归一。最常见的错误是以为P(A|B)=P(B|A)——二者数值通常差很远，比如「下雨时天上有云」接近1，「有云时下雨」很小。这两个方向的混淆有专门名字：检察官谬误或基率忽视，2.2用数字让你看到差距能有多大。

2.2 贝叶斯定理与全概率：后验 = 似然 × 先验 / 证据

把两条乘法公式联立就得到贝叶斯定理：P(A|B)=P(B|A)·P(A)/P(B)。其中 P(A) 是先验（看到证据前的信念），P(B|A) 是似然（在该原因下出现此证据的可能），P(A|B) 是后验（看到证据后更新的信念），分母 P(B) 是归一化常数，用全概率公式展开 P(B)=ΣₐP(B|A=a)P(A=a)，即把所有可能原因下产生该证据的概率加权求和。

手算经典的医学检测。患病率P(D)=0.01，灵敏度P(+|D)=0.99（真患病查阳），假阳性率P(+|¬D)=0.05。先算证据：P(+)=0.99×0.01+0.05×0.99=0.0099+0.0495=0.0594。于是P(D|+)=0.0099/0.0594≈0.167——即便检测看似很准，一次阳性后真患病概率只有约16.7%，因为病太罕见（先验极低），绝大多数阳性来自健康人的5%假阳。这就是忽视基率会严重高估风险的现场。

再看「重复检验如何累积证据」。若两次检测条件独立，P(++|D)=0.99²≈0.9801，P(++|¬D)=0.05²=0.0025，后验 P(D|++)=0.9801×0.01/(0.9801×0.01+0.0025×0.99)=0.009801/0.012276≈0.798，升到约 80%。贝叶斯更新是迭代的：这一次的后验就是下一次的先验，证据一条条进来，信念一步步收敛。

2.3 独立性与条件独立：朴素贝叶斯的「朴素」所在

两事件独立，指一个发生与否不改变另一个的概率，等价于 P(A,B)=P(A)P(B)，也等价于 P(A|B)=P(A)。别搞混独立和互斥：互斥是 P(A,B)=0，不能同时发生。如果两个概率都为正的事件互斥，知道 A 发生就确定 B 不发生，反而强烈相关，所以「互斥且正概率」必然不独立。条件独立是给定 C 后 A、B 独立：P(A,B|C)=P(A|C)P(B|C)。注意：它不要求 A、B 边际独立。

朴素贝叶斯分类器的「朴素」，指的是一个强条件独立假设：给定类别 y，各特征 x₁…x_d 彼此独立，所以 P(x₁…x_d|y)=∏ⱼP(xⱼ|y)，把指数级的联合概率估计，降成了逐个一维的估计。现实里特征几乎不可能真独立——比如一封垃圾邮件里的「中奖」和「免费」，明显是相关的。但这个「错误」假设，因为估计稳定、计算极快，在文本分类上长期好用，是偏差换方差的典型。

2.4 手算一个最小朴素贝叶斯分类器

走一遍朴素贝叶斯的完整计算。先设先验：P(垃圾)=0.4，P(正常)=0.6；词条件概率：P(中奖|垃圾)=0.7，P(中奖|正常)=0.1，P(免费|垃圾)=0.6，P(免费|正常)=0.2。有一封邮件同时带「中奖」「免费」，按条件独立假设，似然乘先验：垃圾方向是0.7×0.6×0.4=0.168，正常方向是0.1×0.2×0.6=0.012。归一化后P(垃圾|词)=0.168/(0.168+0.012)=0.933，约93.3%，判为垃圾邮件。

工程上不会真的连乘很多小概率——几十个0.0x相乘会下溢成0，而是取对数变连加：log P(y|x)∝log P(y)+Σⱼlog P(xⱼ|y)，加法不改变大小比较。还要做拉普拉斯平滑：若某词在训练集某类中从没出现，P=0会一票否决整封邮件，给计数统一加1（分子加1、分母加词表大小），避免零概率。

2.5 相关不等于因果，以及贝叶斯更新的纪律

两个变量相关，可能是A导致B、B导致A、第三个变量C同时导致两者（混杂），或纯属巧合。经典例子是冰淇淋销量与溺水人数正相关，共同原因是气温升高。辛普森悖论更进一步：整体上A组更好，分层到每个子群体却都是B组更好，正是混杂在改变结论。因果推断需要干预或随机实验，仅靠观测条件概率无法确定方向。

本节小结

一条因果链：联合分布经求和得边缘、经「除以条件」得条件概率，乘法公式与链式法则把它们连起来 → 贝叶斯定理 P(A|B)=P(B|A)P(A)/P(B) 用全概率归一，把似然和先验变成后验，低先验下检测阳性真病率仅 16.7%、重复独立证据可累积到 80% → 独立是 P(A,B)=P(A)P(B)，互斥正概率必不独立，朴素贝叶斯靠给定类别的条件独立把联合降维（手算垃圾邮件后验 93.3%）→ 相关不等于因果，需警惕混杂与辛普森悖论。