在方阵上数出条件概率与贝叶斯
概率里最反直觉、也最实用的一块,是「知道了某件事之后,另一件事的概率怎么变」。这一页用方阵——一个点代表一个人——把抽象的条件概率摊成能数的格子:先建立条件概率的换分母直觉,再用它推出贝叶斯定理,并复现容易误判的假阳性悖论。
1 · 条件概率:把分母从「所有人」换成「B 这群人」
一句话:条件概率 P(A|B) 是「已知 B 发生了,这时 A 发生的概率」。它和无条件的 P(A) 区别只在分母——不再除以全体,而是只在 B 这群里数 A:。下面把 100 个人摊成方阵,一个点一个人,直观地看这个「换分母」。
每个点按是否属于 A / B 分成四类(见图例)。拖三个滑块改变这群人的构成,再点「条件于 B」:所有不在 B 的点会变暗——视野缩小到 B 这群,这时亮着的点里 A(莓红)占的比例,就是 P(A|B)。
1.1 · 三个概率,一张表里全有了
联合
= 四格里「既 A 又 B」那格 ÷ 100;边缘 P(B) = B 那一列的合计 ÷ 100;条件 P(A|B) =「A∩B」那格 ÷ B 列合计(不是 ÷100!)。所以恒等式
不过是「先圈出 B,再在 B 里取 A」的两步连乘。
1.2 · 最常见的错觉:P(A|B) ≠ P(B|A)
「下雨时我多半带伞」和「我带伞时多半在下雨」是两回事——前者是 P(伞|雨),后者是 P(雨|伞),分母一个是「下雨的日子」、一个是「带伞的日子」,数值可以差很远。点「条件于 B」看 P(A|B),再点「条件于 A」看
P(B|A)——同一批人、同一个方阵,两个比例却往往不相等。把这两者混为一谈,就是检察官谬误、误读检测结果的根源。如何从一个换算到另一个,正是下面的贝叶斯定理要回答的。
1.3 · 它真实跑在哪里
朴素贝叶斯分类器(垃圾邮件:P(垃圾|出现"中奖"))、推荐与广告的点击率 P(点击|看到)、医学 / 风控里「出现某症状 / 某特征后的风险」、以及一切「带条件的统计」。独立性也由它定义:P(A|B)=P(A) ⇔ A 与
B 独立(知道 B 对 A 没有信息)。
2 · 贝叶斯定理:一次检测,如何更新你的置信
条件概率一节给出 。但两者之间有一座桥,这就是贝叶斯定理。最典型的场景:有一种病,你做了检测,结果阳性。检测「很准」(有病几乎必中)。那么你真有病的概率是多少?直觉常以为是 99%,但正确答案往往低得多。
检测的准确度告诉你的是 P(+ | 有病)(有病的人里测出阳性的比例)。可你想知道的是 P(有病 | +)(测出阳性的人里真有病的比例)——分母完全不同!贝叶斯定理负责把前者换算成后者,关键变量是那个最容易被忽略的患病率(先验 prior)。下面
1000 人,拖滑块看四类人怎么分,再点「只看阳性」清点:阳性里到底几个真有病。
2.1 · 把方阵翻译成公式
后验 = 真阳 ÷ 所有阳性 = 真阳 ÷(真阳 + 假阳)。写成概率就是贝叶斯定理:
分子 =「有病且测出阳性」,分母 =「所有测出阳性的」(有病的真阳 + 没病的假阳)。先验 P(D) 同时出现在分子里——病越罕见,分子越小,后验被假阳性稀释得越严重。
2.2 · base-rate 假阳性悖论:为什么「99% 准」还是不够
保持灵敏度 99%、假阳率 5%,把患病率拖到 1%:1000 人里只有约 10 个真病人(全被测出 → 10 真阳),但 990 个健康人里有约 50 个被误报(假阳)。于是阳性共 60 人,真有病的只有 10 个 →
。检测明明「很准」,阳性里却约八成是误报。
根源:健康人基数太大,哪怕每人只有 5% 的小概率误报,绝对数量也能淹没真正的病人。忽略这个基础患病率 (base rate)、直接把「检测准确度」当成「患病概率」,就是base-rate 谬误。这也是为什么罕见病要二次复检:第一次的后验,成了第二次的先验,置信被一步步更新。
2.3 · 用全概率公式手算一遍:0.1% 患病率的极端情形
把上面的参数推到更极端:患病率 P(D)=0.1%(每 1000 人一例)、检测无假阴(灵敏度 P(+|D)=1)、假阳率
。一个人测出阳性,他真有病的概率是多少?
先用全概率公式算出分母——任何人测出阳性的总概率 P(+),它由「有病且阳性」和「没病但阳性」两条路径合成:
再代入贝叶斯定理,分子是「有病且阳性」这一条路径:
所以阳性者真有病的概率只有约 1.96%。把上面三个滑块拨到患病率 0.1% / 灵敏度 100% / 假阳率 5%,再点「只看阳性」,方阵里的真阳与假阳之比会还原出同一个数。
关键仍是基数差:1000 人里只有 1 个病人(必被测出 → 1 真阳),而 999 个健康人中有约 999 × 5% ≈ 50 人被误报(假阳)。阳性共约 51 人,真有病的只有 1 个——患病率从前一节的 1% 再降一个数量级到 0.1%,后验也随之从约 17% 跌到约
2%。先验越低,同一份「准」检测给出的阳性结果越不可信,这正是罕见病强调复检、不以单次阳性下结论的原因。
2.4 · 它真实跑在哪里
医学筛查(癌症 / 罕见病的复检策略)、垃圾邮件与风控(贝叶斯过滤、反欺诈打分)、机器学习(朴素贝叶斯、贝叶斯推断与 MAP 估计)、A/B 与在线学习(用数据不断把先验更新成后验)。凡是「拿到新证据,理性地修正原有判断」,底层都是这一个式子。
一条主线:
是定义;把它对 A、B 写两遍再相除,就得到贝叶斯定理
。左边是你看到证据后的置信(后验),右边的 P(A) 是你看到证据前的置信(先验)——整个系列就是把这一个式子,变成你能在方阵上数出来的东西。
相关链接
- Conditional probability Wikipedia 条件概率的定义、与独立性 / 联合分布的关系,以及常见谬误 (检察官谬误等)。
- Bayes' theorem Wikipedia 贝叶斯定理的推导、医学检测假阳性例子,以及在统计推断里的角色。
- Base rate fallacy Wikipedia 忽略基础概率 (患病率) 导致严重高估后验的经典认知偏差 —— 本系列第二节的主角。
- Seeing Theory Brown University 把概率论做成可视化交互的经典网站,贝叶斯一章与本系列思路相通。