概率与统计 · 从样本空间到成对数据

概率论把「某件事有多大可能发生」这句日常话，安放在一个可计数、可运算的结构上：先圈定一次试验所有可能结果构成的样本空间 $Omega$，把随机事件看成它的子集，概率 $P$ 便是一个给子集赋值、满足非负、规范化与可列可加的测度——可列可加是定义性的那一条，容斥与全概率公式都由它而来。有限等可能时它退化为最朴素的古典概型 $P(A) = |A| / |Omega|$，一切从数格子开始。

本系列沿这条主线推进：先在样本空间上做事件的关系与运算、辨明互斥与相互独立的区别，连续样本空间上补足几何概型这一路测度之比，用频率的稳定性反过来估计概率、并把它做成可跑的随机模拟；再引入条件概率、全概率与贝叶斯公式。随后把结果映射成数值，得到离散型随机变量的分布列、期望与方差，从最简单的两点分布归纳出二项分布、超几何分布与连续的正态分布。

统计一侧从数据的来路讲起：抽样决定样本能不能代表总体，数字特征把一组数概括成集中趋势与离散程度，频率分布直方图与样本均值 / 方差则去估计总体。最后把观测从一个变量扩到两个——同一批个体上的成对数据先用样本相关系数度量线性关联，再用最小二乘拟合出回归直线，两个变量都是类别时改走列联表与独立性检验。每页都可拖动参数或点选结果，即时看到概率、分布与统计量如何随之变化。

事件与概率 · 从样本空间到条件概率

把一次试验的全部结果收进样本空间 $\Omega$，事件是它的子集、概率是子集上的测度。古典概型给出「数格子」的算法；结果连续时改按长度 / 面积 / 体积之比定概率，即几何概型。事件运算与独立性刻画事件之间的关系，频率从数据一侧逼近概率、随机模拟把这条路径变成算法，条件概率则把「已知某事发生」折进样本空间。

sample space · P(A) = |A| / |Ω|

随机事件、样本空间与古典概型

一次试验的所有可能结果构成样本空间，随机事件是它的子集。结果有限且等可能时，概率就是古典概型：数出有利结果占几格。

geometric model · 长度 / 面积 / 体积之比

几何概型：以测度之比定概率

样本空间连续时样本点有不可数无穷多个、单点概率为零，古典概型的数格子失效。几何概型改用长度、面积、体积的比值定概率；贝特朗悖论则说明这个比值依赖于「随机」二字如何参数化。

event algebra · 互斥 vs 相互独立

事件的关系与运算、相互独立性

事件之间有包含、互斥、对立的关系，并交差对立四种运算满足容斥公式。相互独立是另一回事，它谈的是概率是否相乘，与互斥恰好相反。

互斥与独立是两件不同的事

互斥（mutually exclusive）说的是两个事件不能同时发生：$A\cap B = \emptyset$, 于是 $P(A\cup B) = P(A) + P(B)$。独立（independent）说的是一个发生不改变另一个的概率：$P(A\cap B) = P(A)P(B)$。二者常被混淆, 实则方向相反——若 $A$、$B$ 概率都非零又互斥, 则一个发生时另一个必不发生, 反而是强负相关、绝不独立。这一点在事件的关系与运算那页里可逐格验证。 frequency → probability · 大数定律

频率与概率：用数据估计可能性

概率是理论值，频率是把试验重复 $n$ 次后「发生次数 / $n$」的实测值。随着 $n$ 增大，波动幅度逐渐收窄，这是用频率估计概率的依据。

Monte Carlo · Buffon · PRNG

随机数与随机模拟：蒙特卡洛方法

频率估概率的误差按 $1/\sqrt n$ 收缩，四倍样本只换来一半精度。蒙特卡洛方法据此估面积与积分，布丰投针更让结果里出现 $\pi$；而模拟依赖的伪随机数有自己的状态、周期与可复现性问题。

conditional · 全概率 · Bayes

条件概率、全概率与贝叶斯公式

已知 $B$ 发生后再问 $A$，样本空间收缩到 $B$。把样本空间划分成若干互斥情形，全概率公式把 $P(A)$ 拆成加权和，贝叶斯公式再由结果反推原因。

随机变量及其分布 · 分布列、数字特征与两大分布

把每个样本点映射成一个数值，随机事件的概率就整理成分布列；期望与方差是分布的数字特征。最简单的两点分布（0-1 分布）是二项分布的基本单元；放回与不放回两种取样，分别给出二项分布与超几何分布这两族最常用的离散分布。

random variable · 分布列 · E[X] · D[X]

离散型随机变量：分布列、期望与方差

随机变量把每个样本点映射成一个数值，各取值的概率整理成分布列。期望是分布的重心，方差度量取值的分散程度，以掷两骰为例看三者如何联动。

two-point 0-1 · Bernoulli trials

两点分布与 n 重伯努利试验

只取 0 与 1 的两点分布是二项分布的基本单元。把成功概率为 $p$ 的试验独立重复 $n$ 次，成功总次数服从 $B(n, p)$，期望与方差由 $n$ 份两点分布累加得到。

binomial B(n,p) · hypergeometric

二项分布与超几何分布

同一个取球模型，放回取则成功次数服从二项分布，不放回取则服从超几何分布。并排对比两族分布的形状、期望与方差，看放回与否如何拉开差距。

连续分布与统计推断 · 正态分布与用样本估计总体

当取值连续、且是大量方差有限又没有哪一项占主导的微小因素叠加的结果，分布趋于钟形的正态分布。统计推断则先要有样本：简单随机抽样让每个容量为 $n$ 的样本机会均等，分层随机抽样按层容量比例分配名额、再把层均值加权还原。面对未知的总体，先用数字特征（集中趋势、离散程度、百分位数）概括样本，再用频率分布直方图与样本均值 / 方差去估计总体的分布与参数。

census vs sample · SRS · stratified

抽样：简单随机抽样与分层随机抽样

普查代价高，遇上破坏性检验更无法执行，只能抽样。简单随机抽样让每个容量为 n 的样本机会均等；分层随机抽样按层容量比例分配名额，再把各层样本均值加权还原成总体均值的估计。

normal N(μ, σ²) · 3σ 法则

正态分布：钟形曲线与 3σ 法则

关于 $\mu$ 对称的钟形密度曲线，$\sigma$ 决定胖瘦。落在 $\mu \pm \sigma$、$\mu \pm 2\sigma$、$\mu \pm 3\sigma$ 内的概率约为 68%、95%、99.7%，且与参数无关。

mean / median / mode · IQR · box plot

样本的数字特征：集中趋势、离散程度与百分位数

集中趋势、离散程度与百分位数三组数字特征概括一组数据。数轴点图叠出均值与中位数，箱线图以五数概括呈现整体形状，并对照离群值对各指标的不同影响。

sample → population · 频率分布直方图

用样本估计总体：直方图与样本数字特征

总体的分布往往未知，只能抽取一个样本去估计。把样本数据分组画成频率分布直方图，其形状逼近总体的密度曲线；样本均值与样本方差，则是总体期望与方差的估计。增大样本量、调整组距，看估计如何越来越贴近真实总体。

成对数据 · 相关、回归与独立性检验

同一批个体上同时测两个变量，得到成对数据。散点图给出走向，样本相关系数 $r$ 把线性关联压缩成一个介于 $-1$ 与 $1$ 之间的数；最小二乘再由散点解出回归直线，用残差图与决定系数 $R^2$ 评估拟合、并划出外推的边界。两个变量都是类别时改走 $2 \times 2$ 列联表与 $\chi^2$ 独立性检验。三页共同的边界只有一条：关联再强也不是因果。

scatter plot · r · 相关不等于因果

成对数据的相关关系与样本相关系数

散点图呈现两个变量的联动，样本相关系数 r 把这种线性联动压缩成一个介于 −1 与 1 之间的数。r 只刻画线性成分，顶点居中的抛物线也能给出 r = 0；而相关无论多强都推不出因果。

OLS · residual plot · R²

一元线性回归：最小二乘、残差与决定系数

最小二乘取残差平方和最小的那条直线，斜率由离差积与离差平方和之比给出，直线必过样本中心。残差图检查线性模型是否合适，决定系数报告被解释掉的波动比例，外推预测则在数据范围之外失去依据。

contingency table · χ² · 临界值

2×2 列联表与独立性检验

两个分类变量的成对数据整理成四格表。χ² 统计量度量观测频数与独立假设下期望频数的偏离，越过临界值就以小概率反证拒绝独立；而拒绝独立只说明有关联，不是因果的证明。

r 与回归斜率不是一回事

样本相关系数 $r$ 与最小二乘斜率 $\hat b$ 共用同一个分子 $S_{xy}$, 因而必定同号, 但二者度量的东西不同: $\hat b$ 带量纲, $y$ 换个单位它就跟着缩放, 读数是「$x$ 每增加一个单位, $y$ 平均变化多少」; $r$ 无量纲, 对两侧的平移与正伸缩一概不变, 读数只是「点贴一条直线贴得有多紧」。$R^2 = r^2$ 这一等式也只在一元线性回归里成立。

它和其他系列的接续

本系列的二项分布由 排列组合 系列中 $(p+q)^n$ 的展开系数 $\binom{n}{k}$ 直接给出；条件概率与贝叶斯的假阳性悖论, 在 条件概率 / 贝叶斯 系列里用方阵进一步展开；而一元线性回归所依据的「最小化距离平方和」这一原理, 在 最小二乘 系列里被推广成一族方法, 换掉惩罚即得中位数与极差中点。三者可对照阅读。

相关链接

本站相关系列

• 排列组合 · 计数、P(n,k) 与 C(n,k) playground 二项分布的系数 C(n, k) 与二项式定理的来源。
• 条件概率 / 贝叶斯 · 方阵与 base-rate playground 用方阵把 P(A|B) 展开、复现假阳性悖论。
• 最小二乘 · 一个最小化框架 playground 回归直线背后的「最小化距离平方和」,换掉惩罚即得 median 与 midrange。

外部参考

• Probability space — Wikipedia en.wikipedia.org 样本空间、事件与概率测度的公理化定义。
• Conditional probability — Wikipedia en.wikipedia.org 条件概率、全概率与贝叶斯公式。
• Bertrand paradox — Wikipedia en.wikipedia.org 圆内随机弦的三种参数化, 以及 Jaynes 的不变性论证。
• Monte Carlo method — Wikipedia en.wikipedia.org 蒙特卡洛方法的收敛速率、误差估计与高维优势。
• Random variable — Wikipedia en.wikipedia.org 随机变量、分布列与数字特征。
• Normal distribution — Wikipedia en.wikipedia.org 正态分布的密度、参数与 3σ 法则。
• Simple random sample — Wikipedia en.wikipedia.org 简单随机抽样的定义、放回与不放回两种口径。
• Stratified sampling — Wikipedia en.wikipedia.org 分层抽样的按比例分配与加权估计, 以及方差为何比简单随机小。
• Sampling bias — Wikipedia en.wikipedia.org 抽样框缺漏、自选择、无应答与幸存者偏差。
• Pearson correlation coefficient — Wikipedia en.wikipedia.org 样本相关系数 r 的定义、取值范围与不变性。
• Simple linear regression — Wikipedia en.wikipedia.org 一元线性回归的最小二乘解与残差性质。
• Coefficient of determination — Wikipedia en.wikipedia.org 决定系数 R² 的定义, 以及它与相关系数平方的关系。
• Contingency table — Wikipedia en.wikipedia.org 列联表的构造、边缘和与独立假设下的期望频数。
• Pearson's chi-squared test — Wikipedia en.wikipedia.org χ² 统计量、自由度与临界值, 含 2×2 表的四格简算式。
• Correlation does not imply causation — Wikipedia en.wikipedia.org 混杂因素、反向因果与巧合, 以及从关联走向因果需要什么。