frequency → probability · 大数定律

频率与概率：用数据估计可能性

概率是一个理论值：掷一枚均匀硬币，正面概率是 $0.5$ 。但现实里的硬币未必均匀，真实概率通常是未知的，只能靠反复试验去估计它。把一次试验重复 $n$ 次，频率(frequency) 就是「发生次数 / n」这个实测比例。随着 $n$ 增大，频率会围绕真实概率上下波动、幅度逐渐收窄并稳定下来——这就是大数定律（law of large numbers）的直观内容，也是用频率估计概率的依据。

1 · 频率向概率的收敛

frequency = hits / n → P

设定一枚硬币的正面概率 $p$ ，然后成批投掷。每投一次，正面数按 $p$ 随机累加，累计频率 $\hat p_n$ 即「正面数 / $n$ 」被记到曲线上。横轴取对数刻度，各十倍刻度因而等距。开局曲线剧烈起伏，几十次里连出正面就能把频率顶到很高；投掷次数越大，频率越贴着目标线 $p$ 走，偏差 $|\hat p_n - p|$ 的典型量级按 $1/\sqrt n$ 收窄。

图 1-1 · 累计频率随投掷次数的收敛曲线，横轴为对数刻度。可设定正面概率

p

并成批投掷，观察曲线如何贴向目标线。

注 · 收敛不是「频率一路平滑逼近 $p$ 」，而是波动幅度随 $n$ 收窄，其间并不保证单调。大数定律只说「当 $n$ 足够大，频率与 $p$ 的偏差以极高概率任意小」，并不排除某一段里频率短暂偏离。

警示 · 由此要破除一个常见误区，赌徒谬误（gambler's fallacy）：以为「已经连出好几次反面，接下来正面该来补偿了」。频率稳定于概率，靠的是分母 $n$ 越来越大把早期偏差稀释，而不是后续结果去回补前面的亏欠。每一次投掷都与历史相互独立(independent)，硬币没有记忆，下一次正面概率永远是 $p$ 。关于独立性的严格定义，见事件的关系与运算、相互独立性。

2 · 参考文献

Law of large numbers. Wikipedia. 弱大数定律与强大数定律的陈述及区别。https://en.wikipedia.org/wiki/Law_of_large_numbers
Frequentist probability. Wikipedia. 用频率定义概率的进路。https://en.wikipedia.org/wiki/Frequentist_probability
Gamblers fallacy. Wikipedia. 赌徒谬误的成因与常见形式。https://en.wikipedia.org/wiki/Gambler%27s_fallacy