用样本估计总体:直方图与样本数字特征
很多时候总体的分布并不知道,只能从中抽取一个有限样本,用样本的信息去估计总体。把样本按数值分组,画出频率分布直方图,其轮廓会随样本量增大而逼近总体的概率密度曲线;再由样本算出样本均值 与样本方差 ,分别估计总体的期望 与方差 。
1 · 频率密度作纵轴的理由
直方图的纵轴若直接用频数或频率,柱高会随组距一起变化,无法和密度曲线比较。改用频率密度(频率 / 组距)作纵轴,落在绘图区间内的柱面积之和为 1,与概率密度同量纲,直方图的轮廓才能与总体的真实密度曲线对齐。样本量 越大,轮廓越平稳;组数只改变分辨率,不重新抽样。样本方差 除以 而非 ,使它成为总体方差 的无偏估计。
警示 ·「总面积恒为 1」只在绘图区间盖住整个总体时才成立。histogram() 会丢弃落在区间外的样本,而分母仍是全样本量,所以面积等于落在区间内的样本占比。均匀总体的采样范围完全含于绘图区间,面积恰为 1;正态总体则不然——取
、、区间
,
时实测面积 0.999810,有 38 个样本落在了区间外。
直方图的轮廓与样本均值 、样本方差 都是对总体的估计,而非总体本身:换一个样本,柱形与数值都会抖动,只有样本量足够大时才稳定地贴近真值。这是 频率与概率(用频率估计概率)在连续量上的推广;若要由成对数据估计变量之间的关系,见 最小二乘。
2 · 参考文献
- Histogram. Wikipedia. 频率密度作纵轴的理由与组距的选择。https://en.wikipedia.org/wiki/Histogram
- Estimator. Wikipedia. 估计量、偏差与无偏性。https://en.wikipedia.org/wiki/Estimator
- Bessel correction. Wikipedia. 样本方差除以 的理由。https://en.wikipedia.org/wiki/Bessel%27s_correction