样本的数字特征:集中趋势、离散程度与百分位数
面对一组数据,通常先问三件事:中心在哪里、分散有多大、不同位置的取值如何分布。集中趋势用平均数(mean)、中位数(median)、众数(mode)刻画数据的中心;离散程度用极差(range)、方差(variance)、标准差(standard deviation)刻画取值的波动;百分位数(percentile)按位置把数据切分,定位任意比例处的取值。这些由样本算出、用来概括数据的量统称数字特征,也是 用样本估计总体 的基础。本页用可切换的数据集观察它们如何度量同一组数据,以及它们对离群值(outlier)的不同敏感程度。
1 · 中心与波动的度量
平均数 是所有数据的算术平均,几何上是分布的重心;中位数是升序后居中的数(偶数个取中间两数的平均),把数据按个数对半分;众数是出现最频繁的取值。离散程度里,极差是 ,只看两端;方差 是各数据到重心距离平方的平均,标准差 与数据同量纲。
注 · 平均数与中位数在对称数据里几乎重合,数据偏斜或含离群值时则分道扬镳。图 1-1 的两组数据实测:scores 开启离群值后平均数从 80.000 掉到 77.045,中位数纹丝不动地停在 80;income 的平均数从 11.850 涨到 15.571,中位数同样停在 7。描述收入、房价这类右偏数据时,中位数往往比平均数更有代表性;众数则适合刻画最常见的取值。
2 · 百分位数与四分位数
第 百分位数是这样一个值:至少有 的数据不超过它,且至少有 不小于它。计算时先升序排列,令 :若 不是整数,向上取整,第 个数据即为所求;若 恰是整数,取第 与第 个的平均。四分位数是最常用的三个百分位数——(25%)、中位数 (50%)、(75%),把数据四等分。
注 · 箱线图由五数概括(min、、中位数、、max)构成:箱体两端是 与 ,箱内竖线是中位数,箱长即四分位距 ,约覆盖中间一半的数据。须线延伸到 与 范围内最远的数据,越出者按离群值单独描点。IQR 只由两个分位点决定,对离群值稳健,但并非完全不动:scores 加入离群值后极差从 20 跳到 75,而 IQR 只从 6 变到 7(income 是从 9 变到 10)——样本量改变会挪动分位点的位置。
警示 · 本页的方差按 描述这组数据本身的分散程度。若把样本方差当作对总体方差 的估计,则改除以 以消除偏差(无偏估计),两种口径的区别见 用样本估计总体;连续总体的钟形密度见 正态分布。
3 · 参考文献
- Central tendency. Wikipedia. 平均数、中位数与众数的定义及适用场合。https://en.wikipedia.org/wiki/Central_tendency
- Statistical dispersion. Wikipedia. 极差、方差与标准差。https://en.wikipedia.org/wiki/Statistical_dispersion
- Percentile. Wikipedia. 百分位数的多种计算约定。https://en.wikipedia.org/wiki/Percentile
- Box plot. Wikipedia. 五数概括、四分位距与须线的 1.5 IQR 约定。https://en.wikipedia.org/wiki/Box_plot