数学 / 概率与统计 · 从样本空间到成对数据 / 样本的数字特征:集中趋势、离散程度与百分位数 待审核 12 / 16
mean / median / mode · IQR · box plot

样本的数字特征:集中趋势、离散程度与百分位数

面对一组数据,通常先问三件事:中心在哪里、分散有多大、不同位置的取值如何分布。集中趋势用平均数(mean)、中位数(median)、众数(mode)刻画数据的中心;离散程度用极差(range)、方差(variance)、标准差(standard deviation)刻画取值的波动;百分位数(percentile)按位置把数据切分,定位任意比例处的取值。这些由样本算出、用来概括数据的量统称数字特征,也是 用样本估计总体 的基础。本页用可切换的数据集观察它们如何度量同一组数据,以及它们对离群值(outlier)的不同敏感程度。

1 · 中心与波动的度量

mean · median · mode · range · variance · std

平均数 xˉ=1nixi\bar{x} = \frac{1}{n}\sum_i x_i 是所有数据的算术平均,几何上是分布的重心;中位数是升序后居中的数(偶数个取中间两数的平均),把数据按个数对半分;众数是出现最频繁的取值。离散程度里,极差是 maxmin\max - \min,只看两端;方差 s2=1ni(xixˉ)2s^2 = \frac{1}{n}\sum_i (x_i - \bar{x})^2 是各数据到重心距离平方的平均,标准差 s=s2s = \sqrt{s^2} 与数据同量纲。

图 1-1 · 数轴点图上叠出的均值、中位数与众数。可切换数据集并开关离群值,观察数轴标记与右侧数字如何联动。

注 · 平均数与中位数在对称数据里几乎重合,数据偏斜或含离群值时则分道扬镳。图 1-1 的两组数据实测:scores 开启离群值后平均数从 80.000 掉到 77.045,中位数纹丝不动地停在 80;income 的平均数从 11.850 涨到 15.571,中位数同样停在 7。描述收入、房价这类右偏数据时,中位数往往比平均数更有代表性;众数则适合刻画最常见的取值。

2 · 百分位数与四分位数

p-th percentile · Q1 / Q2 / Q3 · IQR · box plot

pp 百分位数是这样一个值:至少有 p%p\% 的数据不超过它,且至少有 (100p)%(100 - p)\% 不小于它。计算时先升序排列,令 i=np%i = n \cdot p\%:若 ii 不是整数,向上取整,第 i\lceil i \rceil 个数据即为所求;若 ii 恰是整数,取第 ii 与第 i+1i+1 个的平均。四分位数是最常用的三个百分位数——Q1Q_1(25%)、中位数 Q2Q_2(50%)、Q3Q_3(75%),把数据四等分。

图 2-1 · 任意 pp 对应的分位值,下方箱线图以五数概括画出整体形状。可拖动滑块改变 pp,或切换数据集与离群值开关。

注 · 箱线图由五数概括(min、Q1Q_1、中位数、Q3Q_3、max)构成:箱体两端是 Q1Q_1Q3Q_3,箱内竖线是中位数,箱长即四分位距 IQR=Q3Q1IQR = Q_3 - Q_1,约覆盖中间一半的数据。须线延伸到 Q11.5IQRQ_1 - 1.5\,IQRQ3+1.5IQRQ_3 + 1.5\,IQR 范围内最远的数据,越出者按离群值单独描点。IQR 只由两个分位点决定,对离群值稳健,但并非完全不动:scores 加入离群值后极差从 20 跳到 75,而 IQR 只从 6 变到 7(income 是从 9 变到 10)——样本量改变会挪动分位点的位置。

警示 · 本页的方差按 s2=1ni(xixˉ)2s^2 = \frac{1}{n}\sum_i (x_i - \bar{x})^2 描述这组数据本身的分散程度。若把样本方差当作对总体方差 σ2\sigma ^2 的估计,则改除以 n1n - 1 以消除偏差(无偏估计),两种口径的区别见 用样本估计总体;连续总体的钟形密度见 正态分布

3 · 参考文献

  1. Central tendency. Wikipedia. 平均数、中位数与众数的定义及适用场合。https://en.wikipedia.org/wiki/Central_tendency
  2. Statistical dispersion. Wikipedia. 极差、方差与标准差。https://en.wikipedia.org/wiki/Statistical_dispersion
  3. Percentile. Wikipedia. 百分位数的多种计算约定。https://en.wikipedia.org/wiki/Percentile
  4. Box plot. Wikipedia. 五数概括、四分位距与须线的 1.5 IQR 约定。https://en.wikipedia.org/wiki/Box_plot