least squares · 一个最小化框架

从取平均到最小二乘拟合线

本页把「平均是个最优解」变成能拖出来的东西：先在数轴上拖动候选值 c，看「距离平方和」这条 cost 曲线如何在均值处触底；换一种「距离」的算法，最优代表值就从 mean 变成 median 或 midrange。再把同一个原理升到二维，就得到最小二乘回归那条最佳拟合直线。

1 · 一维：拖动 c，看 cost 在均值处触底

core · 中心趋势 = 最小化总距离

数轴上散布若干样本点（可拖动）。竖虚线是你选的候选代表值 c（也可拖动）。每个点到 c 的残差（红线）度量「c 离它多远」。把这些残差按某种方式汇总成一个总代价 cost(c)，下方曲线画出 cost 随 c 变化的全貌——我们要找的「最佳代表值」，就是让这条曲线最低的那个 c。

切换惩罚方式：其一「距离平方和 $Σ(x_i-c)^2$ 」最低点在 平均数 mean；其二「距离绝对值和 $Σ|x_i-c|$ 」最低点在 中位数 median；其三「最大距离 $\max _i|x_i-c|$ 」最低点在 极差中点 midrange = (min+max)/2。拖动 c 让黑点沿曲线滑到谷底，或直接点「跳到最优」对照。再点「加离群点」看哪个代表值会被极端值带偏。

1.1 · 两行就能证：为什么平方和的最低点正是平均

要最小化 $f(c) = Σ(x_i-c)^2$ ，对 c 求导令其为零： $f′(c) = Σ -2(x_i-c) = 0 ⟹ Σx_i = n\cdot c ⟹ c = (1/n)Σx_i = \bar{x}$ 。解出来就是平均数。换个直觉：f′(c)=0 即 $Σ(x_i-c)=0$ ——平均数是让正负偏差恰好抵消的「平衡点 / 重心」。把每个点想成一根拉向 c 的弹簧（弹力 ∝ 距离），弹簧组静止的位置就是均值。

1.2 · 换一把「距离」的尺子，就换一个最优代表值

代表值不止平均一种，关键看你用哪种距离来惩罚误差。平方惩罚对大偏差极其敏感（偏差翻倍、代价变四倍），所以平均数容易被离群点带偏；绝对值惩罚是线性的，中位数因此稳健。这正是「平均 vs 中位数」之争的数学根源。

最小化的目标	得到的最优代表值	对离群点
距离平方和 $Σ(x_i-c)^2$	平均数 mean	敏感（被带偏）
距离绝对值和	中位数 median	稳健
最大距离	极差中点 midrange	最敏感（只盯两端）

2 · 二维：同一个原理，长出最小二乘回归

least squares · 一维平均的推广

把「找一个数 c」升级成「找一条直线 $ŷ = a\cdot x + b$ 」，代价仍是残差平方和 $SSE = Σ(y_i - (a\cdot x_i + b))^2$ ——只是现在残差是每个点到直线的纵向距离。让 SSE 最小的那条直线，就是最小二乘 / 线性回归的最佳拟合线。拖两个滑块找找看，再点「跳到最优」对照解析解 a* = cov(x,y)/var(x)、 $b* = ȳ - a*\cdot \bar{x}$ 。

关键一步：把斜率固定为 0（点「压成水平线」），直线退化成 ŷ = b 这个常数——问题就退回上一节：找一个数 b 最小化 $Σ(y_i-b)^2$ ，最优 b 正是 ȳ。一维的「取平均」，就是二维回归在「只许水平线」时的特例。

2.1 · 它真实跑在哪里

这块「平方误差 → 平均 / 最佳拟合」的基石，撑起了一整套方法：方差就是「到均值的平方距离的平均」，正因均值是平方误差的最优点，方差才成为最自然的离散度量；线性回归 / 最小二乘拟合直线、曲线乃至高维超平面；K-means 聚类每个簇心取平均，正因平均最小化簇内平方距离；再到高斯分布的极大似然、卡尔曼滤波……都从同一块基石长出。

平方惩罚的代价是对离群点敏感：一个远点能把均值、回归线显著带偏。需要稳健时，改用绝对值误差（最优落到中位数 / 最小绝对偏差回归）或 Huber 等混合损失——选哪把「距离尺子」，本质就是在回答「你愿意为大偏差付出平方代价，还是只付线性代价」。