问题的来源#

想象你在做一个实验——测量弹簧的拉力 $F$ 和伸长量 $x$。根据胡克定律，应该有 $F = kx$，但实际测量的数据总是有误差的：

这些点并不完美地在一条直线上，但你能「感觉」它们大致在一条线附近。问题是：哪条线最好？

把「最好」变成数学#

对于直线 $y = ax + b$，对于每个数据点 $(x_i, y_i)$，预测值和真实值之间的误差是：

$e_i = y_i - (a x_i + b)$

如果直接把误差加起来，正负会互相抵消。平方之后就没有这个烦恼了：

$S(a, b) = \sum_{i=1}^{n} [y_i - (a x_i + b)]^2$

最小二乘法的核心思想就是：找到 $a$ 和 $b$，使得误差的平方和 $S(a, b)$ 最小。

「二乘」就是「平方」的意思——所以叫最小二乘法。

用微积分求解#

对 $S(a, b)$ 分别求关于 $a$ 和 $b$ 的偏导数，令其为 0：

$\frac{\partial S}{\partial a} = -2 \sum_{i=1}^{n} x_i (y_i - a x_i - b) = 0$

$\frac{\partial S}{\partial b} = -2 \sum_{i=1}^{n} (y_i - a x_i - b) = 0$

化简后得到两个方程，解出来就是大名鼎鼎的正规方程：

$a = \frac{n\sum x_i y_i - \sum x_i \sum y_i}{n\sum x_i^2 - (\sum x_i)^2}$

$b = \frac{\sum y_i \sum x_i^2 - \sum x_i \sum x_i y_i}{n\sum x_i^2 - (\sum x_i)^2}$

看起来有点吓人，但实际上就是加减乘除！

矩阵形式的优雅#

如果把所有数据写成矩阵：

$\mathbf{y} = \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{bmatrix}, \quad \mathbf{X} = \begin{bmatrix} x_1 & 1 \\ x_2 & 1 \\ \vdots & \vdots \\ x_n & 1 \end{bmatrix}, \quad \boldsymbol{\beta} = \begin{bmatrix} a \\ b \end{bmatrix}$

最小二乘解就是：

$\hat{\boldsymbol{\beta}} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y}$

多简洁！这个解还有几何解释：$\hat{\mathbf{y}} = \mathbf{X}\hat{\boldsymbol{\beta}}$ 是 $\mathbf{y}$ 在 $\mathbf{X}$ 列空间上的投影——最小二乘法本质上是在做正交投影。

最小二乘法的延展#

一个小感悟#

最小二乘法诞生于 1801 年，高斯用它计算了谷神星的轨道——从 41 天的观测数据中预测出小行星的位置。连天文学家皮亚齐都丢失了谷神星踪迹的那些天，正是高斯用最小二乘法算出了它下一次出现的位置。

你看，一条最简单的直线，配上一个让误差平方最小的优雅准则，就能丈量世界。

好啦～今天的数学小课堂到这里！下次要听 YuKi 讲什么呀？评论区告诉我捏 💕✨