从线性方程组讲起#

考虑最简单的非奇异线性系统：

$A\\mathbf{x} = \\mathbf{b}$

现在我们给 $\\mathbf{b}$ 加一个小扰动 $\\Delta\\mathbf{b}$，解会变成 $\\mathbf{x} + \\Delta\\mathbf{x}$。经过一番推导，相对误差满足：

$\\frac{\\|\\Delta\\mathbf{x}\\|}{\\|\\mathbf{x}\\|} \\leq \\|A\\| \\cdot \\|A^{-1}\\| \\cdot \\frac{\\|\\Delta\\mathbf{b}\\|}{\\|\\mathbf{b}\\|}$

这里的 条件数 就定义出来了：

$\\kappa(A) = \\|A\\| \\cdot \\|A^{-1}\\|$

翻译成人话：条件数告诉你，输入误差最多能被放大多少倍。如果 $\\kappa(A) = 10^6$，输入扰动 $10^{-6}$ 就可能让输出误差到达 $1$——直接崩了！

谱条件数#

在 2-范数下，条件数有一个特别漂亮的形式：

$\\kappa_2(A) = \\frac{\\sigma_{\\max}(A)}{\\sigma_{\\min}(A)}$

其中 $\\sigma_{\\max}$ 和 $\\sigma_{\\min}$ 是矩阵的最大和最小奇异值。几何上，它衡量了矩阵 $A$ 将单位球「拉成」的椭球有多扁——越扁，条件数越大，系统越病态。

希尔伯特矩阵：经典反面教材#

$n$ 阶希尔伯特矩阵 $H_n$ 的元素是：

$H_{ij} = \\frac{1}{i+j-1}, \\quad i,j=1,\\dots,n$

看起来人畜无害对吧？但 $H_{10}$ 的条件数已经达到 $10^{13}$ 量级！这意味着你用双精度浮点数去解 $H_{10}\\mathbf{x} = \\mathbf{b}$，算出来的结果可能连一位有效数字都不对。它就是数值分析教材里用来吓唬新生的「鬼故事」👻

实操小贴士#

1. 正交矩阵的条件数是 $1$——完美！这也是为什么 QR 分解比高斯消元更稳。
2. 对角尺度能改善条件数，但治标不治本。
3. 遇到病态系统，考虑正则化（加一个小的 $\\lambda I$ 对角项），或者用更高精度的运算。

条件数教给我们一个哲学道理：有些问题天生敏感，算法再好也救不了。 认清问题的「体质」，比盲目换算法更重要～下次写代码解方程的时候，记得偷偷算一下 np.linalg.cond(A) 看看哦 💕