10.2 矩阵范数与条件数

本节位置：模块 10 · 数值线性代数 ｜ 前置：7.2 SVD 的计算与性质 ｜ 预计：40 分钟

一句话：矩阵范数回答「这个线性映射最多能把向量放大多少倍」，条件数回答「输入误差最多能被放大多少倍」——后者是前者的比值。

0. 场景引入

某测控中心要在卫星过境的 3 分钟弧段内定轨，测距精度 1 m，卫星距地心约 $7000$ km。设计矩阵 $A\in {\mathbb{R}}^{120\times 6}$ 的六列几乎共线：短弧上「半长轴变大」与「偏心率变大」对测距的影响几乎一样，${\kappa }_2(A)\approx 10^6$。

工程师把法方程 $A^{\top }A\mathbf{x}=A^{\top }\mathbf{b}$ 直接丢给 fp64。${\kappa }_2(A^{\top }A)=10^{12}$，16 位有效数字只剩 4 位，位置误差约 $770$ m。改用 QR 分解 $A$ 本身，同样是 fp64，${\kappa }_2(A)u\approx 1.1\times 10^{-10}$，误差回到毫米级。

短弧定轨是典型的「病态但可解」：几何给的 $\kappa$ 无法靠算法消除，算法只能不把它再平方一次。这也是定轨软件默认走 QR/SVD、而不是教科书上的正规方程的原因。

决定：保留法方程（省一半 FLOPs），还是换成 QR（多一倍计算）？

代价：$770$ m 的位置误差会让碰撞预警虚警率飙高，一次误报就要改发射窗口；漏报则是卫星安全事件。

问题：同一个矩阵为什么有四个不同的范数，误差界该用哪一个？条件数 $10^k$ 为什么等于「丢掉 $k$ 位有效数字」？

读完本节，你应该能回答三件事：

1. 四个范数各自衡量什么，为什么误差分析里要同时用 $A$ 与 $A^{-1}$ 的范数？
2. $\kappa$ 与有效数字位数的换算关系是什么，这条经验什么时候不成立？
3. 为什么「先算 $A^{\top }A$ 再解」会把条件数平方，具体在哪一步坏掉？

1. 直觉

1.1 诱导范数 = 单位球被拉成的最长半轴

把 $A$ 作用在单位球 $\{\mathbf{x}:\Vert \mathbf{x}\Vert =1\}$ 上，得到一个椭球。诱导范数（induced norm） 就是这个椭球最长半轴的长度：

不同范数对应不同的「单位球」：$\Vert \cdot {\Vert }_1$ 的球是菱形，$\Vert \cdot {\Vert }_{\infty }$ 的是正方形，$\Vert \cdot {\Vert }_2$ 的是圆。球不同，最长半轴也不同，所以同一个矩阵有多个范数值。

💡 一句话直觉：范数 = 最大拉伸倍数；条件数 = 最大拉伸与最小拉伸的比值。

类比边界：「最大拉伸」是最坏情况。矩阵可能只在某一个方向放大很多，随机输入的放大倍数通常远小于范数。

1.2 条件数 = 椭球有多扁

若 $A$ 把单位圆拉成半轴为 ${\sigma }_{\max }$ 与 ${\sigma }_{\min }$ 的椭圆，求逆时要把短轴重新拉长 $1/{\sigma }_{\min }$ 倍。误差若落在短轴方向，就会被这个倍数放大。椭圆越扁，$\kappa ={\sigma }_{\max }/{\sigma }_{\min }$ 越大：

读作：解的相对误差不超过右端相对误差的 $\kappa$ 倍。完整推导见 4.6，本节补上「范数」这一层。

1.3 它在现实世界里对应什么

在定轨里，$A$ 是「轨道参数 → 测距读数」的灵敏度矩阵，$\Vert A{\Vert }_2$ 是最灵敏方向能让测距变化多少，${\sigma }_{\min }$ 是最不灵敏方向。条件数于是有了物理读法：${\kappa }_2(A)=10^k$ 表示「最不灵敏的方向比最灵敏的方向弱 $10^k$ 倍」，也就是要用 $10^k$ 倍的观测精度才能把它定出来。

换成有效数字：误差放大约 $10^k$ 倍，就丢掉约 $k$ 位十进制有效数字。$7000$ km 的轨道、fp64 的 $u=1.11\times 10^{-16}$：

最后一行正是「先算 $A^{\top }A$」的代价：${\kappa }_2(A^{\top }A)={\kappa }_2(A{)}^2$ 把 $10^6$ 变成 $10^{12}$。

1.4 这个类比在哪里失效

「最坏方向」的读法只在线性化附近成立：定轨的 $A$ 是当前估计处的 Jacobian，弧段一长、非线性一强，$\kappa$ 就不再能预测真实误差。

第二个失效点：$\kappa$ 依赖参数化与单位。把半长轴从 km 换成 m，$\kappa$ 不变（$\kappa (cA)=\kappa (A)$）；但只把某一列的单位换掉，$\kappa$ 会跟着变 $10^6$ 倍。所以「$\kappa =10^6$」必须附上「哪个范数、哪些变量、什么单位」，否则不是一个可比较的数。

2. 定义

2.1 向量范数回顾

对 $\mathbf{x}\in {\mathbb{R}}^n$，$\Vert \mathbf{x}{\Vert }_1={\sum }_i|x_i|$、$\Vert \mathbf{x}{\Vert }_2=({\sum }_i{x}_i^2{)}^{1/2}$、$\Vert \mathbf{x}{\Vert }_{\infty }={\max }_i|x_i|$。三者满足 $\Vert \mathbf{x}{\Vert }_{\infty }\le \Vert \mathbf{x}{\Vert }_2\le \Vert \mathbf{x}{\Vert }_1\le \sqrt{n}\Vert \mathbf{x}{\Vert }_2$，所以它们「等价」，但常数依赖维数 $n$。

2.2 矩阵范数

Frobenius 范数（Frobenius norm） 把矩阵当成长度为 $mn$ 的向量：

诱导（算子）范数（induced/operator norm） 由向量范数定义：

常用诱导范数都有初等公式：$\Vert A{\Vert }_1={\max }_j{\sum }_i|a_{ij}|$（最大列绝对值和）、$\Vert A{\Vert }_{\infty }={\max }_i{\sum }_j|a_{ij}|$（最大行绝对值和）、$\Vert A{\Vert }_2={\sigma }_{\max }$。注意 $\Vert \cdot {\Vert }_F$ 不是诱导范数，没有「某个向量范数诱导出来」的对应物。

2.3 条件数

对可逆方阵 $A$ 和选定范数 $p$，条件数（condition number） 定义为

2-范数下 ${\kappa }_2(A)={\sigma }_{\max }/{\sigma }_{\min }$；1-范数与 $\infty$-范数下没有奇异值公式，只能分别算 $A$ 与 $A^{-1}$ 的列/行和。

2.4 误差放大界

设 $A\mathbf{x}=\mathbf{b}$，右端扰动 $\delta \mathbf{b}$ 使解变为 $\mathbf{x}+\delta \mathbf{x}$，则

若 $A$ 本身有扰动 $\delta A$，一阶近似下 $\frac{\Vert \delta \mathbf{x}\Vert }{\Vert \mathbf{x}\Vert }\lesssim \kappa (A)(\frac{\Vert \delta A\Vert }{\Vert A\Vert }+\frac{\Vert \delta \mathbf{b}\Vert }{\Vert \mathbf{b}\Vert })$。这个「相对误差 × 条件数」的框架由 Turing（1948） 与 von Neumann–Goldstine（1947） 奠定。

3. 为什么这样定义

• 为什么用诱导范数而不是逐元素最大？ 我们要控制 $\Vert A\mathbf{x}\Vert$ 相对于 $\Vert \mathbf{x}\Vert$ 的增长。诱导范数是满足 $\Vert A\mathbf{x}\Vert \le \Vert A\Vert \Vert \mathbf{x}\Vert$ 的最小常数，逐元素范数做不到这么贴合。
• 为什么需要 $\Vert A^{-1}\Vert$？ 只看 $\Vert A\Vert$ 不知道「压扁」有多严重。$A$ 与 $A^{-1}$ 的范数一起，才同时记录最长半轴与最短半轴。
• 为什么范数要统一？ 误差界里的 $\kappa$ 必须和误差度量的范数一致；用 2-范数度量误差，就要用 ${\kappa }_2$。
• 为什么 Frobenius 还有用？ 它计算便宜、正交不变，且 $\Vert A{\Vert }_F^2=\sum {\sigma }_i^2$ 直接连到低秩近似误差（第 7.3 节）；只是不能用来做最优的算子界。

3.1 反事实：先算 $A^{\top }A$，会在哪一步坏掉

取一个和短弧定轨同构的 $2\times 2$ 例子：

现在用 8 位十进制算术（相当于 fp32 的 7 位再加一位）解正规方程：

行列式本应是 $\det (A{)}^2=10^{-8}$，但 8 位算术里 $2\times 2.0002000-(2.0001{)}^2=4.0004000-4.0004000=0$。矩阵被判成奇异，求解器直接报错或给出垃圾。

$10^{-8}$ 恰好落在第 8 位有效数字上，被两个 4 位的大数相减吃掉了。而 $A$ 本身只有 $4\times 10^4$ 的条件数，8 位算术还剩 $8-{\log }_{10}(4\times 10^4)\approx 3.4$ 位，QR 分解能正常给出解。

这就是「换一种公式」的代价：数学上 $A^{\top }A\mathbf{x}=A^{\top }\mathbf{b}$ 与 $A\mathbf{x}=\mathbf{b}$ 等价，数值上后者的条件数是前者的平方根。定理没错，错的是你把误差平方了。

同一类反事实还可以换成「用行列式判病态」：$0.1I_{100}$ 的行列式是 $10^{-100}$，$\kappa =1$，良态得不能再良态。行列式量的是体积，不是误差放大。

4. 性质与推导

4.1 2-范数为什么等于最大奇异值

第一步是定义，第二步展开平方，第三步是 Rayleigh 商的最大值等于最大特征值，最后一步用 ${\sigma }_i^2={\lambda }_i(A^{\top }A)$。等号在 $\mathbf{x}$ 取最大右奇异向量时达到。

4.2 1-范数与 $\infty$-范数的公式

对 1-范数：

取 $\mathbf{x}={\mathbf{e}}_j$（$j$ 为列和最大的那一列）即可取等号。$\infty$-范数把行与列的角色对调，证明相同。

4.3 次乘性与误差界的推导

诱导范数满足次乘性（submultiplicativity）：$\Vert AB\Vert \le \Vert A\Vert \Vert B\Vert$，因为 $\Vert AB\mathbf{x}\Vert \le \Vert A\Vert \Vert B\mathbf{x}\Vert \le \Vert A\Vert \Vert B\Vert \Vert \mathbf{x}\Vert$。

由 $A\delta \mathbf{x}=\delta \mathbf{b}$ 得 $\Vert \delta \mathbf{x}\Vert \le \Vert A^{-1}\Vert \Vert \delta \mathbf{b}\Vert$；又由 $\Vert \mathbf{b}\Vert \le \Vert A\Vert \Vert \mathbf{x}\Vert$ 得 $1/\Vert \mathbf{x}\Vert \le \Vert A\Vert /\Vert \mathbf{b}\Vert$。两式相乘即得 §2.4 的界。

4.4 基本性质

$\kappa (A)\ge 1$（${\sigma }_{\max }\ge {\sigma }_{\min }$）；$\kappa (A^{-1})=\kappa (A)$；$\kappa (cA)=\kappa (A)$；$\kappa (QA)=\kappa (A)$（$Q$ 正交）；$\kappa (AB)\le \kappa (A)\kappa (B)$；以及最重要的 ${\kappa }_2(A^{\top }A)={\kappa }_2(A{)}^2$。最后一条是「最小二乘不要显式解正规方程」的根本原因（4.6）。

5. 例子

5.1 手算：$2\times 2$ 矩阵的四种范数与三个条件数

矩阵范数：列绝对值和为 $4$、$6$，取最大得 $\Vert A{\Vert }_1=6$；行绝对值和为 $3$、$7$，取最大得 $\Vert A{\Vert }_{\infty }=7$；$\Vert A{\Vert }_F=\sqrt{1+4+9+16}=\sqrt{30}=5.477$。

2-范数需要 $A^{\top }A=\left[\begin{array}{cc}10& 14\\ 14& 20\end{array}\right]$：迹 $30$、行列式 $4$，特征值 $15\pm \sqrt{221}$，即 $29.866$ 与 $0.134$。于是 ${\sigma }_{\max }=5.465$、${\sigma }_{\min }=0.366$，$\Vert A{\Vert }_2=5.465$。

逆的范数：$\Vert A^{-1}{\Vert }_1=\max (3.5,1.5)=3.5$；$\Vert A^{-1}{\Vert }_{\infty }=\max (3,2)=3$；$\Vert A^{-1}{\Vert }_F=\sqrt{7.5}=2.739$；$\Vert A^{-1}{\Vert }_2=1/{\sigma }_{\min }=2.732$。条件数：${\kappa }_1=6\times 3.5=21$，${\kappa }_{\infty }=7\times 3=21$，${\kappa }_2=5.465\times 2.732=14.93$。同一矩阵三个条件数不同：都对，只是度量误差的尺子不同。若算 ${\kappa }_F=5.477\times 2.739=15.0$，它不是诱导范数意义下的条件数，不能直接套 §2.4 的界。

5.2 手算：$H_3$ 的精确逆与 ${\kappa }_{\infty }$

Hilbert 矩阵 $H_n=[1/(i+j-1)]$ 是经典的病态矩阵。$n=3$ 时

可逐项相乘验证 $H_3{H}_3^{-1}=I_3$。$\Vert H_3{\Vert }_{\infty }=1+\frac{1}{2}+\frac{1}{3}=\frac{11}{6}=1.833$；$H_3^{-1}$ 的三行绝对值之和分别为 $75$、$408$、$390$，最大 $408$。所以

精确的 2-范数条件数是 $524.06$。若右端相对扰动为 $10^{-6}$，解的相对误差上界是 $748\times 10^{-6}=7.48\times 10^{-4}$，比输入误差大了近三个数量级。

$n=6$ 时双精度的 16 位有效数字大约只剩 9 位。

5.3 场景：量化误差的放大

设一层权重 $W\in {\mathbb{R}}^{4096\times 4096}$ 的 ${\kappa }_2(W)=1000$。用 bf16 存储，元素相对误差典型量级 $2^{-8}\approx 0.39\%$。若误差落在最敏感方向，输出相对误差上界是 $\kappa (W)\times \Vert \delta W\Vert /\Vert W\Vert \approx 1000\times 0.0039=3.9$，即理论上可放大到 $390\%$。

实际量化误差方向分散，实测通常远小于这个最坏界；但上界说明：条件数大时，低精度存储是高风险操作。

5.4 场景闭环：3 分钟弧段能不能定轨

输入：2 个测站、120 个测距点、6 个轨道参数；短弧使 $A$ 的列近共线，${\kappa }_2(A)\approx 10^6$；fp64，$u=1.11\times 10^{-16}$。

计算：

• 直接分解 $A$（QR/SVD）：解的相对误差上界 ${\kappa }_2(A)u\approx 1.1\times 10^{-10}$；
• 法方程：${\kappa }_2(A^{\top }A)u\approx 1.1\times 10^{-4}$。

输出：位置误差为「$7000$ km × 相对误差」，分别是 $0.8$ mm 与 $770$ m。碰撞预警的判据常在千米级，$770$ m 已经吃掉大半个门限。

成本：对 $120\times 6$ 的 $A$ 做 QR，只多约一倍 FLOPs，绝对值是微秒级；法方程省下的时间在整个定轨流程里可以忽略。这里省算力是纯粹的坏交易。

失败条件与兜底：

• 弧段更短（$<1$ 分钟）时 $\kappa$ 可到 $10^8$，QR 也救不回来——此时误差由几何决定，不是算法。兜底是加测站、延长弧段，或用正则化把 ${\sigma }_{\min }$ 抬起来。
• 观测含粗差时，最小二乘的最坏方向会被单个坏点主导。兜底是先做残差检验（${\chi }^2$ 门限）再解。
• 要给出协方差时，对 $A^{\top }A$ 做特征分解而不是显式求逆：${\sigma }_{\min }^2$ 对应的方向方差最大，直接告诉你「这次定轨最不可信的是哪个方向」。

6. 常见误区

1. 误区：$\Vert A{\Vert }_F$ 是诱导范数，可以当算子范数用。 纠正：它不是任何向量范数的诱导范数。$\Vert A\mathbf{x}{\Vert }_2\le \Vert A{\Vert }_F\Vert \mathbf{x}{\Vert }_2$ 成立，但通常比 $\Vert A{\Vert }_2$ 松。
2. 误区：条件数只有一个数。 纠正：${\kappa }_1,{\kappa }_2,{\kappa }_{\infty }$ 可以差几倍（例 5.1 中 $21$ 与 $14.93$），必须和误差所用的范数匹配。
3. 误区：行列式小就病态。 纠正：$0.1I_{100}$ 的行列式是 $10^{-100}$，但 $\kappa =1$。病态看奇异值比值，不看行列式。
4. 误区：$\kappa$ 大就一定算不准。 纠正：$\kappa$ 是最坏情况上界。扰动不落在敏感方向时，实际误差可以小几个数量级；正则化也能把最小奇异值抬起来。

7. 概念网络

• 前置：7.2 SVD 的计算与性质 —— $\Vert A{\Vert }_2={\sigma }_{\max }$，${\kappa }_2={\sigma }_{\max }/{\sigma }_{\min }$。
• 前置：1.4 范数与距离 —— 向量范数是矩阵范数的基础。
• 关联：4.6 条件数与病态 —— 误差放大界的完整推导与 Hilbert 表。
• 后续：10.3 BLAS 与 GEMM —— 实际计算只关心浮点运算与访存。
• 后续：10.4 迭代法与共轭梯度 —— CG 的收敛率由 $\sqrt{\kappa }$ 控制。
• 关联：11.9 量化 —— 用 $\kappa$ 估计低精度存储的风险。

8. 通往大模型：条件数决定「低精度能不能用」

出现位置一：权重矩阵的量化误差。 一层线性层 $\mathbf{y}=W\mathbf{x}$，$W\in {\mathbb{R}}^{D\times D}$、$D=4096$。若 $W$ 被量化成 $\tilde{W}=W+\delta W$，则

推导：$\Vert \delta \mathbf{y}\Vert \le \Vert \delta W\Vert \Vert \mathbf{x}\Vert$，而 $\Vert \mathbf{y}\Vert \ge {\sigma }_{\min }\Vert \mathbf{x}\Vert$，相除即得。bf16 的相对误差约 $2^{-8}=0.39\%$，fp16 约 $2^{-11}=0.049\%$。同一个 $\kappa =1000$ 的层，bf16 的最坏输出误差是 $3.9$（即 $390\%$），fp16 是 $0.49$。

出现位置二：Hessian 与损失曲面。 极小点附近的 Hessian $H={\nabla }^{2}L\in {\mathbb{R}}^{P\times P}$ 是对称矩阵，$\kappa (H)={\lambda }_{\max }/{\lambda }_{\min }$。梯度下降的稳定步长要求 $\eta <2/{\lambda }_{\max }$，收敛到精度 $\epsilon$ 的迭代次数约为 $\kappa (H)\log (1/\epsilon )$。$\kappa$ 越大，损失曲面越像狭长山谷：一个方向震荡，另一个方向几乎不动。 出现位置三：谱范数与归一化。 谱归一化把 ${\sigma }_{\max }(W)$ 约束到 1 附近，从而控制整层的 Lipschitz 常数；实现上用幂迭代估计 ${\sigma }_{\max }$：反复算 $\mathbf{v}\leftarrow W^{\top }W\mathbf{v}$ 并归一化，20 步左右就够，每次只花两次矩阵向量乘。

可检验结论：随机初始化、方差为 $1/D$ 的 $W$ 并不良态——奇异值谱铺在 $[0,2]$ 附近，${\sigma }_{\min }$ 可以非常接近 0，$\kappa$ 随 $D$ 增大而上升。所以真实模型里看到 $\kappa (W)\sim 10^2$–$10^4$ 并不奇怪；这也解释了低精度训练为什么需要 fp32 主权重与归一化层配合。

如果这一步算错，用户会看到什么。 定轨软件不会报错，它给出一组「看起来正常」的轨道根数；异常出现在下游：预报位置越漂越远、碰撞预警虚警率异常高、同一颗星两次定轨差出几百米。工程上的判别方法是看协方差椭球的最长轴——如果它稳定指向某个物理方向（比如沿迹方向），说明是几何不可辨识，不是代码 bug。

9. 练习

1. 概念：为什么 $\Vert A{\Vert }_2={\sigma }_{\max }$，而 $\Vert A{\Vert }_F$ 不是诱导范数？各举一个用途。
2. 计算：对 $B=\left[\begin{array}{cc}2& 0\\ 1& 3\end{array}\right]$ 求四个范数，再求 ${\kappa }_1,{\kappa }_{\infty },{\kappa }_2$。三个条件数一样吗？
3. 计算：$H_6$ 的 ${\kappa }_2\approx 1.50\times 10^7$。双精度约有 16 位有效数字，解大约还剩几位？若右端相对扰动 $10^{-10}$，相对误差上界是多少？
4. 开放：若只能改一处来降低一层的有效条件数，你选「逐通道量化」「权重归一化」还是「低秩分解」？说明代价。

10. 一页速记

• $\Vert A{\Vert }_1$ = 最大列绝对值和，$\Vert A{\Vert }_{\infty }$ = 最大行绝对值和，$\Vert A{\Vert }_2={\sigma }_{\max }$，$\Vert A{\Vert }_F^2=\sum {\sigma }_i^2$。
• 诱导范数是满足 $\Vert A\mathbf{x}\Vert \le \Vert A\Vert \Vert \mathbf{x}\Vert$ 的最小常数；Frobenius 不是诱导范数。
• ${\kappa }_p(A)=\Vert A{\Vert }_p\Vert A^{-1}{\Vert }_p$；2-范数下 $={\sigma }_{\max }/{\sigma }_{\min }$，且 $\kappa \ge 1$。
• $\Vert \delta \mathbf{x}\Vert /\Vert \mathbf{x}\Vert \le \kappa \Vert \delta \mathbf{b}\Vert /\Vert \mathbf{b}\Vert$；条件数必须与误差范数匹配。
• ${\kappa }_2(A^{\top }A)={\kappa }_2(A{)}^2$；Hilbert 矩阵是病态的标准例子。
• 物理意义 / 现实对应：条件数是「最不灵敏方向比最灵敏方向弱多少倍」，也是「误差放大几倍、丢掉几位有效数字」；$\kappa =10^k$ 就丢约 $k$ 位。

11. 参考文献与致谢

这一页的知识不是凭空来的。下面列出本页直接借用的原始工作与权威整理；正文中的人名、定理名已链接到对应条目。链接优先指向 DOI、arXiv 或可长期访问的原文存档。

• Turing（1948）：Rounding-Off Errors in Matrix Processes。第一次系统讨论矩阵消元的舍入误差与「条件数」式放大，是本页误差界的源头之一。Quarterly Journal of Mechanics and Applied Mathematics
• von Neumann & Goldstine（1947）：Numerical Inverting of Matrices of High Order。把矩阵求逆的误差分析与范数联系起来，与本页 §2.4 的放大界同一脉络。Bulletin of the AMS
• Higham（2002）：Accuracy and Stability of Numerical Algorithms（2nd ed.）。矩阵范数、条件数与扰动分析的权威整理。SIAM

下一篇 → 10.3 BLAS 与 GEMM

源文件：10-数值线性代数/02-矩阵范数与条件数.md