4.5 伪逆与最小范数解：给不可逆矩阵一个广义逆

本节位置：模块 4 · 线性方程组｜前置：4.4 ｜预计：35 分钟

一句话：伪逆是「不可逆矩阵的逆」：超定时给最小二乘解，欠定时给最小范数解，秩亏时两件事同时做。

0. 场景引入

一台 CT 做低剂量胸部扫描：探测器 128 个，转 90 个角度，得到 $128 \times 90 = 11520$ 条射线投影；重建图像是 $128 \times 128$ ，共 16384 个像素。11520 个方程、16384 个未知数——这是一个欠定系统，至少有 $16384 - 11520 = 4864$ 个自由方向。

医院要求 2 秒内出图，剂量比常规低 30%。投影数据总共不到 100 kB，却要还原 16384 个像素。欠定意味着：同一组投影数据对应无穷多张图像。选哪一张，直接决定 2 mm 的肺结节是留下还是被抹平。选错一次可能是漏诊；选得太慢，急诊排队。

数学上最自然的选择是「最小范数」：在所有与投影一致的图像里，取像素平方和最小的那张，它的物理名字叫最小能量图像。但能量最小不等于最像——它会把对比度摊平，也会在缺失角度上留下条纹。

问题：伪逆给出的到底是哪一张图？它的零空间里藏着什么？读完本节，你应该能回答三件事：

四条 Penrose 条件各自在保证什么？
为什么 $A^{+} b$ 一定落在行空间里，这为什么等价于「范数最小」？
截断阈值取大或取小，分别会把图像变成什么样？

1. 直觉

1.1 伪逆 = 奇异值取倒数，零保持为零

任何矩阵都有 SVD（第 7.1 节）： $A = U Σ V^{⊤}$ 。 $Σ$ 的对角元 $σ_{1} \geq \dots \geq σ_{r} > 0$ 是奇异值，其余为零。若 $A$ 可逆， $A^{- 1} = V Σ^{- 1} U^{⊤}$ ，把每个 $σ_{i}$ 变成 $1/ σ_{i}$ 。

若 $A$ 不可逆，就只对非零奇异值取倒数，零仍然留为零：

A^{+} = V Σ^{+} U^{⊤}, Σ^{+} = diag (\frac{1}{σ _{1}}, \dots, \frac{1}{σ _{r}}, 0, \dots, 0)

伪逆（pseudoinverse） $A^{+}$ 对任意矩阵都存在，包括长方形矩阵。

1.2 两个极端

超定（ $m > n$ ，满列秩）： $A^{+} = (A^{⊤} A)^{- 1} A^{⊤}$ ，等价于 4.4 的最小二乘。
欠定（ $m < n$ ，满行秩）： $A^{+} = A^{⊤} (A A^{⊤})^{- 1}$ ，给出最小范数解。

💡 一句话直觉：伪逆先投影到「能表示的方向」，再在剩下的自由方向里取范数最小的那个。

最小范数解：解集直线上离原点最近的点

图：所有解在 $x_{1} + 2 x_{2} = 3$ 上；以原点为圆心的圆与直线相切于 $p = (0.6, 1.2)$ ，所以 $p$ 是范数最小的解。

1.3 它在现实世界里对应什么

把 CT 的测量矩阵 $A$ 写出来：每一行对应一条射线，行里的非零元是这条射线穿过的像素，右端是探测器读数。

数学对象	CT 里的对应物
未知数 $x \in R^{16384}$	每个像素的衰减系数
第 $i$ 行	第 $i$ 条射线穿过哪些像素（Radon 变换的离散版）
$A x$	每条射线上的投影和
$A^{+} b$	在无穷多张「投影一致」的图像里，能量最小的那张
$N (A)$	改变图像却不改变任何投影的图案（有限角度条纹）

量级直觉：90 个角度覆盖 180°，平均每 2° 一个视角；缺失的角度越多，零空间越大，最小范数解就越倾向于「在看不见的方向上什么都不放」。 $16384 - 11520 = 4864$ 个自由方向，约占总维度的 30%。

1.4 这个类比在哪里失效

第一，真实图像非负、分段光滑。最小能量解会出现负像素和振铃，看起来「不像人体」；临床用的是迭代重建加非负/全变分约束，不是裸伪逆。

第二，零空间不是「没有信息」，而是「这次测量看不到」。换角度、加剂量、加先验，都能把它变成可观测方向。

第三， $A$ 是近似：散射、束硬化、探测器串扰都不在这个线性模型里。模型误差不会被伪逆修好，只会被它忠实地反演成伪影。

2. 定义

2.1 Moore–Penrose 四条件

对任意 $A \in R^{m \times n}$ ， $A^{+} \in R^{n \times m}$ 由以下四条唯一确定——这四条来自 Penrose（1955）：

(1) A A^{+} A = A (3) (A A^{+})^{⊤} = A A^{+} (2) A^{+} A A^{+} = A^{+} (4) (A^{+} A)^{⊤} = A^{+} A

前两条说「 $A^{+}$ 在 $A$ 能作用的方向上是逆」，后两条说「两个投影矩阵都对称」。

2.2 用 SVD 定义

若 $A = U Σ V^{⊤}$ 是瘦 SVD（ $U \in R^{m \times r}$ 、 $Σ \in R^{r \times r}$ 、 $V \in R^{n \times r}$ ， $r = rank A$ ），则 $A^{+} = V Σ^{- 1} U^{⊤}$ 。这是最稳的计算方式，np.linalg.pinv 就是这么做的。

2.3 最小范数最小二乘解

A^{+} b = ar g x min ∥ x ∥_{2} s.t. x \in ar g z min ∥ A z - b ∥_{2}

先在所有「残差最小」的解里挑，再在它们之中挑范数最小的；这个结果叫最小范数最小二乘解（minimum-norm least-squares solution）。超定时解唯一，这一步不产生差别；欠定时残差可以为零，于是直接挑最小范数解。

3. 为什么这样定义

为什么不用 $A^{⊤} A$ 的逆？因为 $A^{⊤} A$ 在不满列秩时不可逆。 $A^{+}$ 把这套公式推广到所有矩阵：满列秩时退化为 $(A^{⊤} A)^{- 1} A^{⊤}$ ，满行秩时退化为 $A^{⊤} (A A^{⊤})^{- 1}$ 。

为什么恰好是这四条？四条来自「 $A$ 在行空间上可逆、在零空间上为零」这一几何事实。设 $A$ 的秩为 $r$ ，它把行空间同构地送到列空间。 $A^{+}$ 要做的是：在列空间上取真正的逆（条件 1、2）；在左零空间上输出零；两个方向的投影都正交（条件 3、4）。

可以证明满足四条的矩阵存在且唯一，所以「伪逆」不是一种选择，而是被几何逼出来的唯一对象。

3.1 反事实：伪逆的截断阈值取错

pinv 不是真的「把零奇异值留为零」，它有一个阈值：小于 rcond * σ_max 的奇异值被当作零扔掉。这个阈值决定「数值秩」，也决定解。看一个能手算的对角例子：

A = [10 0 1 0^{- 3}], b = [1 1 0^{- 6}]

精确解是 $x = (1, 1 0^{- 3})^{⊤}$ 。

取 rcond $= 1 0^{- 2}$ ： $1 0^{- 3} < 1 0^{- 2} \times 1$ ，第二个奇异值被扔掉，解变成 $(1, 0)^{⊤}$ 。残差只有 $1 0^{- 6}$ ——残差小到看不出来，但第二个分量被整个删掉了。
取 rcond $= 1 0^{- 8}$ ：第二个分量保留。可若 $b$ 的第二个分量带 $1 0^{- 6}$ 的噪声（变成 $2 \times 1 0^{- 6}$ ）， $x_{2}$ 就从 $1 0^{- 3}$ 变成 $2 \times 1 0^{- 3}$ ，这一个分量的相对误差是 100%，而整幅图的相对误差只有 0.1%。

两个阈值都「有道理」，但一个删掉真实结构，一个放大噪声；而残差和全图范数都看不见这两种错。阈值不是实现细节，它是一个必须由先验（噪声水平、结构稀疏性）来定的建模决定。

4. 性质与推导

4.1 两个投影

A A^{+} = 到 col (A) 的投影, A^{+} A = 到 row (A) 的投影

因此 $A A^{+} b$ 就是 $b$ 在列空间上的投影（4.4 的 $\hat{y}$ ）， $A^{+} A x$ 把 $x$ 投到行空间。

4.2 满秩时的两个公式

满列秩（ $r = n$ ）： $A^{+} = (A^{⊤} A)^{- 1} A^{⊤}$ ，验证条件 1、2 靠 $(A^{⊤} A)^{- 1}$ 消去，条件 3、4 由对称性得到。满行秩（ $r = m$ ）： $A^{+} = A^{⊤} (A A^{⊤})^{- 1}$ 。

4.3 零空间与最小范数

$A^{+} b$ 一定落在 $row (A)$ 里（因为 $A^{+} = V Σ^{- 1} U^{⊤}$ ， $V$ 的列张成行空间）。而 $row (A)$ 与 $N (A)$ 正交，所以它是解集 $x_{p} + N (A)$ 中离原点最近的点——这就是「最小范数」。

4.4 与转置、乘积的关系

$(A^{+})^{+} = A$ 、 $(A^{⊤})^{+} = (A^{+})^{⊤}$ 、 $(α A)^{+} = α^{- 1} A^{+}$ （ $α \neq = 0$ ）。但 $(A B)^{+} \neq = B^{+} A^{+}$ 一般不成立，这是常见陷阱；成立所需的额外条件见 Ben-Israel & Greville。

5. 例子

5.1 手算：对角矩阵的伪逆

A = 200 0 \frac{1}{2} 0 000

SVD 就是它自己（对角、非负）。非零奇异值是 $2$ 和 $\frac{1}{2}$ ，取倒数；零保持为零：

A^{+} = \frac{1}{2} 00 020000

验证四条件： $A A^{+} = diag (1, 1, 0)$ ， $A^{+} A$ 相同；两者都对称，且 $A A^{+} A = A$ 、 $A^{+} A A^{+} = A^{+}$ ✓

解方程 $A x = (2, 1, 0)^{⊤}$ ： $x_{1} = 1$ 、 $x_{2} = 2$ 、 $x_{3}$ 自由。 $A^{+} b = (1, 2, 0)^{⊤}$ ，正是所有解里范数最小的（取 $x_{3} = 0$ ）。

5.2 手算：秩 1 矩阵

A = [1111], b = [20]

$A$ 的秩为 1，不可逆。因为 $A = 2 u u^{⊤}$ （ $u = (1, 1) / 2$ ），伪逆为 $\frac{1}{2} u u^{⊤} = \frac{1}{4} J$ ：

A^{+} b = \frac{1}{4} [1111] [20] = [\frac{1}{2} \frac{1}{2}]

最小二乘： $A x = (x_{1} + x_{2}) (1, 1)^{⊤}$ ，要让它与 $(2, 0)$ 最近，只能取 $x_{1} + x_{2} = 1$ （此时残差 $(1, - 1)$ 与列空间正交）。

最小范数：解集是 $x_{1} + x_{2} = 1$ ，范数平方 $t^{2} + (1 - t)^{2} = 2 t^{2} - 2 t + 1$ ，在 $t = \frac{1}{2}$ 取最小，值 $\frac{1}{2}$ ，与 $A^{+} b$ 一致 ✓

投影： $A A^{+} = \frac{1}{2} J$ ，把任意向量投到 $span {(1, 1)}$ 上。NumPy 复核：np.linalg.pinv(A) @ b 与 np.linalg.lstsq(A, b) 都返回 [0.5, 0.5]。

5.3 场景：最小改动

要让某层在 $K$ 个输入 $H \in R^{D \times K}$ 上产生指定变化 $Δ \in R^{D \times K}$ ，取 $Δ W = Δ H^{+}$ 。这是所有满足 $Δ W H = Δ$ 的矩阵里 Frobenius 范数最小的一个，且 $rank (Δ W) \leq K$ 。

5.4 场景闭环：11520 条射线、16384 个像素

输入： $A \in R^{11520 \times 16384}$ ，每条射线约穿过 128 个像素，非零元约 $11520 \times 128 \approx 1.5 \times 1 0^{6}$ 。CSR 存 fp64 加 4 B 索引，约 $1.5 \times 1 0^{6} \times 12 B \approx 18$ MB；投影 $b$ 是 $11520 \times 8 B \approx 92$ kB。

计算：显式 $A^{+}$ 是 $16384 \times 11520$ ，约 $1.9 \times 1 0^{8}$ 个元素，fp64 要 1.5 GB，还要做一次 $O (m n^{2})$ 的 SVD——单是内存就超过一张消费级显卡，所以工程上根本不显式求伪逆。 实际用 CGLS：每次迭代两次矩阵-向量乘，约

2 \times 11520 \times 16384 \times 2 \approx 7.5 \times 1 0^{8} FLOP

迭代 20 次约 $1.5 \times 1 0^{10}$ FLOP，8 核按 50 GFLOP/s 估约 0.3 s，落在 2 s 预算内。CGLS 从零向量出发，迭代点始终落在 $A^{⊤}$ 张成的 Krylov 子空间里（也就是行空间内），极限正是最小范数最小二乘解。

输出：一张重建图像，加上残差 $∥ A x - b ∥$ 与迭代次数。决策是：直接出图，还是继续迭代/加正则。

成本：约 $1.5 \times 1 0^{10}$ FLOP、18 MB 稀疏矩阵；若显式存 $A^{+}$ 要 1.5 GB，是前者的 80 倍——这是「伪逆是定义、不是算法」最直接的例子。

失败条件：

有限角度：90 个角度覆盖不全，零空间大，最小范数解在缺失方向上全取 0，出现条纹。兜底：加全变分/非负约束，或在允许范围内增加角度。
噪声放大： $σ_{m i n}$ 小，投影里的噪声被 $1/ σ_{m i n}$ 放大。兜底：截断迭代（早停）或 Tikhonov 正则。
模型误差：散射与束硬化让 $A$ 本身不准，残差收敛了图像还是偏。兜底：物理校正后再重建。

6. 常见误区

误区：伪逆就是「近似的逆」， $A^{+} A \approx I$ 。纠正： $A^{+} A$ 是到行空间的精确投影，一般不等于 $I$ ；只有满列秩时才是 $I$ 。
误区： $A^{+}$ 只能处理方阵。纠正：任意 $m \times n$ 矩阵都有伪逆，形状是 $n \times m$ 。
误区： $A^{+} b$ 一定是 $A x = b$ 的解。纠正：只有 $b \in col (A)$ 时才是；否则它是最小二乘解，残差非零。
误区： $(A B)^{+} = B^{+} A^{+}$ 。纠正：一般不成立，需要额外条件。
误区：pinv 的阈值无关紧要。纠正：它会把小于 rcond * σ_max 的奇异值当作零，阈值改变「数值秩」，进而改变解；病态矩阵尤其敏感（4.6）。

7. 概念网络

前置：4.4 最小二乘与正规方程 —— 超定情形下的特例。
前置：4.2 解的存在性与通解 —— 欠定情形下的解集。
前置：4.3 齐次方程与零空间 —— 最小范数解落在行空间。
后续：第 7.4 节（伪逆、数值秩与条件数）—— 用 SVD 讨论截断与数值秩。
关联：4.6 条件数与病态问题 —— 奇异值比值决定稳定性。
关联：1.6 正交与投影 —— $A A^{+}$ 与 $A^{+} A$ 都是投影。

8. 通往大模型：最小改动权重编辑

出现位置：闭式模型编辑、把一条事实「写入」某层、LoRA 合并前后的约束求解，以及需要「改动最小」的微调。

形状：要让权重 $W \in R^{D \times D}$ 在 $K$ 个输入上满足 $W H = Y$ ，取 $Δ W = (Y - W H) H^{+}$ 。这里 $H \in R^{D \times K}$ 、 $H^{+} \in R^{K \times D}$ 、 $Δ W \in R^{D \times D}$ 。 $K ≪ D$ 时 $rank (Δ W) \leq K$ ，改动只落在一个 $K$ 维子空间里。

为什么需要：满足约束的 $Δ W$ 有无穷多个（4.2），伪逆给出的那个 Frobenius 范数最小。范数小意味着对未观测输入的扰动小，旧能力更可能保留；若改用「随便一个解」，权重可能被大幅改动，造成灾难性遗忘。

可检验结论： $Δ W H = Y - W H$ 精确成立（在浮点误差内）； $rank (Δ W) \leq K$ ；当 $K = 8, D = 4096$ 时， $Δ W$ 至多 8 个非零奇异值，其余 $4088$ 维完全没动。这正是「低秩编辑」的数学依据，也说明容量上限是 $K$ 维。

import numpy as np
rng = np.random.default_rng(0)
D, K = 64, 3
W = rng.normal(size=(D, D)); H = rng.normal(size=(D, K)); Y = rng.normal(size=(D, K))
dW = (Y - W @ H) @ np.linalg.pinv(H)
print(dW.shape, np.linalg.matrix_rank(dW) <= K)
print(np.linalg.norm(W @ H + dW @ H - Y))   # ≈ 0

如果这一步算错，工程上看到什么现象：pinv 的默认阈值是相对 $σ_{m a x}$ 的（NumPy 默认 rcond=1e-15），对近奇异的 $H$ 会把某些方向放大 $1 0^{6}$ 倍。合并 LoRA 后，模型在大多数 prompt 上看起来正常，但在少数输入上突然输出乱码或重复——因为那些输入恰好落在被放大的方向上。反过来，阈值调大，编辑「没生效」，你会以为训练没收敛。

9. 练习

概念：四条 Penrose 条件分别在保证什么？
计算：求 $A = [3000]$ 的伪逆，并解 $A x = (6, 5)^{⊤}$ 的最小二乘、最小范数解。
计算： $A = (1, 1, 1)$ （ $1 \times 3$ ），求 $A^{+}$ ，并用它解 $x_{1} + x_{2} + x_{3} = 3$ 的最小范数解。
概念：为什么伪逆解一定落在行空间里？这和「最小范数」有什么关系？
开放：模型编辑时 $K$ 取多大合适？增大 $K$ 带来什么好处与风险？

参考答案

(1) 在列空间上 $A^{+}$ 是真逆；(2) $A^{+}$ 在列空间上的作用与逆一致，不会产生额外分量；(3)(4) 两个复合 $A A^{+}$ 、 $A^{+} A$ 是正交投影，因而对称。
非零奇异值 3， $A^{+} = [1/3 0 00]$ 。 $A^{+} b = (2, 0)^{⊤}$ ；残差 $(0, 5)^{⊤}$ 与列空间 $span {(1, 0)}$ 正交； $x_{2}$ 在最小二乘意义下不可定，取 0 即最小范数。
$A A^{⊤} = 3$ ， $A^{+} = A^{⊤} /3 = (1/3, 1/3, 1/3)^{⊤}$ 。 $A^{+} \cdot 3 = (1, 1, 1)^{⊤}$ ；由柯西–施瓦茨 $∥ x ∥ \geq 3/ 3 = 3$ ，等号在三分量相等时取到，故它是最小范数解。
$A^{+} = V Σ^{- 1} U^{⊤}$ 的列是 $V$ 的列的线性组合，而 $V$ 的列张成行空间。把解拆成行空间分量与零空间分量，只有行空间分量影响 $A x$ ；去掉零空间分量既保持残差又减小范数，故最优解在行空间。
$K$ 越大，覆盖的约束方向越多、编辑越准；但 $Δ W$ 秩上升、范数上升，对其它输入干扰变大，且 $κ (H)$ 可能变差使 $H^{+}$ 不稳。通常取 $K$ 远小于 $D$ ，并检查 $κ (H)$ 。

10. 一页速记

$A^{+}$ 由四条 Penrose 条件唯一确定，任意矩阵都有。
物理意义 / 现实对应：伪逆 = 在「能看见的方向」上取逆、在「看不见的方向」上取零；CT 里就是缺失角度上不编造信息，最小范数则选能量最小的那张图。
SVD 定义： $A = U Σ V^{⊤} \Rightarrow A^{+} = V Σ^{+} U^{⊤}$ ，非零奇异值取倒数。
满列秩： $A^{+} = (A^{⊤} A)^{- 1} A^{⊤}$ ；满行秩： $A^{+} = A^{⊤} (A A^{⊤})^{- 1}$ 。
$A^{+} b$ = 最小二乘解中范数最小的那个；超定时就是普通最小二乘解。
$A A^{+}$ 投影到列空间， $A^{+} A$ 投影到行空间。

11. 参考文献与致谢

这一页的知识不是凭空来的。下面列出本页直接借用的原始工作与权威整理；正文中的人名、定理名已链接到对应条目。链接优先指向 DOI、arXiv 或可长期访问的原文存档。

彭罗斯（Roger Penrose, 1955）：A generalized inverse for matrices。给出第 2.1 节那四条条件，并证明满足它们的 $A^{+}$ 存在且唯一；Moore 1920 年的早期定义由此变成可用的公理刻画。Proc. Cambridge Philos. Soc. 51(3), 406–413
本-伊斯雷尔与格雷维尔（Adi Ben-Israel & Thomas N. E. Greville, 2003）：Generalized Inverses: Theory and Applications（2nd ed.）。系统整理各类广义逆的分类、最小范数最小二乘解的构造，以及 $(A B)^{+} = B^{+} A^{+}$ 成立所需的条件，正是第 4.4 节那个反例的完整版。Springer

下一篇 → 4.6 条件数与病态问题

返回 M04 导览去练习场

随堂测 · 7 题

数值难度 2第 1 / 7 题

设

A = diag (2, \frac{1}{2}, 0)

，

b = (2, 1, 0)^{⊤}

，最小范数解

A^{+} b

的范数是多少？（保留三位小数）

没思路？看原文

源文件：04-线性方程组/05-伪逆与最小范数解.md