附录源文件：exercises/m07-答案.md

M07 习题答案

对应 m07-习题。每题给关键步骤；只写结果不算完成，请对照中间步骤。

A 概念题

$A^{⊤} A$ 是 $n \times n$ 对称半正定矩阵，谱定理保证它有完整的正交特征基：特征值 $λ_{i} \geq 0$ 、特征向量 $v_{i}$ 两两正交。令 $σ_{i} = λ_{i}$ 、 $u_{i} = A v_{i} / σ_{i}$ ，就得到 $A = U Σ V^{⊤}$ 。整个构造只用到「 $A^{⊤} A$ 是对称方阵」，所以对任意 $m \times n$ 都成立。特征分解要求 $A$ 本身是方阵（否则 $A x = λ x$ 两边维数不符），还要求可对角化， $λ$ 可能为负或复数。
当 $A$ 是正规矩阵（ $A^{⊤} A = A A^{⊤}$ ，含对称、反对称、正交矩阵）时成立。反例 $A = [1011]$ ：特征值是 $1, 1$ ，但 $A^{⊤} A = [1112]$ ，特征值为 $(3 \pm 5) /2$ ，奇异值为 $(3 + 5) /2 \approx 1.618$ 与 $0.618$ 。差别在于：特征值描述「不变方向」，奇异值描述「拉伸倍数」，非正规矩阵两者可以完全不同。
设 $rank (A) = r$ ，对任意 $rank (B) \leq k$ 有 $∥ A - B ∥_{2} \geq σ_{k + 1}$ 且 $∥ A - B ∥_{F}^{2} \geq \sum_{i > k} σ_{i}^{2}$ ，等号在 $B = A_{k} = \sum_{i \leq k} σ_{i} u_{i} v_{i}^{⊤}$ 时同时成立。所以它不是启发式：在秩约束集合上， $A_{k}$ 同时最小化两种范数误差。误差分别为 $∥ A - A_{k} ∥_{F}^{2} = \sum_{i > k} σ_{i}^{2}$ 、 $∥ A - A_{k} ∥_{2} = σ_{k + 1}$ 。
$A^{+} = V Σ^{+} U^{⊤}$ ， $Σ^{+}$ 把非零奇异值取倒数、零留零。截断的必要性： $σ_{i}$ 很小时 $1/ σ_{i}$ 极大， $b$ 的噪声（含舍入误差）被放大成巨大解分量，解不可信。数值秩 $r_{τ} = # {σ_{i} > τ}$ 依赖：浮点精度（fp64/fp32/bf16）、数据噪声水平、容差取法（绝对/相对 $σ_{1}$ ）、以及矩阵的缩放。同一矩阵在 fp64 下秩 512、bf16 下可能秩 200，所以它不是固有属性。
不中心化时，第一主成分指向数据的均值方向，解释的是「数据在哪」而不是「数据怎么变」。PCA 就是对中心化矩阵 $\tilde{X}$ 做 SVD： $V$ 的列是主成分，得分是 $\tilde{X} V$ ，方差是 $σ_{i}^{2} / (n - 1)$ 。「解释方差比 90%」等价于 $∥ \tilde{X} - \hat{X} ∥_{F}^{2} = 0.1∥ \tilde{X} ∥_{F}^{2}$ ，即重构误差是总能量的 10%。

B 计算题

$A^{⊤} A = [5445]$ ，特征值 $9, 1$ ，故 $σ_{1} = 3$ 、 $σ_{2} = 1$ 。 $λ = 9$ 时 $v_{1} = \frac{1}{2} (1, 1)^{⊤}$ ， $u_{1} = A v_{1} /3 = \frac{1}{2} (1, 1)^{⊤}$ ； $λ = 1$ 时 $v_{2} = \frac{1}{2} (1, - 1)^{⊤}$ ， $u_{2} = A v_{2} /1 = \frac{1}{2} (1, - 1)^{⊤}$ 。所以 $U = V = \frac{1}{2} [11 1 - 1]$ （对称矩阵的 $U = V$ ）。 $det A = 3$ ， $σ_{1} σ_{2} = 3$ ✓。
$A = u u^{⊤}$ ， $u = (1, 2)^{⊤}$ ， $A^{⊤} A = [5101020]$ ，特征值 $25, 0$ ，故 $σ = (5, 0)$ 。 $v_{1} = \frac{1}{5} (1, 2)^{⊤}$ ， $u_{1} = \frac{1}{5} (1, 2)^{⊤}$ ； $σ_{2} = 0$ 对应 $v_{2} = \frac{1}{5} (2, - 1)^{⊤}$ 。秩 1， $κ_{2} = \infty$ 。几何：整个平面被压成一条直线（ $u_{1}$ 方向），沿 $v_{2}$ 的输入全部消失。
$A_{1} = diag (5, 0, 0)$ ； $∥ A - A_{1} ∥_{F} = 3^{2} + 1^{2} = 10 \approx 3.162$ ； $∥ A - A_{1} ∥_{2} = 3$ ； $η_{1} = 25/ (25 + 9 + 1) = 25/35 \approx 0.714$ 。存储 $k (m + n + 1) = 1 \times (3 + 3 + 1) = 7$ 个数（原矩阵 9 个）—— $3 \times 3$ 太小，压缩比自然不好看； $512 \times 512$ 时才有意义。
$A^{⊤} A = [2112]$ 、 $A^{⊤} b = (3, 2)^{⊤}$ 。正规方程 $A^{⊤} A \hat{x} = A^{⊤} b$ 解得 $\hat{x} = (4/3, 1/3)$ 。残差 $b - A \hat{x} = (1/3, - 1/3, - 1/3)$ ，与列 $(1, 1, 0)$ 、 $(1, 0, 1)$ 的内积分别为 $1/3 - 1/3 = 0$ 、 $1/3 - 1/3 = 0$ ✓。 SVD 核对： $σ_{1} = 3, σ_{2} = 1$ ， $v_{1} = \frac{1}{2} (1, 1)$ 、 $v_{2} = \frac{1}{2} (1, - 1)$ ， $u_{1}^{⊤} b = 5/ 6$ 、 $u_{2}^{⊤} b = 1/ 2$ ，于是 $\hat{x} = \frac{5/ 6}{3} v_{1} + \frac{1/ 2}{1} v_{2} = \frac{5}{6} (1, 1) + \frac{1}{2} (1, - 1) = (4/3, 1/3)$ ✓。
$det A = 0.001$ 、 $σ_{1} \approx 2.0005$ ，故 $σ_{2} \approx 0.001/2.0005 \approx 5 \times 1 0^{- 4}$ ， $κ_{2} \approx 4002$ 。 $τ = 1 0^{- 6}$ 时 $σ_{2} > τ$ ，数值秩为 2（截断不会丢它）。解的相对误差上界 $κ \cdot 5 \times 1 0^{- 7} \approx 2 \times 1 0^{- 3}$ ，即 0.2%。注意若取 $τ = 1 0^{- 3}$ ， $σ_{2} < τ$ ，数值秩会变成 1，解的含义随之改变——阈值不是小事。

C 大模型题

$rank (Δ W) \leq min (8192, 32) = 32$ ；参数量 $8192 \times 32 + 32 \times 8192 = 524, 288$ ；全参数 $819 2^{2} = 67, 108, 864$ ，占比 $524, 288/67, 108, 864 = 0.78%$ 。与 SVD 的关系： $B A$ 是秩 $\leq 32$ 的一种参数化，并非 SVD；要读谱需对训练后的 $Δ W$ 再做 SVD。
原始： $2 \cdot L \cdot T \cdot D = 2 \times 32 \times 4096 \times 4096 = 1, 073, 741, 824$ 个数，fp16（2 字节）约 $2.15$ GB。低秩：每层每个矩阵存 $T r + r D = 4096 \times 64 + 64 \times 4096 = 524, 288$ 个数，两个矩阵 $1, 048, 576$ ， $\times 32$ 层得 $33, 554, 432$ 个数，约 $67.1$ MB。压缩比 $32$ 倍。代价是每个矩阵引入 $σ_{65}$ 量级的误差，且 $T$ 与 $D$ 越大、 $r$ 的绝对上限越受 $κ$ 约束。
$Δ W = (Y - W H) H^{+}$ ，其中 $H^{+} \in R^{16 \times 4096}$ 、 $Δ W \in R^{4096 \times 4096}$ ， $rank (Δ W) \leq 16$ 。若 $κ_{2} (H) = 1 0^{5}$ ，则 $σ_{16}$ 极小， $H^{+}$ 的范数约 $1/ σ_{16}$ 巨大， $Δ W$ 的元素爆量级，并且对未观测输入产生剧烈扰动（灾难性遗忘）。补救：(a) 减少 $K$ ，只保留线性无关的编辑方向；(b) Tikhonov 正则 $(H^{⊤} H + λ I)^{- 1} H^{⊤}$ ，或等价地做 TSVD 截断（丢掉 $σ_{i} < 1 0^{- 2} σ_{1}$ 的方向）。

D 开放题

截断 SVD：误差有解析上界（ $σ_{k + 1}$ ），但秩约束与硬件不匹配——低秩矩阵在 GPU 上仍需物化或做两次小乘，稀疏/结构化稀疏才真正省算力；精度损失是「整块方向」被删，可解释但可能一次丢太多。量化：误差逐元素、无解析界，但与 Tensor Core 高度匹配，能直接提速与省显存，通常与低秩正交使用。实践：先量化（省带宽），再对个别病态层做低秩或保留高精度（混合精度）。两者叠加时误差会耦合，需要端到端评测而不是只看权重误差。
可能失效的场景：需要高频细节的生成（图像/音频）、长尾类别分类、尖峰型/重尾分布的数据、以及训练早期的随机权重（谱接近 Marchenko–Pastur，几乎不衰减）。检验方法：对目标矩阵做 SVD，画累积能量 $η_{k}$ 曲线，看达到 0.9/0.99 需要多少 $k$ ；再做「截断后下游指标」实验。若 $η_{k}$ 在 $k$ 接近 $min (m, n)$ 时才到 0.9，低秩假设就不成立。另一个必要检查：截断前后 $∥ A - A_{k} ∥_{2} /∥ A ∥_{2}$ 是否足够小，避免只看 Frobenius 平均而忽略最坏方向。