M07 习题：SVD

对应模块：M07 SVD 先独立完成，再对 答案。带 ⚙ 的题建议用 NumPy 验证。

A 概念题

1. 为什么 SVD 对任意 $m\times n$ 矩阵都存在，而特征分解只对方阵？$A^{\top }A$ 在这个构造里扮演什么角色？
2. 什么时候 ${\sigma }_i=|{\lambda }_i|$ 成立？举一个 ${\sigma }_i\ne |{\lambda }_i|$ 的 $2\times 2$ 例子，并解释差在哪。
3. 陈述 Eckart–Young 定理。为什么「保留最大的 $k$ 个奇异值」不是启发式，而是最优的？两种误差（Frobenius、谱）分别等于什么？
4. 写出伪逆的 SVD 形式 $A^{+}=V{\Sigma }^{+}{U}^{\top }$。为什么必须引入截断？「数值秩」依赖哪些因素，为什么它不是矩阵的固有属性？
5. PCA 为什么必须先中心化？PCA 与 SVD 是什么关系？「解释方差比 90%」这句话在重构误差的语言里等价于什么？

B 计算题

1. $A=\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]$，求全部奇异值、左右奇异向量，并验证 $|\det A|={\sigma }_1{\sigma }_2$。
2. $A=\left[\begin{array}{cc}1& 2\\ 2& 4\end{array}\right]$，求 SVD、$\mathrm{rank}(A)$、${\kappa }_2(A)$，并解释 ${\sigma }_2=0$ 的几何含义。
3. $A=\mathrm{diag}(5,3,1)$，取 $k=1$。求 $A_1$、$\Vert A-A_1{\Vert }_F$、$\Vert A-A_1{\Vert }_2$、能量比 ${\eta }_1$，以及 $A_1$ 需要存几个数。
4. ⚙ $A=\left[\begin{array}{cc}1& 1\\ 1& 0\\ 0& 1\end{array}\right]$，$\mathbf{b}=(2,1,0{)}^{\top }$。求最小二乘解 $\hat{\mathbf{x}}=A^{+}\mathbf{b}$、残差，并验证残差与 $A$ 的两列都正交。
5. ⚙ $A=\left[\begin{array}{cc}1& 1\\ 1& 1.001\end{array}\right]$。求 ${\sigma }_1,{\sigma }_2,{\kappa }_2$；取 $\tau =10^{-6}$ 时数值秩是多少？若 $\mathbf{b}$ 有相对误差 $5\times 10^{-7}$，解的相对误差上界是多少？

C 大模型题

1. LoRA 中 $B\in {\mathbb{R}}^{8192\times 32}$、$A\in {\mathbb{R}}^{32\times 8192}$。求 $\Delta W$ 的秩上界、参数量、占全参数的比例。
2. 某模型 $L=32$ 层，每层缓存 $K,V\in {\mathbb{R}}^{T\times D}$，$T=4096$、$D=4096$。求 fp16 下 KV Cache 的原始大小；若对每层的 $K,V$ 各做秩 $r=64$ 的低秩近似（存 $T\times r$ 与 $r\times D$ 两个因子），求新大小与压缩比。
3. 闭式编辑：$W\in {\mathbb{R}}^{4096\times 4096}$，要在 $K=16$ 个输入 $H\in {\mathbb{R}}^{4096\times 16}$ 上满足 $WH=Y$。写出 $\Delta W$ 的公式与形状、秩上界；若 ${\kappa }_2(H)=10^5$，会发生什么？给两种补救。

D 开放题

1. 截断 SVD 与量化（把权重压到 8 bit/4 bit）都能「压缩模型」。从误差可控性、硬件友好度、精度损失三方面比较，各适合什么场景？
2. 「有效秩远小于名义维度」这个假设在哪些任务上可能失效？你会用什么实验去检验它？

做完后对照 答案。若某题与 lab07 的输出不一致，先信手算，再检查是否把 $U$ 与 $V$ 弄反、或忘了 NumPy 的符号自由度。