M04 习题答案

对应 m04-习题。数值保留 3 位小数，中间步骤保留分数。

A 概念题

1. 行图像问的是「每个约束长什么样、解在几何上是什么」：每个方程是一张超平面，解是它们的交集。列图像问的是「$\mathbf{b}$ 能否由 $A$ 的列线性组合出来、系数是多少」。有解的充要条件是 $\mathbf{b}\in \mathrm{col}(A)$，即 $\mathrm{rank}(A)=\mathrm{rank}([A\mid \mathbf{b}])$。

2. 设 $r=\mathrm{rank}(A)$，$n$ 为未知数个数：

   • 无解：$r<\mathrm{rank}([A\mid \mathbf{b}])$。例 $\left[\begin{array}{cc}1& 1\\ 2& 2\end{array}\right]\mathbf{x}=\left[\begin{array}{c}1\\ 3\end{array}\right]$，系数秩 1、增广秩 2。
   • 唯一解：$r=\mathrm{rank}([A\mid \mathbf{b}])=n$。例 $\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]\mathbf{x}=\left[\begin{array}{c}2\\ 3\end{array}\right]$。
   • 无穷多解：$r=\mathrm{rank}([A\mid \mathbf{b}])<n$。例 $\left[\begin{array}{cc}1& 1\\ 2& 2\end{array}\right]\mathbf{x}=\left[\begin{array}{c}1\\ 2\end{array}\right]$，解集 $\{(t,1-t)\}$。

3. 齐次解集含零向量（$A0=0$），且对加法、数乘封闭，满足子空间定义。非齐次解集不含零向量（除非 $\mathbf{b}=0$），两解相加得 $2\mathbf{b}\ne \mathbf{b}$，不封闭。特解 ${\mathbf{x}}_p$ 负责「命中」右端 $\mathbf{b}$；零空间部分负责「在不改变输出的方向上游走」，补出全部解。

4. 若残差在某一列 ${\mathbf{a}}_j$ 上有非零分量，把第 $j$ 个系数微调 $\delta$，残差平方的变化为 $-2\delta {\mathbf{a}}_j^{\top }\mathbf{r}+O({\delta }^2)$，取合适符号就能让它更小，与最优矛盾。所以 $A^{\top }\mathbf{r}=0$，即 $A^{\top }(A\hat{\mathbf{x}}-\mathbf{b})=0$，整理得 $A^{\top }A\hat{\mathbf{x}}=A^{\top }\mathbf{b}$。

B 计算题

1. 记三式为 (1)(2)(3)。 (2) $-2\times$(1)：$-3y-z=-9$，即 $3y+z=9$。 (3) $-$ (1)：$y-3z=-7$。 由第一式 $z=9-3y$，代入第二式：$y-27+9y=-7\Rightarrow 10y=20\Rightarrow y=2$，$z=3$，$x=6-2-3=1$。

   验证：$2\cdot 1-2+3=3$ ✓；$1+4-6=-1$ ✓。解为 $(1,2,3{)}^{\top }$，且系数矩阵行列式非零，唯一。

2. 系数行列式展开：$\det =a-7$。

   • $a\ne 7$：$\det \ne 0$，唯一解。
   • $a=7$：第二行减第一行得 $y+2z=1$；第三行减第一行得 $3y+6z=3$，与前者等价，故 $r=2<3$，无穷多解。令 $z=t$，则 $y=1-2t$，$x=1-(1-2t)-t=t$，解集 $\{(t,1-2t,t)\}$。
   • 无解：在这一族参数中不存在。$a=7$ 时增广秩也是 2，始终相容。

3. 第二行是第一行的 2 倍，故 $r\le 2$；第一行与第三行不成比例，$r=2$。于是 $\dim N(A)=4-2=2$。

   设 $\mathbf{x}=(x_1,x_2,x_3,x_4)$。第一行减第三行得 $[0,1,2,3]$，即 $x_2+2x_3+3x_4=0$。取自由变量 $x_3=s$、$x_4=t$：

   $$x_2=-2s-3t,x_1=-x_2-x_3-x_4=s+2t$$

   基础解系：${\mathbf{z}}_1=(1,-2,1,0{)}^{\top }$、${\mathbf{z}}_2=(2,-3,0,1{)}^{\top }$。验证 $A{\mathbf{z}}_1=A{\mathbf{z}}_2=0$ ✓

4. $A=\left[\begin{array}{cc}1& 0\\ 1& 1\\ 1& 2\end{array}\right]$，$\mathbf{y}=(1,3,4{)}^{\top }$。

   $$A^{\top }A=\left[\begin{array}{cc}3& 3\\ 3& 5\end{array}\right],A^{\top }\mathbf{y}=\left[\begin{array}{c}1+3+4\\ 0+3+8\end{array}\right]=\left[\begin{array}{c}8\\ 11\end{array}\right]$$

   正规方程 $3a+3b=8$、$3a+5b=11$；相减 $2b=3\Rightarrow b=\frac{3}{2}$，代回 $3a=8-\frac{9}{2}=\frac{7}{2}\Rightarrow a=\frac{7}{6}$。

   预测值：$x=0,1,2$ 时为 $\frac{7}{6},\frac{8}{3},\frac{25}{6}$。残差：$-\frac{1}{6},\frac{1}{3},-\frac{1}{6}$。

   $$\Vert \mathbf{r}{\Vert }^2=\frac{1}{36}+\frac{4}{36}+\frac{1}{36}=\frac{1}{6},A^{\top }\mathbf{r}=\left[\begin{array}{c}-\frac{1}{6}+\frac{1}{3}-\frac{1}{6}\\ 0+\frac{1}{3}-\frac{1}{3}\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]✓$$

5. $A=\mathbf{u}{\mathbf{v}}^{\top }$，$\mathbf{u}=(1,0,2{)}^{\top }$、$\mathbf{v}=(1,2{)}^{\top }$，$\Vert \mathbf{u}{\Vert }^2=\Vert \mathbf{v}{\Vert }^2=5$。秩 1 矩阵的伪逆为

   $$A^{+}=\frac{\mathbf{v}{\mathbf{u}}^{\top }}{\Vert \mathbf{u}{\Vert }^2\Vert \mathbf{v}{\Vert }^2}=\frac{1}{25}\left[\begin{array}{ccc}1& 0& 2\\ 2& 0& 4\end{array}\right]$$ $$A^{+}\mathbf{b}=\frac{1}{25}\left[\begin{array}{c}1+0+4\\ 2+0+8\end{array}\right]=\left[\begin{array}{c}0.2\\ 0.4\end{array}\right]$$

   验证：$A\mathbf{x}=(x_1+2x_2)(1,0,2{)}^{\top }$，要等于 $(1,0,2{)}^{\top }$ 需 $x_1+2x_2=1$。最小范数点在行空间方向 $(1,2{)}^{\top }$ 上，取 $(1,2{)}^{\top }/5=(0.2,0.4{)}^{\top }$ ✓

6. $\epsilon =0.001$。$A^{\top }A=\left[\begin{array}{cc}2& 2.001\\ 2.001& 2.002001\end{array}\right]$，$\det ={\epsilon }^2=10^{-6}$，迹 $\approx 4.002$。所以

   $${\lambda }_{\max }\approx 4.002,{\lambda }_{\min }=\frac{10^{-6}}{4.002}\approx 2.499\times 10^{-7}$$ $${\sigma }_{\max }\approx 2.0005,{\sigma }_{\min }\approx 5.0\times 10^{-4},\kappa \approx \frac{2.0005}{5.0\times 10^{-4}}\approx 4002$$

   与 $4/\epsilon =4000$ 一致。右端相对扰动 $10^{-4}$ 时，解的相对误差上界为 $4002\times 10^{-4}\approx 0.400$，即约 $40\%$。

C 大模型题

1. (a) 每一行 ${\mathbf{w}}^{\top }$ 是 $4096$ 个未知数，被 $K=64$ 个方程约束。$K<D$，所以秩至多 64，自由度至少 $4096-64=4032$ 维。 (b) 最小范数解 $\Vert \Delta W{\Vert }_F$ 最小，对未观测输入的扰动最小，旧能力更可能保留；而且它唯一、可用 lstsq/pinv 稳定算出。任取一个解可能范数很大，造成灾难性遗忘，且结果依赖算法细节、不可复现。

2. (a) $\mathrm{rank}(\Delta W)\le \min (\mathrm{rank}B,\mathrm{rank}A)\le r=8$。对 $4096\times 4096$ 的矩阵，零空间维数至少 $4096-8=4088$。 (b) $r=64$ 时秩上限升到 64、零空间至少 4032 维：能拟合更复杂的更新、容量变大；但参数量从 $2\times 4096\times 8$ 增到 $2\times 4096\times 64$，更容易过拟合，对其它输入的干扰更大，更新范数也更大，合并后更难回退。

3. 上界：$\kappa \cdot \Vert \delta W\Vert /\Vert W\Vert \approx 2000\times 0.004=8$，即输出相对误差可达 $800\%$。实测通常小得多，因为：(a) $\kappa$ 是最坏情况，量化误差均匀散布在各奇异方向上，不会全落在最敏感方向；(b) 输出 $\mathbf{y}=W\mathbf{x}$ 主要由大奇异值方向贡献，这些方向的相对误差小；(c) 实际误差还取决于 $\mathbf{x}$ 的方向。因此上界用于风险评估，不代表每次都发生。

D 开放题

1. 可选：

   • 岭回归/最小范数：$\min \Vert A\mathbf{x}-\mathbf{b}{\Vert }^2+\lambda \Vert \mathbf{x}{\Vert }^2$，改动小、稳定，但解不稀疏、需要调 $\lambda$。
   • L1 正则：解稀疏、可解释，但求解更贵（无闭式解），且稀疏模式不稳定。
   • 固定部分参数/子空间：只更新指定方向，可控但可能欠拟合。
   • 加先验（贝叶斯）：把领域知识写成先验均值，效果好但依赖先验是否正确。 选择取决于目标是「少改动」「可解释」还是「拟合精度」。

2. 实验设计：

   • 数据：取正交矩阵 $U,V$（如 np.linalg.qr 随机矩阵），令 $X=U\mathrm{diag}(\mathbf{s})V^{\top }$，$\mathbf{s}$ 从 $1$ 对数递减到 $10^{-k}$，$k=0,1,\dots ,8$，从而精确控制 $\kappa (X)=10^k$。固定 ${\mathbf{w}}^{\star }$，令 $\mathbf{y}=X{\mathbf{w}}^{\star }+\sigma \mathbf{ϵ}$。
   • 算法：分别用正规方程 solve(X.T@X, X.T@y) 与 lstsq(X, y) 求解。
   • 指标：$\Vert \hat{\mathbf{w}}-{\mathbf{w}}^{\star }\Vert /\Vert {\mathbf{w}}^{\star }\Vert$、残差 $\Vert X\hat{\mathbf{w}}-\mathbf{y}\Vert$、以及两者之差；每个 $k$ 重复 20 次取中位数。
   • 预期：误差随 $\kappa$ 近似线性增长（对数坐标下斜率约 1）；正规方程在 $\kappa \gtrsim 10^8$ 后明显劣于 lstsq，因为其有效条件数是 ${\kappa }^2$；残差可能一直很小，但参数误差已经很大。