M04 习题：线性方程组

对应模块：M04 线性方程组 先独立完成，再对 答案。计算题保留中间步骤，数值保留 3 位小数。 配套实验：lab04 最小二乘

A 概念题

1. 同一个 $A\mathbf{x}=\mathbf{b}$，行图像与列图像分别在回答什么问题？用列图像的语言写出「有解」的充要条件。
2. 设 $A\in {\mathbb{R}}^{m\times n}$、$r=\mathrm{rank}(A)$。写出秩判据的三种情形，并各举一个 $2\times 2$ 的例子。
3. 为什么齐次方程的解集是子空间，而非齐次方程的解集一般不是？「特解 + 零空间」里的两部分各自负责什么？
4. 最小二乘的残差为什么必须与 $A$ 的列空间正交？这个几何条件如何推出正规方程 $A^{\top }A\hat{\mathbf{x}}=A^{\top }\mathbf{b}$？

B 计算题

1. 解方程组，并验证你的答案： $$\{\begin{array}{l}x+y+z=6\\ 2x-y+z=3\\ x+2y-2z=-1\end{array}$$
2. 讨论 $a$ 取何值时，下列方程组有唯一解、无穷多解、无解： $$\{\begin{array}{l}x+y+z=1\\ x+2y+3z=2\\ x+4y+az=4\end{array}$$
3. 求 $A=\left[\begin{array}{cccc}1& 2& 3& 4\\ 2& 4& 6& 8\\ 1& 1& 1& 1\end{array}\right]$ 的秩、零空间的一组基与维数。
4. 用直线 $y=a+bx$ 拟合三点 $(0,1)$、$(1,3)$、$(2,4)$：写出 $A$、$A^{\top }A$、$A^{\top }\mathbf{y}$，求出 $a,b$、预测值、残差与残差平方和，并验证 $A^{\top }\mathbf{r}=0$。
5. 求 $A=\left[\begin{array}{cc}1& 2\\ 0& 0\\ 2& 4\end{array}\right]$ 的伪逆，并用它解 $A\mathbf{x}=(1,0,2{)}^{\top }$ 的最小范数最小二乘解。
6. 对 $A=\left[\begin{array}{cc}1& 1\\ 1& 1.001\end{array}\right]$，用 $\kappa \approx 4/\epsilon$ 估算条件数，精确计算 ${\sigma }_{\max },{\sigma }_{\min }$ 验证，并说明右端相对扰动 $10^{-4}$ 时解的相对误差上界。

C 大模型题

1. 某层权重 $W\in {\mathbb{R}}^{4096\times 4096}$，要在 $K=64$ 个样本上满足 $WH=Y$，其中 $H\in {\mathbb{R}}^{4096\times 64}$。 (a) 每一行的方程个数、未知数个数、自由度各是多少？ (b) 为什么通常取最小范数解，而不是任意一个解？
2. LoRA 更新 $\Delta W=BA$，$B\in {\mathbb{R}}^{4096\times 8}$、$A\in {\mathbb{R}}^{8\times 4096}$。 (a) $\Delta W$ 的秩至多是多少？零空间维数至少是多少？ (b) 把 $r$ 从 8 提到 64，容量和风险各有什么变化？
3. 某权重矩阵 $\kappa (W)=2000$，用 bfloat16 存储（相对精度约 $0.4\%$）。用本节的上界估计输出相对误差；再解释为什么实测往往远小于上界。

D 开放题

1. 样本数 $N$ 小于特征维数 $D$ 时，最小二乘解不唯一。除了最小范数解，还可以用什么准则挑解？各自的代价是什么？
2. 设计一个实验，验证「条件数越大，最小二乘解对噪声越敏感」。写清楚数据生成、比较的算法、度量指标，以及你预期的现象。