M10 习题：数值线性代数

对应模块：M10 数值线性代数 先独立完成，再对 答案。计算题保留中间步骤，数值保留 3 位小数。 配套实验：lab10 数值误差与 GEMM

A 概念题

1. 机器精度 $\epsilon$ 与单位舍入误差 $u$ 的定义分别是什么？为什么误差界里用 $u$ 而不是 $\epsilon$？fp16 与 bf16 的精度、动态范围各有什么取舍？
2. 写出诱导范数 $\Vert A{\Vert }_p$ 的定义，并解释为什么 $\Vert A{\Vert }_2={\sigma }_{\max }$。为什么 Frobenius 范数不是诱导范数，却仍然有用？
3. BLAS 的 Level 1/2/3 各是什么运算？为什么 Level 3 最容易跑满 GPU 峰值？用算术强度与 Roofline 解释 prefill 与 decode 的瓶颈差异。
4. 共轭梯度适用于什么矩阵？Krylov 子空间 ${\mathcal{K}}_k$ 是什么？CG 的收敛率与条件数是什么关系？为什么它只需要矩阵乘向量？
5. COO 与 CSR 的存储结构有什么区别？各自适合什么操作？为什么「非结构稀疏」在 GPU 上很难获得与稀疏率成正比的加速？

B 计算题

1. fp32 的尾数有 23 位。求： (a) 1 附近与 2048 附近的相邻间距； (b) $2048+2^{-13}$ 与 $2048+2^{-12}$ 存进 fp32 后分别是多少（说明舍入规则）； (c) 把 $0.1$ 存成 fp32 后的绝对误差与相对误差； (d) fp32、fp16、bf16 各有几位十进制有效数字（用 ${\log }_{10}\epsilon$ 估算）。
2. 在 fp32 下直接计算 $1-\cos (10^{-4})$ 会得到什么？为什么？写出数值稳定的替代公式，并估算它的值。若输入 $10^{-4}$ 本身只有 4 位有效数字，换 fp64 能解决问题吗？
3. 对 $A=\left[\begin{array}{cc}1& 2\\ 2& 5\end{array}\right]$： (a) 求 $\Vert A{\Vert }_1,\Vert A{\Vert }_{\infty },\Vert A{\Vert }_F,\Vert A{\Vert }_2$； (b) 求 $A^{-1}$ 及 $\Vert A^{-1}{\Vert }_2$； (c) 求 ${\kappa }_1,{\kappa }_{\infty },{\kappa }_2$，并解释为什么三个条件数不同。
4. Hilbert 矩阵 $H_4$ 的 ${\kappa }_{\infty }\approx 2.84\times 10^4$。双精度约有 16 位有效数字： (a) 解大约还剩几位？ (b) 若右端相对扰动 $10^{-8}$，用 ${\kappa }_{\infty }$ 给出解的相对误差上界； (c) 为什么 $H_4$ 的行列式很小，却不能只用行列式判断病态？
5. 一个 GEMM：$M=2048$、$N=4096$、$K=1024$，fp32。 (a) 求 FLOPs； (b) 求把 $A,B,C$ 各读写一遍的最小访存字节数； (c) 求算术强度，并判断在 $300$ TFLOPS、$2$ TB/s 的机器上是计算受限还是访存受限； (d) 求两种瓶颈对应的理论时间。
6. 对 $A=\left[\begin{array}{cc}3& 1\\ 1& 2\end{array}\right]$、$\mathbf{b}=(1,1{)}^{\top }$，从 ${\mathbf{x}}_0=0$ 出发跑两步 CG：写出 ${\mathbf{r}}_0,{\mathbf{p}}_0,{\alpha }_0,{\mathbf{x}}_1,{\mathbf{r}}_1,{\beta }_0,{\mathbf{p}}_1,{\alpha }_1,{\mathbf{x}}_2$，并验证 ${\mathbf{x}}_2=A^{-1}\mathbf{b}$。

C 大模型题

1. 某模型用 fp16 训练，另一团队建议换 bf16。 (a) 两种格式的尾数、指数位与机器精度各是多少？ (b) 为什么 fp16 需要 loss scaling，而 bf16 通常不需要？ (c) 为什么两种格式都要保留 fp32 主权重？用 $w=1.0$、更新量 $10^{-4}$ 举例说明。
2. 某层权重 $W\in {\mathbb{R}}^{4096\times 4096}$ 的 ${\kappa }_2(W)=2000$，用 bf16 存储，元素相对误差约 $2^{-8}$。 (a) 用 §10.2 的误差界估计最坏输出相对误差； (b) 解释为什么实测通常远小于这个上界； (c) 给出两种降低风险的做法，并说明各自的代价。
3. 一个 MoE 层：$D=4096$，$E=8$ 个专家，每个专家是 $D\to 4D\to D$ 的 FFN，每 token 激活 top-2。 (a) 单个专家每 token 的 FLOPs； (b) MoE 每 token 的 FLOPs，与稠密 FFN 相比是多少倍？ (c) 参数量是单个专家的几倍？bf16 下这些专家至少占多少显存？ (d) 为什么 MoE 可能出现「负载不均」，工程上怎么缓解？

D 开放题

1. 你要在 50% 稀疏率下压缩一个 $4096\times 4096$ 的权重矩阵，候选方案是「非结构幅度剪枝」与「2:4 结构化剪枝」。设计一个对比实验：写清楚数据、基线、度量指标、控制变量，以及你预期的精度与速度结果。最后说明在什么场景下你会选非结构剪枝。