M10 习题答案

对应 m10-习题。数值保留 3 位小数，中间步骤保留分数。

A 概念题

1. 机器精度 $\epsilon =2^{-p}$ 是 1 与下一个可表示数的间距，$p$ 是尾数位数；单位舍入误差 $u=\epsilon /2=2^{-(p+1)}$ 是一次「就近舍入」的最大相对误差。舍入最坏落在两个刻度正中间，只差半个间距，所以误差界用 $u$。

   fp16（10 位尾数）精度高、范围窄（最大 $65504$，最小正规数 $6.1\times 10^{-5}$）；bf16（7 位尾数）精度低，但指数位与 fp32 相同，范围是 $10^{-38}$–$10^{38}$。训练选 bf16 主要为了范围，推理且范围可控时 fp16 精度更好。

2. 诱导范数 $\Vert A{\Vert }_p={\max }_{\mathbf{x}\ne 0}\Vert A\mathbf{x}{\Vert }_p/\Vert \mathbf{x}{\Vert }_p$。对 2-范数：

   $$\Vert A{\Vert }_2^2=\underset{\Vert \mathbf{x}{\Vert }_2=1}{\max }{\mathbf{x}}^{\top }{A}^{\top }A\mathbf{x}={\lambda }_{\max }(A^{\top }A)={\sigma }_{\max }^2$$

   即最大拉伸倍数是最大奇异值。Frobenius 范数 $\Vert A{\Vert }_F^2={\sum }_{ij}{a}_{ij}^2={\sum }_i{\sigma }_i^2$ 把所有权重同等对待，不对应任何「最大拉伸」的变分问题，因此不是诱导范数；但它计算便宜、正交不变，且直接给出低秩近似的误差，适合做正则与误差分析。

3. Level 1 是向量-向量（axpy、dot），$O(n)$；Level 2 是矩阵-向量（gemv），$O(n^2)$；Level 3 是矩阵-矩阵（gemm），$O(n^3)$。Level 3 的运算量按 $n^3$ 涨、数据量按 $n^2$ 涨，分块后算术强度约 $b/4$，容易越过 Roofline 拐点；Level 1/2 的 AI 只有 $O(1)$，被带宽卡住。

   prefill 一次处理 $BT$ 个 token，矩阵很「胖」，是计算受限的大 GEMM；decode 每步 $M=1$，要读完整层权重，AI 约 1，是访存受限的 GEMV。

4. CG 适用于对称正定（SPD） 的 $A$。Krylov 子空间是

   $${\mathcal{K}}_k(A,{\mathbf{r}}_0)=\mathrm{span}\{{\mathbf{r}}_0,A{\mathbf{r}}_0,\dots ,A^{k-1}{\mathbf{r}}_0\}$$

   CG 在 ${\mathbf{x}}_0+{\mathcal{K}}_k$ 中最小化 $A$-范数误差。收敛界

   $$\Vert {\mathbf{e}}_k{\Vert }_A\le 2{\left(\frac{\sqrt{\kappa }-1}{\sqrt{\kappa }+1}\right)}^k\Vert {\mathbf{e}}_0{\Vert }_A$$

   说明迭代次数约随 $\sqrt{\kappa }$ 增长。每步只需要一次 $A\mathbf{p}$、两次内积与向量更新，所以不用形成 $A^{-1}$，稀疏时每步 $O(\mathrm{nnz})$。

5. COO 存 (row, col, data) 三个等长数组，追加方便、可乱序，适合构造；CSR 存 values、col_indices、indptr，按行连续，适合 SpMV 与行切片。构造阶段用 COO，算之前转 CSR，是常见流水线。

   非结构稀疏的零位置不规则：GPU 需要额外的索引读取、分支判断与负载均衡，同一 warp 内线程可能走不同路径；硬件加速单位是块/向量指令而不是单个元素。所以 90% 非结构稀疏往往得不到 10 倍加速；2:4 或块稀疏才有专用指令支持。

B 计算题

1. (a) 1 附近间距 $2^{-23}=1.1920929\times 10^{-7}$；2048 在 $[2048,4096)$ 内，$e=11$，间距 $2^{11-23}=2^{-12}=2.44140625\times 10^{-4}$。 (b) $2^{-13}$ 正好是半个间距，落在中点，按「平局取偶」舍入到 2048（尾数为偶）；$2^{-12}$ 是一整个间距，得到 $2048.000244140625$。 (c) $\mathrm{fl}(0.1)=0.100000001490116$，绝对误差 $1.490116\times 10^{-9}$，相对误差

   $$\frac{1.490116\times 10^{-9}}{0.1}=1.490116\times 10^{-8}$$

   (d) 有效十进制位数约 $-{\log }_{10}\epsilon$：fp32 约 $6.92$（7 位），fp16 约 $3.01$（3 位），bf16 约 $2.11$（2 位）。

2. fp32 中 $\cos (10^{-4})$ 舍入后正好等于 $1.0$（因为 $1-\cos \approx 5\times 10^{-9}$ 远小于 1 附近的半个间距 $5.96\times 10^{-8}$），所以直接相减得到 $0$，相对误差 $100\%$。

   稳定公式用半角：

   $$1-\cos x=2{\sin }^2\frac{x}{2}$$

   $x=10^{-4}$ 时 $2{\sin }^2(5\times 10^{-5})\approx 2\times (5\times 10^{-5}{)}^2=5.000\times 10^{-9}$（实测 $4.99999997\times 10^{-9}$）。

   若输入 $10^{-4}$ 本身只有 4 位有效数字，绝对误差约 $5\times 10^{-9}$，与结果同量级，换 fp64 也救不了——误差来自输入，不是来自相减。

3. $A=\left[\begin{array}{cc}1& 2\\ 2& 5\end{array}\right]$。 (a) 列绝对值和：$1+2=3$、$2+5=7$，$\Vert A{\Vert }_1=7$；行绝对值和：$3$、$7$，$\Vert A{\Vert }_{\infty }=7$；$\Vert A{\Vert }_F=\sqrt{1+4+4+25}=\sqrt{34}=5.831$。 $A^{\top }A=\left[\begin{array}{cc}5& 12\\ 12& 29\end{array}\right]$，迹 $34$、行列式 $145-144=1$，特征值 $(34\pm \sqrt{1156-4})/2=(34\pm 33.941)/2$，即 $33.971$ 与 $0.0294$。所以 ${\sigma }_{\max }=5.828$、${\sigma }_{\min }=0.1716$，$\Vert A{\Vert }_2=5.828$。 (b) $\det A=1$，$A^{-1}=\left[\begin{array}{cc}5& -2\\ -2& 1\end{array}\right]$；$\Vert A^{-1}{\Vert }_2=1/{\sigma }_{\min }=5.828$。 (c) ${\kappa }_1=\Vert A{\Vert }_1\Vert A^{-1}{\Vert }_1=7\times 7=49$；${\kappa }_{\infty }=7\times 7=49$；${\kappa }_2=5.828/0.1716=33.97$。三个数不同，因为误差的度量尺子不同；${\kappa }_2$ 由奇异值比给出，${\kappa }_1,{\kappa }_{\infty }$ 由列/行和给出。它们都满足同一个误差界，只是常数不同。

4. (a) 失去 ${\log }_{10}(2.84\times 10^4)\approx 4.45$ 位，剩约 $16-4.45\approx 11.5$ 位，即约 11–12 位。 (b) 上界 $2.84\times 10^4\times 10^{-8}=2.84\times 10^{-4}$。 (c) 行列式随整体缩放变化：$0.1I_{100}$ 的行列式是 $10^{-100}$，但 $\kappa =1$。$H_4$ 的 $\det$ 小是「整体尺度 + 维数」的结果，真正说明病态的是奇异值比值（最大/最小差四个数量级），不是行列式本身。

5. (a) $\text{FLOPs}=2MNK=2\times 2048\times 4096\times 1024=1.718\times 10^{10}$。 (b) $4(MK+KN+MN)=4(2048\cdot 1024+1024\cdot 4096+2048\cdot 4096)=4\times 1.468\times 10^7=5.872\times 10^7$ 字节（约 $58.7$ MB）。 (c) $\text{AI}=1.718\times 10^{10}/5.872\times 10^7=292.6$ FLOP/byte。拐点是 $300/2=150$ FLOP/byte，$292.6>150$，所以是计算受限。 (d) 算力时间 $1.718\times 10^{10}/3\times 10^{14}=5.73\times 10^{-5}$ s $=0.0573$ ms；带宽时间 $5.872\times 10^7/2\times 10^{12}=2.94\times 10^{-5}$ s $=0.0294$ ms。

6. ${\mathbf{x}}_0=0$，${\mathbf{r}}_0={\mathbf{p}}_0=(1,1{)}^{\top }$，${\rho }_0=2$。$A{\mathbf{p}}_0=(4,3{)}^{\top }$，${\mathbf{p}}_0^{\top }A{\mathbf{p}}_0=7$，所以

   $${\alpha }_0=\frac{2}{7},{\mathbf{x}}_1=\frac{2}{7}\left[\begin{array}{c}1\\ 1\end{array}\right]=\left[\begin{array}{c}2/7\\ 2/7\end{array}\right]$$ $${\mathbf{r}}_1=\mathbf{b}-A{\mathbf{x}}_1=\left[\begin{array}{c}1\\ 1\end{array}\right]-\left[\begin{array}{c}8/7\\ 6/7\end{array}\right]=\left[\begin{array}{c}-1/7\\ 1/7\end{array}\right],{\rho }_1=\frac{2}{49}$$ $${\beta }_0=\frac{2/49}{2}=\frac{1}{49},{\mathbf{p}}_1={\mathbf{r}}_1+\frac{1}{49}{\mathbf{p}}_0=\left[\begin{array}{c}-6/49\\ 8/49\end{array}\right]$$ $$A{\mathbf{p}}_1=\left[\begin{array}{c}-10/49\\ 10/49\end{array}\right],{\mathbf{p}}_1^{\top }A{\mathbf{p}}_1=\frac{140}{2401}$$ $${\alpha }_1=\frac{2/49}{140/2401}=\frac{7}{10},{\mathbf{x}}_2=\left[\begin{array}{c}2/7\\ 2/7\end{array}\right]+\frac{7}{10}\left[\begin{array}{c}-6/49\\ 8/49\end{array}\right]=\left[\begin{array}{c}1/5\\ 2/5\end{array}\right]$$

   验证：$A{\mathbf{x}}_2=(3/5+2/5,1/5+4/5{)}^{\top }=(1,1{)}^{\top }$ ✓。$2\times 2$ 系统两步收敛，与 CG 的 $n$ 步上界一致。

C 大模型题

1. (a) fp16：符号 1、指数 5、尾数 10，$\epsilon =2^{-10}=9.77\times 10^{-4}$，最大 $65504$，最小正规数 $6.1\times 10^{-5}$。bf16：符号 1、指数 8、尾数 7，$\epsilon =2^{-7}=7.81\times 10^{-3}$，范围约 $1.18\times 10^{-38}$–$3.39\times 10^{38}$。 (b) fp16 的指数只有 5 位：小于 $5.96\times 10^{-8}$ 的梯度下溢为 0，大于 $65504$ 的值上溢为 inf。loss scaling 先把 loss 乘 $S$（如 $2^{10}$），梯度整体放大，避开下溢；更新前再除回。bf16 的指数范围与 fp32 相同，梯度不会因范围越界而归零，所以通常不需要 loss scaling；它的问题是 7 位尾数带来的相对误差。 (c) 设 $w=1.0$、更新量 $\Delta w=10^{-4}$。fp16 在 1 附近的间距是 $9.77\times 10^{-4}$，半个间距 $4.88\times 10^{-4}>\Delta w$，$1+\Delta w$ 仍舍入成 1；bf16 的半个间距是 $3.9\times 10^{-3}$，更会吃掉更新；fp32 的间距是 $1.19\times 10^{-7}$，能保留。因此必须用 fp32 存主权重并在 fp32 里更新，再把结果舍入到低精度用于前向。

2. (a) $\kappa \times \Vert \delta W\Vert /\Vert W\Vert =2000\times 2^{-8}=2000\times 0.00390625=7.8125$，即最坏约 $781\%$ 的输出相对误差。 (b) 这个界要求 $\delta W$ 的奇异向量恰好对齐 $W$ 的最敏感方向（最大与最小奇异值方向）。实际 bf16 舍入误差在元素上近似独立、方向分散，投影到最敏感方向的成分很小；逐通道缩放还会进一步压低误差。因此实测常比界小两三个数量级。 (c) 方案一：逐通道/逐组缩放，让每个小块的动态范围接近 1，代价是额外的 scale 元数据与反量化计算。方案二：对 $\kappa$ 大的敏感层保留 fp16/fp32 或做混合精度，代价是显存与带宽上升。也可用谱归一化压 ${\sigma }_{\max }$，但会改变前向数值、需要重新校准。

3. (a) 单个专家：$2D\cdot 4D+2\cdot 4D\cdot D=16D^2=16\times 4096^2=2.684\times 10^8$ FLOPs/token。 (b) top-2 激活两个专家：$2\times 2.684\times 10^8=5.369\times 10^8$ FLOPs/token。稠密 FFN 是 $2.684\times 10^8$，所以 MoE 是稠密的 $2$ 倍计算（不是 $8$ 倍）。 (c) 单个专家参数量 $D\cdot 4D+4D\cdot D=8D^2=1.342\times 10^8$；$E=8$ 个共 $1.074\times 10^9$ 个参数，是单专家的 $8$ 倍。bf16 至少 $1.074\times 10^9\times 2=2.147\times 10^9$ 字节 $\approx 2.15$ GB（不含门控、激活与优化器状态）。 (d) 路由由门控分数决定，不同专家收到的 token 数可能差很多；热门专家成为瓶颈，冷门专家闲置。工程上用 capacity factor（每专家容量上限）、负载均衡辅助损失、token 丢弃/溢出到下一层、专家并行与 all-to-all 重排来缓解。

D 开放题

1. 数据与基线：选一个固定 checkpoint（如 1B–7B 的模型），在相同校准集上剪枝；基线是稠密模型、非结构 50% 剪枝、2:4 50% 剪枝三条曲线。控制变量：同一校准数据、同一微调步数与学习率、同一 batch/序列长度、同一硬件与推理框架。

   流程：对每个线性层按权重绝对值选保留项。非结构剪枝保留全局最大的 50%；2:4 在每 4 个连续权重中保留绝对值最大的 2 个。剪枝后做相同预算的蒸馏/微调，再在验证集上测 perplexity 或下游任务准确率。

   度量指标：

   • 精度：验证集 loss/perplexity、任务准确率；
   • 速度：固定 batch/seq len 下的 tokens/s 或每层 latency，需 warmup 并多次取中位数；
   • 显存：权重、优化器状态、激活峰值；
   • 可实现性：目标 GPU 是否有对应的稀疏 kernel/张量核支持。

   预期：50% 稀疏率下，非结构剪枝的精度可能略好，但在 GPU 上通常没有加速甚至更慢（索引与不规则访存）；2:4 借助稀疏张量核可获得约 2 倍矩阵乘吞吐，精度通过微调接近稠密，但压缩率固定为 50%，且需要额外元数据。

   何时选非结构：需要 80%–90% 以上的极高压缩率、且部署环境有自定义稀疏 kernel 或 CPU 推理；或者当前目标是「省显存/省存储」而非「降延迟」，可以接受不加速。若目标是 GPU 上的吞吐与可预测延迟，优先 2:4 或块稀疏。