M03 习题答案

对应 m03-习题。计算题给出步骤；数值答案已用 NumPy 复核。开放题给出评分要点，不要求与文字一致。

A 概念题

1. 数据表：4 个样本、3 个特征，第 2 行 $(0,1,3)$ 是第二个样本。线性映射：$T_W:{\mathbb{R}}^3\to {\mathbb{R}}^4$，输入 3 维、输出 4 维。列向量组：三个 4 维列向量 $(1,0,2,1{)}^{\top }$、$(2,1,0,1{)}^{\top }$、$(0,3,1,1{)}^{\top }$。算子不成立：$W$ 是 $4\times 3$，输入输出空间不同（${\mathbb{R}}^3\ne {\mathbb{R}}^4$），不能谈「同一空间上的变换」，也没有两边逆。

2. 列组合把求和按 $j$（输入维度）分组：$A\mathbf{x}={\sum }_{j=1}^n{x}_j{\mathbf{a}}_j$，每一项是一个列向量。行点积把求和按 $i$（输出维度）分组：$(A\mathbf{x}{)}_i={\sum }_{j=1}^n{a}_{ij}{x}_j$，每个输出是一次点积。两者是同一个双重和 ${\sum }_{i,j}{a}_{ij}{x}_j{\mathbf{e}}_i$ 的不同遍历顺序：人按列看几何（基向量去哪），机器按行做连续内存访问与向量化点积。

3. 不能。取 $A=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]$、$B=\left[\begin{array}{cc}2& 0\\ 1& 1\end{array}\right]$、$\mathbf{x}=(1,1{)}^{\top }$。$B\mathbf{x}=(2,2{)}^{\top }$，$A(B\mathbf{x})=(6,14{)}^{\top }$。而逐元素积 $A\odot B=\left[\begin{array}{cc}2& 0\\ 3& 4\end{array}\right]$，$(A\odot B)\mathbf{x}=(2,7{)}^{\top }\ne (6,14{)}^{\top }$。逐元素积无法表达「先 $B$ 后 $A$」的复合，所以必须用行乘列的定义。

4. 等价条件：$A$ 可逆；$\det (A)\ne 0$；$\mathrm{rank}(A)=n$；$\mathrm{Null}(A)=\{0\}$（列线性无关）。$m>n$ 时若列满秩，$A^{+}=(A^{\top }A{)}^{-1}{A}^{\top }$ 满足 $A^{+}A=I_n$，是左逆；但若存在右逆 $B$ 使 $AB=I_m$，则 $\mathrm{rank}(AB)\le \min (\mathrm{rank}A,\mathrm{rank}B)\le n<m$，与 $\mathrm{rank}(I_m)=m$ 矛盾。所以两边逆不可能同时存在。

5. 因为零空间是输入空间 ${\mathbb{R}}^n$ 的子空间，列空间的维数 $r$ 数的是「输入中有多少维被保留」，两者合起来划分的是输入空间，所以和为 $n$。行变换是可逆左乘，保持行空间（新行是旧行的组合，反之亦可）与零空间（$A\mathbf{x}=0$ 的解不变）；但列空间会变：$A=\left[\begin{array}{cc}1& 1\\ 1& 1\end{array}\right]$ 的列空间是 $\mathrm{span}\{(1,1{)}^{\top }\}$，RREF $\left[\begin{array}{cc}1& 1\\ 0& 0\end{array}\right]$ 的列空间是 $\mathrm{span}\{(1,0{)}^{\top }\}$。所以列空间的基要取原矩阵的主元列。

B 计算题

1. (a) 列组合：$1\left[\begin{array}{c}1\\ 2\end{array}\right]-1\left[\begin{array}{c}3\\ 1\end{array}\right]=\left[\begin{array}{c}-2\\ 1\end{array}\right]$。行点积：第一行 $1\cdot 1+3\cdot (-1)=-2$，第二行 $2\cdot 1+1\cdot (-1)=1$。 (b) $A^2=\left[\begin{array}{cc}1\cdot 1+3\cdot 2& 1\cdot 3+3\cdot 1\\ 2\cdot 1+1\cdot 2& 2\cdot 3+1\cdot 1\end{array}\right]=\left[\begin{array}{cc}7& 6\\ 4& 7\end{array}\right]$；$A^{\top }A=\left[\begin{array}{cc}1& 2\\ 3& 1\end{array}\right]\left[\begin{array}{cc}1& 3\\ 2& 1\end{array}\right]=\left[\begin{array}{cc}5& 5\\ 5& 10\end{array}\right]$。 (c) $A\mathbf{x}=(-2,1{)}^{\top }$，$A(A\mathbf{x})=(1,-3{)}^{\top }$；$(A^2)\mathbf{x}=(7-6,4-7{)}^{\top }=(1,-3{)}^{\top }$，一致。

2. (a) $c_{11}=2+1+0=3$，$c_{12}=4+0+0=4$，$c_{21}=1+3+0=4$，$c_{22}=2+0+1=3$，所以 $AB=\left[\begin{array}{cc}3& 4\\ 4& 3\end{array}\right]$。 (b) 列组合：$A(1,1,0{)}^{\top }=(3,4{)}^{\top }$，$A(2,0,1{)}^{\top }=(4,3{)}^{\top }$。行组合：$(2,1,0)B=(3,4)$，$(1,3,1)B=(4,3)$。外积和：$\left[\begin{array}{cc}2& 4\\ 1& 2\end{array}\right]+\left[\begin{array}{cc}1& 0\\ 3& 0\end{array}\right]+\left[\begin{array}{cc}0& 0\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}3& 4\\ 4& 3\end{array}\right]$。 (c) $2mnp=2\cdot 2\cdot 3\cdot 2=24$ FLOPs。

3. (a) $\det =2\cdot 2-3\cdot 1=1$，$A^{-1}=\left[\begin{array}{cc}2& -3\\ -1& 2\end{array}\right]$。 (b) $\mathbf{x}=A^{-1}(1,0{)}^{\top }=(2,-1{)}^{\top }$。验证：$2\cdot 2-3=1$，$1\cdot 2-2=0$。 (c) $\det (S)=3\cdot 2-6\cdot 1=0$，不可逆；取 $\mathbf{x}=(2,-1{)}^{\top }$，$S\mathbf{x}=(6-6,2-2{)}^{\top }=0$。

4. (a) $R_2-2R_1$ 得 $(0,1,1)$；$R_3-4R_1$ 得 $(0,3,5)$；$R_3-3R_2$ 得 $(0,0,2)$。所以 $L=\left[\begin{array}{ccc}1& 0& 0\\ 2& 1& 0\\ 4& 3& 1\end{array}\right]$，$U=\left[\begin{array}{ccc}2& 1& 1\\ 0& 1& 1\\ 0& 0& 2\end{array}\right]$。 (b) $\det (A)=2\cdot 1\cdot 2=4$。 (c) 前代 $L\mathbf{y}=\mathbf{b}$：$y_1=4$；$2\cdot 4+y_2=10\Rightarrow y_2=2$；$4\cdot 4+3\cdot 2+y_3=24\Rightarrow y_3=2$。回代 $U\mathbf{x}=\mathbf{y}$：$2x_3=2\Rightarrow x_3=1$；$x_2+x_3=2\Rightarrow x_2=1$；$2x_1+x_2+x_3=4\Rightarrow x_1=1$。所以 $\mathbf{x}=(1,1,1{)}^{\top }$，验证 $A\mathbf{x}=(4,10,24{)}^{\top }$。

5. (a) 行 2 = 行 1 + 行 3，秩为 2；消元：$R_3-R_1$ 得 $(0,0,1)$，$R_2-R_1-R_3$ 得零行，再把第 1 行减去第 3 行，得 RREF $\left[\begin{array}{ccc}1& 2& 0\\ 0& 0& 1\\ 0& 0& 0\end{array}\right]$。 (b) 列空间基 $(1,2,1{)}^{\top }$、$(1,3,2{)}^{\top }$，维数 2；零空间基 $(-2,1,0{)}^{\top }$，维数 1；行空间基 $(1,2,0)$、$(0,0,1)$，维数 2；左零空间基 $(1,-1,1{)}^{\top }$，维数 1。 (c) $(1,2,0)\cdot (-2,1,0)=0$，$(0,0,1)\cdot (-2,1,0)=0$；$(1,2,1)\cdot (1,-1,1)=0$，$(1,3,2)\cdot (1,-1,1)=0$。维数：$n=3=2+1$，$m=3=2+1$。 (d) $\mathbf{b}=(2,5,3{)}^{\top }$ 是第 1 列 + 第 2 列，在列空间；${\mathbf{b}}^{\prime }=(1,0,0{)}^{\top }$ 若在列空间，解 $c_1+c_2=1,2c_1+3c_2=0,c_1+2c_2=0$ 得 $c_2=-1,c_1=2$，代入第二式得 $1\ne 0$，矛盾，所以不在。

C 大模型题

1. (a) 参数量 $11008\cdot 4096=45,088,768\approx 45.1$M。 (b) $2\cdot B\cdot T\cdot D\cdot D_{\text{out}}=2\cdot 8\cdot 512\cdot 4096\cdot 11008=369,367,187,456\approx 3.69\times 10^{11}$，即约 369 GFLOP。 (c) 输出形状 $[8,512,11008]$；元素数 $8\cdot 512\cdot 11008=45,088,768$，fp16 每元素 2 字节，共约 $90.2$ MB（十进制）。若用 fp32 则约 180 MB。

2. (a) $K^{\top }$ 只转置最后两维，$Q{K}^{\top }\in {\mathbb{R}}^{4\times 8\times 128\times 128}$；元素数 $4\cdot 8\cdot 128^2=524,288$。 (b) fp16 占 $524,288\times 2=1,048,576$ 字节，约 1.05 MB。 (c) FLOPs $=2\cdot B\cdot H\cdot T\cdot T\cdot d_k=2\cdot 4\cdot 8\cdot 128\cdot 128\cdot 64=67,108,864\approx 6.71\times 10^7$。 (d) $\mathrm{rank}(Q{K}^{\top })\le \mathrm{rank}(Q)\le d_k=64$；若 $Q,K$ 元素连续随机，秩以概率 1 恰为 64。所以一个头的 $128\times 128$ 分数矩阵最多只有 64 个非零奇异值。

3. (a) 全量 $4096^2=16,777,216$；LoRA $4096\cdot 8+8\cdot 4096=65,536$；比例 $65,536/16,777,216=1/256=0.390625\%$。 (b) 每个 token 的全量乘法约 $2D^2$ FLOPs；LoRA 先算 $A\mathbf{x}$（$2rD$）再算 $B(\cdot )$（$2Dr$），共 $4Dr$。比例 $4Dr/(2D^2)=2r/D=16/4096=1/256$。 (c) 推理前做一次 $W^{\prime }=W+BA$，代价 $O(D^{2}r)$；之后用 $W^{\prime }$ 正常前向。$\Delta W$ 的秩不超过 8，但 $W^{\prime }$ 一般仍是满秩 4096。

D 开放题

1. 评分要点：固定随机种子；取 $m,n,p$ 都不同的随机矩阵，避免方阵掩盖转置错误；分别用循环行乘列、A @ B、列组合 A @ B[:,j]、行组合 A[i] @ B、外积和 sum(np.outer(A[:,k], B[k])) 计算，断言 np.allclose；再用 (AB)x 与 A(Bx) 对照。若只在方阵通过，常见 bug 是把 B 的行列索引写反、外积用了 B[:,k] 而不是 B[k]，或把 A 的行数当成 B 的列数。

2. 评分要点：对隐藏状态 $X\in {\mathbb{R}}^{N\times D}$ 做 SVD，画奇异值谱；用「有效秩」指标，如 $r_{\text{eff}}=\exp (-{\sum }_i{p}_i\ln p_i)$（$p_i={\sigma }_i^2/{\sum }_j{\sigma }_j^2$）或「保留 90% 能量所需维数」；比较通过低秩层 $W=U{V}^{\top }$（$U\in {\mathbb{R}}^{D\times r}$）前后的谱。排除噪声：看奇异值是否有明显断崖、与同形状随机矩阵的谱对比、检查 float32/float64 下结论是否稳定、报告绝对奇异值而非只看相对比例。

有疑问的步骤建议回到对应小节：B1–B2 → 3.2/3.3；B3 → 3.4；B4 → 3.5；B5 → 3.7；C1–C3 → 3.2/3.3/3.6/3.7。