附录源文件：exercises/m09-答案.md

M09 习题答案

对应 m09-习题。计算题只给关键步骤，等价写法均可。

A 概念题

分布是生成样本的规则（pmf/pdf），样本是按规则抽出的具体点。样本均值 $\hat{μ}$ 用掉一个自由度： $\sum_{i} (x_{i} - \overset{μ}{^}) = 0$ ， $n$ 个离差只有 $n - 1$ 个自由，故除以 $n - 1$ 才无偏。 $n < D$ 时，中心化矩阵秩不超过 $n - 1$ ，协方差矩阵秩也至多 $n - 1$ ，必然奇异。
不意味着独立。取 $X$ 在 ${- 1, 0, 1}$ 上均匀、 $Y = X^{2}$ ： $E [X] = 0$ ， $E [X Y] = E [X^{3}] = 0$ ，故 $Cov (X, Y) = 0$ ，但 $Y$ 完全由 $X$ 决定。若 $(X, Y)$ 联合高斯，则不相关等价于独立。
$a^{⊤} Σ a = E [a^{⊤} (x - μ) (x - μ)^{⊤} a] = E [(a^{⊤} (x - μ))^{2}] \geq 0$ 。当且仅当不存在方向 $a \neq = 0$ 使 $a^{⊤} x$ 几乎必然为常数时， $Σ$ 正定（等价于 $Σ$ 可逆）。奇异时数据落在 $Σ$ 的非零特征向量张成的子空间里，维数为 $rank (Σ)$ 。
中心化减去均值，去掉「整体偏移」；不中心化时第一主成分会偏向均值方向。标准化再除以各维标准差，使各维方差为 1；当各维单位不可比、或想让每一维同等重要时必须做。标准化后的 PCA 等价于对相关系数矩阵做特征分解，结果与未标准化不同。

E [X] = E [Y] = 0.5, E [X^{2}] = E [Y^{2}] = 0.5, Var (X) = Var (Y) = 0.5 - 0.25 = 0.25

E [X Y] = 1 \cdot 1 \cdot 0.4 = 0.4, Cov (X, Y) = 0.4 - 0.5 \cdot 0.5 = 0.15

ρ_{X Y} = \frac{0.15}{0.25 \cdot 0.25} = \frac{0.15}{0.25} = 0.6

不独立： $P (X = 0, Y = 0) = 0.4$ ，而 $P (X = 0) P (Y = 0) = 0.25$ 。

特征值： $tr = 6$ ， $det = 9 - 1 = 8$ ， $λ = (6 \pm 36 - 32) /2 = 4, 2$ 。特征向量 $(1, 1) / 2$ （ $λ = 4$ ）与 $(1, - 1) / 2$ （ $λ = 2$ ）。 $c = 1$ 的半轴为 $4 = 2$ 与 $2 \approx 1.414$ 。

Σ^{- 1} = \frac{1}{8} [3 - 1 - 1 3]

在 $(1, 1)$ 处，二次型 $= (3 - 1 - 1 + 3) /8 = 0.5$ ，故

f (1, 1) = \frac{1}{2 π 8} e^{- 0.25} \approx 0.0438

95% 等高线 $c^{2} = 5.991$ ，半轴为 $4 \cdot 5.991 \approx 4.895$ 与 $2 \cdot 5.991 \approx 3.462$ 。

S = \frac{1}{4} X^{⊤} X = [5335]

特征值 $8, 2$ ，方向 $(1, 1) / 2$ 、 $(1, - 1) / 2$ ，解释方差比 $0.8, 0.2$ 。

(b) 得分 $z_{1} = (3 + 1) / 2 = 22 \approx 2.828$ ，重建 $\hat{x} = 2 (1, 1)^{⊤} = (2, 2)^{⊤}$ 。残差 $(1, - 1)^{⊤}$ ，平方长度 2。

(c) 四个点对称，每个残差平方长度都是 2，总误差 $8$ 。核对： $n λ_{2} = 4 \cdot 2 = 8$ ； $∥ X ∥_{F}^{2} = 4 \cdot 10 = 40 = n tr (S)$ ，相对误差 $8/40 = 0.2 \approx 0.447$ 。

W_{PCA} = Λ^{- 1/2} V^{⊤} = [1/ 8 0 0 1/ 2] V^{⊤} = [0.25 0.5 0.25 - 0.5]

W_{ZCA} = V Λ^{- 1/2} V^{⊤} = [0.5303 - 0.1768 - 0.1768 0.5303]

直接计算 $W S W^{⊤}$ 得 $I$ （浮点误差内）。

(b) PCA 白化： $(3, 1) \mapsto (1, 1)$ ；ZCA 白化： $(3, 1) \mapsto (2, 0) \approx (1.414, 0)$ 。两者相差旋转 $V$ ，协方差都为单位阵。

(a) $a = 0.2, b = 0.3$ ， $π = (0.3/0.5, 0.2/0.5) = (0.6, 0.4)$ 。 $tr = 1.5$ ， $det = 0.56 - 0.06 = 0.5$ ，特征值 $1, 0.5$ 。

(b) 从 $(0, 1)$ 出发， $π_{t, 1} = 0.6 - 0.6 (0.5)^{t}$ 。 $t = 5$ ：

π_{5, 1} = 0.6 - 0.6 \cdot 0.03125 = 0.58125

分布为 $(0.58125, 0.41875)$ 。

(a) $N = 2 \cdot 512 = 1024$ 。 $\hat{Σ}$ 形状 $[4096, 4096]$ ，元素 $409 6^{2} = 16, 777, 216$ ，fp32 每元素 4 字节，共 $67, 108, 864$ 字节 $\approx 64$ MiB。

(b) 中心化后秩至多 $N - 1 = 1023$ ，远小于 4096，故 $\hat{Σ}$ 奇异：不能求逆、不能写满维高斯密度；全白化需要 $\hat{Σ}^{- 1/2}$ ，也不可行（只能加 $ϵ I$ 或用伪逆）。

(a) $T = 1$ ： $(0.665, 0.245, 0.090)$ ； $T = 0.5$ ： $(0.867, 0.117, 0.016)$ ； $T = 2$ ： $(0.506, 0.307, 0.186)$ 。

(b) $T$ 变小， $z / T$ 的差距被放大，分布更尖，熵从约 $1.02$ （ $T = 2$ ）降到 $0.83$ （ $T = 1$ ）、 $0.44$ （ $T = 0.5$ ）； $T$ 变大则趋于均匀，熵增大。

(a) $V_{k}$ 形状 $[4096, 128]$ ，参数 $4096 \cdot 128 = 524, 288$ 。fp16 每元素 2 字节，约 $1, 048, 576$ 字节 $= 1$ MiB。

(b) 原激活 $8192 \cdot 4096 \cdot 2 = 67, 108, 864$ 字节 $= 64$ MiB；投影后 $8192 \cdot 128 \cdot 2 = 2, 097, 152$ 字节 $= 2$ MiB。

(d) 降维后的分类/检索指标可能明显下降；解释方差比只说明相对总方差，不能保证被丢方向与标签无关。需要看下游指标与被丢方向的类别可分性。

LayerNorm 在每个 token 的 $D$ 维向量内统计：一个标量均值、一个标量方差，复杂度 $O (D)$ ，参数 $2 D$ （ $γ, β$ ），与 batch 无关。全协方差白化在 $N$ 个样本上统计 $[D, D]$ 协方差，分解 $O (D^{3})$ ，每 token 矩阵乘法 $O (D^{2})$ ，参数 $D^{2}$ 。三条工程理由：成本（ $D = 4096$ 时 $D^{2}$ 是 $O (D)$ 的 4096 倍）；统计可靠性（ $N < D$ 时协方差奇异，batch 统计噪声大且训练/推理不一致）；数值风险（小特征值方向放大噪声， $Σ^{- 1/2}$ 不稳定）。LayerNorm 只解决尺度漂移，已足够稳定训练。
温度把 logits 变为 $z / T$ 再 softmax： $T$ 小则转移矩阵行更尖， $T$ 大则更平；top-k 把每行截断到前 $k$ 个 token 后重新归一化，仍是行随机矩阵，只是支撑集变小。低温度下高概率 token 被反复选中，链容易进入「A→B→A→B」式循环，表现为重复。上下文窗口截断后，状态不再包含完整历史，严格马尔可夫性被破坏，它只是对完整条件分布的近似。与 PageRank 相同：都是行随机矩阵 + 幂迭代，稳态由 $π P = π$ 描述；不同：PageRank 的 $P$ 固定、稀疏，状态是单个网页；语言模型的 $P$ 随上下文变化，状态是 token 序列，通常没有有意义的全局稳态。