M09 习题：概率与统计

对应模块：M09 概率与统计 建议先独立完成，再对 答案。计算题请写中间步骤；矩阵题标出形状。

A 概念题

1. 用一句话区分「概率分布」与「样本」。样本协方差为什么除以 $n-1$ 而不是 $n$？当 $n<D$ 时，$D$ 维样本协方差矩阵的秩最多是多少？
2. 判断：$\mathrm{Cov}(X,Y)=0$ 是否意味着 $X,Y$ 独立？给出一个反例；再说明在什么附加条件下二者等价。
3. 证明协方差矩阵 $\Sigma$ 半正定：对任意 $\mathbf{a}$，${\mathbf{a}}^{\top }\Sigma \mathbf{a}\ge 0$。什么时候它是正定的？奇异时数据落在哪里？
4. PCA 里的「中心化」和「标准化」分别改变了什么？分别在什么情况下必须做？

B 计算题

1. 联合分布如下表（$X,Y\in \{0,1\}$）：

   $P(X=x,Y=y)$	$y=0$	$y=1$
   $x=0$	0.4	0.1
   $x=1$	0.1	0.4

   求边缘分布、$\mathbb{E}[X],\mathrm{Var}(X),\mathbb{E}[Y],\mathrm{Var}(Y),\mathrm{Cov}(X,Y),{\rho }_{XY}$，并判断是否独立。

2. 设 $\Sigma =\left[\begin{array}{cc}3& 1\\ 1& 3\end{array}\right]$。求特征值与特征向量、$c=1$ 等高线的半轴长、${\Sigma }^{-1}$，以及 $\mathbf{x}=(1,1)$ 处的概率密度（取 $\mathbf{\mu }=0$）。若取 95% 等高线，半轴约多长？

3. 数据点 $(3,1),(1,3),(-1,-3),(-3,-1)$，用 $1/n$ 的协方差： (a) 求 $S$、特征值、解释方差比； (b) 取 $k=1$，求 $(3,1)$ 的得分、重建、残差平方长度； (c) 求四个点的总重建误差，并用 $n{\lambda }_2$ 核对。

4. 对第 3 题的 $S$： (a) 求 PCA 白化矩阵 $W_{\mathrm{PCA}}$ 与 ZCA 白化矩阵 $W_{\mathrm{ZCA}}$，并验证 $WS{W}^{\top }=I$； (b) 把 $\mathbf{x}=(3,1)$ 分别做 PCA 白化与 ZCA 白化； (c) 若只做标准化，结果是什么？协方差变成什么？

5. 两状态马尔可夫链 $P=\left[\begin{array}{cc}0.8& 0.2\\ 0.3& 0.7\end{array}\right]$： (a) 求稳态分布与特征值； (b) 从 $(0,1)$ 出发，求 5 步后的分布； (c) 写出 ${\pi }_{t,1}$ 的通式，并估计 $t=10$ 时与稳态的差距。

C 大模型题

1. 一层激活 $X\in {\mathbb{R}}^{B\times T\times D}$，$B=2,T=512,D=4096$。把所有 token 摊平成 $N$ 个样本： (a) $N$ 是多少？样本协方差 $\hat{\Sigma }$ 的形状、元素个数、fp32 下的存储是多少？ (b) $\hat{\Sigma }$ 的秩最多是多少？这对「写高斯密度」和「全白化」意味着什么？ (c) 若改用对角协方差，存储降到多少？代价是什么？

2. logits $\mathbf{z}=(2,1,0)$，采样分布 $p_i\propto \exp (z_i/T)$： (a) 分别取 $T=1,0.5,2$，算出三个概率（保留三位小数）； (b) 解释 $T$ 变小/变大时分布与熵的变化； (c) $T\to 0$ 时采样退化成什么？这与马尔可夫链的「确定性转移」有什么关系？

3. 用 PCA 把 $[8192,4096]$ 的激活降到 $k=128$，累计解释方差 95%： (a) 投影矩阵 $V_k$ 有多少参数？fp16 下占多少存储？ (b) 原激活与投影后激活在 fp16 下各占多少存储？ (c) 相对 Frobenius 重建误差是多少？ (d) 若被丢掉的 5% 方差恰好承载类别信息，会发生什么？

D 开放题

1. 在 $[B,T,D]$ 的激活上，比较 LayerNorm 与全协方差白化：各自沿哪些维度统计？计算量与参数量差多少？为什么主流大模型选 LayerNorm/RMSNorm 而不是全白化？给出三条工程理由。
2. 语言模型的逐步采样可以看成一条马尔可夫链。说明温度与 top-k 如何改变转移矩阵；为什么低温度容易重复；上下文窗口截断后，马尔可夫性还严格成立吗？PageRank 与这种生成过程有什么相同与不同？