M1112 篇概念42 道题

M11 · 大模型中的线性代数

这一模块是整门课的汇合点。 前面所有概念——向量、基、矩阵、秩、特征值、SVD、梯度——会在一次 Transformer forward 里同时出现。

怎么读这个模块

不要把它当「新数学」；每一节都会指回前面的概念。
每节都给出形状链与参数量/计算量，请拿纸跟着推。
建议先读完 M01–M03、M07.1–7.3，再读 11.1–11.6；M08 之后读 11.12。
代码片段是 NumPy 伪代码，不依赖深度学习框架，目的是验证形状与公式。

本模块的现实问题

一张 80 GB 卡上跑 24 路、每路 6000 token 的客服会话，为什么 15 GB 权重还没坐稳，KV Cache 就先撑爆了？（11.7）
7B 全参数微调单任务要 90 GB，LoRA 为什么能把它压到 20 GB？省下的到底是哪几项？（11.8）
47B 的 MoE 每 token 只激活 13B，为什么还会被通信与尾部延迟卡住？（11.10）
训练到第 10 040 步 loss 从 2.1 跳到 8.7，怎么判断是 Jacobian 连乘放大，还是某个 batch 数值溢出？（11.12）

概念地图

flowchart TD A[11.1 Token/Embedding] --> B[11.2 线性层] B --> C[11.3 Attention 上 QKV] C --> D[11.4 Attention 下 softmax/多头] B --> E[11.5 RoPE] B --> F[11.6 LayerNorm/RMSNorm] D --> G[11.7 KV Cache] D --> H[11.8 LoRA] B --> I[11.9 量化] B --> J[11.10 MoE] D --> K[11.11 logits/采样] K --> L[11.12 反向传播/稳定性]

学习顺序

顺序	文档	时间	读完你应该能……
1	11.1 Token、Embedding 与隐藏状态	30 min	说清一句话如何变成 `[B,T,D]`
2	11.2 线性层：一次矩阵乘法	35 min	手算参数量与 FLOPs
3	11.3 Attention（上）：QKV	45 min	徒手推导 attention 形状链
4	11.4 Attention（下）：softmax 与多头	40 min	解释缩放、mask、多头拼接
5	11.5 位置编码与 RoPE	35 min	写出 RoPE 的旋转矩阵
6	11.6 LayerNorm 与 RMSNorm	30 min	解释归一化的几何
7	11.7 KV Cache	30 min	估算显存与带宽
8	11.8 LoRA	35 min	解释低秩适配的参数量
9	11.9 量化	35 min	写出量化/反量化公式与误差
10	11.10 MoE 路由	30 min	解释稀疏激活的形状
11	11.11 logits、softmax、温度	30 min	从向量得到概率分布
12	11.12 反向传播与训练稳定性	40 min	说清梯度形状与谱的作用

一条主线

token id [B, T] 查表 X [B, T, D] Attention + FFN H^{(L)} [B, T, D] unembedding logits [B, T, V] softmax 概率 [B, T, V]

每一层都在做「矩阵乘 + 非线性 + 残差」；每个形状都来自第 0.3 节的轴观点。

自测（读完再做）

一个 $D = 4096$ 的模型，词表 $V = 128000$ ，embedding 参数量是多少？
Attention 的参数量为什么约为 $4 D^{2}$ ？FFN 为什么约为 $8 D^{2}$ ？
为什么 attention 要除以 $d_{k}$ ？不除会怎样？
RoPE 为什么能表达相对位置？
KV Cache 缓存的是什么？为什么能省计算却更费显存？
LoRA 的参数量为什么是 $2 D r$ ，而不是 $D^{2}$ ？

自测答案

$128000 \times 4096 = 524, 288, 000$ ，约 5.24 亿。
$W_{Q}, W_{K}, W_{V}, W_{O}$ 各 $D \times D$ ，共 $4 D^{2}$ ；FFN $D \to 4 D \to D$ ， $4 D^{2} + 4 D^{2} = 8 D^{2}$ 。
点积方差随 $d_{k}$ 增大，softmax 会饱和、梯度变小；除以 $d_{k}$ 把方差拉回 1。
旋转角度与位置成正比，两个位置的相对旋转只依赖位置差，内积因此只依赖相对距离。
缓存历史 token 的 K、V；避免重复计算，但需存储 $2 B H T d_{k}$ 个元素。
$Δ W = B A$ ， $B \in R^{D \times r}$ 、 $A \in R^{r \times D}$ ，参数 $D r + r D = 2 D r$ 。

下一篇 → 11.1 Token、Embedding 与隐藏状态

本模块概念

做本模块练习 →

11.1 · 核心

M11 · 大模型中的线性代数

怎么读这个模块

本模块的现实问题

概念地图

学习顺序

一条主线

自测（读完再做）

本模块概念

Token、Embedding 与隐藏状态

线性层：一次矩阵乘法

Attention（上）：QKV 与软查表

Attention（下）：softmax 与多头

位置编码与 RoPE 的旋转矩阵

LayerNorm 与 RMSNorm 的几何

KV Cache：形状、显存与带宽

LoRA：低秩假设的工程化

量化：缩放因子与矩阵误差

MoE 路由与专家矩阵

logits、softmax、温度与采样

反向传播中的矩阵与训练稳定性