M12 · 进阶与全景
这个模块不再引入新的核心概念，而是把前面 77 篇的内容压缩成四样东西：一套张量写法、一组随机矩阵的尺度直觉、一张全景图、一条研究路线。
这个模块解决什么
- 学完了，但知识是散的——如何把它们串成「看到一个矩阵就知道问什么」？
- 代码里形状太多，
reshape/transpose老出错——有没有更不容易错的写法？ - 想读推理优化论文，但不知道数学和系统怎么接上——下一步学什么？
本模块的现实问题
[B,H,T,d] = [8,32,2048,128]的注意力，为什么不能把 的分数矩阵整个物化？（12.1）- 把初始化从 改回 1，为什么第 3 层就变成
inf？（12.2） - 给一个 24 GB 的卡选模型，只看参数量会漏掉哪一笔显存？（12.3）
- 长上下文推理越来越贵，该优化算力还是带宽？先做哪个？（12.4）
概念地图
flowchart LR
A[12.1 einsum] --> B[12.3 全景图]
C[12.2 随机矩阵] --> B
B --> D[12.4 研究路线]
A --> E[Attention/张量实现]
C --> F[初始化/稳定性]
学习顺序
| 顺序 | 文档 | 时间 | 读完你应该能…… |
|---|---|---|---|
| 1 | 12.1 张量与 einsum | 40 min | 用 einsum 写出 attention |
| 2 | 12.2 随机矩阵理论 | 40 min | 解释初始化为什么除以 |
| 3 | 12.3 线性代数全景图 | 30 min | 用五条主线复述整门课 |
| 4 | 12.4 从这门课到推理研究 | 30 min | 制定下一步学习/项目计划 |
自测（读完再做）
"bhid,bhjd->bhij"的输出形状是什么？哪个字母被求和？- 方差 的 高斯矩阵，谱范数大约是多少？
- 用五条主线描述 。
- 为什么 decode 阶段是带宽受限？
- 如果只能保留一个概念读推理论文，你选什么？为什么？
- 一个优化「理论上省 2 倍显存」，端到端一定快 2 倍吗？
自测答案
[B,H,T,T]； 被求和。- 约 2（最大奇异值），而非 1。
- 秩 1；零空间一维；奇异；特征值 0,5；条件数无穷。
- 每 token 只做瘦矩阵乘，FLOPs/bytes 低，瓶颈在读取权重与 KV。
- 开放；推荐「秩/低秩」或「SVD」，贯穿 LoRA、压缩、注意力。
- 不一定；还要看 kernel、带宽、反量化开销、质量损失。
下一篇 → 12.1 张量与 einsum