M00 · 准备:数学语言
这一模块不教新定理,只教你「读懂数学」和「看懂形状」。 如果跳过它,后面每一篇都会多花一倍时间。
为什么先学这个
线性代数教材默认你已经习惯这些符号:、、、。 但离开学校多年后,真正卡住人的往往不是概念,而是符号。
更现实的是:大模型代码里到处是形状 [B, T, D]、[B, H, T, T]。
读不懂形状,就看不懂 attention;看不懂 attention,就读不懂推理过程。
本模块解决三件事:
- 知道线性代数在整个大模型里站在哪(0.1);
- 能逐字读出一条论文公式(0.2);
- 能对着一个张量说出每个轴是什么(0.3)。
本模块的现实问题
- 一个 70 亿参数的代码补全模型,怎么在一张 24 GB 的卡上同时服务多个用户?(0.1)
- 5G 基站每个 OFDM 符号只有 33 微秒,一条求和公式怎么落成能跑的实现?(0.2)
- 手机夜景模式要合成 12 帧 4000×3000 的 RAW,内存只有 1.5 GB,怎么切块?(0.3)
概念地图
flowchart LR
A[0.1 为什么是线性代数] --> B[0.2 数学语言]
B --> C[0.3 标量/向量/矩阵/张量]
C --> D[M01 向量与几何]
学习顺序
| 顺序 | 文档 | 时间 | 读完你应该能…… |
|---|---|---|---|
| 1 | 0.1 为什么大模型的母语是线性代数 | 25 min | 用一句话说清 forward pass 里线性代数在哪 |
| 2 | 0.2 数学语言:集合、映射与求和符号 | 35 min | 逐字读出一条含 的公式 |
| 3 | 0.3 标量、向量、矩阵、张量:按轴理解 | 30 min | 看到 [B,T,D] 能说出每个轴的含义 |
本模块的大模型钩子
- 0.1:一次 Transformer forward 的完整形状链
- 0.2:论文公式的读法、形状推导
- 0.3:
[B,T,D] → [B,H,T,d_k]的变形
自测(读完再做)
- 用「叠加原理」解释为什么 是线性的,而 不是。
- 把 展开成 6 项。
- 一个张量形状是
[2, 5, 8],它有几个轴?第 2 个轴长度是多少?转置第 1、2 轴后形状是什么? - 一个 的线性层()有多少参数?为什么大模型参数量可以用 粗估?
自测答案
- ; 时 ,而 ,多出 。
- 。
- 3 个轴;第 2 个轴长度 5;交换第 1、2 轴后是
[5, 2, 8]。 - M。每层 attention 的四个投影约 ,FFN 约 ,合计 ,乘层数 。
下一篇 → 0.1 为什么大模型的母语是线性代数