课程/M00/M00 准备:数学语言
M003 篇概念12 道题

M00 · 准备:数学语言

这一模块不教新定理,只教你「读懂数学」和「看懂形状」。 如果跳过它,后面每一篇都会多花一倍时间。

为什么先学这个

线性代数教材默认你已经习惯这些符号:、、、。 但离开学校多年后,真正卡住人的往往不是概念,而是符号。

更现实的是:大模型代码里到处是形状 [B, T, D]、[B, H, T, T]。 读不懂形状,就看不懂 attention;看不懂 attention,就读不懂推理过程。

本模块解决三件事:

  1. 知道线性代数在整个大模型里站在哪(0.1);
  2. 能逐字读出一条论文公式(0.2);
  3. 能对着一个张量说出每个轴是什么(0.3)。

本模块的现实问题

  1. 一个 70 亿参数的代码补全模型,怎么在一张 24 GB 的卡上同时服务多个用户?(0.1)
  2. 5G 基站每个 OFDM 符号只有 33 微秒,一条求和公式怎么落成能跑的实现?(0.2)
  3. 手机夜景模式要合成 12 帧 4000×3000 的 RAW,内存只有 1.5 GB,怎么切块?(0.3)

概念地图

flowchart LR A[0.1 为什么是线性代数] --> B[0.2 数学语言] B --> C[0.3 标量/向量/矩阵/张量] C --> D[M01 向量与几何]

学习顺序

顺序文档时间读完你应该能……
10.1 为什么大模型的母语是线性代数25 min用一句话说清 forward pass 里线性代数在哪
20.2 数学语言:集合、映射与求和符号35 min逐字读出一条含 的公式
30.3 标量、向量、矩阵、张量:按轴理解30 min看到 [B,T,D] 能说出每个轴的含义

本模块的大模型钩子

  • 0.1:一次 Transformer forward 的完整形状链
  • 0.2:论文公式的读法、形状推导
  • 0.3:[B,T,D] → [B,H,T,d_k] 的变形

自测(读完再做)

  1. 用「叠加原理」解释为什么 是线性的,而 不是。
  2. 把 展开成 6 项。
  3. 一个张量形状是 [2, 5, 8],它有几个轴?第 2 个轴长度是多少?转置第 1、2 轴后形状是什么?
  4. 一个 的线性层()有多少参数?为什么大模型参数量可以用 粗估?
自测答案
  1. ; 时 ,而 ,多出 。
  2. 。
  3. 3 个轴;第 2 个轴长度 5;交换第 1、2 轴后是 [5, 2, 8]。
  4. M。每层 attention 的四个投影约 ,FFN 约 ,合计 ,乘层数 。

下一篇 → 0.1 为什么大模型的母语是线性代数

本模块概念

做本模块练习 →
输入关键词开始搜索