附录源文件:curriculum/syllabus.md
完整课程大纲
81 篇概念文档 + 模块导览 + 13 组习题 + 12 个实验 + 速查附录。
排序即建议阅读顺序;前置 中的编号指概念 id。
状态随建设更新,权威进度见 ../PROGRESS.md。
M00 准备:数学语言(3 篇)
| id | 标题 | 一句话 | 前置 | 大模型钩子 |
|---|
| 0.1 | 为什么大模型的母语是线性代数 | 从一句话到向量,再到一次矩阵乘法 | — | 全流程预览 |
| 0.2 | 数学语言:集合、映射与求和符号 | 读懂论文里的 ∑、∈、f:Rn→Rm | — | 形状推导 |
| 0.3 | 标量、向量、矩阵、张量:按轴理解 | 张量就是「带多个索引的数组」 | 0.2 | [B,T,D] |
M01 向量与几何(7 篇)
| id | 标题 | 一句话 | 前置 | 大模型钩子 |
|---|
| 1.1 | 向量:箭头、坐标与数据 | 同一串数字的三种身份 | 0.3 | token embedding |
| 1.2 | 加法、数乘与线性组合 | 用「配料表」理解向量运算 | 1.1 | 残差连接、特征叠加 |
| 1.3 | 点积:相似度的来源 | 点积在量「两个方向有多一致」 | 1.2 | 注意力打分 |
| 1.4 | 范数与距离 | 大小、距离与正则化 | 1.3 | 梯度裁剪、权重衰减 |
| 1.5 | 夹角与余弦相似度 | 为什么比较方向而不是长度 | 1.3, 1.4 | 语义检索、聚类 |
| 1.6 | 正交与投影 | 把一个向量「压」到另一个方向上 | 1.3, 1.4 | 残差流、正交初始化 |
| 1.7 | 叉积与三重积(选学) | 三维空间里「垂直于两者」的方向 | 1.3 | 图形学、旋转 |
M02 向量空间(8 篇)
| id | 标题 | 一句话 | 前置 | 大模型钩子 |
|---|
| 2.1 | 向量空间:为什么需要八条公理 | 把「向量」从箭头里解放出来 | 1.2 | 函数空间、表示空间 |
| 2.2 | 子空间与张成 | 一个集合对加法和数乘封闭意味着什么 | 2.1 | 低维子空间假设 |
| 2.3 | 线性无关:没有冗余 | 谁能被谁表示出来 | 1.2, 2.2 | 特征冗余、秩 |
| 2.4 | 基与维数 | 用最少的坐标描述整个空间 | 2.3 | 隐藏维度 dmodel |
| 2.5 | 坐标与基变换 | 换一组基,同一个向量换了「说法」 | 2.4 | 权重旋转、特征基 |
| 2.6 | 秩:信息的维度 | 矩阵真正「撑起」了几维 | 2.4 | 低秩、梯度秩 |
| 2.7 | 内积空间、正交基与 Gram–Schmidt | 让基向量互相垂直 | 1.6, 2.4 | QR、正交约束 |
| 2.8 | 正交补与投影定理 | 最优近似为什么是正交投影 | 2.7 | 最小二乘、子空间编辑 |
M03 矩阵与线性映射(7 篇)
| id | 标题 | 一句话 | 前置 | 大模型钩子 |
|---|
| 3.1 | 矩阵的四种身份 | 表格、映射、算子、数据 | 2.4 | 权重矩阵 |
| 3.2 | 矩阵乘向量:线性映射 | Ax 是对 x 做一次变换 | 3.1 | 线性层 |
| 3.3 | 矩阵乘法:四种视角 | 为什么是「行乘列」而不是逐元素 | 3.2 | 批量矩阵乘、GEMM |
| 3.4 | 逆矩阵与可逆性 | 变换能不能撤销 | 3.3 | 可逆性、条件数 |
| 3.5 | 高斯消元、初等矩阵与 LU | 把复杂变换拆成简单步骤 | 3.4 | 数值求解 |
| 3.6 | 转置、对称与分块矩阵 | 转置在几何上做了什么 | 3.3 | QK⊤、分块计算 |
| 3.7 | 四个基本子空间与秩-零化度定理 | 一个矩阵的四个「房间」 | 2.6, 3.6 | 信息瓶颈 |
M04 线性方程组(6 篇)
| id | 标题 | 一句话 | 前置 | 大模型钩子 |
|---|
| 4.1 | 线性方程组的几何 | 交点、交线、交面 | 3.2 | 约束满足 |
| 4.2 | 解的存在性与通解结构 | 特解 + 零空间 | 3.7, 4.1 | 欠定系统 |
| 4.3 | 齐次方程与零空间 | 哪些输入被映射成零 | 4.2 | 零空间、坍缩 |
| 4.4 | 最小二乘与正规方程 | 无解时找「最接近」的解 | 2.8, 3.6 | 线性回归、微调 |
| 4.5 | 伪逆与最小范数解 | 给不可逆矩阵一个「广义逆」 | 4.4, 7.4 | 伪逆、约束更新 |
| 4.6 | 条件数与病态问题 | 输入微扰为何被放大 | 3.4, 4.4 | 训练不稳定、量化 |
M05 行列式(4 篇)
| id | 标题 | 一句话 | 前置 | 大模型钩子 |
|---|
| 5.1 | 行列式:体积的缩放因子 | 变换把面积放大了几倍 | 3.3 | 概率密度变换 |
| 5.2 | 行列式的性质与计算 | 为什么交换两行要变号 | 5.1 | 数值行列式 |
| 5.3 | 逆、Cramer 法则与伴随矩阵 | 行列式如何判定可逆 | 3.4, 5.2 | 理论工具 |
| 5.4 | 行列式与 Jacobian | 多维换元时体积如何变化 | 5.1, 8.3 | 归一化流、变量替换 |
M06 特征值(7 篇)
| id | 标题 | 一句话 | 前置 | 大模型钩子 |
|---|
| 6.1 | 特征值与特征向量:不转向的方向 | 变换只拉伸、不旋转的方向 | 3.2 | 动力学、稳定性 |
| 6.2 | 特征多项式、迹与行列式 | 特征值的和与积从哪来 | 6.1, 5.2 | 谱分析 |
| 6.3 | 对角化 | 换基让矩阵变成对角 | 2.5, 6.2 | 矩阵幂、解耦 |
| 6.4 | 对称矩阵与谱定理 | 对称矩阵一定有正交特征基 | 2.7, 6.3 | 协方差、Hessian |
| 6.5 | 二次型与正定性 | x⊤Ax 的几何形状 | 6.4 | 损失曲面、凸性 |
| 6.6 | 幂迭代与 PageRank | 反复乘矩阵会收敛到哪 | 6.1 | 主特征向量、稳态 |
| 6.7 | Jordan 标准形与矩阵函数 | 不能对角化时怎么办 | 6.3 | 理论完备性 |
M07 SVD(5 篇)
| id | 标题 | 一句话 | 前置 | 大模型钩子 |
|---|
| 7.1 | SVD 的几何:旋转-拉伸-旋转 | 任意矩阵都是三步操作 | 6.4 | 权重谱 |
| 7.2 | SVD 的计算与性质 | 奇异值、左右奇异向量从哪来 | 6.4, 7.1 | 数值 SVD |
| 7.3 | 低秩近似与 Eckart–Young | 保留前 k 个奇异值最优 | 7.2 | LoRA、压缩 |
| 7.4 | 伪逆、数值秩与条件数 | SVD 如何统一处理不可逆 | 4.5, 7.2 | 病态问题 |
| 7.5 | SVD 应用:PCA、推荐与 LoRA | 三个场景,同一套分解 | 7.3, 9.3 | PCA、LoRA |
M08 微积分与优化(8 篇)
| id | 标题 | 一句话 | 前置 | 大模型钩子 |
|---|
| 8.1 | 多元函数、偏导与梯度 | 每个方向上的变化率 | 1.3 | 梯度向量 |
| 8.2 | 方向导数与梯度下降 | 梯度指向最陡上升方向 | 8.1 | 优化器 |
| 8.3 | Jacobian:多元映射的导数 | 局部线性化就是矩阵 | 3.3, 8.1 | 反向传播 |
| 8.4 | Hessian 与二阶近似 | 曲率决定收敛快慢 | 6.5, 8.3 | 二阶优化 |
| 8.5 | 矩阵求导与链式法则 | 把标量链式法则推广到矩阵 | 8.3, 8.4 | autograd |
| 8.6 | 凸性与优化 | 局部最优何时是全局最优 | 6.5, 8.4 | 损失函数 |
| 8.7 | 梯度下降、牛顿法与学习率 | 步长与曲率的博弈 | 8.2, 8.6 | 训练超参 |
| 8.8 | 拉格朗日乘子与约束优化 | 约束下的最优解 | 8.2, 8.6 | KL 约束、RLHF |
M09 概率与统计(5 篇)
| id | 标题 | 一句话 | 前置 | 大模型钩子 |
|---|
| 9.1 | 随机向量与协方差矩阵 | 数据云的方向与相关性 | 6.4 | 表征协方差 |
| 9.2 | 多元高斯分布 | 协方差矩阵决定椭球形状 | 9.1, 6.5 | 扩散模型、采样 |
| 9.3 | PCA:最大方差方向 | 用特征分解找主方向 | 7.5, 9.1 | 降维、可视化 |
| 9.4 | 白化与去相关 | 让协方差变成单位阵 | 9.3 | 归一化、表示解耦 |
| 9.5 | 马尔可夫链与平稳分布 | 转移矩阵的幂收敛到稳态 | 6.6, 9.1 | 采样、PageRank |
M10 数值线性代数(5 篇)
| id | 标题 | 一句话 | 前置 | 大模型钩子 |
|---|
| 10.1 | 浮点数与数值误差 | 计算机里的实数不是实数 | — | fp16/bf16 |
| 10.2 | 矩阵范数与条件数 | 误差会被放大多少倍 | 7.4, 10.1 | 训练稳定性 |
| 10.3 | BLAS 与 GEMM | 为什么 GPU 为矩阵乘法而生 | 3.3 | 算力/带宽 |
| 10.4 | 迭代法与 Krylov 子空间 | 不直接求逆,逐步逼近 | 4.4, 6.6 | 大规模求解 |
| 10.5 | 稀疏矩阵与结构化矩阵 | 零很多时如何省算力 | 10.3 | 稀疏注意力、MoE |
M11 大模型专题(12 篇)
| id | 标题 | 一句话 | 前置 | 大模型钩子 |
|---|
| 11.1 | Token、Embedding 与隐藏状态 | 离散符号如何进入向量空间 | 1.1, 3.2 | embedding 表 |
| 11.2 | 线性层:一次矩阵乘法 | 权重矩阵在做什么 | 3.3, 10.3 | FFN、投影 |
| 11.3 | Attention 全解剖(上):QKV | 用点积做「软查表」 | 1.3, 3.3 | QK⊤ |
| 11.4 | Attention 全解剖(下):softmax 与多头 | 归一化、缩放与并行子空间 | 11.3, 9.2 | 多头注意力 |
| 11.5 | 位置编码与 RoPE 的旋转矩阵 | 用旋转矩阵注入位置 | 1.6, 6.4 | RoPE |
| 11.6 | LayerNorm 与 RMSNorm 的几何 | 归一化是在球面上投影 | 1.4, 1.6 | 归一化层 |
| 11.7 | KV Cache:形状、显存与带宽 | 推理时缓存了什么 | 11.3, 10.3 | 推理优化 |
| 11.8 | LoRA:低秩假设的工程化 | 用两个瘦矩阵近似更新 | 7.3 | 微调 |
| 11.9 | 量化:缩放因子与矩阵误差 | 用整数近似浮点矩阵 | 10.1, 10.2 | int8/4bit |
| 11.10 | MoE 路由与专家矩阵 | 稀疏激活的矩阵分块 | 3.3, 10.5 | MoE |
| 11.11 | logits、softmax、温度与采样 | 从向量到概率分布 | 1.4, 9.2 | 解码 |
| 11.12 | 反向传播中的矩阵与训练稳定性 | 梯度如何穿过矩阵 | 8.5, 10.2 | 训练 |
M12 进阶与全景(4 篇)
| id | 标题 | 一句话 | 前置 | 大模型钩子 |
|---|
| 12.1 | 张量与 einsum | 用索引记号统一所有乘法 | 3.3, 11.4 | 多头注意力实现 |
| 12.2 | 随机矩阵理论初步 | 大随机矩阵的谱长什么样 | 6.4, 9.1 | 初始化、谱 |
| 12.3 | 线性代数全景图 | 把所有概念连成一张网 | 全部 | 复习 |
| 12.4 | 从线性代数到 Transformer 推理 | 下一步学什么、怎么读论文 | 全部 | 研究路线 |
附录
| 文件 | 内容 |
|---|
cheatsheets/公式速查.md | 按主题压缩的公式与条件 |
cheatsheets/符号表.md | 符号、含义、首次出现 |
cheatsheets/术语中英对照.md | 中英术语 + 一句话解释 |
curriculum/8周计划.md | 每周目标、阅读、练习、lab |
统计
- 概念文档:81 篇(核心 65 / 进阶 11 / 选学 5)
- 习题:13 组(M00–M12),每组三档难度
- 实验:11 个(lab01–lab11)
- 预计总学习时长:约 120–150 小时(含练习)