课程/完整课程大纲
附录源文件:curriculum/syllabus.md

完整课程大纲

81 篇概念文档 + 模块导览 + 13 组习题 + 12 个实验 + 速查附录。 排序即建议阅读顺序;前置 中的编号指概念 id。 状态随建设更新,权威进度见 ../PROGRESS.md。

M00 准备:数学语言(3 篇)

id标题一句话前置大模型钩子
0.1为什么大模型的母语是线性代数从一句话到向量,再到一次矩阵乘法—全流程预览
0.2数学语言:集合、映射与求和符号读懂论文里的 、、—形状推导
0.3标量、向量、矩阵、张量:按轴理解张量就是「带多个索引的数组」0.2[B,T,D]

M01 向量与几何(7 篇)

id标题一句话前置大模型钩子
1.1向量:箭头、坐标与数据同一串数字的三种身份0.3token embedding
1.2加法、数乘与线性组合用「配料表」理解向量运算1.1残差连接、特征叠加
1.3点积:相似度的来源点积在量「两个方向有多一致」1.2注意力打分
1.4范数与距离大小、距离与正则化1.3梯度裁剪、权重衰减
1.5夹角与余弦相似度为什么比较方向而不是长度1.3, 1.4语义检索、聚类
1.6正交与投影把一个向量「压」到另一个方向上1.3, 1.4残差流、正交初始化
1.7叉积与三重积(选学)三维空间里「垂直于两者」的方向1.3图形学、旋转

M02 向量空间(8 篇)

id标题一句话前置大模型钩子
2.1向量空间:为什么需要八条公理把「向量」从箭头里解放出来1.2函数空间、表示空间
2.2子空间与张成一个集合对加法和数乘封闭意味着什么2.1低维子空间假设
2.3线性无关:没有冗余谁能被谁表示出来1.2, 2.2特征冗余、秩
2.4基与维数用最少的坐标描述整个空间2.3隐藏维度
2.5坐标与基变换换一组基,同一个向量换了「说法」2.4权重旋转、特征基
2.6秩:信息的维度矩阵真正「撑起」了几维2.4低秩、梯度秩
2.7内积空间、正交基与 Gram–Schmidt让基向量互相垂直1.6, 2.4QR、正交约束
2.8正交补与投影定理最优近似为什么是正交投影2.7最小二乘、子空间编辑

M03 矩阵与线性映射(7 篇)

id标题一句话前置大模型钩子
3.1矩阵的四种身份表格、映射、算子、数据2.4权重矩阵
3.2矩阵乘向量:线性映射 是对 做一次变换3.1线性层
3.3矩阵乘法:四种视角为什么是「行乘列」而不是逐元素3.2批量矩阵乘、GEMM
3.4逆矩阵与可逆性变换能不能撤销3.3可逆性、条件数
3.5高斯消元、初等矩阵与 LU把复杂变换拆成简单步骤3.4数值求解
3.6转置、对称与分块矩阵转置在几何上做了什么3.3、分块计算
3.7四个基本子空间与秩-零化度定理一个矩阵的四个「房间」2.6, 3.6信息瓶颈

M04 线性方程组(6 篇)

id标题一句话前置大模型钩子
4.1线性方程组的几何交点、交线、交面3.2约束满足
4.2解的存在性与通解结构特解 + 零空间3.7, 4.1欠定系统
4.3齐次方程与零空间哪些输入被映射成零4.2零空间、坍缩
4.4最小二乘与正规方程无解时找「最接近」的解2.8, 3.6线性回归、微调
4.5伪逆与最小范数解给不可逆矩阵一个「广义逆」4.4, 7.4伪逆、约束更新
4.6条件数与病态问题输入微扰为何被放大3.4, 4.4训练不稳定、量化

M05 行列式(4 篇)

id标题一句话前置大模型钩子
5.1行列式:体积的缩放因子变换把面积放大了几倍3.3概率密度变换
5.2行列式的性质与计算为什么交换两行要变号5.1数值行列式
5.3逆、Cramer 法则与伴随矩阵行列式如何判定可逆3.4, 5.2理论工具
5.4行列式与 Jacobian多维换元时体积如何变化5.1, 8.3归一化流、变量替换

M06 特征值(7 篇)

id标题一句话前置大模型钩子
6.1特征值与特征向量:不转向的方向变换只拉伸、不旋转的方向3.2动力学、稳定性
6.2特征多项式、迹与行列式特征值的和与积从哪来6.1, 5.2谱分析
6.3对角化换基让矩阵变成对角2.5, 6.2矩阵幂、解耦
6.4对称矩阵与谱定理对称矩阵一定有正交特征基2.7, 6.3协方差、Hessian
6.5二次型与正定性 的几何形状6.4损失曲面、凸性
6.6幂迭代与 PageRank反复乘矩阵会收敛到哪6.1主特征向量、稳态
6.7Jordan 标准形与矩阵函数不能对角化时怎么办6.3理论完备性

M07 SVD(5 篇)

id标题一句话前置大模型钩子
7.1SVD 的几何:旋转-拉伸-旋转任意矩阵都是三步操作6.4权重谱
7.2SVD 的计算与性质奇异值、左右奇异向量从哪来6.4, 7.1数值 SVD
7.3低秩近似与 Eckart–Young保留前 个奇异值最优7.2LoRA、压缩
7.4伪逆、数值秩与条件数SVD 如何统一处理不可逆4.5, 7.2病态问题
7.5SVD 应用:PCA、推荐与 LoRA三个场景,同一套分解7.3, 9.3PCA、LoRA

M08 微积分与优化(8 篇)

id标题一句话前置大模型钩子
8.1多元函数、偏导与梯度每个方向上的变化率1.3梯度向量
8.2方向导数与梯度下降梯度指向最陡上升方向8.1优化器
8.3Jacobian:多元映射的导数局部线性化就是矩阵3.3, 8.1反向传播
8.4Hessian 与二阶近似曲率决定收敛快慢6.5, 8.3二阶优化
8.5矩阵求导与链式法则把标量链式法则推广到矩阵8.3, 8.4autograd
8.6凸性与优化局部最优何时是全局最优6.5, 8.4损失函数
8.7梯度下降、牛顿法与学习率步长与曲率的博弈8.2, 8.6训练超参
8.8拉格朗日乘子与约束优化约束下的最优解8.2, 8.6KL 约束、RLHF

M09 概率与统计(5 篇)

id标题一句话前置大模型钩子
9.1随机向量与协方差矩阵数据云的方向与相关性6.4表征协方差
9.2多元高斯分布协方差矩阵决定椭球形状9.1, 6.5扩散模型、采样
9.3PCA:最大方差方向用特征分解找主方向7.5, 9.1降维、可视化
9.4白化与去相关让协方差变成单位阵9.3归一化、表示解耦
9.5马尔可夫链与平稳分布转移矩阵的幂收敛到稳态6.6, 9.1采样、PageRank

M10 数值线性代数(5 篇)

id标题一句话前置大模型钩子
10.1浮点数与数值误差计算机里的实数不是实数—fp16/bf16
10.2矩阵范数与条件数误差会被放大多少倍7.4, 10.1训练稳定性
10.3BLAS 与 GEMM为什么 GPU 为矩阵乘法而生3.3算力/带宽
10.4迭代法与 Krylov 子空间不直接求逆,逐步逼近4.4, 6.6大规模求解
10.5稀疏矩阵与结构化矩阵零很多时如何省算力10.3稀疏注意力、MoE

M11 大模型专题(12 篇)

id标题一句话前置大模型钩子
11.1Token、Embedding 与隐藏状态离散符号如何进入向量空间1.1, 3.2embedding 表
11.2线性层:一次矩阵乘法权重矩阵在做什么3.3, 10.3FFN、投影
11.3Attention 全解剖(上):QKV用点积做「软查表」1.3, 3.3
11.4Attention 全解剖(下):softmax 与多头归一化、缩放与并行子空间11.3, 9.2多头注意力
11.5位置编码与 RoPE 的旋转矩阵用旋转矩阵注入位置1.6, 6.4RoPE
11.6LayerNorm 与 RMSNorm 的几何归一化是在球面上投影1.4, 1.6归一化层
11.7KV Cache:形状、显存与带宽推理时缓存了什么11.3, 10.3推理优化
11.8LoRA:低秩假设的工程化用两个瘦矩阵近似更新7.3微调
11.9量化:缩放因子与矩阵误差用整数近似浮点矩阵10.1, 10.2int8/4bit
11.10MoE 路由与专家矩阵稀疏激活的矩阵分块3.3, 10.5MoE
11.11logits、softmax、温度与采样从向量到概率分布1.4, 9.2解码
11.12反向传播中的矩阵与训练稳定性梯度如何穿过矩阵8.5, 10.2训练

M12 进阶与全景(4 篇)

id标题一句话前置大模型钩子
12.1张量与 einsum用索引记号统一所有乘法3.3, 11.4多头注意力实现
12.2随机矩阵理论初步大随机矩阵的谱长什么样6.4, 9.1初始化、谱
12.3线性代数全景图把所有概念连成一张网全部复习
12.4从线性代数到 Transformer 推理下一步学什么、怎么读论文全部研究路线

附录

文件内容
cheatsheets/公式速查.md按主题压缩的公式与条件
cheatsheets/符号表.md符号、含义、首次出现
cheatsheets/术语中英对照.md中英术语 + 一句话解释
curriculum/8周计划.md每周目标、阅读、练习、lab

统计

  • 概念文档:81 篇(核心 65 / 进阶 11 / 选学 5)
  • 习题:13 组(M00–M12),每组三档难度
  • 实验:11 个(lab01–lab11)
  • 预计总学习时长:约 120–150 小时(含练习)
输入关键词开始搜索