附录源文件：docs/概念-现实对应表.md

概念—现实对应表

公式记不住，往往是因为它在你脑子里没有「挂靠物」。这张表给每个概念配一个现实世界里的对应物，外加一个量级和一个失效边界。

用法：读到某个公式觉得空，先来这里查它「在现实中是什么」；再回到正文看推导。

怎么读这张表

现实对应：这个概念在物理、工程或数据世界里，最像什么。
量级/场景：一个可复算的数字或一个典型系统，用来建立尺度感。标「经验值」的为常见工程范围，不是定理。
失效边界：这个类比的盲区。类比不标边界，就会变成新的误解。

M00 准备：把世界翻译成数字

概念	现实对应	量级 / 场景	失效边界
0.1 线性代数是母语	大模型的整条流水线：查表、投影、加权、压缩	7B 参数 fp16 约 14 GB；一层 4096×4096 权重 32 MiB（fp16）	线性代数只描述「怎么算」，不解释「为什么这样训练能学到语义」
0.2 集合、映射与求和	数据的地址簿 + 累加器	词表 5 万条，求和从 1 到 5 万	$\sum$ 的结合律在浮点里不严格成立（交换律仍成立）（第 10.1 节）
0.3 标量、向量、矩阵、张量	数据的「包装规格」：0 维是数，1 维是列表，2 维是表，3 维是批次	`[B,T,D] = [32,2048,4096]` 占 1 GiB（fp32）、512 MiB（fp16）	轴的意义是人为约定的，换框架可能换顺序

M01 向量与几何：方向、长度、相似

概念	现实对应	量级 / 场景	失效边界
1.1 向量	箭头 / 坐标 / 数据点，三种身份随时切换	词向量 768 维、4096 维	高维向量没有可画出来的箭头，二维直觉会误导
1.2 线性组合	调色（红+蓝=紫）、混音、配方、投资组合	三原色张成整个色域	只有「线性」混合；颜料混合本身是非线性的
1.3 点积	力做的功 $W = F \cdot d$ （焦耳），或 n 个评委投票求和	128 维随机单位向量点积标准差约 0.09	把长度和方向混在一起，长向量会「以大欺小」
1.4 范数与距离	地图距离（L1 走街道，L2 走直线）、误差大小、正则化强度	L2 单位球半径 1，L1 单位球是菱形	距离依赖坐标单位；不同量纲直接相加没有意义
1.5 余弦相似度	只比方向、不比长短：两篇文章的主题相似度	检索阈值常取 0.7 上下（经验值，随模型变）	丢掉长度信息；长度本身可能代表活跃度或置信度
1.6 正交与投影	太阳下的影子；用已有方向「拼」出目标	残差与投影正交，勾股定理成立	投影到非正交基上时公式不同（要用 $(A^{⊤} A)^{- 1}$ ）
1.7 叉积	力矩 $τ = r \times F$ （N·m）、法向量、平行四边形面积	右手定则； $∥ a \times b ∥ = ab sin θ$	只在三维有「向量结果」；高维要用外积

M02 向量空间：维度、基、冗余

概念	现实对应	量级 / 场景	失效边界
2.1 向量空间公理	游戏场地的规则：怎么合、怎么放大，结果都不出界	多项式、函数、矩阵都满足同一套规则	公理不提供长度和角度，那要额外加内积
2.2 子空间与张成	调色盘能调出的所有颜色；机械臂可达范围	两个向量张成一个平面（2 维）	张成是「所有线性组合」，不含非线性组合
2.3 线性无关	没有冗余的传感器；没有重复的信息	3 个传感器测 2 个独立量，必有一个冗余	数值上「几乎相关」不等于严格相关（要看条件数）
2.4 基与维数	描述空间所需的最少坐标数；自由度	4096 维隐藏层 = 4096 个独立方向	基不唯一；选错基会让计算变病态
2.5 坐标与基变换	同一首曲子用不同谱子记；摄氏换华氏	换基矩阵 $P$ ，坐标 $[x]_{B} = P^{- 1} x$	基变换不改变向量本身，只改变描述
2.6 秩	一组数据里真正独立的信息条数	1000 个用户 × 50 个特征，秩可能只有 5	数值秩依赖阈值；浮点噪声会让秩「虚高」
2.7 Gram–Schmidt	把一叠歪斜的尺子校正成互相垂直的尺子	QR 分解， $O (m n^{2})$	经典 GS 数值不稳，工程用 Householder 或改进 GS
2.8 正交补	影子之外的那部分： $x = 投影 + 残差$	$R^{3}$ 中平面的正交补是法线	只在有内积时才有「正交」；一般空间没有

M03 矩阵与线性映射：机器、复合、撤销

概念	现实对应	量级 / 场景	失效边界
3.1 矩阵的四种身份	机器 / 表格 / 变换 / 方程组，四种看法同一个对象	线性层 $W \in R^{4096 \times 4096}$	四种身份是视角，不是四种不同的矩阵
3.2 矩阵乘向量	把输入投影到一组输出方向上；线性层的一次前向	$4096 \times 4096$ 乘 4096 维向量约 $3.4 \times 1 0^{7}$ FLOP	只描述线性部分；偏置与激活要另算
3.3 矩阵乘法	两台机器串联；流水线复合	$2 M N K$ ： $M = N = K = 4096$ 时约 $1.4 \times 1 0^{11}$ FLOP	交换律不成立；维度必须接得上
3.4 逆矩阵	撤销操作：先穿袜再穿鞋，撤销时先脱鞋再脱袜	条件数 $κ = 1 0^{6}$ 时 fp16 几乎不可用	可逆 ≠ 数值可靠；长方形矩阵没有双边逆
3.5 高斯消元与 LU	解方程的标准流水线：消元、回代	$n^{3} /3$ 次运算； $n = 1 0^{4}$ 时约 $3 \times 1 0^{11}$	主元为 0 要换行；接近 0 要不稳定
3.6 转置、对称与分块	转置 = 换视角看同一张表；对称 = 互易	协方差矩阵、Hessian 都对称	转置不改变秩，但改变行/列空间的含义
3.7 四个基本子空间	数据流的四扇门：进、出、被压零、被忽略	秩-零化度： $dim N (A) + rank (A) = n$	只对线性映射成立；非线性网络没有这套分解

M04 线性方程组：约束、拟合、误差

概念	现实对应	量级 / 场景	失效边界
4.1 方程组的几何	多条约束的交点；超定就是「没有共同交点」	2 个未知数、3 条约束通常无解	几何交点只在低维可画；高维靠秩判断
4.2 解的存在性与通解	特解 + 零空间：一个落脚点加所有「不影响结果」的方向	欠定时自由度 = $n - r$	通解不是「所有解都差不多」，零空间方向可能很重要
4.3 齐次方程与零空间	被机器压成零的输入方向；不可观测的模态	秩 $r$ 的 $m \times n$ 矩阵，零空间维数 $n - r$	零空间非零不代表输入「无意义」，只代表输出看不见它
4.4 最小二乘	测量数据拟合直线；残差平方和最小	残差与列空间正交；正规方程 $A^{⊤} A x = A^{⊤} b$	对异常值敏感（平方放大）； $A^{⊤} A$ 会让条件数平方
4.5 伪逆与最小范数解	给不可逆矩阵一个「最保守」的广义逆	$x^{+} = A^{+} b$ ，所有解里范数最小	伪逆依赖奇异值阈值；阈值选错会改变答案
4.6 条件数与病态	误差的放大倍数；「输入抖一下，输出飞出去」	$κ = 1 0^{k}$ 约损失 $k$ 位十进制有效数字	条件数大不代表无解，只代表解对扰动敏感

M05 行列式：体积、可逆、变换

概念	现实对应	量级 / 场景	失效边界
5.1 行列式	线性变换对体积的缩放因子；负号代表翻转	单位正方形经 $A$ 变成面积 $∣ det A ∣$	只对方阵有定义；高维「体积」不可视
5.2 行列式的性质	交换两行 = 翻转定向；三角阵 = 对角线乘积	$det (A B) = det A det B$	行列式对数值误差敏感，不建议用它判可逆
5.3 逆与 Cramer 法则	用行列式写出的显式解；小系统的手算工具	Cramer 约 $n!$ 量级， $n = 20$ 就不可行	只适合教学和小矩阵；工程用 LU/QR
5.4 行列式与 Jacobian	变量替换时的体积修正；概率密度换元	$p_{Y} (y) = p_{X} (x) / ∣ det J ∣$	只适用于可微、局部可逆的变换

M06 特征值：不变方向、频率、稳定性

概念	现实对应	量级 / 场景	失效边界
6.1 特征值与特征向量	振动模态；变换中「不转向」的方向；增长率	桥的固有频率； $λ > 1$ 放大， $∣ λ ∣ < 1$ 衰减	实矩阵也可能有复特征值（旋转），没有实不变方向
6.2 特征多项式、迹与行列式	迹 = 特征值之和（平均拉伸），行列式 = 乘积（体积）	$2 \times 2$ ： $λ^{2} - tr A λ + det A = 0$	高次多项式求根数值不稳，工程用 QR 迭代
6.3 对角化	换到「特征基」下，机器变成各自独立的拉伸	$A^{k} = Q Λ^{k} Q^{- 1}$ ，幂运算变逐元素	需要有足够特征向量；缺陷矩阵不能对角化
6.4 对称矩阵与谱定理	正交主轴：任何对称变换都能拆成「旋转-拉伸-转回」	协方差、Hessian、图拉普拉斯都对称	非对称矩阵没有正交特征基
6.5 二次型与正定	碗 / 鞍 / 槽；能量函数的弯曲方向	Hessian 正定 ⇔ 严格凸 ⇔ 唯一极小	只看对称部分；非对称矩阵的特征值判据会骗人
6.6 幂迭代与 PageRank	反复乘矩阵，收敛到主特征向量；网页重要性投票	收敛率由 $∣ λ_{2} / λ_{1} ∣$ 决定	主特征值不唯一或模相等时不收敛
6.7 Jordan 与矩阵函数	有「缺陷」的机器：不能完全解耦，但有近似标准形	$e^{A t}$ 描述线性系统演化	Jordan 形数值上极不稳定，通常只用理论分析

M07 SVD：旋转、拉伸、压缩

概念	现实对应	量级 / 场景	失效边界
7.1 SVD 的几何	任何矩阵 = 旋转 → 沿坐标轴拉伸 → 再旋转	单位圆变成椭圆，半轴就是奇异值	奇异值不是特征值；只对正规矩阵两者才一致
7.2 SVD 的计算与性质	用 $A^{⊤} A$ 的特征分解求；数值上更稳的做法是双对角化	$m \times n$ 的 SVD 约 $O (m n^{2})$	直接算 $A^{⊤} A$ 会让条件数平方
7.3 低秩近似	用前 $k$ 个奇异值「压缩」矩阵；丢掉小能量方向	常见数据上，少量奇异值就能占到大部分能量（比例依数据）	小奇异值可能承载关键细节（如图像边缘）
7.4 伪逆、数值秩与条件数	用奇异值阈值判断「哪些方向算数」	$κ = σ_{1} / σ_{r}$	阈值是人为的；没有绝对正确的秩
7.5 SVD 应用	PCA、推荐、LoRA、压缩、去噪	LoRA 秩 $r = 8$ 时新增参数约为全量的 $2 r / D$	低秩假设不总成立；任务本身可能需要高秩更新

M08 微积分与优化：往哪走、走多远

概念	现实对应	量级 / 场景	失效边界
8.1 多元函数与梯度	山坡上最陡的上坡方向；梯度是「方向 + 斜率」	参数 $1 0^{9}$ 维，梯度同维度	梯度只给局部信息；鞍点处梯度也为零
8.2 方向导数与梯度下降	沿某个方向走一步的瞬时变化率；下山	学习率 $1 0^{- 4}$ 量级（经验值）	步长太大会越过谷底，太小会走不动
8.3 Jacobian	非线性映射的局部线性化；每个输出对每个输入的敏感度	$f : R^{n} \to R^{m}$ 的 Jacobian 是 $m \times n$	只在局部有效；强非线性下线性化会失效
8.4 Hessian 与二阶近似	曲率：碗有多弯、鞍面往哪翘	$n = 1 0^{6}$ 时 Hessian 有 $1 0^{12}$ 项，存不下	只能算 Hessian-向量积；近似有二阶误差
8.5 矩阵求导与链式法则	反向传播：把误差从输出一层层「退」回去	每层一次 Jacobian-向量积，成本约等于前向	手推容易漏转置；形状对不上是最常见 bug
8.6 凸性	唯一最低点的碗；局部最优就是全局最优	凸二次型、负熵、线性约束	深度学习损失几乎非凸；凸性只是局部/近似
8.7 梯度下降与牛顿法	下山：只看坡度 vs 还看曲率	牛顿法二次收敛，但每步要解 $H p = - g$	牛顿法在非凸、病态、大规模下代价高
8.8 拉格朗日乘子	约束下的最优：资源分配、预算、影子价格	等式约束 $g (x) = 0$ ， $\nabla f = λ \nabla g$	需要约束规范；不等式约束要 KKT 条件

M09 概率与统计：不确定性、形状、演化

概念	现实对应	量级 / 场景	失效边界
9.1 概率与随机变量	频率的极限 / 对不确定性的信念；期望是长期平均	均值、方差；大数定律	期望不存在时（重尾）样本均值会骗人
9.2 多元高斯	一团椭球形的数据云；协方差矩阵决定朝向和胖瘦	马氏距离 $(x - μ)^{⊤} Σ^{- 1} (x - μ)$	真实数据常多峰、重尾，不是单峰高斯
9.3 PCA	找数据云最长的那根轴；降维	保留 $k$ 个主成分，解释方差比例	PCA 只看二阶矩；非线性结构会丢
9.4 白化	把椭球揉成球；去相关 + 单位方差	白化后协方差 = $I$ ，条件数 = 1	会放大噪声方向；小特征值处极不稳定
9.5 马尔可夫链	状态间按概率跳转；长期趋于稳态	转移矩阵的稳态 $π^{⊤} P = π^{⊤}$	需要不可约、非周期；混合时间可能极长

M10 数值线性代数：精度、带宽、规模

概念	现实对应	量级 / 场景	失效边界
10.1 浮点数与误差	有限位数的尺子；舍入误差会累积	fp32 约 7 位十进制，fp16 约 3 位	「数学上相等」在浮点里可能不等
10.2 矩阵范数与条件数	误差放大倍数；系统的「敏感度」	$κ = 1 0^{6}$ 损失约 6 位有效数字	条件数依赖范数类型；不同范数给出不同值
10.3 BLAS 与 GEMM	厨房：切菜（算力）vs 取菜（带宽）；算术强度	$409 6^{3}$ GEMM 约 $1.4 \times 1 0^{11}$ FLOP；三个 $409 6^{2}$ 矩阵约 201 MB（fp32）	Roofline 是上界；实际受延迟、并行度、缓存影响
10.4 迭代法与共轭梯度	不直接解方程，而是一步步逼近；只做矩阵-向量乘	稀疏系统 $1 0^{6}$ 维，CG 几十步收敛（依条件数）	条件数大时收敛慢；非对称要用 GMRES/BiCGSTAB
10.5 稀疏矩阵	大部分格子是空的；只存非零元	非零元 $1 0^{6}$ ，稠密要 $1 0^{12}$ 项	稀疏结构不规则时，GPU 利用率低

M11 大模型专题：一条 forward 的解剖

概念	现实对应	量级 / 场景	失效边界
11.1 Token、Embedding	查表：每个 token 一行向量；隐藏状态是上下文中的「当前理解」	词表 5 万 × 4096 维 = 2 亿参数	embedding 的维度不等于语义维度
11.2 线性层	一次矩阵乘法：把 4096 维投影到另一个 4096 维	$2 \times 409 6^{2}$ FLOP/token/层	线性层本身不引入非线性；堆多少层都是线性的
11.3 Attention 上：QKV	软查表：query 找 key，取 value 的加权平均	$Q K^{⊤}$ 是 $T \times T$ ， $T = 2048$ 时 400 万项	注意力权重不是「解释」，只是加权系数
11.4 Attention 下：softmax	把分数变成概率；温度控制尖锐程度	softmax 的熵衡量注意力分散度	数值上要先减最大值，否则溢出
11.5 位置编码与 RoPE	给 token 加「座位号」；RoPE 用旋转表示相对位置	旋转角 $θ_{i} = 1000 0^{- 2 i / d}$	外推长度超过训练分布时性能下降
11.6 LayerNorm / RMSNorm	把每个 token 的向量拉回单位尺度；稳定训练	均值/方差在 $D$ 维上算	归一化会抹掉模长信息；RMSNorm 不减均值
11.7 KV Cache	把历史 K/V 存起来，用显存换计算	每 token 每层 K、V 各 $d$ 维，fp16 共 $4 d$ 字节；长上下文线性增长	显存带宽成为 decode 瓶颈；缓存会挤占并发
11.8 LoRA	不改变原权重，只加一个低秩补丁	$r = 8$ 时新增参数约为 $2 r / D$	低秩假设不总成立；合并后可能影响其他任务
11.9 量化	用更少的 bit 存权重/激活；缩放因子把范围映射到整数	int8 相比 fp16 省一半显存	离群值会拉大缩放因子，毁掉整体精度
11.10 MoE 路由	每个 token 只激活少数专家；用稀疏换容量	top-2 / 8 专家，激活参数约为总量的 $1/4$ （经验值，随实现变）	路由不均衡会导致专家饥饿/热点
11.11 logits 与采样	模型输出一张「下一个词」的概率表；温度/截断控制随机性	词表 5 万个 logits	温度不改变排序，只改变分布形状
11.12 反向传播与稳定性	把 loss 的误差沿计算图退回去；梯度爆炸/消失	梯度范数、loss scale	数值稳定性问题常表现为 loss 尖峰，不一定是数学错

M12 进阶：把工具连成地图

概念	现实对应	量级 / 场景	失效边界
12.1 张量与 einsum	用索引写「谁和谁乘、哪个轴求和」；形状即公式	`bhtd,bsd->bhts` 描述 attention	einsum 可读性好但可能不如手写 kernel 快
12.2 随机矩阵理论	随机初始化下权重矩阵的谱分布；为什么要缩放初始化	元素方差为 $1/ n$ 的高斯矩阵，谱半径约 $2 n$	假设独立同分布；训练后的矩阵不再随机
12.3 线性代数全景图	五条主线：几何、方程、谱、近似、计算	一张图串起 81 个概念	地图不是知识本身，仍需逐篇动手
12.4 研究路线	从「会算」到「能读论文、能复现」的路径	Transformer 推理、表示几何、训练动力学	路线会过时；原理比论文清单更耐久

三句话总结

几何量（点积、范数、行列式）在现实里通常是功、距离、体积——它们有单位，能算钱、算时间、算误差。
谱量（特征值、奇异值、条件数）在现实里通常是频率、能量分布、放大倍数——它们决定系统稳不稳、能压多小、误差会炸多大。
计算量（FLOPs、带宽、显存）在现实里就是账单——每个公式最终都要落成时间、内存或电费。

这张表是索引，不是替代。每个概念的「为什么」和「怎么推」，仍要回到对应正文。