附录源文件：cheatsheets/公式速查.md

公式速查

按主题分组；每条给出「什么时候用」。符号约定见符号表。

1. 向量与几何

公式	用途
$x \cdot y = \sum_{i} x_{i} y_{i} = ∥ x ∥∥ y ∥ cos θ$	相似度、夹角
$∥ x ∥_{2} = \sum_{i} x_{i}^{2}$	欧氏长度
$cos θ = \frac{x \cdot y}{∥ x ∥∥ y ∥}$	余弦相似度
$proj_{u} x = \frac{x \cdot u}{u \cdot u} u$	投影到直线
$∥ x + y ∥^{2} = ∥ x ∥^{2} + ∥ y ∥^{2} + 2 x \cdot y$	勾股/余弦定理
$x ⊥ y ⟺ x \cdot y = 0$	正交判定

2. 空间、基与秩

公式	用途
$rank (A) + dim null (A) = n$	秩-零化度
$dim S + dim S^{⊥} = dim V$	正交补
$v = B [v]_{B}$ ， $[v]_{B} = B^{- 1} v$	坐标
$A_{B} = P^{- 1} A_{C} P$	相似变换
$rank (A B) \leq min (rank A, rank B)$	乘积秩
$rank (A) = # {σ_{i} > 0}$	奇异值判秩

3. 矩阵与方程

公式	用途
$(A B)^{⊤} = B^{⊤} A^{⊤}$	转置
$(A B)^{- 1} = B^{- 1} A^{- 1}$	逆
$A x = b$ 有解 $⟺ b \in col (A)$	可解性
$A^{⊤} A \hat{x} = A^{⊤} b$	正规方程
$P = Q Q^{⊤}$	正交投影矩阵
$A^{+} = V Σ^{+} U^{⊤}$	伪逆
$κ (A) = ∥ A ∥∥ A^{- 1} ∥ = σ_{m a x} / σ_{m i n}$	条件数
$\frac{∥ δ x ∥}{∥ x ∥} \leq κ (A) \frac{∥ δ b ∥}{∥ b ∥}$	误差放大

4. 行列式

公式	用途
$det (A B) = det A det B$	乘法
$det (A^{- 1}) = 1/ det A$	逆
$A$ 可逆 $⟺ det A \neq = 0$	可逆判定
$det [a c b d] = a d - b c$	2×2
$∣ det J ∣$ = 体积伸缩因子	换元/Jacobian

5. 特征值与二次型

公式	用途
$A v = λ v$	特征方程
$det (A - λ I) = 0$	特征多项式
$tr A = \sum_{i} λ_{i}$ ， $det A = \prod_{i} λ_{i}$	迹/行列式
$A = P D P^{- 1}$	对角化
$A = Q Λ Q^{⊤}$ （对称）	谱定理
$x^{⊤} A x > 0 (\forall x \neq = 0)$	正定
正定 $⟺$ 所有特征值 $> 0$ $⟺$ 顺序主子式 $> 0$	判定

6. SVD 与低秩

公式	用途
$A = U Σ V^{⊤}$	SVD
$A_{k} = \sum_{i = 1}^{k} σ_{i} u_{i} v_{i}^{⊤}$	截断 SVD
$∥ A - A_{k} ∥_{F}^{2} = \sum_{i > k} σ_{i}^{2}$	Eckart–Young
$∥ A - A_{k} ∥_{2} = σ_{k + 1}$	谱误差
$rank (A_{k}) \leq k$	低秩
$σ_{i} = λ_{i} (A^{⊤} A)$	奇异值与特征值

7. 微积分与优化

公式	用途
$\nabla f = (\partial f / \partial x_{1}, \dots)^{⊤}$	梯度
$D_{u} f = \nabla f^{⊤} u$	方向导数
$f (x + Δ) \approx f (x) + \nabla f^{⊤} Δ + \frac{1}{2} Δ^{⊤} H Δ$	二阶近似
$\partial (A x) / \partial x = A$	矩阵求导
$\partial (x^{⊤} A x) / \partial x = (A + A^{⊤}) x$	二次型梯度
$x_{t + 1} = x_{t} - η \nabla f (x_{t})$	梯度下降
凸： $f (λ x + (1 - λ) y) \leq λ f (x) + (1 - λ) f (y)$	凸性

8. 概率

公式	用途
$E [X] = \sum_{x} x p (x)$	期望
$Var (X) = E [X^{2}] - E [X]^{2}$	方差
$Cov (X, Y) = E [X Y] - E [X] E [Y]$	协方差
$Σ = E [(x - μ) (x - μ)^{⊤}]$	协方差矩阵
$N (x; μ, Σ) \propto exp (- \frac{1}{2} (x - μ)^{⊤} Σ^{- 1} (x - μ))$	多元高斯
$π P = π$	马尔可夫稳态

9. 数值与大模型

公式	用途
$softmax (z)_{i} = e^{z_{i}} / \sum_{j} e^{z_{j}}$	归一化
$softmax (z / T)$	温度
$A = softmax (Q K^{⊤} / d_{k})$	attention
$LN (x) = γ ⊙ \frac{x - μ}{σ ^{2} + ϵ} + β$	LayerNorm
$RMSNorm (x) = γ ⊙ \frac{x}{mean ( x ^{2} ) + ϵ}$	RMSNorm
KV Cache $= 2 B H T d_{k} \cdot bytes \cdot L$	显存
$Δ W = B A$ ，参数 $2 D r$	LoRA
$q = round (x / s) + z$	量化
$W^{'} = W_{0} + \frac{α}{r} B A$	LoRA 合并
$∥ A ∥_{2} = σ_{m a x}$	谱范数

10. 常用近似与量级

参数量：attention $4 D^{2} L$ ，FFN $8 D^{2} L$ ；总计约 $12 D^{2} L$ 。
前向 FLOPs/token：约 $2 \times$ 参数量。
KV Cache： $T$ 翻倍，显存翻倍；GQA 按 $H_{k v} / H$ 缩。
高斯矩阵谱范数： $\approx σ (m + n)$ 。
fp16 机器精度： $\approx 9.77 \times 1 0^{- 4}$ ；fp32： $\approx 1.19 \times 1 0^{- 7}$ 。