附录源文件:docs/符号表.md
符号表
全课程统一记号。第一次遇到某个符号时,回到这里查。
约定:数学索引从 1 开始,代码索引从 0 开始;文中会显式说明。
1. 基础对象
| 符号 | 读法 | 含义 | 示例 |
|---|
| a,b,λ | 小写斜体 | 标量(一个数) | a=3.5 |
| x,y | 粗体小写 | 向量(一列数) | x∈Rn |
| 0 | 零向量 | 所有分量都是 0 | 0=(0,…,0)⊤ |
| A,B,W | 大写斜体 | 矩阵 | A∈Rm×n |
| In | 单位阵 | 对角为 1、其余为 0 的 n×n 矩阵 | I3 |
| T | 花体大写 | 张量 | T∈RB×T×D |
| R | 实数集 | 所有实数 | — |
| Rn | n 维实空间 | n 个实数组成的向量集合 | — |
| Rm×n | — | m 行 n 列实矩阵集合 | — |
| C | 复数集 | 复数(进阶章节用) | — |
2. 运算
| 符号 | 读法 | 含义 | 注意 |
|---|
| A⊤ | A 转置 | 行列互换 | 不写 AT |
| A−1 | A 的逆 | 满足 AA−1=I | 只有方阵且满秩才存在 |
| A+ | A 的伪逆 | Moore–Penrose 广义逆 | 任意矩阵都有 |
| A∗ | A 的共轭转置 | 复数版转置 | 实矩阵时 A∗=A⊤ |
| ⟨x,y⟩ | 内积 | 实向量即点积 x⊤y | — |
| ∥x∥p | p-范数 | (∑i∣xi∣p)1/p | 默认 p=2 |
| ⊙ | 逐元素积 | Hadamard 积 | 形状必须相同 |
| ⊗ | Kronecker 积 | 分块放大 | 形状相乘 |
| det(A) 或 ∣A∣ | 行列式 | 体积缩放因子 | ∣A∣ 在别处可能是绝对值 |
| tr(A) | 迹 | 对角线元素之和 | 等于特征值之和 |
| rank(A) | 秩 | 列空间的维数 | — |
| diag(v) | 对角阵 | 用向量 v 构造对角矩阵 | — |
| A≻0 | 正定 | 对任意 x=0,x⊤Ax>0 | 要求 A 对称 |
3. 集合与映射
| 符号 | 读法 | 含义 |
|---|
| x∈S | x 属于 S | 元素属于集合 |
| S⊆T | S 包含于 T | 子集 |
| S∩T, S∪T | 交、并 | — |
| S+T | 子空间和 | {s+t∣s∈S,t∈T} |
| S⊕T | 直和 | 和空间中每个元素表示唯一 |
| T:Rn→Rm | 映射 | 输入 n 维,输出 m 维 |
| ker(T) | 核/零空间 | {x∣T(x)=0} |
| im(T) | 像/列空间 | {T(x)∣x∈Rn} |
| span{v1,…} | 张成 | 所有线性组合构成的集合 |
| dimV | 维数 | 基向量的个数 |
| V⊥ | 正交补 | 与 V 中所有向量正交的向量集合 |
4. 微积分与概率
| 符号 | 读法 | 含义 |
|---|
| ∇f | 梯度 | 偏导组成的向量 |
| ∂f/∂xi | 偏导 | 固定其他变量对 xi 求导 |
| Jf 或 Df | Jacobian | 一阶偏导矩阵,形状 m×n |
| Hf 或 ∇2f | Hessian | 二阶偏导矩阵,形状 n×n |
| E[X] | 期望 | 随机变量的均值 |
| Var(X) | 方差 | — |
| Cov(x) | 协方差矩阵 | E[(x−μ)(x−μ)⊤] |
| N(μ,Σ) | 高斯分布 | 均值 μ、协方差 Σ |
| σ(⋅) | sigmoid / softmax | 视上下文,文中会注明 |
| ∝ | 正比于 | 差一个常数因子 |
5. 大模型专用
| 记号 | 含义 | 典型形状 |
|---|
| B | batch size | 标量 |
| T | 序列长度(token 数) | 标量 |
| D 或 dmodel | 隐藏维度 | 标量,如 4096 |
| H | 注意力头数 | 标量,如 32 |
| dk=dmodel/H | 每个头的维度 | 标量,如 128 |
| X∈RB×T×D | 隐藏状态 | 三维张量 |
| WQ,WK,WV,WO | 注意力投影矩阵 | [D,D] 或 [D,dk] |
| Q,K,V | query/key/value | [B,H,T,dk] |
| softmax | 按最后一维归一化 | 不改变形状 |
| A 或 P | attention 权重矩阵 | [B,H,T,T] |
| FFN | 前馈网络 | D→4D→D |
| RoPE | 旋转位置编码 | 对 Q,K 成对旋转 |
| L | 层数 | 标量 |
6. 容易混淆的记号
| 容易混淆 | 区分 |
|---|
| A−1 vs A+ | 逆要求方阵满秩;伪逆对任意矩阵都有 |
| ∥x∥2 vs ∥x∥22 | 后者是平方,求导时更常用 |
| det(A) vs ∣A∣ | 前者是行列式;后者在有些书里是绝对值/基数 |
| x⊤y vs xy⊤ | 前者是标量(内积),后者是矩阵(外积) |
| A⊤A vs AA⊤ | 都半正定,但形状/零空间不同 |
| 特征值 vs 奇异值 | 特征值可负可复;奇异值非负 |