11.2 线性层：一次矩阵乘法

本节位置：模块 11 · 大模型专题｜前置：3.3 ｜预计：35 分钟

一句话：线性层就是「把每个 token 的向量，用同一个矩阵混合成新向量」；大模型的大部分参数和算力都花在这里。

0. 场景引入

一台 8 GB 内存的轻薄本，离线跑一个 3B 参数的模型，把 40 分钟的会议录音转写稿压成一段摘要。NPU 标称 20 TOPS，机身内存带宽约 50 GB/s。

先看权重。压到 4 bit，模型占 $3 \times 1 0^{9} \times 0.5 B = 1.5$ GB。生成每一个 token，都要把这 1.5 GB 从头读一遍： $1.5 GB /50 GB/s = 30$ 毫秒。算力那边呢？每个 token 约 $2 \times 3 \times 1 0^{9} = 6$ GFLOPs，20 TOPS 只要 0.3 毫秒。两者差 100 倍——端侧推理的时间几乎全花在搬权重上，不在算乘加上。

顺带说清参数从哪来：取 $D = 4096$ 的模型，一层 FFN 的形状是 $4096 \to 16384 \to 4096$ ，参数 $4096 \times 16384 + 16384 \times 4096 \approx 1.34 \times 1 0^{8}$ ；32 层就是 43 亿，而 embedding 才 5 亿——参数的大头在 FFN 的矩阵里，也正是要反复搬的那些字节。

再看输入。转写稿 6000 汉字，按 1.5 字/token 估约 4000 token，加系统提示共 4200；摘要要求 400 token。

于是要做一个决策：权重用 4 bit 还是 8 bit？4 bit 每 token 30 毫秒、400 token 共 12 秒，但量化会掉点；8 bit 每 token 60 毫秒、共 24 秒，而且 3 GB 权重加 1.4 GB KV 缓存后，机器几乎没有余量再开浏览器。代价必须挑一个：要么接受「摘要里的数字和人名偶尔走样」，要么接受「每次等半分钟」。

还有一笔账要分开算：prefill 那 4200 个 token 是算力瓶颈， $2.5 \times 1 0^{13}$ FLOPs 按 8 TOPS 估约 3 秒；首 token 的等待和后面 12 秒的生成，堵点根本不在同一处。

读完本节，你能回答的三个问题是：

怎么用一行算术判断端侧 decode 卡的是带宽还是算力？
偏置只占总参数的万分之一点五，为什么删掉它模型会系统性偏移？
同一个线性层，prefill 和 decode 的算术强度差多少倍？

1. 直觉

一个线性层有 $D_{out}$ 个「检测器」。每个检测器是一行权重 $w_{j}$ ，它和输入 $x$ 做点积：

y_{j} = w_{j}^{⊤} x + b_{j}

点积大，说明输入与这个检测器方向一致——这一维被「激活」。这个「加权和 + 偏置 + 阈值」的单元就是感知机；线性层是它去掉阶跃、直接输出连续值的版本。

所以线性层在做特征重组：把输入的 $D_{in}$ 个方向，重新组合成 $D_{out}$ 个新方向。

💡 一句话直觉：线性层 = 一组并行的点积 = 把向量投影到 $D_{out}$ 个学到的方向上。

类比边界：单个线性层只能做线性组合，不能做「如果……就……」；非线性来自后面的 GELU/ReLU/SwiGLU。

1.1 它在现实世界里对应什么

物理对应：线性层是一台「多进多出的配料机」—— $D_{in}$ 个进料口各按一个可调阀门开度（权重）汇进 $D_{out}$ 个出料口，每个出料口都尝一遍所有原料，再各自加一点底味（偏置）。

工程上它只有一个形状：GEMM。判断它卡算力还是卡带宽，算算术强度（每搬 1 字节做几次浮点运算）：

AI = \frac{2 B T D _{in} D _{out}}{2 D _{in} D _{out} + 2 B T ( D _{in} + D _{out} )} \approx B T FLOP/byte

单 token（ $B T = 1$ ）时 $AI \approx 1$ ；而一块 GPU 的 roofline 拐点在 200–400 FLOP/byte。也就是说，decode 时这个矩阵的算力利用率只有峰值的 1/300 量级，时间几乎全在等内存。 $B T = 256$ 时 AI 约 227，才刚够到拐点——这就是「batch 越大越划算」的全部数学。

这个类比在哪里失效：配料机是一次投料一次出料，而 decode 是「同一套配方反复执行、每次只投一份料」：权重被反复重读，机器空转，只有把 batch 做大才能摊薄这份浪费。另外阀门开度在训练中每步都变，缓存与预取策略必须跟着变，静态流水线的假设在这里不成立。

2. 定义

2.1 单个向量

按 PyTorch 约定，权重形状为 $[D_{out}, D_{in}]$ ：

y = W x + b, W \in R^{D_{out} \times D_{in}}, x \in R^{D_{in}}

（有的教材写 $y = x^{⊤} W^{⊤} + b$ ，等价，只是行/列约定不同。）

2.2 批量

对 $X \in R^{B \times T \times D_{in}}$ ：

Y = X W^{⊤} + b \in R^{B \times T \times D_{out}}

框架会把 $B \times T$ 展平成「行」，做一次大矩阵乘：

(B T \times D_{in}) (D_{in} \times D_{out}) \to (B T \times D_{out})

2.3 FFN

常见结构：

FFN (x) = W_{2} σ (W_{1} x + b_{1}) + b_{2}

其中 $W_{1} \in R^{4 D \times D}$ ， $W_{2} \in R^{D \times 4 D}$ ， $σ$ 是 GELU/ReLU/SiLU。

2.4 参数量与计算量

量	公式
参数	$D_{in} D_{out} + D_{out}$
前向 FLOPs（batch $B$ 、序列 $T$ ）	$\approx 2 B T D_{in} D_{out}$
仅推理单 token	$\approx 2 D_{in} D_{out}$

（乘加算 2 次浮点运算。）

3. 为什么这样定义

为什么用矩阵而不是逐元素？ 逐元素操作（如乘一个标量）无法混合不同维度；矩阵乘法让每个输出都看到所有输入，实现「特征交叉」。

为什么 FFN 要先升维再降维？ 升维提供一个更宽的空间，让非线性（GELU）可以在更高维里「切开」特征，再压回原维度。这类似「在更高维空间做分类再投影回来」。 $4 D$ 是 Transformer 定下的经验选择，不是定理。

为什么大模型离不开它？ 矩阵乘法可以被 GPU 高效并行（GEMM，第 10.3 节）；同样的参数量，用矩阵乘比循环/条件分支快几个数量级。

3.1 反事实：删掉偏置、或把顺序调换会坏在哪

先删偏置。 偏置提供的唯一自由度是「与输入无关的常数」，而它的真实作用是给每个隐藏单元设一个开关点。取 $D = 2$ 、 $W = I_{2}$ ，输入 $x = (0.6, - 0.6)$ ， $b = (0.5, - 0.5)$ ：

W x = (0.6, - 0.6) + b (1.1, - 1.1)

幅度变了不算要害，要害在后面的 GELU。一个通道的线性输出如果是 $- 0.4$ ， $GELU (- 0.4) = - 0.4 \times Φ (- 0.4) \approx - 0.138$ （负值只被保留了一部分）；同样这个通道，只要有个 $+ 0.5$ 的偏置把它抬到 $0.1$ ， $GELU (0.1) = 0.1 \times Φ (0.1) \approx 0.054$ ，符号都反了。FFN 有 $4 D = 16384$ 个这样的通道，每个偏置就是它的开关点。全部抹掉，等于所有通道共用开关点 0，而 LayerNorm 后的输入是零均值的：一半通道永远活在负半轴，哪一半是哪个由初始化随机决定，训练只能靠调 $w$ 的范数间接挪动开关点。

参数账很不对称：一层 FFN 的偏置是 $4 D + D \approx 2 \times 1 0^{4}$ 个，占 $8 D^{2} \approx 1.34 \times 1 0^{8}$ 的 0.015%。删它省不下存储，却要模型拿隐藏状态的整个方向去重建这个常数。输出层（unembedding）的偏置更不能删：它承载词频先验，没有它，softmax 没有任何办法表达「『的』比『貘』常见一万倍」。

再换顺序。 正确写法是 $W_{2} σ (W_{1} x + b_{1})$ ：先线性，后非线性。若写成 $W_{1} σ (x)$ ，取 $W_{1} = [11]$ 、 $x = (1, - 1)$ ：

W_{1} x = 0 \Rightarrow σ (0) = 0; W_{1} σ (x) = 0.841 + (- 0.159) = 0.682

同一组数，正确顺序下这个检测器沉默（两个特征相消），错误顺序下它一直在开火。原因一句话： $W_{1}$ 的价值就在于能做减法，而 GELU 不是线性的， $σ (W_{1} x) \neq = W_{1} σ (x)$ 。把非线性提前，等于先毁掉「相消」再做加权；堆到 32 层，每层都多注入一点整流后的正偏，误差就不是「小一点」，而是整个输出分布的漂移。

4. 性质与推导

4.1 复合仍是线性（若无非线性）

W_{2} (W_{1} x) = (W_{2} W_{1}) x

所以两层线性层等价于一层。非线性是深度有意义的前提。

4.2 参数量估算

FFN： $D \cdot 4 D + 4 D \cdot D = 8 D^{2}$ 。 Attention 的四个投影： $4 D^{2}$ 。每层合计 $12 D^{2}$ ， $L$ 层 $12 D^{2} L$ 。

对 $D = 4096, L = 32$ ： $12 \times 409 6^{2} \times 32 \approx 6.44 \times 1 0^{9}$ ，即 64 亿参数（不含 embedding）。

4.3 计算量估算

单 token 前向：

FLOPs \approx 2 \times 12 D^{2} L

对 $D = 4096, L = 32$ ：约 $1.29 \times 1 0^{10}$ FLOPs/token。生成 1000 个 token 约 $1.29 \times 1 0^{13}$ FLOPs。

4.4 初始化

若输入各分量方差为 1、权重方差为 $σ^{2}$ ，输出方差约为 $D_{in} σ^{2}$ 。为了让输出方差保持 1，取

σ^{2} = \frac{1}{D _{in}}

这就是 Xavier 初始化与 He 初始化的核心思想（第 10.2、12.2 节）。

5. 例子

5.1 手算： $3 \to 2$ 线性层

W = [1 0.5 01 - 1 0], b = [0 0.5], x = 123

W x = [1 - 3 0.5 + 2] = [- 2 2.5], y = W x + b = [- 2 3]

5.2 手算：一层 FFN 的参数量

$D = 8$ ，FFN 为 $8 \to 32 \to 8$ ：

8 \times 32 + 32 + 32 \times 8 + 8 = 256 + 32 + 256 + 8 = 552

其中 16 个是偏置；相对 $12 D^{2} = 768$ 的粗估，FFN 部分 $8 D^{2} + 4 D = 512 + 32 = 544$ ，吻合。

5.3 场景：7B 模型的参数分布

取 $D = 4096, L = 32, V = 32000$ ：

部分	参数量
FFN（每层 $8 D^{2}$ ）	$32 \times 8 \times 409 6^{2} \approx 4.29$ B
Attention（每层 $4 D^{2}$ ）	$32 \times 4 \times 409 6^{2} \approx 2.15$ B
Embedding（绑定）	$32000 \times 4096 \approx 0.13$ B
合计	约 6.57B

实际 7B 模型还会因 GQA、词表大小、层数略有差异。重点不是精确数字，而是「FFN 占大头」这个结构判断。

5.4 场景闭环：4000 token 的会议纪要

输入规模：转写稿 6000 汉字，按 1.5 字/token 估约 4000 token，加系统提示 200，共 4200；输出摘要 400 token。模型 3B 参数、 $D = 3072$ 、 $L = 28$ 、FFN 用 SwiGLU 的 $8/3 D$ 。

计算（prefill， $B T = 4200$ ）：

FLOPs \approx 2 \times 3 \times 1 0^{9} \times 4200 = 2.5 \times 1 0^{13}

按 NPU 有效 8 TOPS 估约 3.1 s。这一步的算术强度是 $2.5 \times 1 0^{13} FLOPs /1.5 GB \approx 1.7 \times 1 0^{4}$ FLOP/byte，远高于拐点——prefill 卡算力。

计算（decode，每 token）：

FLOPs \approx 2 \times 3 \times 1 0^{9} = 6 \times 1 0^{9}, 权重读取 = 1.5 GB

算力上 0.75 ms 就够，读 1.5 GB 却要 30 ms。decode 卡带宽，且卡 40 倍。

输出决策：400 token 摘要；若 logits 熵连续 10 步超过阈值，判定「模型在编」，截断并回退到抽取式摘要（挑原文句子）。

成本：prefill 3.1 s + decode $400 \times 30 ms = 12$ s，合计约 15 s。内存峰值 1.5 GB 权重 + 1.4 GB KV（ $2 \times 4200 \times 3072 \times 2 B \times 28$ ），int8 KV 后降到 0.7 GB。

失败条件与兜底：

内存不足：8 bit 方案 3 GB 权重 + 1.4 GB KV + 运行时约 1.5 GB ≈ 6 GB，在 8 GB 机器上再开浏览器就 OOM。兜底：权重 mmap 分页加载（首 token 慢约 0.5 s），KV 用 int8。
有效带宽低于标称：50 GB/s 是峰值，真实随机访问常只有 60%–70%。兜底：按实测带宽重算预算，把「30 ms/token」改成「45 ms/token」再决定摘要长度。
4 bit 掉点集中在数字：量化误差对高频数值 token 更敏感。兜底：把金额、日期、人名做后处理校验，与转写稿原文做字符串对齐，对不上就回退长摘要。

6. 常见误区

误区： $W x$ 和 $x W$ 是一回事。纠正：形状不同。 $W x$ 输出 $D_{out}$ 维列向量； $x W$ 要求 $x$ 是行向量，输出行向量。框架内部统一用行向量批量乘 $W^{⊤}$ 。
误区：参数量 = 计算量。纠正：参数量是存储，计算量还乘 batch/序列长度。推理时每 token 的计算量约 $2 \times$ 参数量（对线性层）。
误区：线性层「存储了知识」。纠正：知识分布在所有层的权重与非线性交互中，不能简单定位到某一层/某个矩阵；线性层只是变换。
误区：FFN 的 $4 D$ 是理论最优。纠正：这是工程经验；不同模型用 $4 D$ 、 $8/3 D$ （SwiGLU）、 $2.67 D$ 等，取决于激活函数与效率权衡。

7. 概念网络

前置：3.3 矩阵乘法 —— 行乘列/列组合。
前置：10.3 GEMM —— 为什么 GPU 快。
后续：11.3 Attention QKV —— 四个线性投影。
后续：11.8 LoRA —— 用低秩矩阵近似线性层更新。
关联：8.5 矩阵求导 —— 反向传播的梯度形状。

8. 通往大模型：线性层出现在哪

位置	形状	说明
QKV 投影	$[D, D]$ 各一个	生成 query/key/value
输出投影 $W_{O}$	$[D, D]$	合并多头输出
FFN 上投影	$[D, 4 D]$	升维
FFN 下投影	$[4 D, D]$	降维
LM head	$[D, V]$	输出词表 logits
LoRA	$[D, r], [r, D]$	低秩更新

GQA/MQA：为了省 KV Cache，让多个 query 头共享一组 key/value 头， $W_{K}, W_{V}$ 的形状变为 $[D, H_{k v} d_{k}]$ ， $H_{k v} < H$ 。这是「用形状换显存」的典型设计。

可检验结论：对 $D = 4096$ ，一个 $W_{Q}$ 有 $409 6^{2} = 16, 777, 216$ 个参数，fp16 存储约 32 MiB。四个投影约 128 MiB/层。

算错时用户看到什么：三种错法对应三种症状，可以从输出反推。

导出时丢了 $b$ ：模型不崩，但输出层失去词频先验，罕见词被系统性低估。用户看到「答案越来越模板化」——总用同一批高频词开头，遇到专有名词就含糊其辞。若丢的是 FFN 的 $b_{1}$ ， $4 D$ 个通道的开关点全被钉到 0，表现为「回答变短、细节消失」。
非线性放错位置（先 GELU 再投影）：小 batch 上 loss 照样降，但「相消」能力没了，输出整体带正偏。用户看到「语气越来越满」——过度自信、爱下结论，长回答比短回答更容易跑偏。
累加维度切错（张量并行后忘记 all-reduce）：输出幅度按 $1/ 并行度$ 缩小，经过 LayerNorm 又被重新归一化，形状与量级都「看起来正常」，信息却已丢一半。用户看到「模型像喝了酒」——语法通顺但答非所问。这类错不报 shape mismatch，只让评测分数悄悄掉几个点，最难查。

9. 练习

概念：为什么两层线性层叠加等价于一层？这对「深度」意味着什么？
计算： $D_{in} = 768$ ， $D_{out} = 3072$ ，求参数量、单 token 前向 FLOPs。
计算：一个 7B 模型 $D = 4096, L = 32$ ，用 $12 D^{2} L$ 估算主体参数量；若 FFN 用 $8/3 D$ 的 SwiGLU，FFN 参数量变为多少？
场景：为什么推理时 batch 越大，GPU 利用率越高？用 GEMM 的形状解释。
开放：如果去掉所有 FFN，只保留 attention，模型能力会受什么影响？从「特征混合」与「非线性容量」两个角度分析。

参考答案

$W_{2} (W_{1} x) = (W_{2} W_{1}) x$ ；没有非线性时深度退化为一层，所以必须插入非线性。
参数 $768 \times 3072 + 3072 = 2, 362, 368$ ；FLOPs 约 $2 \times 768 \times 3072 = 4.72$ M。
$12 \times 409 6^{2} \times 32 \approx 6.44$ B；SwiGLU 常见总参数量约 $8/3 D^{2}$ 每层（三个矩阵、隐藏维 $8/3 D$ ），约 $2.86$ B（仅 FFN 部分会变，需按具体结构算）。
GEMM 的 $M = B T$ 越大，矩阵乘的并行度越高，GPU 越不容易闲置；batch=1 时是「瘦矩阵」，受内存带宽限制。
特征混合变弱、非线性容量下降；attention 只做 token 间加权，不做逐 token 的特征变换，表达力显著降低。

10. 一页速记

线性层： $y = W x + b$ ，批量 [B,T,Din] @ [Din,Dout]。
物理意义 / 现实对应：一台可调的加权混合器—— $W$ 是配方， $b$ 是每个通道的开关点；工程上它就是一次 GEMM，decode 时算术强度约 1 FLOP/byte，卡带宽不卡算力。
参数 $D_{in} D_{out} + D_{out}$ ；FLOPs $\approx 2 B T D_{in} D_{out}$ 。
FFN $D \to 4 D \to D$ ，每层 $8 D^{2}$ ；attention 四个投影 $4 D^{2}$ 。
没有非线性，多层线性坍缩成一层。
FFN 是参数大户，GEMM 是算力大户。

11. 参考文献与致谢

这一页的知识不是凭空来的。下面列出本页直接借用的原始工作与权威整理；正文中的人名、方法名已链接到对应条目。链接优先指向 DOI、arXiv 或可长期访问的原文存档。

Vaswani 等（2017）：Attention Is All You Need。Transformer 每层由「四个 $D \times D$ 投影 + FFN $D \to 4 D \to D$ 」构成，本页第 4.2 节的 $12 D^{2}$ 与第 8 节的形状表都是对这套结构的拆解。arXiv:1706.03762
Rosenblatt（1958）：The perceptron: A probabilistic model for information storage and organization in the brain。感知机把输入加权求和、加偏置、再过阈值，是 $y = W x + b$ 这种线性单元最早的学习模型。DOI:10.1037/h0042519
Glorot 与 Bengio（2010）：Understanding the difficulty of training deep feedforward neural networks。分析深层前馈网络为何难训练，并给出让各层激活方差保持不变的 Xavier 初始化：权重方差取 $1/ D_{in}$ ，正是本页第 4.4 节的推导。PMLR v9
He 等（2015）：Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification。针对 ReLU 只保留一半激活的特点，把初始化方差改为 $2/ D_{in}$ ，即本页提到的 He 初始化。arXiv:1502.01852

下一篇 → 11.3 Attention（上）：QKV

返回 M11 导览去练习场

随堂测 · 4 题

单选难度 1第 1 / 4 题

批量线性层

Y = X W^{⊤} + b

，其中

X \in R^{B \times T \times D_{in}}

、

W \in R^{D_{out} \times D_{in}}

，

Y

的形状是？

[B, T, D_{in}]

[D_{out}, T, B]

[B, T, D_{out}]

[B, D_{in}, D_{out}]

没思路？看原文

源文件：11-大模型专题/02-线性层.md