M02 · 向量空间核心约 40 分钟

2.6 秩：信息的维度

本节位置：模块 2 · 向量空间｜前置：2.4 ｜预计：40 分钟

一句话：秩是矩阵「真正撑起」的维数——它告诉你这个矩阵携带了多少独立信息，以及有多少输入会被压没。

0. 场景引入

一个室内体育馆的 5G 基站：4 根发射天线，手机 4 根接收天线，20 MHz 带宽。按 4 层空间流、256-QAM 算，理论峰值能到 1.2 Gbps——够 3000 名观众同时看多视角直播。

开网当天投诉「看着看着就转圈」。抓日志发现：基站一直按 4 流发送，但误块率 12%，重传把有效吞吐拖到 200 Mbps。

原因在信道矩阵。 $H \in C^{4 \times 4}$ 描述这个场馆的传输特性，它的秩才是「真正能并行几条独立数据流」。这个场馆多径太强，4 条路径高度相关， $H$ 的秩掉到了 2——第 3、4 条流发出去就是互相干扰。

决策：立刻切到 2 流（预测吞吐 600 Mbps、误块率 < 1%），还是继续 4 流赌一把？代价：判断错，观众看的是卡顿与重连；判断对了但切晚了，一场 2 小时的比赛有几十万人次投诉。

问题：秩到底在量什么？为什么「矩阵看起来有 4 列」不等于「能传 4 条流」？怎么在 1 ms 内把它估出来？

读完本节，你应该能回答三件事：

秩的四种等价说法（列空间维数、主元个数、最大无关组、非零奇异值）为什么一致？
为什么秩亏意味着「有些输入被压没了」？
为什么数值上「秩」必须靠阈值判，而不能靠「是不是 0」？

1. 直觉

秩是「信息的维度」。

一个 $3 \times 3$ 矩阵把 $R^{3}$ 映射到 $R^{3}$ ；如果它的像只是一个平面，秩就是 2——有一个方向的信息被压没了。
一个 $1000 \times 1000$ 矩阵如果秩为 1，它把所有输入都映射到同一条直线上——无论输入多复杂，输出只有「一个自由度」。

💡 一句话直觉：秩 = 输出的有效维数 = 独立列的个数 = 独立行的个数。

类比边界：秩衡量线性独立；非线性模型的有效维度可能更复杂，但局部仍可用秩分析。

1.1 它在现实世界里对应什么

秩是「能同时说几条独立的话」。

想象一个装了 4 个扬声器、4 个麦克风的房间。理论上可以放 4 路独立音频（4 条流）；但如果房间回声把 4 条路径搅成 2 条可分辨的，那你放 4 路只会互相糊住——第 3、4 路的信息被前两路「盖」掉了。秩就是可分辨的声道数。

在数据侧同理：一个 $1000 \times 1000$ 的权重矩阵看起来有 100 万个参数，但若它的秩只有 10，那它只把输入投影到 10 个独立方向上，其余 990 个方向的信息被合并或压没。

量级直觉： $4 \times 4$ 信道里，若最小奇异值只有最大奇异值的 $1/100$ ，有效秩通常只有 2～3——名义上 4 条流，实际上传不了 4 条。这个比值比「秩等于几」更能说明问题。

1.2 这个类比在哪里失效

房间的声学是非线性的（混响、削波），而秩只描述线性映射。更实际的边界是：秩是「精确的 0/1 判据」，可测量总有噪声——真实的奇异值不会恰好是 0，永远是 $1 0^{- 3}$ 或 $1 0^{- 6}$ 。

所以工程上问的不是「秩是多少」，而是「在什么阈值下秩是多少」。同一个 $H$ ，阈值取相对 $1 0^{- 1}$ （10%）时秩是 2，取 $1 0^{- 6}$ 时秩可能是 4。秩是数学上明确、数值上模糊的量，这句话要记住。

2. 定义

2.1 秩

矩阵 $A \in R^{m \times n}$ 的**秩（rank）**定义为列空间的维数：

rank (A) = dim col (A)

也等于行空间的维数（行秩 = 列秩），也等于行简化阶梯形中主元的个数，也等于非零奇异值的个数（第 7.2 节）。

2.2 满秩

若 $rank (A) = min (m, n)$ ，称 $A$ 满秩（full rank）；
方阵满秩 $\Leftrightarrow$ 可逆 $\Leftrightarrow$ $det (A) \neq = 0$ ；
若 $rank (A) < min (m, n)$ ，称秩亏（rank-deficient）。

2.3 秩-零化度定理

rank (A) + dim null (A) = n

读作：输入的 $n$ 个维度，要么被映射到输出（秩），要么被压成零（零空间），没有第三种去处。

这个等式就是 Halmos 书中的 rank–nullity 定理。

3. 为什么这样定义

如果只看「非零元素的个数」，无法判断信息量：一个所有元素都非零的矩阵可能秩为 1；一个有很多零的矩阵可能满秩。

秩抓住了线性结构：输出的所有可能方向中，有多少是真正独立的。它决定了：

方程 $A x = b$ 对哪些 $b$ 有解（ $b \in col (A)$ ）；
解的自由度（ $dim null (A) = n - r$ ）；
矩阵能否压缩（低秩近似）；
深层网络是否「坍缩」（激活秩下降）。

3.1 反事实：把「秩」定义成「非零元素的个数」

这个定义很诱人：矩阵里非零的数越多，信息越多，秩应该越大。试两个 $2 \times 2$ ：

A = [1111], I_{2} = [1001]

$A$ 有 4 个非零元素，「秩」= 4； $I_{2}$ 只有 2 个，「秩」= 2。按这个判据， $A$ 携带的信息是单位矩阵的两倍。

但算一下 $A$ 到底做了什么。对任意输入 $x = (x_{1}, x_{2})$ ：

A x = [x_{1} + x_{2} x_{1} + x_{2}]

输出永远落在「两个分量相等」的那条直线上——整个平面被压成一条线，秩是 1。而 $I_{2}$ 把每个方向原样保留，秩是 2。

荒谬之处一眼可见： $A$ 的非零元素多一倍，独立方向却少一半。更糟的是这个定义会突破矩阵的物理上限： $2 \times 2$ 矩阵的「秩」能算到 4，直接违反 $rank (A) \leq min (m, n) = 2$ 。

拿它去估 MIMO 流数，你会把一个只能传 1 条流的信道判成 4 条——正是第 0 节那个 12% 误块率的现场。

4. 性质与推导

4.1 基本性质

性质	式子	说明
转置不变	$rank (A^{⊤}) = rank (A)$	行秩 = 列秩
乘积上界	$rank (A B) \leq min (rank A, rank B)$	复合不会增加维数
和的上界	$rank (A + B) \leq rank A + rank B$	两个像的和
外积秩 1	$rank (u v^{⊤}) = 1$	所有列都是 $u$ 的倍数
可逆不变	$rank (P A Q) = rank (A)$ （ $P, Q$ 可逆）	换基不改变秩
奇异值	$rank (A) = # {σ_{i} > 0}$	第 7.2 节

4.2 为什么行秩等于列秩

设 $A$ 行简化后主元列为 $j_{1}, \dots, j_{r}$ ，对应的列构成列空间的一组基，所以列秩为 $r$ 。行简化不改变行空间，非零行有 $r$ 个，所以行秩也是 $r$ 。

严格证明可用「转置 + 消元」，这里只要求记住结论与直觉：行与列从两个方向描述同一个线性映射，维数必然一致。

4.3 秩-零化度定理的推导

把 $A$ 看成映射 $R^{n} \to R^{m}$ 。对每个输入 $x$ ， $A x$ 只依赖于 $x$ 在「非零空间方向」上的分量；零空间方向被压成零。选零空间的一组基（ $n - r$ 个）和补空间的一组基（ $r$ 个），后者映到列空间的一组基。因此 $n = (n - r) + r$ 。

4.4 Sylvester 秩不等式

rank (A B) \geq rank (A) + rank (B) - n

当 $B$ 满秩时取等号。这个不等式在分析「两个低秩矩阵相乘」时有用。

它通常称为 Sylvester 秩不等式。

5. 例子

5.1 手算：求秩与零空间

A = 121241361

行变换：第二行 $= 2 \times$ 第一行，消去；第三行减第一行：

\to 100 20 - 1 30 - 2 \to 100210320

主元 2 个， $rank (A) = 2$ 。

零空间： $x_{1} + 2 x_{2} + 3 x_{3} = 0$ ， $x_{2} + 2 x_{3} = 0$ 。令 $x_{3} = t$ ，则 $x_{2} = - 2 t$ ， $x_{1} = - 2 (- 2 t) - 3 t = t$ 。基为 $(1, - 2, 1)$ ，维数 $1 = 3 - 2$ 。

5.2 手算：低秩矩阵

$A = u v^{⊤}$ ， $u = (1, 2)^{⊤}$ ， $v = (3, 4)^{⊤}$ ：

A = [12] [34] = [3648]

两行成比例，秩为 1。任何输入 $x$ ， $A x = u (v^{⊤} x)$ ，输出永远在 $u$ 的方向上。

5.3 场景：为什么低秩能压缩

存储 $1000 \times 1000$ 矩阵需要 100 万个数；若它秩为 10，可写成 $U V^{⊤}$ （ $U : 1000 \times 10$ ， $V : 1000 \times 10$ ），只需 2 万个数，压缩 50 倍。代价是只能近似原矩阵（第 7.3 节）。

5.4 场景闭环：1200 个子载波、每 1 ms 一次

输入： $4 \times 4$ 复信道矩阵按子载波给。20 MHz 带宽、15 kHz 子载波间隔，约 $1200$ 个子载波。每个复矩阵 16 个复数、每复数 8 B（实虚各 fp32）， $16 \times 8 = 128$ B；1200 个就是 $153.6$ kB，每 1 ms 更新一次，折算 154 MB/s。

计算：对每个 $H$ 做 SVD， $H = U Σ V^{*}$ ， $Σ$ 里非零的个数就是秩。 $4 \times 4$ 复 SVD 约 $1 0^{3}$ FLOP，1200 个子载波是 $1.2 \times 1 0^{6}$ FLOP/ms，即 1.2 GFLOP/s——基站 DSP 扛得住，但吃掉可观预算。

工程上不逐子载波算，按子带：每 12 个子载波一组，共 100 组，用组内平均信道估秩。算量降到 $1.2 \times 1 0^{5}$ FLOP/ms，约 0.12 GFLOP/s。

输出：奇异值谱假设是 $(2.9, 1.8, 0.11, 0.03)$ 。比值 $0.11/2.9 \approx 3.8%$ ，低于 10% 的阈值，判有效秩 2。决策：切 2 流，每流 256-QAM、编码率 3/4。

成本：0.12 GFLOP/s 算力、153.6 kB 估计缓存；切流本身要重配调度器约 20 ms，期间吞吐会掉。对照：坚持 4 流，误块率 12%，重传把吞吐拖到 200 Mbps，比 2 流的 600 Mbps 少 2/3。

失败条件：

噪声抬高小奇异值：低 SNR 时真实为 0 的奇异值会被噪声顶到 0.3，秩被高估。兜底：用比值 + 随 SNR 变化的阈值，或用 MDL/AIC 这类模型阶数估计。
用户一动就变：秩是 1 ms 尺度的量，人一转身就变。兜底：指数平滑 + 滞回（连续 5 帧判 2 流才切，避免抖动）。
秩不是全部：秩 2 但条件数很大时，2 流也难解。兜底：同时看 $σ_{1} / σ_{2}$ ，超过 20 就退到 1 流。

6. 常见误区

误区：秩就是非零元素的个数。纠正：秩是线性独立的行/列数，与零元素多少无直接关系。对角矩阵非零元素少但可以满秩。
误区：只有方阵才有秩。纠正：任意 $m \times n$ 矩阵都有秩，最大为 $min (m, n)$ 。
误区： $rank (A + B) = rank A + rank B$ 。纠正：一般小于等于；例如 $A = I$ ， $B = - I$ ，和为 0，秩为 0。
误区：低秩矩阵一定「简单/可解释」。纠正：低秩是结构约束，不保证语义可读；秩 1 矩阵也可能对应复杂的全局模式。

7. 概念网络

前置：2.4 基与维数 —— 秩是列空间的维数。
前置：2.3 线性无关 —— 秩是最大无关组大小。
后续：3.7 四个基本子空间 —— 秩把四个空间串起来。
后续：7.3 低秩近似 —— 用秩 $k$ 逼近。
后续：9.3 PCA —— 数据矩阵的秩与有效维数。

8. 通往大模型：低秩是主线

1. LoRA： $Δ W = B A$ 的秩至多 $r$ 。 $r$ 控制「允许改动的方向数」，参数量 $2 D r$ 。

2. 注意力矩阵的秩： $P = softmax (Q K^{⊤} / d_{k})$ ，其中 $Q K^{⊤}$ 的秩至多 $min (T, d_{k})$ ；softmax 是非线性的，会改变秩，但注意力仍受低秩结构约束。

3. 秩坍缩：深层 Transformer 中，token 表示趋于相似，激活矩阵 $H$ 的秩下降。极端情况下所有 token 表示相同，秩为 1，模型无法区分位置/内容。

4. 梯度秩：反向传播得到的梯度矩阵也可能低秩，这与「LoRA 为什么有效」的假设相关：任务适配所需的更新可能集中在少数方向。

可检验结论：若 $W \in R^{4096 \times 4096}$ 的秩为 $r$ ，则它把输入空间压缩到 $r$ 维；若 $r ≪ 4096$ ，大部分输入方向被「合并」。用 SVD 看奇异值谱，可以估计有效秩（保留 99% 能量所需的奇异值个数）。

如果这一步算错，用户会看到什么：秩坍缩在生成模型上的表现最好认——长回答到后半段开始复读同一句，或者不同段落的说法越来越像。原因很直：所有 token 的表示挤到一个低维子空间，模型没东西可区分了。另一头是秩估高了：以为 4 条流都能传、以为某个权重满秩可以无损压缩，结果是误块率上升、或压缩后某些输入被系统性压没——用户看到的是「某些问题永远答错，换个问法又对了」。

9. 练习

概念：为什么 $rank (A B) \leq rank (A)$ ？从「像空间」的角度解释。
计算：求 $123246123$ 的秩和零空间维数。
计算： $u = (1, - 1, 2)$ ， $v = (2, 0, 1)$ ，求 $u v^{⊤}$ 的秩。
场景：一个 $4096 \times 4096$ 的权重矩阵，若有效秩为 64，用 LoRA 表示更新需要多少参数？与全参数更新相比压缩多少倍？
开放：秩坍缩一定有害吗？在什么情况下「低秩表示」反而是目标？

参考答案

$A B$ 的每一列都是 $A$ 的列的线性组合，所以 $col (A B) \subseteq col (A)$ ，维数不超过。
三行成比例，秩 1；零空间维数 $3 - 1 = 2$ 。
外积秩 1（非零向量）。
$2 \times 4096 \times 64 = 524, 288$ ，全参数 $409 6^{2} = 16, 777, 216$ ，约压缩 32 倍。
不一定；若任务只需低维信息（如分类），低秩是归纳偏置，能省参数、抗过拟合；但生成任务需要保留细节，过度低秩会损失表达。

10. 一页速记

秩 = 列空间维数 = 行空间维数 = 主元个数 = 非零奇异值个数。
物理意义 / 现实对应：4 发 4 收的房间里能分辨几条独立声道；秩 2 就只能传 2 条流，多发就是互相干扰。
秩-零化度： $rank (A) + dim null (A) = n$ 。
$rank (A B) \leq min (rank A, rank B)$ 。
满秩方阵 ⇔ 可逆 ⇔ 行列式非零。
低秩 = 可压缩，但压缩有信息代价；数值上「秩」要靠阈值判。

11. 参考文献与致谢

这一页的知识不是凭空来的。下面列出本页直接借用的原始工作与权威整理；正文中的人名、定理名已链接到对应条目。链接优先指向 DOI、arXiv 或可长期访问的原文存档。

哈尔莫斯（Paul R. Halmos, 1958）：Finite-Dimensional Vector Spaces（1958 年初版，Springer 1974 年重印）。把秩定义为像空间的维数，并证明 $dim range T + dim null T = dim V$ ；本页 2.3 的秩-零化度定理就是它的矩阵版。Springer 重印本
霍恩与约翰逊（Roger A. Horn & Charles R. Johnson, 1985）：Matrix Analysis。矩阵秩的等式与不等式在这里有完整证明，包括本页 4.4 的 Sylvester 秩不等式及其取等条件。Cambridge University Press

下一篇 → 2.7 内积空间与 Gram–Schmidt

返回 M02 导览去练习场

随堂测 · 5 题

数值难度 2第 1 / 5 题

矩阵

A = 121241361

的秩是多少？

没思路？看原文

源文件：02-向量空间/06-秩.md