M02 · 向量空间核心约 35 分钟

2.2 子空间与张成

本节位置：模块 2 · 向量空间｜前置：2.1 ｜预计：35 分钟

一句话：子空间是「住在向量空间里、自己也构成向量空间」的子集；张成是「用一组向量能造出的最小子空间」。

0. 场景引入

一家做工程投影仪的公司接了个单：客户要在展厅墙上投一幅油画，验收标准是色差 $Δ E_{00} \leq 2$ ——2 是人眼刚能看出区别的量级。

工程师拿光谱仪测了画上最贵的那个朱红色：380–730 nm，每 10 nm 一个点，共 36 个波段。他又测了机器的 3 个原色 LED，同样 36 个波段。

问题来了：把 3 个原色的光谱按某组比例加起来，能不能正好凑出这幅画的光谱？

能凑出：这台机器可以准确复现，接单；
凑不出：任何比例组合都会在某些波段上偏，最多只能「看起来接近」。

机器能合成的一切，是一个 3 维子空间；而那张光谱住的 $R^{36}$ 是 36 维。36 个方向里你只能动 3 个，剩下 33 个方向上的误差完全不受控制——偏偏其中几个正落在人眼最敏感的波段上。

代价：拍脑袋接单，打样一次 800 元，色差不过关返工 3 天，还要赔客户的布展档期。

读完本节，你应该能回答三件事：

怎么用一句话判断「这个颜色能不能被这台机器精确显示」？
为什么「看起来一样」不等于「光谱一样」？
如果不在子空间里，怎么算「最接近的那个可显示颜色」？

1. 直觉

子空间像什么？

三维空间里过原点的直线、平面、整个空间，以及只含原点的点；
它们都对「加法」和「数乘」封闭：在平面里取两个箭头相加，还在平面里；拉长缩短，也还在。

不过原点的平面不行：取平面内一点 $p$ ， $2 p$ 会跑到平面外。

💡 一句话直觉：子空间 = 一个「对线性组合封闭」的平坦世界，而且必须经过原点。

这个类比在哪里失效？「平坦」只是几何直觉；在函数空间里，子空间可能是「所有偶函数」这类抽象集合，没有平面图像。

1.1 它在现实世界里对应什么

调光台上有 3 个推子（红、绿、蓝）。每个推子的位置是一个 0～1 的数，三个数合起来就是你能调出的所有颜色——一个 3 维子空间，加法是「两盏灯的光叠在一起」，数乘是「把推子推到 40%」。

真实世界那一边是光谱：36 个波段的强度， $R^{36}$ 。显示器只能在其中动 3 个方向，这 3 个方向由 3 个原色的光谱决定（张成），比例由推子给（坐标）。

量级直觉：36 个波段里只有 3 个自由度，等于说 33 个方向上的误差被无条件丢弃。人眼之所以还能接受，是因为视网膜上只有 3 类锥细胞——它只「看」3 个方向。这就是同色异谱（metamerism）：两束光谱完全不同，落到 3 类锥细胞上却分不出差别。

1.2 这个类比在哪里失效

子空间要求「过原点」（含零向量），而色域不是子空间：推子只能在 $0 \leq c_{i} \leq 1$ 里推，能显示的颜色是那个 3 维子空间里的一个立方体（一个凸集，不过原点）。所以「三个原色的所有线性组合」比「实际能显示的颜色」大——多出来的部分是负驱动或超亮的部分，物理上做不到。

第二个边界：3 维是线性张成的维度。显示器有 gamma 曲线（亮度与驱动值非线性），换一台机器原色光谱也不同。子空间描述的是「在某个线性化模型下，能合成什么」，不是「人眼觉得像什么」的完整理论。

2. 定义

2.1 子空间

设 $V$ 是向量空间， $S \subseteq V$ 。若 $S$ 在 $V$ 的加法与数乘下自身也是一个向量空间，则称 $S$ 是 $V$ 的子空间（subspace）。

判断时只需检查三条：

含零： $0 \in S$ ；
对加法封闭： $u, v \in S \Rightarrow u + v \in S$ ；
对数乘封闭： $v \in S, a \in R \Rightarrow a v \in S$ 。

等价说法： $S$ 非空，且对任意线性组合封闭：

v_{1}, \dots, v_{k} \in S, c_{i} \in R ⟹ i \sum c_{i} v_{i} \in S

2.2 张成

给定向量组 $v_{1}, \dots, v_{k} \in V$ ，其张成：

span {v_{1}, \dots, v_{k}} = {i = 1 \sum k c_{i} v_{i} c_{i} \in R}

规定 $span \emptyset = {0}$ 。

把「张成」当成独立的几何对象来研究，源头可以追溯到 Grassmann：给定若干向量，考察它们能生成的全部线性组合。

2.3 子空间的和与直和

和： $S + T = {s + t ∣ s \in S, t \in T}$ ；
直和：若 $S \cap T = {0}$ ，记 $S \oplus T$ ，此时每个元素表示唯一。

2.4 零空间与列空间（预告）

零空间： $null (A) = {x ∣ A x = 0}$ ，是子空间；
列空间： $col (A) = {A x ∣ x \in R^{n}}$ ，是子空间。

这两个空间是 Axler 书中子空间的两大范例。第 3.7 节会系统讲这四个子空间。

3. 为什么这样定义

如果子空间不要求「含零」，那么「两个解相加还是解」这类性质就不成立。

以 $A x = b$ 为例：设 $x_{1}, x_{2}$ 都是解，则

A (x_{1} + x_{2}) = A x_{1} + A x_{2} = 2 b \neq = b

所以解集对加法不封闭（除非 $b = 0$ ）。齐次方程的解集才对加法封闭，且含零，因此是子空间。

「含零」不是装饰，而是封闭性的必然结果：如果 $S$ 对数乘封闭且非空，取任意 $v \in S$ ， $0 v = 0 \in S$ 。所以「含零」可以从「非空 + 数乘封闭」推出。

3.1 反事实：把「两个子空间合起来」写成并集会坏在哪

记 $S = {(x, 0, 0)}$ （ $x$ 轴）、 $T = {(0, y, 0)}$ （ $y$ 轴），都是 $R^{3}$ 的子空间。若把「合起来」定义成并集：

S \cup T = {(x, 0, 0)} \cup {(0, y, 0)}

取 $u = (1, 0, 0) \in S \cup T$ 、 $v = (0, 1, 0) \in S \cup T$ 。两者的和是 $(1, 1, 0)$ ——它不在并集里。一个集合如果连自己元素的和都装不下，就谈不上封闭，更不可能有基。

再看维数。 $S \cap T = {0}$ ，套公式 $dim (S + T) = 1 + 1 - 0 = 2$ 是对的；但把 $S + T$ 换成 $S \cup T$ ，这个「空间」连 $(1, 1, 0)$ 都没有，却要自称 2 维。公式没错，错的是你代进去的对象根本不是子空间。

正确的写法是和集

S + T = {s + t ∣ s \in S, t \in T} = {(x, y, 0)}

它恰好是 $x y$ 平面，维数 2，公式成立。区别只有一点：和集允许把两个方向的向量加起来，并集不允许。张成的定义里那个 $\sum_{i} c_{i} v_{i}$ ，做的就是这件事。

4. 性质与推导

4.1 张成是最小子空间

$span {v_{i}}$ 是包含所有 $v_{i}$ 的最小子空间：

它包含每个 $v_{i}$ （取 $c_{i} = 1$ ，其余 0）；
它是子空间（线性组合的线性组合仍是线性组合）；
任何包含这些向量的子空间，都必须包含它们的所有线性组合，因此包含这个张成。

4.2 子空间的交仍是子空间

若 $S, T$ 是子空间，则 $S \cap T$ 也是子空间。

证明： $0$ 同时在两者中；若 $u, v \in S \cap T$ ，则它们同时在 $S$ 和 $T$ 中，由封闭性， $u + v$ 和 $a u$ 也在两者中。

但并集一般不是子空间： $x$ 轴 $\cup$ $y$ 轴。 $(1, 0) + (0, 1) = (1, 1)$ 不在并集里。

4.3 直和与维数

若 $S, T$ 是有限维子空间，则

dim (S + T) = dim S + dim T - dim (S \cap T)

当 $S \cap T = {0}$ 时， $dim (S \oplus T) = dim S + dim T$ 。

这是第 2.8 节「正交补分解」的代数基础。

5. 例子

5.1 手算：判断子空间

在 $R^{3}$ 中：

$S_{1} = {(x, y, 0) ∣ x, y \in R}$ ： $x y$ 平面，是子空间；
$S_{2} = {(x, y, 1) ∣ x, y \in R}$ ：不过原点，不是；
$S_{3} = {(x, 0, 0) ∣ x \geq 0}$ ：非负 $x$ 轴，乘 $- 1$ 出界，不是；
$S_{4} = {(x, y, z) ∣ x + y + z = 0}$ ：过原点的平面，是子空间。

验证 $S_{4}$ ：若 $x_{1} + y_{1} + z_{1} = 0$ ， $x_{2} + y_{2} + z_{2} = 0$ ，则相加仍为 0；乘 $a$ 后 $a (x + y + z) = 0$ 。

5.2 手算：张成

$v_{1} = (1, 0, 0)$ ， $v_{2} = (0, 1, 0)$ ：

span {v_{1}, v_{2}} = {(a, b, 0) ∣ a, b \in R} = x y 平面

加入 $v_{3} = (1, 1, 0)$ 不扩大张成，因为 $v_{3} = v_{1} + v_{2}$ 。加入 $v_{4} = (0, 0, 1)$ 后张成整个 $R^{3}$ 。

5.3 场景：低维子空间假设

大模型的隐藏状态在 $R^{4096}$ 中，但某类语义（如「情感」）可能只沿一个方向变化。所有情感取值构成一条一维子空间（近似）。如果这个假设成立，就可以用「投影到情感方向」来读出一个标量分数，或用「减去投影」来编辑情感。

5.4 场景闭环：36 个波段、200 万像素

输入：原色矩阵 $M \in R^{36 \times 3}$ （三列是三个 LED 的实测光谱，归一化到 $[0, 1]$ ），客户光谱 $s \in R^{36}$ 。合起来 $36 \times 3 + 36 = 144$ 个数。

计算：解最小二乘 $M c \approx s$ ，得到 3 个驱动量。 $M$ 只有 3 列，正规方程是一个 $3 \times 3$ 的小系统：

M^{⊤} M c = M^{⊤} s

$M^{⊤} M$ 是 324 次乘加（ $3 \times 3$ 个元素，每个 36 次）， $M^{⊤} s$ 是 108 次，解 $3 \times 3$ 方程几十次。合计不到 500 次乘加。

输出：

残差 $∥ s - M c ∥_{2}$ 。除以 $∥ s ∥$ 后小于 1%，说明三原色能复现，接单；
否则这根样品落在 3 维子空间外，只能做「最近可显示色」，并告诉客户 $Δ E$ 大概多少。

成本：判定只要约 500 次乘加。真正贵的是每像素那一步：一块 200 万像素的传感器逐像素解 $36 \times 3$ 最小二乘，是 $2 \times 1 0^{6} \times 108 \approx 2.2 \times 1 0^{8}$ 次乘加。工程上先把 $M$ 预乘成一个 $3 \times 3$ 矩阵（相当于把投影矩阵 $M (M^{⊤} M)^{- 1} M^{⊤}$ 提前算好），每像素只剩 9 次乘加，总量降到 $1.8 \times 1 0^{7}$ ，快 12 倍。

失败条件：

子空间外：残差大，硬投就是偏色。兜底：换 6 原色机器，或改用印刷（那是另一个子空间）。
驱动量越界： $c$ 里出现负值或大于 1，说明目标超出这台机器的色域（子空间里那个立方体装不下）。直接 clip 会让整幅画的色相偏移。
观察者差异：残差小也只保证「对这组光谱仪读数接近」，不保证对每个人都一样。同色异谱在换光源后会翻车。

6. 常见误区

误区：子空间必须「看起来平坦」。纠正：平坦是三维直觉；定义只看封闭性。 ${0}$ 和整个空间都是子空间。
误区：两个子空间的并还是子空间。纠正：一般不是。 $x$ 轴 $\cup$ $y$ 轴对加法不封闭。
误区： $A x = b$ 的解集是子空间。纠正：只有当 $b = 0$ 时才是；非齐次解集是一个「平移的子空间」（仿射空间）。
误区：张成一定等于给定向量中的某几个。纠正：张成可能包含无穷多向量，且通常比原向量组大得多。

7. 概念网络

前置：2.1 向量空间 —— 子空间是「子集 + 同样公理」。
前置：1.2 线性组合 —— 张成的原料。
后续：2.3 线性无关 —— 张成里有没有冗余。
后续：2.4 基与维数 —— 用最少的向量张成。
后续：2.8 正交补 —— 与子空间正交的部分。
关联：3.7 四个基本子空间 —— 矩阵的四种子空间。

8. 通往大模型：低秩子空间与 LoRA

LoRA 把权重更新限制在一个低秩子空间：

W^{'} = W + Δ W, Δ W = B A, B \in R^{D \times r}, A \in R^{r \times D}, r ≪ D

$Δ W$ 的列空间是 $B$ 的列空间，维数至多 $r$ 。也就是说，微调只允许模型在一个 $r$ 维子空间里改动权重。这是「低维子空间假设」的工程化：任务适配所需的变化，可能不需要整个 $D$ 维空间。

激活子空间：若某层激活矩阵 $H \in R^{N \times D}$ 的秩远小于 $D$ ，说明所有 token 的表示都落在一个低维子空间里。这既可能是高效表示，也可能是「表示坍缩」（第 2.6 节）。

可检验结论： $Δ W = B A$ 的秩满足 $rank (Δ W) \leq min (r, D) = r$ 。所以 LoRA 的秩 $r$ 直接控制「可修改的子空间维数」，而不是「参数量」——参数量是 $2 D r$ ，随 $r$ 线性增长。

如果这一步算错，用户会看到什么：如果任务需要的改动方向不在那个 $r$ 维子空间里（比如新任务要求模型换一种输出格式，而这个方向与预训练已有的方向几乎无关），微调后的模型会「学个大概但学不像」——格式要求照做一半，长输出到中途退回旧模板，或者对新指令只回一句套话。此时调大学习率也没用，因为可用的方向本来就不够。反过来， $r$ 取得过大、又没做好正则，模型会把整个权重都改动，表现为通用能力下降（旧任务上答错率变高）。工程上的判断依据不是 $r$ 的大小，而是激活/梯度的谱：看前 $r$ 个奇异值解释了多少能量。

9. 练习

概念：为什么非齐次方程 $A x = b$ 的解集不是子空间？它和零空间什么关系？
判断：下列集合是否为 $R^{3}$ 的子空间：(a) $z = 0$ ；(b) $z = 1$ ；(c) $x = y$ ；(d) $x y z = 0$ 。
计算：求 $span {(1, 2, 0), (0, 1, 1)}$ 的维数，并写出一个该平面上的点。
计算： $S = span {(1, 0, 0)}$ ， $T = span {(0, 1, 0), (0, 0, 1)}$ ，求 $S + T$ 、 $S \cap T$ ，并验证维数公式。
开放：如果 LoRA 的秩 $r$ 取 $D$ ，它和全参数微调有什么区别？为什么通常取很小的 $r$ ？

参考答案

不含零（除非 $b = 0$ ），且两解相加得到 $2 b$ ；它是「特解 + 零空间」的平移，即仿射子空间。
(a) 是；(b) 否（不过原点）；(c) 是（过原点的平面）；(d) 否（三个坐标平面之并，对加法不封闭，如 $(1, 0, 0) + (0, 1, 0) = (1, 1, 0)$ 仍满足乘积 0，但 $(1, 1, 0) + (0, 0, 1) = (1, 1, 1)$ 不满足）。
两个向量不成比例，维数 2；点如 $(1, 3, 1) = (1, 2, 0) + (0, 1, 1)$ 。
$S + T = R^{3}$ ， $S \cap T = {0}$ ； $dim = 1 + 2 - 0 = 3$ 。
$r = D$ 时 $Δ W$ 可满秩，表达能力接近全参数微调，但参数量 $2 D^{2}$ 大于全参数量 $D^{2}$ ，没有节省；通常取 $r ≪ D$ 以节省参数并施加低秩归纳偏置。

10. 一页速记

子空间三条件：含零、对加法封闭、对数乘封闭。
物理意义 / 现实对应：子空间 = 有限的几盏灯能合成的所有颜色；张成 = 「这几盏灯能盖上多大一片」。
张成 = 所有线性组合 = 包含给定向量的最小子空间。
子空间的交仍是子空间；并集一般不是。
非齐次方程解集是仿射空间，不是子空间。
LoRA 的 $Δ W = B A$ 落在维数至多 $r$ 的子空间里。

11. 参考文献与致谢

这一页的知识不是凭空来的。下面列出本页直接借用的原始工作与权威整理；正文中的人名、定理名已链接到对应条目。链接优先指向 DOI、arXiv 或可长期访问的原文存档。

格拉斯曼（Hermann Grassmann, 1844）：Extension Theory（德文原著 Die lineare Ausdehnungslehre，1844）。把「由若干向量生成的全部线性组合」当作独立的几何对象来研究，子空间与张成（span）的概念源头在这里；本页 2.2 的 $span$ 就是它的现代记号。AMS 英译本（2000）
阿克斯勒（Sheldon Axler, 2015）：Linear Algebra Done Right（第 3 版）。用「子空间—和/直和—张成」组织线性结构，把零空间与列空间当作子空间的两大范例；本页 2.1–2.4 的 $span$ 、 $\oplus$ 记号与这套处理一致。Springer

下一篇 → 2.3 线性无关：没有冗余

返回 M02 导览去练习场

随堂测 · 4 题

单选难度 1第 1 / 4 题

下列

R^{3}

的子集中，哪一个不是子空间？

{(x, y, 0) ∣ x, y \in R}

{(x, y, 1) ∣ x, y \in R}

{(x, y, z) ∣ x + y + z = 0}

{(x, 0, 0) ∣ x \in R}

没思路？看原文

源文件：02-向量空间/02-子空间与张成.md