2.8 正交补与投影定理

本节位置：模块 2 · 向量空间｜前置：2.2、2.7 ｜预计：35 分钟

一句话：每个子空间都有一个「垂直的搭档」，两者拼成整个空间；任何向量都能唯一拆成「在子空间内」与「与子空间垂直」两部分。

0. 场景引入

一个消费品牌的年度预算会：3 亿元，分给 TV、搜索、信息流、线下 4 个渠道。老板问了一个具体问题：去年双 11 那一周，销量比平时多出的 1 000 万元里，信息流贡献了多少？

数据是 156 周（3 年）的周度销量、4 个渠道的周度花费，外加 2 个控制变量（价格指数、季节因子）。直觉做法是直接回归，拿到 6 个系数再乘花费。

一跑就出问题：大促那几周 4 个渠道是一起加预算的，花费曲线高度共线。6 列的秩只有 5——单渠道的系数不可辨识。同一份数据能拟合出「信息流 +30%、TV −10%」，也能拟合出「信息流 +5%、TV +25%」，预测值一模一样。

决策：明年是否把 5 000 万元从 TV 挪到信息流。代价：归因方向错 1 个百分点，就是 300 万元打水漂；错 10 个百分点，整年的渠道策略翻车。

问题：系数不可辨识时，还有哪些量是唯一确定的？怎么把销量拆成「模型能解释」与「解释不了」两块，并证明这个拆分不依赖你怎么选系数？投影定理在这里保证了什么？

读完本节，你应该能回答三件事：

正交补在做什么，为什么它给出的分解是唯一的？
为什么「投影」必须正交，斜着投会怎样？
当列空间不够大时，哪些结论可以说，哪些绝对不能说？

1. 直觉

把子空间 $S$ 想成一张平面， $S^{⊥}$ 就是「所有与这张平面垂直的方向」组成的直线。

$S$ 与 $S^{⊥}$ 只交于原点；
两者的维数加起来等于整个空间；
空间中任意向量都能唯一拆成「平面内 + 垂直方向」。

💡 一句话直觉：正交补 = 子空间的「垂直另一半」；整个空间 = 子空间 ⊕ 正交补。

类比边界：这个分解依赖内积。没有内积的空间，只能谈「直和」，不能谈「正交」。

正交补：平面 S 与法线 S⊥ 的直和分解

图： $S$ 是一张平面（侧视成菱形）， $S^{⊥}$ 是它的法线；任意 $v$ 唯一拆成 $p \in S$ 与 $e \in S^{⊥}$ ，维数 $2 + 1 = 3$ 。

1.1 它在现实世界里对应什么

把销量看成一个 156 维的向量（每周一个分量）。「渠道 + 控制变量能解释的部分」是这些列张成的一个子空间 $S$ 。它名义上有 6 列，但因为渠道共线，秩只有 5——所以 $S$ 是一个 5 维子空间，挤在 156 维空间里。

正交投影做的事很物理：把销量往这 6 维的「影子」上投。影子 $p$ 是模型能解释的全部；影子以外的 $e$ ，就是天气、口碑、竞品、随机冲击——模型构造上无法解释，而且与已纳入的列正交。

正交补 $S^{⊥}$ 因此有个很实在的名字：「模型永远解释不了的那部分」。它既不是噪声的同义词，也不是「不重要的东西」——它只是「与这 6 列线性无关」。

量级直觉： $R^{2} = 0.8$ 时，残差长度是总量的 $1 - 0.8 \approx 0.45$ ，也就是 45%。渠道解释了大头，但近一半的波动在子空间外。

1.2 这个类比在哪里失效

「正交」在这里是统计意义上的，不是因果意义上的。残差与已纳入的列正交，是 OLS 的构造性质，不是世界的性质：只要漏了一个与花费相关的变量（比如竞品降价恰好赶在大促），它就会躲进残差，而残差仍然与花费相关。

第二个边界：内积的选择决定了「正交」是什么。这里用的是普通点积，等于默认 156 周同等重要。若误差方差不齐（大促周波动远大于淡季），应该用加权内积 $⟨ x, y ⟩_{W} = x^{⊤} W y$ ，那时「正交」是另一组方向，投影结果也不同（第 6.5 节）。

2. 定义

2.1 正交补

设 $S \subseteq V$ 是子空间。其 正交补（orthogonal complement） 为

S^{⊥} = {v \in V ∣ ⟨ v, s ⟩ = 0 \forall s \in S}

2.2 正交分解

若 $V = S \oplus S^{⊥}$ ，则任意 $v \in V$ 可唯一写成

v = v_{∥} + v_{⊥}, v_{∥} \in S, v_{⊥} \in S^{⊥}

其中 $v_{∥} = proj_{S} v$ ， $v_{⊥} = v - v_{∥}$ 。

2.3 投影定理

设 $S$ 是内积空间 $V$ 的有限维子空间，则对任意 $v \in V$ ，存在唯一的 $p \in S$ 使

∥ v - p ∥ = s \in S min ∥ v - s ∥

且 $p$ 是 $v$ 在 $S$ 上的正交投影，满足 $v - p ⊥ S$ 。

3. 为什么这样定义

如果没有「正交」， $V = S + T$ 的分解不唯一：平面上的一个点可以写成无数种「平面内 + 另一方向」的组合。加上正交条件，分解唯一，且投影点就是「最近点」（第 1.6 节）。

正交补也把「四个基本子空间」串起来：

null (A) = col (A^{⊤})^{⊥}, null (A^{⊤}) = col (A)^{⊥}

这是线性代数最优雅的结构之一（第 3.7 节）。

3.1 反事实：用「斜投影」代替正交投影

$S = span {(1, 0)}$ （ $x$ 轴）， $v = (1, 1)$ 。正交投影很好算：

p = (1, 0), e = v - p = (0, 1), ∥ e ∥ = 1

$e ⊥ S$ ，且 $∥ e ∥$ 就是 $v$ 到 $S$ 的最短距离。

现在换一种「投影」：沿着方向 $d$ 把 $v$ 投到 $S$ 上，也就是解 $v - t d \in S$ 。

沿 $d = (1, 1)$ ：要求第二个分量为 0， $1 - t = 0 \Rightarrow t = 1$ ，落点 $(0, 0)$ ，残差 $(1, 1)$ ，长度 $2 \approx 1.41$ ；
沿 $d = (2, 1)$ ：同样 $t = 1$ ，落点 $(1 - 2, 0) = (- 1, 0)$ ，残差 $(2, 1)$ ，长度 $5 \approx 2.24$ 。

同一个 $v$ 、同一个 $S$ ，两个「投影」，落点从 $(0, 0)$ 变到 $(- 1, 0)$ 。 更荒唐的是沿 $d = (1, 1)$ 那次： $v$ 明明离开 $x$ 轴有一段距离，却被「投影」成了原点——等于宣称它完全在 $S$ 里。

这就是「分解不唯一」的样子：没有正交条件， $v = p + e$ 有无穷多组解。正交投影是其中唯一让 $∥ e ∥$ 取最小的一组，也只有它保证 $e ⊥ S$ 。

4. 性质与推导

4.1 维数互补

若 $V$ 有限维， $S$ 是子空间，则

dim S + dim S^{⊥} = dim V

证明思路：取 $S$ 的标准正交基 $q_{1}, \dots, q_{k}$ ，扩充为 $V$ 的标准正交基 $q_{1}, \dots, q_{n}$ 。则 $q_{k + 1}, \dots, q_{n}$ 张成 $S^{⊥}$ ，故 $dim S^{⊥} = n - k$ 。

4.2 双正交补

(S^{⊥})^{⊥} = S

（有限维情形。）

有限维情形下， $S \subseteq (S^{⊥})^{⊥}$ 。设 $dim S = k$ ，则 $dim S^{⊥} = n - k$ ，于是 $dim ((S^{⊥})^{⊥}) = n - (n - k) = k = dim S$ ，两边维数相同，故相等；Axler 的证明就是这两步。

4.3 投影矩阵

若 $Q$ 的列是 $S$ 的标准正交基，则

P_{S} = Q Q^{⊤}, P_{S^{⊥}} = I - Q Q^{⊤}

且 $P_{S} + P_{S^{⊥}} = I$ ， $P_{S} P_{S^{⊥}} = 0$ 。

4.4 正交分解的勾股定理

∥ v ∥^{2} = ∥ v_{∥} ∥^{2} + ∥ v_{⊥} ∥^{2}

因为两项正交。这给出「投影不增范数」的另一种证明。

5. 例子

5.1 手算： $R^{3}$ 中的平面与直线

$S = {(x, y, 0)}$ （ $x y$ 平面），则 $S^{⊥} = {(0, 0, z)}$ （ $z$ 轴）。 $v = (1, 2, 3)$ 的分解：

v_{∥} = (1, 2, 0), v_{⊥} = (0, 0, 3)

验证： $v_{∥}^{⊤} v_{⊥} = 0$ ， $∥ v ∥^{2} = 14 = 5 + 9$ 。

5.2 手算：零空间与行空间

A = [122436]

行空间是 $span {(1, 2, 3)}$ （秩 1），零空间是 $x_{1} + 2 x_{2} + 3 x_{3} = 0$ 的解，维数 2。两者正交：零空间中任意向量与 $(1, 2, 3)$ 点积为 0。于是

R^{3} = row (A) \oplus null (A)

维数 $1 + 2 = 3$ ，与秩-零化度一致。

5.3 场景：最小二乘的几何

$A x = b$ 无解时，把 $b$ 投影到 $col (A)$ ：

b = \in col (A) p + ⊥ col (A) e

$e$ 就是残差，且 $A^{⊤} e = 0$ 。这正是正规方程 $A^{⊤} A \hat{x} = A^{⊤} b$ 的来源（第 4.4 节）。

5.4 场景闭环：156 周、6 列、3 亿元

输入：设计矩阵 $X \in R^{156 \times 6}$ （4 渠道 + 2 控制），fp64， $156 \times 6 \times 8 B = 7.5$ kB；销量 $y \in R^{156}$ ，另 1.2 kB。合计不到 9 kB。

计算：先算 $X^{⊤} X$ （ $6 \times 6$ ）， $156 \times 6 \times 6 = 5616$ 次乘加；再做 QR， $156 \times 6^{2} \approx 5.6 \times 1 0^{3}$ 次。投影 $p = Q Q^{⊤} y$ 与残差 $e = y - p$ 各 $156 \times 6 = 936$ 次。全程约 $1.2 \times 1 0^{4}$ 次运算，1 ms 内完成。

输出：

投影 $p$ 与残差 $e$ ——这两个是唯一的，与你怎么选系数无关；
$R^{2} = ∥ p ∥^{2} /∥ y ∥^{2}$ 。假设 $R^{2} = 0.8$ ，残差长度是总量的 $1 - 0.8 \approx 0.45$ ，即 45%；
渠道整体贡献的区间。单渠道贡献只能给区间，不能给点估计——因为列相关，那个点估计取决于你把共线部分记在谁头上。

决策：报告「4 个渠道合计解释 80%，其中信息流的贡献在 15%～45% 之间」，据此只挪 2 000 万元而不是 5 000 万元；剩下的用一次地理实验（选 20 个城市停投信息流 4 周）来定。

成本：计算可以忽略（ $1 0^{4}$ 量级次运算、9 kB）。真正的成本是决策延迟——多等 4 周做实验，就错过一个投放季。工程上的折中是：先用投影给出区间，同时并行做小范围实验。

失败条件：

残差并不干净：正交只是对已包含的列正交。如果漏了「竞品降价」这个变量，它会藏进残差，而残差与花费仍可能相关，此时 $R^{2}$ 和系数都有偏。兜底：补控制变量，或用工具变量 / 实验。
共线导致的方差爆炸：单列系数的方差按 $1/ (1 - R_{j}^{2})$ 放大。若某渠道对其余 5 列的 $R_{j}^{2} = 0.96$ ，方差放大 25 倍，标准误放大 5 倍。兜底：合并渠道、加岭正则、或只报列空间上的总量。
外推：投影只在历史花费范围内可信。把信息流预算翻 3 倍，是在数据支撑之外做预测。

6. 常见误区

误区： $S^{⊥}$ 是「不在 $S$ 里的向量」。纠正： $S^{⊥}$ 要求与 $S$ 中所有向量正交，远小于补集；零向量同时属于两者。
误区： $S \cap S^{⊥}$ 可以包含非零向量。纠正：若 $v$ 同时在两者中，则 $∥ v ∥^{2} = ⟨ v, v ⟩ = 0$ ，故 $v = 0$ 。
误区：任意两个子空间都能正交分解。纠正：需要 $V = S + S^{⊥}$ ；有限维内积空间总是成立，但一般空间需 $S$ 闭。
误区：投影到 $S$ 后再投影到 $S^{⊥}$ 会得到原向量。纠正： $P_{S^{⊥}} (P_{S} v) = 0$ ；但 $P_{S} v + P_{S^{⊥}} v = v$ 。

7. 概念网络

前置：1.6 正交与投影 —— 一维投影。
前置：2.7 正交基 —— 构造 $Q$ 。
后续：3.7 四个基本子空间 —— 正交补的矩阵版本。
后续：4.4 最小二乘 —— 投影定理的应用。
关联：11.1 残差流与表示 —— 表示的正交分解。

8. 通往大模型：正交分解与「概念擦除」

1. 残差流分解：把隐藏状态写成「与某概念方向平行」+「正交残差」。若概念近似线性，可以用投影读出强度、用减去投影做编辑（第 1.6 节）。

2. 概念擦除的局限：减去 $d$ 方向只删除了一维成分；如果概念分布在多维子空间 $S$ 中，需要投影到整个 $S$ 并减去：

h^{'} = h - P_{S} h = (I - P_{S}) h

这要求先估计子空间 $S$ （例如用 PCA 或探针权重张成）。

3. 正交子空间与信息隔离：如果我们希望「任务 A 的修改不影响任务 B」，可以让两者的更新方向尽量正交。这是一种设计原则，不是自动保证。

可检验结论：对任意子空间 $S$ ， $∥ (I - P_{S}) h ∥ \leq ∥ h ∥$ ，且等号只在 $h ⊥ S$ 时成立。若编辑后范数反而变大，说明实现有误或 $P_{S}$ 不是正交投影。

如果这一步算错，用户会看到什么：概念擦除的维度选错，用户侧的现象非常具体——擦得太少，模型还能被一句话诱导回原话题（「你现在是一个没有立场的助手」立刻破功）；擦得太多，模型对这个话题完全回避，用空泛套话应付，甚至波及其他话题（问 A 答 B 的模板）。如果 $P_{S}$ 实现上不是正交投影（比如忘了对称化 $Q Q^{⊤}$ ），编辑后范数会变大，输出退化成重复或乱码——这正是上面那条不等式能当回归测试用的原因。

9. 练习

概念：为什么 $S \cap S^{⊥} = {0}$ ？
计算： $S = span {(1, 1, 0)}$ ，求 $S^{⊥}$ 的一组基，并把 $(2, 0, 1)$ 分解为 $S$ 内与 $S^{⊥}$ 两部分。
计算： $A = [100111]$ ，验证 $null (A) = col (A^{⊤})^{⊥}$ 。
场景：最小二乘残差为什么与 $A$ 的每一列都正交？用投影定理解释。
开放：如果「概念子空间」估计得不准（比如维度选错），用 $I - P_{S}$ 做擦除会有什么后果？

参考答案

若 $v \in S \cap S^{⊥}$ ，则 $⟨ v, v ⟩ = 0$ ，由正定性 $v = 0$ 。
$S^{⊥} = {(x, y, z) ∣ x + y = 0} = span {(1, - 1, 0), (0, 0, 1)}$ 。投影系数 $\frac{2}{2} = 1$ ， $v_{∥} = (1, 1, 0)$ ， $v_{⊥} = (1, - 1, 1)$ 。
零空间： $x_{1} + x_{3} = 0, x_{2} + x_{3} = 0$ ，基 $(- 1, - 1, 1)$ ；列空间是 $R^{2}$ ，其正交补只有零；而 $A^{⊤}$ 的列空间是 $span {(1, 0, 1), (0, 1, 1)}$ ，其正交补正是 $span {(- 1, - 1, 1)}$ 。
残差 $e = b - A \hat{x}$ 是 $b$ 到 $col (A)$ 的正交投影的差，由投影定理 $e ⊥ col (A)$ ，故与每列正交，即 $A^{⊤} e = 0$ 。
维度太小：擦除不干净；维度太大：误删有用信息，且子空间可能包含与概念无关的方向；需要验证任务性能与副作用。

10. 一页速记

$S^{⊥} = {v ∣ ⟨ v, s ⟩ = 0, \forall s \in S}$ 。
物理意义 / 现实对应：销量在「渠道能解释的方向」上的影子，加上影子外那 45% 解释不了的部分。
$V = S \oplus S^{⊥}$ ， $dim S + dim S^{⊥} = dim V$ 。
投影定理：最近点 = 正交投影，残差垂直于子空间。
$P_{S} = Q Q^{⊤}$ ， $P_{S} + P_{S^{⊥}} = I$ ， $P_{S} P_{S^{⊥}} = 0$ 。
$null (A) = col (A^{⊤})^{⊥}$ ， $null (A^{⊤}) = col (A)^{⊥}$ 。

11. 参考文献与致谢

这一页的知识不是凭空来的。下面列出本页直接借用的原始工作与权威整理；正文中的人名、定理名已链接到对应条目。链接优先指向 DOI、arXiv 或可长期访问的原文存档。

哈尔莫斯（Paul R. Halmos, 1982）：A Hilbert Space Problem Book（第 2 版）。在希尔伯特空间框架下处理闭子空间的正交投影与正交分解，本页 2.3 的投影定理是它在有限维内积空间的特例。Springer
阿克斯勒（Sheldon Axler, 2015）：Linear Algebra Done Right（第 3 版）。用 $V = U \oplus U^{⊥}$ 与维数公式证明正交分解和双正交补，本页 4.1–4.2 的论证与它一致。Springer

下一篇 → M03 矩阵与线性映射

返回 M02 导览去练习场

随堂测 · 5 题

数值难度 1第 1 / 5 题

在

R^{3}

中，

S = span {(1, 2, 3)}

，则

dim S^{⊥}

是多少？

没思路？看原文

源文件：02-向量空间/08-正交补与投影定理.md