向量 x 在 u 方向上的投影示意，投影向量与残差垂直 — 把 x 投影到 u 的方向：橙色是投影 p，灰色虚线是垂直残差 x−p。

1.6 正交与投影：最优近似从哪里来

本节位置：模块 1 · 向量与几何｜前置：1.3、1.4 ｜预计：40 分钟

一句话：投影是把一个向量「压」到某个方向上，且让误差最小；误差向量恰好与目标方向垂直——这就是正交。

0. 场景引入

省级电网调度中心，每 5 分钟做一次状态估计：把全省 3000 个量测（电压幅值、注入功率、支路潮流）折算成 500 个状态变量（各节点的电压幅值与相角）。

量测比状态多 6 倍，方程组超定，没有精确解——量测彼此矛盾，差的是噪声和坏数据。可调度员必须拿到一组自洽的电压，才能算潮流、判断哪条线路会过载。6 倍冗余不是浪费：它是估计能抗噪的前提，冗余掉到 1 倍时，任何一个坏量测都会直接变成一个错误状态。

决定：在 3000 个互相矛盾的数里，怎么取一个「最可信」的 500 维状态？押错的代价很具体：估计偏高 → 误判过载 → 拉闸影响 10 万户；估计偏低 → 漏判 → 变压器过热烧毁。

这个「在允许的范围里找最近点」的问题，答案就是正交投影：残差必须与模型能解释的所有方向垂直。

读完本节，你应该能回答三个问题：

为什么「残差与列空间正交」等价于「最优」？
投影矩阵 $P$ 为什么幂等、为什么不可逆？
正规方程 $A^{⊤} A$ 为什么在数值上危险，工程上怎么绕？

1. 直觉

太阳在正上方，一根斜插的杆子在地上留下影子。影子就是杆子在地面这个「子空间」上的投影。

影子是地面上离杆顶最近的点；
杆顶到影子的连线，与地面垂直。

把这三件事画出来，就是本页开头那张图：杆顶 $x$ 、地面上的影子 $p$ 、以及垂直于地面的虚线残差。

💡 一句话直觉：投影 = 在允许的子空间里，找离原向量最近的那个点；最近的条件是「误差与子空间垂直」。

类比边界：这里的「最近」用 L2 范数度量。换一种范数，「垂直」的条件会变，投影也会变。

1.1 它在现实世界里对应什么

投影是「用有限的模型去解释观测」：500 维状态是地面，3000 个量测是斜插的杆子，残差是杆顶到影子的垂线。残差与子空间正交，意味着残差里不再含有任何「模型能解释的方向」——如果还有，说明估计没到位。

量级：500 个状态拟合 3000 个量测，残差自由度 $3000 - 500 = 2500$ 。若残差平方和除以 2500 接近量测噪声的方差，说明模型与量测自洽；远大于它，说明有坏数据或拓扑错误。这是调度中心每天盯着的那个数。

这个类比在哪里失效？影子假设光源平行、地面平整，而且「最近」用尺子量；电网里不同量测的精度能差 10 倍（关口表 vs 普通 CT），必须加权，否则高精度量测会被低精度量测拖偏。加权后公式变成 $(A^{⊤} W A)^{- 1} A^{⊤} W z$ ，几何上是在一个被 $W$ 拉伸过的空间里做投影。

2. 定义

2.1 正交

两个向量正交，若

x^{⊤} y = 0

记作 $x ⊥ y$ 。零向量与所有向量正交（但零向量没有方向）。

2.2 正交补

子空间 $S \subseteq R^{n}$ 的正交补：

S^{⊥} = {x \in R^{n} ∣ x^{⊤} s = 0 \forall s \in S}

它是子空间，且 $dim S + dim S^{⊥} = n$ （第 2.8 节）。

2.3 到直线的投影

$x$ 在非零向量 $u$ 方向上的投影：

proj_{u} x = \frac{x ^{⊤} u}{u ^{⊤} u} u

投影矩阵：

P_{u} = \frac{u u ^{⊤}}{u ^{⊤} u}

2.4 到子空间的投影

若 $S$ 有一组标准正交基 $q_{1}, \dots, q_{k}$ （ $q_{i}^{⊤} q_{j} = δ_{ij}$ ）：

proj_{S} x = i = 1 \sum k (q_{i}^{⊤} x) q_{i} = Q Q^{⊤} x

其中 $Q = [q_{1} \dots q_{k}]$ 。

把一组普通基变成标准正交基的过程叫 Gram–Schmidt 正交化（第 2.7 节）；施密特在 1907 年独立给出了同一构造。

若只有一组普通基（按列排成 $A$ ，列线性无关）：

P_{S} = A (A^{⊤} A)^{- 1} A^{⊤}

这个公式在第 4.4 节（最小二乘）会再次出现。

3. 为什么这样定义

投影要满足两个愿望：

落在子空间里；
离原向量最近。

设投影为 $p \in S$ ，误差 $e = x - p$ 。如果 $e$ 在 $S$ 里还有分量，比如沿某个 $s \in S$ 的分量不为零，那么把 $p$ 沿 $s$ 再挪一点，就能让误差更小。所以最优的 $p$ 必须让 $e$ 与 $S$ 中所有向量正交：

x - p ⊥ S

这就是「正交」不是额外假设，而是最优性的必然结果。反过来，满足这个条件的 $p$ 也唯一（当 $S$ 是闭子空间时）。

3.1 反事实：把「最近」换成 L1 或 L∞

投影到常数向量 $1$ （即用 4 个量测估一个真值），观测 $y = (0, 0, 0, 100)$ ，其中 100 是故障传感器，真实值应为 0。

L2 最优（均值）：

\frac{0 + 0 + 0 + 100}{4} = 25

L1 最优（中位数）： $0$ ——只要坏点少于一半，中位数完全不受影响。

L∞ 最优： $(min + max) /2 = (0 + 100) /2 = 50$ 。

同样是「最优」，三种判据给出 0、25、50 三个答案。按 L2 的结果，调度员看到这条线重载、直接拉闸，而实际它空着——一个传感器坏了，影响 10 万户。按 L∞ 更离谱，误差 50 倍。荒谬之处一眼可见：「最优」这个词本身没有意义，必须先说清用哪种误差度量；而 L2 对离群点的敏感性，正是电网必须额外做坏数据检测的原因。

4. 性质与推导

4.1 到直线的投影公式推导

设 $p = α u$ ，最小化

f (α) = ∥ x - α u ∥^{2} = ∥ x ∥^{2} - 2 α x^{⊤} u + α^{2} ∥ u ∥^{2}

对 $α$ 求导并令零：

f^{'} (α) = - 2 x^{⊤} u + 2 α ∥ u ∥^{2} = 0 ⟹ α = \frac{x ^{⊤} u}{∥ u ∥ ^{2}}

代回即得投影公式。残差：

x - p = x - \frac{x ^{⊤} u}{∥ u ∥ ^{2}} u

验证正交性：

(x - p)^{⊤} u = x^{⊤} u - \frac{x ^{⊤} u}{∥ u ∥ ^{2}} ∥ u ∥^{2} = 0

4.2 投影矩阵的性质

$P_{u} = \frac{u u ^{⊤}}{u ^{⊤} u}$ 满足：

对称： $P^{⊤} = P$ ；
幂等： $P^{2} = P$ （投影两次等于一次）；
半正定： $z^{⊤} P z = \frac{( z ^{⊤} u ) ^{2}}{∥ u ∥ ^{2}} \geq 0$ ；
秩 1（当 $u \neq = 0$ ）；
不改变投影结果： $P p = p$ 对 $p \in span {u}$ ；
零化正交部分： $P e = 0$ 对 $e ⊥ u$ 。

4.3 正交分解

任意 $x$ 可唯一分解为

x = \in S P x + \in S^{⊥} (I - P) x

且两项正交。由此得到勾股定理：

∥ x ∥^{2} = ∥ P x ∥^{2} + ∥ (I - P) x ∥^{2}

因此正交投影不会让向量变长： $∥ P x ∥ \leq ∥ x ∥$ 。

5. 例子

5.1 手算：投影到坐标轴

$x = (3, 4)$ ， $u = (1, 0)$ ：

P x = \frac{3}{1} (1, 0) = (3, 0), e = (0, 4)

$e^{⊤} u = 0$ ，正交。 $∥ x ∥^{2} = 25 = 9 + 16$ 。

5.2 手算：投影到对角线

$x = (3, 4)$ ， $u = (1, 1)$ ：

α = \frac{3 + 4}{2} = 3.5, p = (3.5, 3.5)

残差 $e = (- 0.5, 0.5)$ 。验证： $e^{⊤} u = - 0.5 + 0.5 = 0$ 。长度： $∥ p ∥^{2} = 24.5$ ， $∥ e ∥^{2} = 0.5$ ，和 $25$ ，符合勾股定理。

5.3 场景：最小二乘拟合

给三个点 $(0, 0), (1, 1), (2, 3)$ ，想拟合 $y = a + b x$ 。写成矩阵形式 $A c = y$ ，其中

A = 111012, c = [a b], y = 013

$y$ 不在 $A$ 的列空间里（三个点不共线），所以无精确解。最小二乘解是 $y$ 在列空间上的投影对应的系数：

\hat{c} = (A^{⊤} A)^{- 1} A^{⊤} y

这里 $A^{⊤} A = [3335]$ ， $A^{⊤} y = (4, 7)^{⊤}$ ，解得 $\hat{c} = (- 1/6, 3/2)$ 。拟合直线 $y = - \frac{1}{6} + \frac{3}{2} x$ 。残差向量与 $A$ 的两列都正交——这就是「正规方程」的几何来源（第 4.4 节）。实际计算中正规方程会放大条件数，通常改用 QR 分解求解，见 Golub 与 Van Loan。

5.4 场景闭环：3000 个量测、500 个状态、5 分钟

输入： $A \in R^{3000 \times 500}$ 稀疏（按每行 5 个非零估算，约 1.5 万个非零元）， $z \in R^{3000}$ ；一次估计读约 $3000 \times 16 B = 48 KB$ 。

计算：解 $min_{c} ∥ A c - z ∥_{2}^{2}$ 。正规方程要构造 $A^{⊤} A$ （ $500 \times 500$ 的 float64，2 MB），条件数被平方；改用 QR，成本约 $2 m n^{2} = 2 \times 3000 \times 50 0^{2} = 1.5 \times 1 0^{9}$ FLOP，按 10 GFLOP/s 估算 0.15 s。

输出：500 维状态 → 潮流计算 → 越限告警清单。

成本：0.15 s 只是 5 分钟周期的千分之一，2 MB 内存也不值一提。真正的成本是数据质量：一个拓扑错误（线路检修但模型没更新）会让残差平方和从 1.0 跳到 8.0，触发坏数据检测，值班员要花 20 分钟定位。

失败条件：

坏数据：单个量测错 10 倍，L2 把它平摊到所有状态上，误差遍布全网。兜底：卡方检验 + 最大归一化残差定位，剔除后重算；或用 L1/Huber 鲁棒估计。
拓扑错误：模型里的开关状态与现场不符，残差出现系统性偏差，最小二乘仍给出「最小」解，但物理上错。兜底：把开关状态也当未知量做假设检验。
量测不足：可观测性分析不通过时 $A^{⊤} A$ 接近奇异，解对噪声极敏感。兜底：补虚拟量测，或降到可观测子空间里估。

6. 常见误区

误区：投影到一组普通基，直接把每个方向的分量相加就行。纠正：只有当基正交时才能直接相加；否则方向之间会「重复计算」，需要 Gram 矩阵 $(A^{⊤} A)^{- 1}$ 修正。
误区：正交向量一定线性无关。纠正：非零正交向量确实线性无关；但零向量与所有向量正交，不能放进基里。
误区：投影矩阵可逆。纠正：投影是降维操作（除非投影到整个空间），不可逆； $P$ 的特征值只有 0 和 1，行列式为 0。
误区：投影后向量一定变短，所以信息一定丢失。纠正：长度不增，但「丢失」的是与子空间正交的分量；如果任务只关心子空间内的信息，这部分本来就是噪声。

7. 概念网络

前置：1.3 点积 —— 正交的判据。
前置：1.4 范数 —— 「最近」的度量。
后续：2.7 Gram–Schmidt —— 构造正交基。
后续：2.8 正交补与投影定理 —— 一般子空间的投影。
后续：4.4 最小二乘 —— 投影的统计应用。
关联：11.6 残差流 —— 表示的正交分解。

8. 通往大模型：残差流、正交初始化与「概念编辑」

1. 残差流分解：把隐藏状态 $h$ 看成「当前 token 的信息」与「位置/格式信息」的叠加。若两者近似正交，就可以在某一子空间上操作而不破坏另一部分。

2. 正交初始化：让权重矩阵的列尽量正交，使

∥ W x ∥ \approx ∥ W ∥_{F} \cdot ∥ x ∥/ n

避免深层连乘时范数爆炸或消失。

3. 激活引导（steering）：设「拒绝方向」为 $d$ ，想让模型更愿意回答，可做

h^{'} \leftarrow h - \frac{h ^{⊤} d}{∥ d ∥ ^{2}} d

即减掉在 $d$ 上的投影，保留正交分量。这是「概念编辑」最朴素的线性代数版本；它是否有效，取决于概念是否真的近似线性可分。

可检验结论：投影后 $∥ h^{'} ∥^{2} = ∥ h ∥^{2} - ∥ proj_{d} h ∥^{2}$ ，所以只会变短，不会变长；如果发现变长，一定是公式或实现有误。

如果这一步算错，用户会看到什么：steering 方向估错，用户看到模型「答非所问地变礼貌」，或者对一切请求都拒绝。好在有一个可自检的性质——减投影后范数只会变小；若监控到范数变大，说明符号或公式写反了，这时候生成质量通常已经肉眼可见地崩坏（重复、答非所问）。

9. 练习

概念：为什么「最近点」的条件是残差与子空间正交？用反证法说一句。
计算： $x = (2, 3)$ ， $u = (1, 2)$ ，求投影向量、残差，并验证两者正交。
计算： $x = (1, 1, 1)$ 投影到平面 $z = 0$ 上，结果是什么？投影矩阵是什么？
场景：在二维中，把 $x = (1, 0)$ 投影到 $u = (1, 1)$ 上，再投影一次，结果变了吗？用 $P^{2} = P$ 解释。
开放：如果「性别方向」并不完全线性，用减投影的方法编辑表示，可能带来什么副作用？

参考答案

若残差 $e$ 在 $S$ 内有非零分量 $s$ ，则 $p + ϵ s$ 仍是 $S$ 中的点，且离 $x$ 更近，矛盾。
$α = 8/5$ ， $p = (1.6, 3.2)$ ， $e = (0.4, - 0.2)$ ； $e^{⊤} u = 0.4 - 0.4 = 0$ 。
$(1, 1, 0)$ ； $P = diag (1, 1, 0)$ 。
第一次得 $(0.5, 0.5)$ ；第二次仍在同一直线上，结果不变；因为 $P^{2} = P$ 。
可能误删与性别相关但任务需要的特征（如代词、职业），或在不同层/不同语境下方向漂移；需要验证与正则化。

10. 一页速记

正交： $x^{⊤} y = 0$ ；正交补 $S^{⊥}$ 与 $S$ 维度互补。
到直线的投影： $\frac{x ^{⊤} u}{u ^{⊤} u} u$ ，矩阵 $\frac{u u ^{⊤}}{u ^{⊤} u}$ 。
最优近似的残差与子空间正交；这是最小二乘的核心。
$P^{⊤} = P$ ， $P^{2} = P$ ，特征值 0/1，不可逆。
正交分解： $x = P x + (I - P) x$ ，且 $∥ x ∥^{2} = ∥ P x ∥^{2} + ∥ (I - P) x ∥^{2}$ 。
物理意义 / 现实对应：影子投在地面（模型空间）上，残差是杆顶到影子的垂线；电网状态估计就是给 3000 个矛盾量测找最近的那个影子。

11. 参考文献与致谢

这一页的知识不是凭空来的。下面列出本页直接借用的原始工作与权威整理；正文中的人名、定理名已链接到对应条目。链接优先指向 DOI、arXiv 或可长期访问的原文存档。

格拉姆（Jørgen Pedersen Gram, 1883）：Ueber die Entwickelung reeller Functionen in Reihen mittelst der Methode der kleinsten Quadrate。给出把一组向量正交化的构造（Gram–Schmidt 的 Gram 侧），本页 §2.4 的标准正交基由此得到。Journal für die reine und angewandte Mathematik 94
施密特（Erhard Schmidt, 1907）：Zur Theorie der linearen und nichtlinearen Integralgleichungen。独立给出同一正交化过程（Schmidt 侧），并用于积分方程；本页 §2.4 的 $Q Q^{⊤}$ 投影依赖它。Mathematische Annalen 63
Golub 与 Van Loan（2012）：Matrix Computations。系统整理投影与最小二乘的数值算法，本页 §5.3 提到的 QR 解法与正规方程的条件数问题见第 5 章。JHU Press 第 4 版

下一篇 → 1.7 叉积与三重积（选学）

返回 M01 导览去练习场

随堂测 · 4 题

单选难度 2第 1 / 4 题

把向量

x

投影到单位向量

u

所在方向，投影向量是？

(u^{⊤} x) u

(x^{⊤} x) u

x - (u^{⊤} x) u

u + x

没思路？看原文

源文件：01-向量与几何/06-正交与投影.md