M06 · 特征值核心约 40 分钟

6.4 对称矩阵与谱定理

本节位置：模块 6 · 特征值｜前置：2.7 内积空间与 Gram–Schmidt、6.3 对角化｜预计：40 分钟

一句话：实对称矩阵一定能被一组标准正交特征向量对角化， $A = Q Λ Q^{⊤}$ ；它的特征值全是实数，不同特征值的特征向量自动正交。

0. 场景引入

一条工业质检线，每天拍 5 万张 64×64 的零件表面灰度图。每张 4096 个像素，fp32 存下来 16 KB；30 天就是 150 万张、24 GB。存储还扛得住，但要把它们送进下游训练，就变成 150 万 × 4096 的矩阵，全量 SVD 在单机上既费内存又费时间。

质检主管要决定：保留前 50 个主成分（每张图压到 50 维，压缩比 $4096/50 \approx 82$ ），还是保留 200 维？

协方差矩阵是 4096×4096，fp32 占 67 MB，内存放得下；它的特征分解给出 4096 个互相正交的方向，每个方向带一个方差（特征值）。按单核 10 GFLOP/s 估算， $409 6^{3} \approx 6.9 \times 1 0^{10}$ 次浮点运算，约 10 秒。

关键在于：这些方向两两正交，所以「前 50 维解释了多少方差」可以直接相加，不会重复计算。若这一点不成立，压缩比就无从谈起。

决策： $k = 50$ 还是 200？代价：若被丢掉的那部分方差里恰好是划痕，漏检率会上升。按每天 5 万张、漏检率从 0.5% 升到 1.5% 算，一天多漏 500 件；每件返工与客诉成本按 200 元计，一天 10 万元。

读完本节，你能回答的三个问题是：

为什么对称矩阵的主轴一定互相垂直？
为什么「主成分的方差可以相加」依赖正交性？
保留多少个主成分，取决于什么下游代价？

1. 直觉

一个一般的矩阵会把圆压成斜椭圆，主轴不正；一个对称矩阵压出来的椭圆，主轴一定互相垂直。这正是柯西 1829 年证明的主轴定理。也就是说，对称矩阵的作用可以拆成三步：

旋转到一组互相垂直的主轴（ $Q^{⊤}$ ）；
沿每条主轴独立伸缩（ $Λ$ ）；
再旋转回原坐标（ $Q$ ）。

因为 $Q$ 是正交矩阵， $Q^{- 1} = Q^{⊤}$ ，这三步写成 $A = Q Λ Q^{⊤}$ 。没有「剪切」成分，所以主轴不会被拧歪。

💡 一句话直觉：对称矩阵 = 沿一组互相垂直的轴做纯伸缩；谱定理保证这组轴一定存在。

类比边界：这个结论只对实对称矩阵（以及复空间的 Hermitian 矩阵）成立。 $[1011]$ 不是对称的，它的特征向量凑不齐，更谈不上正交基。

1.1 它在现实世界里对应什么

对图像协方差矩阵，谱定理不是抽象结论，而是**「把一堆图拆成一组互不重叠的图案基底」**：

数学对象	图像 PCA 里的对应物
对称矩阵 $Σ$	像素之间的协方差， $4096 \times 4096$
特征向量 $q_{i}$	第 $i$ 个主成分方向（一张「基图」）
特征值 $λ_{i}$	该方向上的方差，单位是「像素值²」
$q_{i}^{⊤} q_{j} = 0$	两个基图不重叠，方差不会算两遍
$\sum_{i} λ_{i} = tr Σ$	总方差，各主成分方差之和

特征值在这里是能量的分布： $λ_{1}$ 大，说明数据在 $q_{1}$ 方向上抖得厉害，那是最值得保留的「对比度」； $λ_{i}$ 小，说明那个方向的像素组合几乎是常数，丢掉也不心疼。因为 $Q$ 正交，投影后的各坐标不相关，方差才能逐项相加。

量级：4096 维的图像协方差，前 50 个特征值往往已覆盖大部分方差（本例按 92% 估算，真实比例随数据集变化）；特征值的量级由像素灰度决定，归一化到 $[0, 1]$ 后单个 $λ_{i} \leq 0.25$ ，总和 $tr Σ$ 是各像素方差之和。

这个对应在哪里失效：PCA 只捕捉二阶统计量。光照整体变亮、零件平移几个像素、镜面反光，都会让主成分方向漂移；如果数据其实躺在弯曲的流形上（旋转、遮挡），线性子空间无论取多少维都拟合不好。此时「解释了多少方差」高，不代表「保留了多少判别信息」。

2. 定义

2.1 对称矩阵与正交矩阵

$A \in R^{n \times n}$ 称为对称矩阵（symmetric matrix），若 $A^{⊤} = A$ ，即 $a_{ij} = a_{j i}$ 。

$Q \in R^{n \times n}$ 称为正交矩阵（orthogonal matrix），若 $Q^{⊤} Q = I$ ，等价于 $Q^{- 1} = Q^{⊤}$ 。这等价于 $Q$ 的列是一组标准正交基： $q_{i}^{⊤} q_{j} = δ_{ij}$ 。正交变换保持长度与夹角：

∥ Q x ∥_{2}^{2} = x^{⊤} Q^{⊤} Q x = ∥ x ∥_{2}^{2}

2.2 谱定理

谱定理（spectral theorem）：设 $A \in R^{n \times n}$ 对称，则存在正交矩阵 $Q$ 和实对角矩阵 $Λ = diag (λ_{1}, \dots, λ_{n})$ ，使

A = Q Λ Q^{⊤}

其中 $Q$ 的列 $q_{1}, \dots, q_{n}$ 是 $A$ 的标准正交特征向量， $λ_{i}$ 是对应的实特征值。等价的写法是谱分解（spectral decomposition）

A = i = 1 \sum n λ_{i} q_{i} q_{i}^{⊤}

每个 $q_{i} q_{i}^{⊤}$ 是秩 1 的投影矩阵：把向量投影到 $q_{i}$ 方向。 $A$ 就是「沿各主轴投影，再按 $λ_{i}$ 缩放，最后相加」。

2.3 三条核心结论

特征值全为实数：对称矩阵没有复特征值。
不同特征值的特征向量正交：若 $λ_{i} \neq = λ_{j}$ ，则 $q_{i}^{⊤} q_{j} = 0$ 。
几何重数等于代数重数：每个重特征值都能凑够同样多的正交特征向量，所以一定可对角化。

这三条合起来，就是「对称矩阵一定可以正交对角化」。

3. 为什么这样定义

对称性不是随便加的条件。二次型 $x^{⊤} A x$ 只依赖 $A$ 的对称部分：把 $A$ 换成 $(A + A^{⊤}) /2$ ，二次型的值不变。所以研究「能量的形状」时，可以无损失地假设 $A$ 对称。

对称矩阵在应用里无处不在：

协方差矩阵 $Σ = E [(x - μ) (x - μ)^{⊤}]$ 天然对称；
Hessian（二阶偏导矩阵）在二阶偏导连续时对称；
图的拉普拉斯矩阵 $L = D - W$ 对称；
正交投影矩阵 $Q Q^{⊤}$ 对称。

对它们做谱分解，得到的不只是「一组特征向量」，而是一组互相垂直的主轴。这比一般对角化强得多：一般 $P$ 可能接近奇异，数值上不稳定；正交 $Q$ 的条件数是 1， $Q^{- 1} = Q^{⊤}$ 只需转置，误差不会被放大（第 10.2 节）。

3.1 反事实：对非对称矩阵强行正交对角化会坏在哪

假设我们不管对称性，看到「 $A$ 可对角化」就取它的特征向量当正交基。取

A = [1012]

特征值是 $2$ 和 $1$ ，特征向量 $(1, 1)$ 与 $(1, 0)$ ——它们不正交。若强行换成单位正交的 $q_{1} = (1, 1) / 2$ 、 $q_{2} = (1, - 1) / 2$ ，算 $Q^{⊤} A Q$ ：

Q^{⊤} A Q = [20 - 1 1]

不是对角阵，右下角还多出一个 $- 1$ 。这个 $- 1$ 不是舍入误差，而是剪切：非对称矩阵的作用里有一部分无法用「沿正交轴的纯伸缩」表示。强行正交化把它藏进上三角，PCA 里就会表现为「两个主成分仍相关」——方差相加会重复计算，解释比例能算出超过 100%。

对称性是这条结论的入场券，不是装饰。

4. 性质与推导

4.1 特征值为什么是实数

设 $A v = λ v$ ，允许 $λ, v$ 为复数。两边左乘共轭转置 $v^{*}$ ：

λ v^{*} v = v^{*} A v

对右边取共轭转置，得 $v^{*} A^{*} v$ 。因 $A$ 实对称， $A^{*} = A^{⊤} = A$ ，所以右边等于自己的共轭，是实数。而 $v^{*} v = ∥ v ∥^{2} > 0$ ，故 $λ$ 是实数。

4.2 不同特征值的特征向量为什么正交

设 $A v_{1} = λ_{1} v_{1}$ 、 $A v_{2} = λ_{2} v_{2}$ ，且 $λ_{1} \neq = λ_{2}$ 。计算

λ_{1} v_{1}^{⊤} v_{2} = (A v_{1})^{⊤} v_{2} = v_{1}^{⊤} A^{⊤} v_{2} = v_{1}^{⊤} A v_{2} = λ_{2} v_{1}^{⊤} v_{2}

移项得 $(λ_{1} - λ_{2}) v_{1}^{⊤} v_{2} = 0$ 。因 $λ_{1} \neq = λ_{2}$ ，故 $v_{1}^{⊤} v_{2} = 0$ 。

4.3 重特征值怎么办

不同特征值的特征空间已经互相正交。对同一个特征值 $λ$ ，特征空间 $E_{λ}$ 可能有多维；在 $E_{λ}$ 内部任取一组基，用 Gram–Schmidt（第 2.7 节）正交化并单位化，就得到标准正交基。谱定理保证 $dim E_{λ}$ 正好等于 $λ$ 的代数重数，所以所有特征空间维数加起来是 $n$ ，拼起来就是 $R^{n}$ 的标准正交基。

4.4 谱分解与投影

把 $Q Λ Q^{⊤}$ 按列展开：

Q Λ Q^{⊤} = i = 1 \sum n λ_{i} q_{i} q_{i}^{⊤}

每个 $P_{i} = q_{i} q_{i}^{⊤}$ 满足 $P_{i}^{2} = P_{i}$ 、 $P_{i}^{⊤} = P_{i}$ 、 $P_{i} P_{j} = 0 (i \neq = j)$ ，且 $\sum_{i} P_{i} = I$ 。所以 $A x = \sum_{i} λ_{i} P_{i} x$ ：先把 $x$ 拆到各主轴上，再各自缩放，最后相加。

4.5 Rayleigh 商

对对称 $A$ 定义 Rayleigh 商（Rayleigh quotient） $R (x) = \frac{x ^{⊤} A x}{x ^{⊤} x}$ （ $x \neq = 0$ ）。则 $λ_{m i n} \leq R (x) \leq λ_{m a x}$ ，且最大值在 $x = q_{m a x}$ 处取到、最小值在 $q_{m i n}$ 处取到。证明：令 $x = Q y$ ，则 $R = \sum_{i} λ_{i} y_{i}^{2} / \sum_{i} y_{i}^{2}$ ，是特征值的加权平均。这个结论是幂迭代估计特征值、PCA 找最大方差方向的依据。

4.6 正交对角化的充要性

若 $A = Q Λ Q^{⊤}$ 且 $Q$ 正交、 $Λ$ 实对角，则 $A^{⊤} = Q Λ Q^{⊤} = A$ ，所以 $A$ 对称。结合谱定理：实矩阵可正交对角化 $\Leftrightarrow$ 它是对称矩阵。

5. 例子

5.1 手算： $2 \times 2$ 对称矩阵的正交对角化

仍取 $A = [22 2 - 1]$ 。

$λ = 3$ ： $A - 3 I = [- 1 2 2 - 4]$ ，方程 $- v_{1} + 2 v_{2} = 0$ ，取 $v_{1} = (2, 1)$ ，单位化 $q_{1} = \frac{1}{5} (2, 1)$ 。
$λ = - 2$ ： $A + 2 I = [4221]$ ，方程 $2 v_{1} + v_{2} = 0$ ，取 $v_{2} = (1, - 2)$ ，单位化 $q_{2} = \frac{1}{5} (1, - 2)$ 。

令

Q = \frac{1}{5} [21 1 - 2], Λ = [30 0 - 2]

验证正交性： $q_{1}^{⊤} q_{2} = \frac{1}{5} (2 - 2) = 0$ ， $∥ q_{1} ∥ = ∥ q_{2} ∥ = 1$ ，所以 $Q^{⊤} Q = I$ 。验证 $Q^{⊤} A Q = Λ$ ：

Q^{⊤} A Q = \frac{1}{5} [21 1 - 2] [22 2 - 1] [21 1 - 2] = \frac{1}{5} [150 0 - 10] = [30 0 - 2]

再乘回去 $Q Λ Q^{⊤}$ 即得 $A$ （对角元分别乘 $q_{i} q_{i}^{⊤}$ 后相加）。谱分解写成 $A = 3 q_{1} q_{1}^{⊤} - 2 q_{2} q_{2}^{⊤}$ 。注意负特征值：沿 $q_{2}$ 方向，变换是「反向拉伸 2 倍」。

5.2 场景：协方差矩阵的主方向

二维数据点的协方差矩阵 $Σ = [2112]$ 是对称的。它的特征值是 $3$ 和 $1$ ，特征方向是 $(1, 1) / 2$ 与 $(1, - 1) / 2$ 。含义：数据在 $4 5^{\circ}$ 方向上的方差是 3，在垂直方向上的方差是 1；总方差 $tr (Σ) = 4 = 3 + 1$ 。因为特征向量正交，这两个「主方向」互不重叠，可以分别解释——这就是 PCA 的几何（第 9.3 节）。

5.3 场景闭环：从 1000 张样图到压缩比 82

输入：从 150 万张里抽 1000 张 $64 \times 64$ 灰度图，每张 4096 维 fp32（16 KB），共 16 MB；中心化后堆成 $X \in R^{1000 \times 4096}$ 。

计算： $Σ = \frac{1}{999} X^{⊤} X$ ，形状 $4096 \times 4096$ ，fp32 占 67 MB，内存放得下。对它做 eigvalsh， $n^{3} \approx 6.9 \times 1 0^{10}$ FLOP，单核 10 GFLOP/s 下约 10 秒；取前 50 个特征对，累计方差按 92% 估算。

输出：每张图用 50 个投影系数表示， $4096/50 \approx 82$ 倍压缩，单张从 16 KB 降到 200 B。决策： $k = 50$ 。重建误差的最坏方向就是第 51 个特征向量方向，可以直接把它可视化，确认它不是划痕。

成本：训练期一次性 10 秒 + 67 MB 内存；推理期每张图 $4096 \times 50 \approx 2 \times 1 0^{5}$ 次乘加，5 万张/天约 $1 0^{10}$ FLOP，可以忽略。存储从 24 GB 降到约 300 MB。

失败条件与兜底：

光照漂移： $Σ$ 变了，旧主成分不再对齐，重建误差整体抬升。兜底：定期重估 $Σ$ ，并用主成分夹角（principal angles）监控子空间是否漂移。
划痕是高频、小方差的局部结构，天然排在前 50 维之外。兜底：单独保留残差图的下采样版本，对残差做阈值检测，而不是只信重建误差。
样本太少：1000 张估 4096 维协方差， $Σ$ 接近奇异，后 3000 多个特征值全是噪声。兜底：用收缩估计或直接对 $X$ 做截断 SVD，不显式构造 $Σ$ 。

6. 常见误区

误区：对称矩阵的特征值一定互不相同。纠正：可以有重根，例如 $I$ 的特征值全是 1；重特征值仍然能凑出正交特征基，只是方向不唯一。
误区：对称矩阵的任意两个特征向量都正交。纠正：不同特征值的特征向量一定正交；同一重特征值的特征空间内部，需要自己选一组正交基，随便取可能不正交。
误区：所有可对角化矩阵都能正交对角化。纠正：只有对称矩阵（实矩阵情形）才保证。 $[1012]$ 可对角化，但特征向量不正交， $P$ 不是正交阵。
误区： $Q^{⊤} = Q^{- 1}$ 对任意可逆矩阵成立。纠正：只对正交矩阵成立。一般矩阵要算 $P^{- 1}$ ，不能直接转置。
误区： $A = Q Λ Q^{⊤}$ 中的 $Q$ 唯一。纠正：特征向量可以整体变号，重特征值时还可以在特征空间内旋转；不唯一，但特征值集合唯一。

7. 概念网络

前置：2.7 内积空间与 Gram–Schmidt —— 正交、单位化、标准正交基是谱定理的语言。
前置：6.3 对角化 —— 对称矩阵是可对角化的特例，而且 $P$ 可以选成正交阵。
后续：6.5 二次型与正定 —— $x^{⊤} A x$ 在主轴坐标下变成 $\sum_{i} λ_{i} y_{i}^{2}$ 。
后续：6.6 幂迭代 —— Rayleigh 商给出特征值的估计。
关联：6.2 特征多项式 —— 对称矩阵的根全实，判别式不会给出复根。
关联：7.1 SVD 的几何 —— 对称矩阵的谱分解是 SVD 的特例。

8. 通往大模型：Hessian 与协方差的「正交主轴」

出现位置：损失函数在参数点附近的 Hessian $H \in R^{d \times d}$ （ $d$ 是参数维数），以及表征的协方差矩阵 $Σ \in R^{D \times D}$ （ $D$ 是隐藏维度，如 4096）。两者都实对称，因此都能写成 $Q Λ Q^{⊤}$ 。

为什么需要： $H$ 的特征值就是损失曲面在各主方向上的曲率，特征向量给出「最陡」和「最平」的方向。 $λ_{m a x}$ 决定训练能用的最大学习率（约 $2/ λ_{m a x}$ ）， $λ_{m i n}$ 决定最慢的收敛方向；负特征值方向是鞍点或下降方向。协方差矩阵的特征值给出各主成分的方差，特征向量就是 PCA 的主轴；因为主轴正交，才能说「第一主成分解释了多少方差」而不重复计算。若 $Q$ 不正交，各方向的方差会纠缠在一起，解释就失效了。

可检验结论：用 np.linalg.eigvalsh(H) 得到的特征值全为实数，且 Q.T @ H @ Q 是对角阵；对随机对称矩阵， $Q$ 的条件数为 1，而一般可对角化矩阵的 $P$ 条件数可能很大。实践中对 $d$ 很大的 Hessian 不做完整分解，而用 Lanczos 只取少数极端特征值；Hutchinson 估计器则用于快速估计迹——但「存在一组正交主轴」这个前提不变。

算错时下游看到什么：对对称矩阵误用 np.linalg.eig（而非 eigvalsh），可能拿到复数特征值和一组不正交的特征向量。后果很具体：各主成分的方差不再正交可加， $\sum_{i} q_{i}^{⊤} Σ q_{i}$ 会大于 $tr Σ$ ，「前 10 个主成分解释了 120% 的方差」这种报告就出现了。另一个隐性坑是特征向量的符号： $q$ 与 $- q$ 都是合法解，两次训练得到的编码可能整体反号，下游分类器接不上，需要约定符号（例如让最大分量为正）。

9. 练习

概念：用自己的话说明「对称矩阵可以正交对角化」比「一般矩阵可以对角化」强在哪里。
计算：对 $A = [3113]$ 求正交矩阵 $Q$ 与对角阵 $Λ$ ，使 $A = Q Λ Q^{⊤}$ 。
计算：对 $A = [0110]$ 做正交对角化，并解释这个变换的几何意义。
计算：对 $A = [22 2 - 1]$ ，用 Rayleigh 商在 $x = (1, 0)$ 处估计特征值，并验证它落在 $[λ_{m i n}, λ_{m a x}]$ 内。
开放：为什么数值线性代数偏爱正交矩阵？如果 $P$ 的条件数是 $1 0^{6}$ ，用 $A = P D P^{- 1}$ 计算 $A^{10}$ 会有什么问题？

参考答案

一般对角化只要求 $P$ 可逆，特征向量可能不正交， $P$ 可能病态；正交对角化要求 $Q^{⊤} Q = I$ ，主轴互相垂直、长度为 1， $Q^{- 1} = Q^{⊤}$ 数值稳定，而且特征值必为实数。
$tr = 6$ 、 $det = 8$ ，特征值 $4, 2$ 。 $λ = 4$ 的特征向量 $(1, 1)$ ， $λ = 2$ 的 $(1, - 1)$ 。 $Q = \frac{1}{2} [11 1 - 1]$ ， $Λ = diag (4, 2)$ 。
特征值 $1, - 1$ ，特征向量 $(1, 1) / 2$ 、 $(1, - 1) / 2$ 。 $Q = \frac{1}{2} [11 1 - 1]$ ， $Λ = diag (1, - 1)$ 。几何上这是关于直线 $y = x$ 的反射：沿该直线不变，沿垂直方向反向。
$x^{⊤} A x = [10] [22] = 2$ ， $x^{⊤} x = 1$ ，故 $R = 2$ 。特征值为 $3, - 2$ ，确实 $- 2 \leq 2 \leq 3$ ； $R$ 是特征值的加权平均，权重由 $x$ 在主轴上的分量决定。
正交矩阵条件数为 1，乘它不放大误差；一般 $P$ 条件数为 $1 0^{6}$ 时， $P^{- 1}$ 的元素很大， $P D^{k} P^{- 1}$ 会出现大数相减的抵消， $A^{10}$ 的相对误差可能被放大 $1 0^{6}$ 倍。实际计算用 Schur 分解（正交相似）或直接迭代。

10. 一页速记

实对称 $A = A^{⊤}$ $\Rightarrow$ 存在正交 $Q$ 使 $A = Q Λ Q^{⊤}$ ， $Λ$ 实对角。
物理意义 / 现实对应：特征值 = 各主轴上的方差、能量或曲率，特征向量 = 互相垂直的主轴（主成分、振动模态、Hessian 的陡/平方向）；对称 = 只拉伸、不剪切。
特征值全实；不同特征值的特征向量自动正交；重特征值可正交化。
谱分解： $A = \sum_{i} λ_{i} q_{i} q_{i}^{⊤}$ ， $q_{i} q_{i}^{⊤}$ 是秩 1 投影。
Rayleigh 商 $R (x) = x^{⊤} A x / x^{⊤} x \in [λ_{m i n}, λ_{m a x}]$ 。
实矩阵可正交对角化 $\Leftrightarrow$ 它对称； $Q^{- 1} = Q^{⊤}$ ，条件数为 1。

11. 参考文献与致谢

这一页的知识不是凭空来的。下面列出本页直接借用的原始工作与权威整理；正文中的人名、定理名已链接到对应条目。链接优先指向 DOI、arXiv 或可长期访问的原文存档。

柯西（Augustin-Louis Cauchy, 1829）：Sur l’équation à l’aide de laquelle on détermine les inégalités séculaires des mouvements des planètes（原载 1829 年；剑桥重印《柯西全集》，2009）。证明实二次型可经正交变换化为平方和（主轴定理），本页「对称矩阵的主轴互相垂直」是它的矩阵版本。Oeuvres complètes 重印本
瑞利（John William Strutt, 1877）：The Theory of Sound。振动系统的能量比 $x^{⊤} A x / x^{⊤} x$ 及其极值性质由此得名 Rayleigh 商，本页 §4.5 的变分刻画沿用他的做法。Cambridge 重印本
Horn 与 Johnson（2012）：Matrix Analysis（2nd ed.）。第 4 章对实对称与 Hermitian 矩阵给出谱定理、谱分解与 Rayleigh 商的完整证明，是本页三条核心结论的权威整理。Cambridge

下一篇 → 6.5 二次型与正定

返回 M06 导览去练习场

随堂测 · 4 题

数值难度 2第 1 / 4 题

对

A = [22 2 - 1]

，在

x = (1, 0)

处的 Rayleigh 商

R (x) = \frac{x ^{⊤} A x}{x ^{⊤} x}

是多少？

没思路？看原文

源文件：06-特征值/04-对称矩阵与谱定理.md