2.4 基与维数：用最少的坐标描述空间

本节位置：模块 2 · 向量空间 ｜ 前置：2.3 ｜ 预计：35 分钟

一句话：基是「刚好够用、没有冗余」的一组坐标轴；维数是这组轴的数量，也是空间真正的自由度。

0. 场景引入

一台工业电子鼻要装进化工厂的巡检机器人：8 个金属氧化物气体传感器，采样 10 Hz，主控芯片只有 64 kB RAM。任务是在 500 ms 内判断「泄漏的是乙醇还是丙酮」。报错了要停线 2 小时，损失按几十万计。

标定阶段就发现一件怪事：8 个传感器的读数画在 8 维空间里，几乎全落在同一个 3 维平面上。原因不难猜——8 个传感器对气体的响应只是 4 种敏感机制的交叉混合，真正独立的响应方向只有 3 个。

这立刻变成一个工程问题。8 维数据每样本 32 B，10 Hz 跑 1 小时是

是 64 kB 内存的 18 倍，根本存不下。压到 3 维后每样本 12 B，1 小时 432 kB，还是不够——所以只能留最近 60 秒（600 个样本，7.2 kB）的环形缓冲。

问题：凭什么说「8 个传感器其实只有 3 个独立」？压到 3 维会丢什么？维数是这堆数据的属性，还是这套传感器的属性？

读完本节，你应该能回答三件事：

1. 基的两个条件各自在防什么错？
2. 为什么「维数」不能靠数向量个数得到？
3. 把 8 维压成 3 维的坐标怎么写，丢掉的部分怎么估？

1. 直觉

基就像一套坐标轴：

• 够用：空间里每个点都能用这套轴表示（张成整个空间）；
• 不冗余：没有哪根轴能由其它轴拼出来（线性无关）。

维数就是轴的数量。平面需要 2 根，空间需要 3 根，一条直线只需 1 根。

💡 一句话直觉：基 = 一组「不多不少」的方向；维数 = 这组方向的个数。

类比边界：基不要求轴互相垂直。斜坐标系也是合法的基，只是计算投影时更麻烦（第 2.7 节会偏好正交基）。

图：左：两条无关方向 ${\mathbf{b}}_1,{\mathbf{b}}_2$ 足以表示平面上任意向量；右：加入 ${\mathbf{b}}_3={\mathbf{b}}_1+{\mathbf{b}}_2$ 后仍只有 2 维，$\mathbf{v}$ 的坐标不再唯一。

1.1 它在现实世界里对应什么

一台 8 通道调音台，8 个推子。如果其中 5 个推子的位置始终是另外 3 个的固定倍数（出厂时联动锁死了），那这台机器真正的控制旋钮只有 3 个。你拧 8 下，效果只取决于 3 个数。

基就是「3 个真正能独立拧的旋钮」：不多（没有冗余推子）、不少（能把声音调到任何设定的状态）。维数 = 旋钮个数，是这台机器（这个空间）的属性；具体你选了「高频/中频/低频」还是「左/中/右」这三根轴，只是基的选择，改不了旋钮总数。

量级直觉：8 个传感器只有 3 个独立方向，等于 5 个自由度是白送的——存储能省 $5/8=62.5\%$。反过来看，如果只存 2 维，残差会立刻跳起来，你就能判断「3」是真的下限，不是拍脑袋。

1.2 这个类比在哪里失效

「旋钮个数固定」在这个场景里只是近似。3 维是「这批气体、这个浓度范围」内的线性自由度：低浓度时响应近似线性，高浓度下传感器饱和，第 4 个方向就冒出来了；温度每变 10 ℃，这 3 个方向也会轻微转动。

所以维数不是传感器的出厂参数，而是「数据 + 工作区间」的属性。换一批气体、换一个温度段，同一个 8 探头阵列可能是 4 维甚至 5 维。基可以重建，维数会变——这正是「有效维数」比「名义维数」难用的地方。

2. 定义

2.1 基

向量空间 $V$ 的一组向量 $\mathcal{B}=\{{\mathbf{b}}_1,\dots ,{\mathbf{b}}_n\}$ 是基（basis），若：

1. $\mathcal{B}$ 线性无关；
2. $\mathrm{span}\mathcal{B}=V$。

2.2 维数

若 $V$ 有一组含 $n$ 个向量的基，则称 $V$ 的**维数（dimension）**为 $n$，记 $\dim V=n$。 规定零空间 $\{0\}$ 的维数为 0。

2.3 坐标

给定基 $\mathcal{B}$，任意 $\mathbf{v}\in V$ 可唯一写成

系数向量 $[\mathbf{v}{]}_{\mathcal{B}}=(c_1,\dots ,c_n{)}^{\top }$ 叫 $\mathbf{v}$ 在基 $\mathcal{B}$ 下的坐标（coordinates）。

若把基向量按列排成矩阵 $P=[{\mathbf{b}}_1\cdots {\mathbf{b}}_n]$，则

（这里 $\mathbf{v}$ 指标准基下的坐标。）

3. 为什么这样定义

「基」的两个条件缺一不可：

• 只有无关、不张成：描述不了整个空间；
• 只有张成、不无关：坐标不唯一（第 2.3 节）。

两者结合，保证每个向量有且仅有一组坐标。这是「用 $n$ 个数描述一个抽象对象」的前提。

维数的定义之所以合理，是因为可以证明：同一个空间的所有基大小相同。所以「维数」不依赖基的选择，是空间的内在属性。

3.1 反事实：把「维数」定义成「向量的个数」

这是最省事的定义：输入了几列，维数就是几。试一个 ${\mathbb{R}}^3$ 里的例子：

三个向量，按「个数」定义维数是 3。可它们都在 $z=0$ 平面上，且 ${\mathbf{v}}_3={\mathbf{v}}_1+{\mathbf{v}}_2$。换一种写法，只写

两个向量，维数是 2。同一个平面，答案从 3 变成 2，只因为你少写了一行。

反方向更荒唐：在 ${\mathbb{R}}^3$ 里塞 100 个平面内的向量，「维数」变成 100——比整个空间还大。一个量既可以是 2、3，也可以是 100，它就不是空间的属性，而是你输入格式的属性。

这正是「基」要同时要求无关与张成的原因：维数必须与你怎么写无关。 无关保证不会重复计数，张成保证没有漏掉方向。

4. 性质与推导

4.1 所有基等势

若 ${\mathcal{B}}_1,{\mathcal{B}}_2$ 都是 $V$ 的基，则 $|{\mathcal{B}}_1|=|{\mathcal{B}}_2|$。

证明直接引用 Steinitz 交换引理：无关组的大小不超过任何张成组的大小。因为 ${\mathcal{B}}_1$ 与 ${\mathcal{B}}_2$ 都既无关又张成 $V$，交换引理同时给出 $|{\mathcal{B}}_1|\le |{\mathcal{B}}_2|$ 与 $|{\mathcal{B}}_2|\le |{\mathcal{B}}_1|$，故 $|{\mathcal{B}}_1|=|{\mathcal{B}}_2|$。

第 2.3 节 §4.3 给出的「${\mathbb{R}}^n$ 中超过 $n$ 个向量必相关」是这条引理在标准坐标下的特例。

4.2 维数与子空间

若 $S\subseteq V$ 是子空间，则 $\dim S\le \dim V$；等号仅在 $S=V$ 时成立。

4.3 基的扩充与缩减

• 任意无关组都可扩充为基；
• 任意张成组都包含一组基。

这两个操作是构造基的标准方法。

4.4 坐标变换

若 $\mathcal{B}$ 的基矩阵为 $P$，则

这就是「换基」的计算方式（第 2.5 节展开）。

5. 例子

5.1 手算：标准基与另一组基

${\mathbb{R}}^2$ 的标准基 $\mathcal{E}=\{{\mathbf{e}}_1,{\mathbf{e}}_2\}$，坐标就是分量本身。

取 $\mathcal{B}=\{(1,1),(1,-1)\}$，求 $\mathbf{v}=(3,1)$ 的坐标： 设 $a(1,1)+b(1,-1)=(3,1)$，则

所以 $[\mathbf{v}{]}_{\mathcal{B}}=(2,1{)}^{\top }$。验证：$2(1,1)+1(1,-1)=(3,1)$。

5.2 手算：多项式空间的基

$P_2=\{a_0+a_{1}x+a_2{x}^2\}$ 的标准基是 $\{1,x,x^2\}$，维数 3。

另一组基 $\{1,1+x,1+x+x^2\}$ 也张成 $P_2$ 且无关，因此也是基。 同一个多项式 $1+2x+3x^2$ 在不同基下坐标不同——这正是「坐标依赖基」的体现。

5.3 场景：零空间的基

$A=\left[\begin{array}{ccc}1& 2& 3\\ 2& 4& 6\end{array}\right]$，行变换后为 $\left[\begin{array}{ccc}1& 2& 3\\ 0& 0& 0\end{array}\right]$。 方程 $x_1+2x_2+3x_3=0$，自由变量 $x_2=s,x_3=t$，则 $x_1=-2s-3t$：

零空间的一组基是 $\{(-2,1,0),(-3,0,1)\}$，维数 2 $=3-1$（未知数个数减秩）。

5.4 场景闭环：8 个传感器、10 Hz、64 kB

输入：标定集 $X\in {\mathbb{R}}^{2000\times 8}$（2000 个样本，4 类气体各 500 个），fp32，$2000\times 8\times 4\text{B}=64\text{kB}$——正好占满整个 RAM，所以标定只能在 PC 上做，芯片里只放结果。

计算：中心化后做 SVD，$X=U\Sigma V^{\top }$，$V\in {\mathbb{R}}^{8\times 8}$。假设奇异值是

前 3 个的平方和是 $16.81+5.29+1.96=24.06$，总量是 $24.505$，占 $98.2\%$，所以取 $V$ 的前 3 列作基 $B\in {\mathbb{R}}^{8\times 3}$。这一步是离线的一次性成本。

在线计算：每个样本 $\mathbf{x}\in {\mathbb{R}}^8$ 只需

$8\times 3=24$ 次乘加。10 Hz 下每秒 240 次乘加，对任何 MCU 都是噪声级负载。

输出：3 维坐标 $\mathbf{c}$ 送进 4 类最近中心分类器（12 次乘加），同时输出残差。残差超过标定集 99 分位的 3 倍，就判「未知气体」并报警，而不是硬分类。

成本：存储从 8 维降到 3 维（省 62.5%，RAM 里放得下 60 秒环形缓冲）；在线 24 次乘加/样本。对照：不做降维时，4 类 kNN 用 2000 个模板要 $2000\times 8=16000$ 次距离计算，降维后是 $2000\times 3=6000$ 次，快 2.7 倍。

失败条件：

• 新气体在子空间外：3 维子空间由标定集决定，第 5 种气体可能带来一个全新方向。投影后残差很大——这恰好能当「未知」报警用。
• 温漂与饱和：高浓度下传感器饱和，响应不再落在标定时的 3 维里。兜底：按温度分段标定；残差超限时回退到 8 维原始数据 + 规则判据。
• 基不唯一：任何 3 维基都张成同一个子空间，但若选了非正交的基，坐标就要解方程，不能一次点积算出来（第 2.7 节）。

6. 常见误区

1. 误区：基必须正交或单位长度。 纠正：正交基只是方便，不是定义要求。$\{(1,1),(1,-1)\}$ 是 ${\mathbb{R}}^2$ 的合法基。

2. 误区：维数就是「向量的个数」。 纠正：维数是基的大小，不是任意向量组的元素个数。${\mathbb{R}}^3$ 中 100 个向量可能只张成 2 维。

3. 误区：坐标就是向量本身。 纠正：坐标是相对于某组基的表示；换基后坐标变，向量不变。

4. 误区：无限维空间不存在。 纠正：多项式全体、连续函数空间都是无限维的；本课程主要讨论有限维。实数集 $\mathbb{R}$ 作为 $\mathbb{Q}$ 上的向量空间也是无限维的，它的一组基叫 Hamel 基。

7. 概念网络

• 前置：2.3 线性无关 —— 基要求无冗余。
• 前置：2.2 张成 —— 基要求能张成。
• 后续：2.5 坐标与基变换 —— 换基怎么算。
• 后续：2.6 秩 —— 子空间的维数。
• 后续：6.3 对角化 —— 找一组让矩阵变简单的基。
• 关联：9.3 PCA —— 用数据的主方向作基。

8. 通往大模型：$d_{model}$ 到底是什么维度

GPT 类模型的隐藏维度 $D=4096$，意味着每个 token 的隐藏状态是 ${\mathbb{R}}^{4096}$ 中的一个向量。

但「模型的有效维度」通常远小于 $D$：

• 激活矩阵 $H\in {\mathbb{R}}^{T\times D}$ 的秩至多 $\min (T,D)$，实际谱往往快速衰减；
• 权重矩阵的有效秩（保留 90% 能量所需的奇异值个数）可能只有几十到几百；
• 这解释了为什么 LoRA 用 $r=8$ 或 $16$ 就能适配许多任务。

可检验结论：对一批激活做 SVD，若前 $k$ 个奇异值解释了 95% 的能量，则可以说「这批表示的有效维数约为 $k$」。注意：有效维数是数据/层的属性，不是模型的固定超参。

如果这一步算错，用户会看到什么：把「有效维数」当成一个固定的超参去用，最容易出问题的是 LoRA 的 $r$ 和 KV Cache 的压缩率。$r$ 取得比真实有效维数小，微调后的模型在新任务上「学个七成」——格式会了、内容还是旧习惯；压缩率取得太大，长对话到第 30 轮开始忘记前面说过什么，或者把两个不同用户的上下文混在一起。这些现象都和「你把几个方向压成了一个」对应，与模型大小无关。

9. 练习

1. 概念：为什么基必须同时满足「无关」和「张成」？各举一个只满足其一的例子。
2. 计算：$\mathcal{B}=\{(2,1),(1,3)\}$，求 $\mathbf{v}=(5,5)$ 在 $\mathcal{B}$ 下的坐标。
3. 计算：求 $A=\left[\begin{array}{ccc}1& 2& 3\\ 0& 1& 1\end{array}\right]$ 的零空间的一组基和维数。
4. 证明：${\mathbb{R}}^3$ 中任意 4 个向量必线性相关（用维数说明）。
5. 开放：如果模型的隐藏维度是 4096，但有效维度只有 50，这对推理/存储意味着什么机会和风险？

10. 一页速记

• 基 = 线性无关 + 张成；维数 = 基的大小。
• 物理意义 / 现实对应：8 个传感器只有 3 个旋钮；维数是「真正能独立调的旋钮个数」，与你在面板上看到几个推子无关。
• 同一空间所有基大小相同；维数是内在属性。
• 坐标 $[\mathbf{v}{]}_{\mathcal{B}}=P^{-1}\mathbf{v}$，依赖基的选择。
• 零空间维数 = 未知数个数 − 秩。
• 有效维度（谱衰减）可能远小于名义维度。

11. 参考文献与致谢

这一页的知识不是凭空来的。下面列出本页直接借用的原始工作与权威整理；正文中的人名、定理名已链接到对应条目。链接优先指向 DOI、arXiv 或可长期访问的原文存档。

• 施泰尼茨（Ernst Steinitz, 1913）：Bedingt konvergente Reihen und konvexe Systeme。交换引理给出「无关组不大于张成组」，两边都是基时只能相等——本页 4.1「所有基等势」的证明骨架就是它。J. Reine Angew. Math. 143 (1913), 128–176
• 哈梅尔（Georg Hamel, 1905）：Eine Basis aller Zahlen und die unstetigen Lösungen der Funktionalgleichung: f(x+y)=f(x)+f(y)。用良序证明实数作为 $\mathbb{Q}$ 上的向量空间存在基（Hamel 基），把「基」从有限维推到无限维；本页第 6 节第 4 条说的无限维空间由此有了具体例子。Math. Ann. 60 (1905), 459–462

下一篇 → 2.5 坐标与基变换

源文件：02-向量空间/04-基与维数.md