1.2 加法、数乘与线性组合

本节位置：模块 1 · 向量与几何｜前置：1.1 ｜预计：35 分钟

一句话：线性组合就是「按配方把若干向量混在一起」；整个线性代数都在研究「哪些东西能被混出来」。

0. 场景引入

一个播客录音间，2 支麦克风，3 个人同时说话：主持人在中间，两位嘉宾分坐两侧。采样率 48 kHz，录 30 分钟。

每支麦克风录到的是三个声音的线性组合——每个人的声音到达两支麦的距离不同、衰减不同。数据量： $48000 \times 1800 = 8640$ 万个采样点，两轨 fp32 共 691 MB。

核心问题：两个方程、三个未知数，能不能把三个人的声音分开？数学上不能唯一确定——列空间最多 2 维，任意两组不同的人声只要投影结果相同，录出来就一模一样。

代价也很具体：分不干净就得重录，棚时 2 小时加两位嘉宾的档期，远贵于一次算法迭代。所以真正要决定的是：接受「分离出 2 路、第 3 路靠人耳补」，还是加第 3 支麦克风？押错的代价是听众听到串音——两位嘉宾同时说话时，声音像从同一个方向来。

读完本节，你应该能回答三个问题：

为什么「2 个观测、3 个未知数」一定分不干净？
负系数在物理上意味着什么，为什么它不可省？
张成空间什么时候等于整个空间？

1. 直觉

1.1 加法：首尾相接

两个箭头相加，把第二个箭头的起点移到第一个箭头的终点，再从原点连到终点（平行四边形法则）。

向量加法：把 v 的起点移到 u 的终点，从原点连到终点就得到 u+v

图：首尾相接。两条虚线补出平行四边形，另一条对角线也是 u+v。

代数上更简单：对应分量相加。

1.2 数乘：拉伸或翻转

$c v$ 把箭头沿原方向拉伸 $∣ c ∣$ 倍； $c < 0$ 时方向翻转； $c = 0$ 时得到零向量。

1.3 线性组合：配方

w = c_{1} v_{1} + c_{2} v_{2} + \dots + c_{k} v_{k}

💡 一句话直觉：线性组合 = 用一组「基向量」按系数配方，调出目标向量。

这个类比在哪里失效？配方里的系数可以是负数，甚至任意实数；「负的茶味」没有物理意义，但在数学上完全合法，它让「减法」成为可能。

1.4 它在现实世界里对应什么

混音台就是一排推子：每一轨乘一个增益，再加起来——这正是线性组合。推到 0 是去掉这一轨；推到负值是反相（相位差 180°），现场演出里把两支麦中的一支反相，能抵消掉舞台上的某个共鸣点。

量级：30 分钟两轨， $2 \times 8640$ 万次乘加，按 1 GFLOP/s 的 CPU 估算只要 0.17 秒。所以「混音」本身几乎不花时间，难的是求那几个系数。

这个类比在哪里失效？真实房间有混响：同一个声音以不同延迟到达麦克风，混合不再是逐采样点的常数系数，而是卷积（每个源乘一条冲激响应再相加）。只有在消声室或近场录音里，「常数系数的线性组合」才近似成立。

2. 定义

2.1 向量加法

对 $u, v \in R^{n}$ ：

(u + v)_{i} = u_{i} + v_{i}

几何上遵循平行四边形法则；物理上是力的合成。

2.2 数乘

对 $c \in R$ ：

(c v)_{i} = c v_{i}

几何上是沿 $v$ 方向的伸缩（含翻转）。

2.3 线性组合

给定向量 $v_{1}, \dots, v_{k} \in R^{n}$ 和标量 $c_{1}, \dots, c_{k}$ ，

w = c_{1} v_{1} + \dots + c_{k} v_{k}

称为它们的线性组合（linear combination）， $c_{i}$ 叫系数。

例：三种「基础味道」茶 $t = (1, 0, 0)$ 、奶 $m = (0, 1, 0)$ 、糖 $s = (0, 0, 1)$ ，一杯「三分茶、五分奶、两分糖」就是

0.3 t + 0.5 m + 0.2 s = (0.3, 0.5, 0.2)

系数就是配方比例。同一个式子换个场景就是混音台的推子位置。

2.4 张成

所有可能的线性组合组成的集合叫张成空间（span）：

span {v_{1}, \dots, v_{k}} = {i = 1 \sum k c_{i} v_{i} c_{i} \in R}

它总是一个子空间（对加法和数乘封闭，第 2.2 节）。

「张成」与线性组合的语言可以追溯到格拉斯曼的扩张论：他用线性组合来生成和研究几何对象，这正是「张成」的思想雏形。

2.5 仿射组合与凸组合（易混）

仿射组合：系数之和为 1， $\sum c_{i} = 1$ ；
凸组合：系数非负且和为 1， $c_{i} \geq 0, \sum c_{i} = 1$ 。

线性组合不要求系数和为 1。这个区别在几何上很关键：仿射组合描述「直线/平面」，凸组合描述「线段/凸包」。

3. 为什么这样定义

如果只允许「加法」不允许「数乘」，你只能得到整数倍的组合；如果允许数乘但不允许加法，你只能得到一条射线。

两者结合，才得到整个平面/空间。更重要的原因：

封闭性：线性组合的结果仍在同一个空间里，这让「子空间」成为可能；
可分解：任何向量都能写成基向量的组合，于是「研究向量」变成「研究系数」（第 2.4 节）；
可叠加：如果系统是线性的，多个输入的效果可以分别计算再相加——这就是叠加原理，也是 residual connection 的数学基础。

3.1 反事实：只允许非负系数

假设为了「物理上说得通」，把线性组合限制成凸组合（ $c_{i} \geq 0$ ， $\sum c_{i} = 1$ ）。取两轨录音

m_{1} = s + n, m_{2} = s + 0.5 n

其中 $s$ 是主持人， $n$ 是噪声。想消掉噪声，算 $m_{1} - 2 m_{2}$ ：

m_{1} - 2 m_{2} = (s + n) - 2 (s + 0.5 n) = - s

系数是 $(1, - 2)$ ：和为 $- 1$ ，还带负数。结果正好是主持人的反相，音量取反就得到干净人声。

如果只许非负系数，你永远做不出这个减法：最好的方案是单独用 $m_{1}$ ，噪声原封不动留下。荒谬之处一眼可见——录音师把推子往下一拉就能解决的事，被「系数必须非负」这条规矩彻底堵死；而反相抵消恰恰是实际录音里最常用的降噪手段。

4. 性质与推导

4.1 基本运算律

对任意 $u, v, w$ 和 $a, b \in R$ ：

性质	式子
交换律	$u + v = v + u$
结合律	$(u + v) + w = u + (v + w)$
零元	$v + 0 = v$
负元	$v + (- v) = 0$
数乘结合	$a (b v) = (ab) v$
分配律	$a (u + v) = a u + a v$
单位元	$1 v = v$

这八条就是「向量空间公理」的雏形（第 2.1 节）。现代教材通常直接把这八条作为向量空间的定义，例如阿克斯勒。

4.2 张成的三种典型情形（ $R^{2}$ ）

$span {(1, 0)}$ ： $x$ 轴，一条直线；
$span {(1, 0), (0, 1)}$ ：整个平面 $R^{2}$ ；
$span {(1, 1), (0, 0)}$ ：仍是一条直线（零向量不增加维度）。

判断技巧：张成的维数 = 这组向量中「真正独立」的向量个数，也就是秩（第 2.6 节）。

4.3 线性组合与矩阵乘法

把 $v_{1}, \dots, v_{k}$ 按列排成矩阵 $V = [v_{1} \dots v_{k}]$ ，则

c_{1} v_{1} + \dots + c_{k} v_{k} = V c

其中 $c = (c_{1}, \dots, c_{k})^{⊤}$ 。矩阵乘向量 = 列的线性组合。这是理解矩阵乘法最重要的一句话（第 3.2、3.3 节）。

5. 例子

5.1 手算：线性组合

$v_{1} = (1, 2)$ ， $v_{2} = (3, - 1)$ ，求 $2 v_{1} - 1 v_{2}$ ：

2 (1, 2) - 1 (3, - 1) = (2, 4) - (3, - 1) = (- 1, 5)

验证：也可以写成 $V c$ ，其中 $V = [12 3 - 1]$ ， $c = (2, - 1)^{⊤}$ ：

V c = [12 3 - 1] [2 - 1] = [2 - 3 4 + 1] = [- 1 5]

5.2 手算：张成判断

$v_{1} = (1, 2)$ ， $v_{2} = (2, 4)$ 。因为 $v_{2} = 2 v_{1}$ ，所有组合都落在同一条直线上：

c_{1} (1, 2) + c_{2} (2, 4) = (c_{1} + 2 c_{2}) (1, 2)

所以 $span {v_{1}, v_{2}}$ 是一维直线，不是整个平面。

5.3 场景：三轨混音与「调不出的那一路」

调音台三路输入是三个「基」：人声 $v_{1} = (1, 0, 0)$ 、吉他 $v_{2} = (0, 1, 0)$ 、鼓 $v_{3} = (0, 0, 1)$ 。任何一版混音都是

0.6 v_{1} + 0.3 v_{2} + 0.1 v_{3} = (0.6, 0.3, 0.1)

系数就是推子位置。反过来问：如果调音台只有两路（人声、吉他），能调出「只有鼓」的混音吗？不能——鼓不在人声与吉他张成的平面里。

同一个道理，显示器只用三种原色就能调出可见颜色，因为色域是三维的：任何颜色都是红、绿、蓝的线性组合，系数是亮度。（真实色觉是非线性的，这个类比在「颜色感知」层面失效；但在 RGB 编码层面成立。）

5.4 场景闭环：两轨录音里的三个人

输入：30 分钟、48 kHz、2 轨 fp32， $48000 \times 1800 \times 2 \times 4 B = 691 MB$ 。

计算：切成 1024 点一帧、hop 256，共 $48000 \times 1800/256 = 3.38 \times 1 0^{5}$ 帧，每帧 513 个频点。在每个频点上，两轨是三个源的 $2 \times 3$ 混合——欠定，解空间是一条直线。工程上再补一条约束：该频点上最多两个源有能量（稀疏假设），剩下的置零，直线就被切成一个点。

输出：3 条单轨，交给混音师。

成本： $3.38 \times 1 0^{5} \times 513 \approx 1.7 \times 1 0^{8}$ 个「频点 × 帧」单元，每个解一次小方程按 100 FLOP 估算，约 $1.7 \times 1 0^{10}$ FLOP；按 10 GFLOP/s 估算约 1.7 s。更贵的是内存：把 691 MB 音频全做成复数谱要 $513 \times 3.38 \times 1 0^{5} \times 2 \times 8 B \approx 2.8 GB$ ，必须流式分块。

失败条件：

解不唯一：直接取最小范数解，三个人的声音都「在」，但每个都很轻，听起来像隔着一层墙。兜底：加稀疏或非负约束，或者加第 3 支麦。
符号错：反相系数写成正的，人声被抵消、噪声被保留，输出只剩嘶声。兜底：先用主持人独白的 5 秒校准正负号。
混响：把常数系数模型套进有混响的房间，分离出的是「回声版」人声。兜底：先做去混响，或只用近场麦克风。

6. 常见误区

误区： $span {v_{1}, v_{2}}$ 就是这两个向量的集合。纠正：span 包含所有系数组合，通常是一个无限大的直线/平面/空间，远大于两个向量本身。
误区：embedding 满足「国王 − 男人 + 女人 = 女王」，所以向量加法就是语义运算。纠正：这是近似成立的几何现象，不是严格代数规律；不同模型、不同词差异很大，不能当作可靠推理规则。
误区：仿射组合和线性组合一样。纠正：线性组合允许系数和任意；仿射组合要求系数和为 1。 $2 x$ 是线性组合，但不是仿射组合。
误区：负系数没有意义，所以不算线性组合。纠正：线性组合允许任意实数系数；负系数对应反向拉伸，是「减法」的来源。

7. 概念网络

前置：1.1 向量 —— 向量是什么。
后续：1.3 点积 —— 用系数衡量方向一致程度。
后续：2.2 子空间与张成 —— 把 span 抽象成子空间。
后续：2.3 线性无关 —— 什么时候组合有冗余。
后续：3.2 矩阵乘向量 —— 矩阵乘法的列视角。

8. 通往大模型：残差流就是一条「向量加法高速公路」

Transformer 里每个子层的输出都加回主幹：

h \leftarrow h + Attention (h), h \leftarrow h + FFN (h)

$h \in R^{D}$ 是当前 token 的隐藏状态；
加法是逐分量加法，形状不变；
这让梯度可以沿「加法高速公路」直接回传，缓解深层网络的训练困难。

这个结构由何恺明等在 ResNet 中提出，用来训练上百层的卷积网络；Transformer 继承了同一条加法路径。

可检验结论：残差连接不改变形状，也不引入新参数。它的作用是把「新信息」以叠加的方式写进同一个向量，而不是替换。

另一个相关概念是特征叠加（superposition）：模型可能用 $D$ 维空间表示远多于 $D$ 个特征，通过近似正交的方向「挤」在一起。这解释了为什么单个神经元/维度往往不可解释，而方向可以（第 9.3、12.2 节）。

偏置项： $y = W x + b$ 中的 $+ b$ 是仿射变换，不是线性变换；但它只是把整个空间平移，不改变「线性」结构，所以通常被归入「线性层」的俗称。

如果这一步算错，用户会看到什么：残差加法前的缩放写错（比如子层输出没按层缩放就加回主线），隐藏状态的范数逐层累积，模型「越写越激动」——重复、感叹号变多，最后崩成乱码。若把残差误写成乘法，深层梯度消失，表现为 loss 几乎不降、输出永远是最高频的那几个词。这两种现象在几十步生成内就能用肉眼分辨。

9. 练习

概念：用「配方」类比解释 $span {(1, 0), (0, 1)} = R^{2}$ ，并说明为什么 $span {(1, 0)}$ 不是 $R^{2}$ 。
计算： $v_{1} = (2, - 1, 3)$ ， $v_{2} = (0, 4, 1)$ ，求 $3 v_{1} - 2 v_{2}$ 。
计算：判断 $(3, 6)$ 是否能写成 $(1, 2)$ 与 $(2, 5)$ 的线性组合；若能，求系数。
场景：解释为什么 residual connection 用加法而不是乘法；如果改成乘法会发生什么？
开放：king - man + woman ≈ queen 这类现象，说明了 embedding 空间的什么性质？又为什么不能过度依赖？

参考答案

任意 $(x, y)$ 可写成 $x (1, 0) + y (0, 1)$ ；只有 $(1, 0)$ 时，第二个分量恒为 0，只能得到 $x$ 轴。
$3 (2, - 1, 3) - 2 (0, 4, 1) = (6, - 3, 9) - (0, 8, 2) = (6, - 11, 7)$ 。
设 $a (1, 2) + b (2, 5) = (3, 6)$ ，解 $a + 2 b = 3, 2 a + 5 b = 6$ ，得 $a = 3, b = 0$ ，可以。
加法保持形状、保持恒等路径、梯度可直传；乘法会改变尺度、破坏恒等映射，深层连乘容易梯度消失/爆炸。
说明语义关系近似对应向量差方向；但它是统计近似，受训练数据、词频、多义性影响，不能当作逻辑推理。

10. 一页速记

线性组合 $= \sum c_{i} v_{i}$ ，系数任意实数。
span = 所有线性组合 = 一个子空间。
$V c$ 就是「用 $V$ 的列做线性组合」。
仿射组合要求系数和为 1；凸组合还要求非负。
残差连接 = 向量加法，形状不变，梯度直通。
物理意义 / 现实对应：混音台推子——增益相加、反相抵消；线性组合的系数就是推子位置。

11. 参考文献与致谢

这一页的知识不是凭空来的。下面列出本页直接借用的原始工作与权威整理；正文中的人名、定理名已链接到对应条目。链接优先指向 DOI、arXiv 或可长期访问的原文存档。

格拉斯曼（Hermann Grassmann, 1844）：Extension Theory（德文原著 Die lineare Ausdehnungslehre，1844）。用线性组合生成几何对象的思想雏形，本页的 span 与「配方」类比可追溯到此。AMS 英译本（2000）
阿克斯勒（Sheldon Axler, 2015）：Linear Algebra Done Right。把向量空间公理、张成与线性组合整理成现代教材表述，本页 §2、§4 的定义采用这一框架。Springer 第 3 版
何恺明等（2016）：Deep Residual Learning for Image Recognition。提出残差连接 $h \mapsto h + F (h)$ ，本页 §8 的「加法高速公路」即此结构。arXiv:1512.03385

下一篇 → 1.3 点积：相似度的来源

返回 M01 导览去练习场

随堂测 · 3 题

数值难度 2第 1 / 3 题

v_{1} = (2, - 1, 3)

，

v_{2} = (0, 4, 1)

，则

3 v_{1} - 2 v_{2}

的第二个分量是多少？

没思路？看原文

源文件：01-向量与几何/02-加法数乘与线性组合.md