M08 习题答案

对应 m08-习题。计算题的关键步骤都写出来了；若与你的结果差一个转置，先回到 8.5 节核对布局约定。

A 概念题

1. 不一定。反例：$f(x,y)=\frac{xy}{x^2+y^2}$（原点补充定义为 0）。在原点，两个偏导都是 0，但沿 $y=x$ 趋近时 $f\to 1/2$，函数不连续，因此不可微。梯度的形状与自变量一致：$\mathbf{x}\in {\mathbb{R}}^n$ 时 $\nabla f\in {\mathbb{R}}^n$；$W\in {\mathbb{R}}^{m\times n}$ 时 ${\nabla }_{W}f\in {\mathbb{R}}^{m\times n}$。

2. 方向导数衡量「每单位距离」的变化率。若 $\Vert \mathbf{u}\Vert =2$，参数 $t$ 走 1 个单位对应实际距离 2，差商会被放大 2 倍。证明：$D_{\mathbf{u}}f=\nabla f^{\top }\mathbf{u}=\Vert \nabla f\Vert \Vert \mathbf{u}\Vert \cos \theta =\Vert \nabla f\Vert \cos \theta \le \Vert \nabla f\Vert$，等号在 $\mathbf{u}=\nabla f/\Vert \nabla f\Vert$ 时成立。

3. $J_F$ 是 $[2,4]$。链式法则 $[p,m]\times [m,n]=[p,n]$，中间的 $m$ 是「中间变量的维数」，在矩阵乘法中被求和消掉。反向传播只需 VJP：给定上游向量 $\mathbf{v}$，算 ${\mathbf{v}}^{\top }J$，成本约一次矩阵乘法；完整 Jacobian 可能是 $[B{d}_{\text{out}},B{d}_{\text{in}}]$，例如 $B=32$、$d=4096$ 时约 $1.7\times 10^{10}$ 个元素，存不下。

4. 当二阶偏导连续时，${\partial }^{2}f/\partial x_i\partial x_j={\partial }^{2}f/\partial x_j\partial x_i$（Clairaut/Schwarz），所以 $H$ 对称。正定时，沿任意方向 $\Delta$ 的二阶 Taylor 项 $\frac{1}{2}{\Delta }^{\top }H\Delta >0$，驻点附近函数值都变大，故为严格局部极小。半正定时，某个零特征值方向上的二阶项为 0，需要看三阶、四阶项才能判断（如 $x^4$ 是极小，$x^3$ 不是）。

5. 一阶：$f(\mathbf{y})\ge f(\mathbf{x})+\nabla f(\mathbf{x}{)}^{\top }(\mathbf{y}-\mathbf{x})$；二阶：$H_f(\mathbf{x})⪰0$ 处处成立。局部最优 = 全局最优的证明用反证：若存在更低的 $\mathbf{y}$，则 ${\mathbf{x}}^{\star }$ 与 $\mathbf{y}$ 连线上的点（足够靠近 ${\mathbf{x}}^{\star }$）函数值都低于 $f({\mathbf{x}}^{\star })$，与局部最优矛盾。LLM 整体非凸，但最后一层分类头（softmax + 交叉熵关于 logits）是凸的，KL 正则关于策略也是凸的；这些子问题仍可可靠求解，并可作为诊断与基线。

B 计算题

1. (a) $\nabla f=(2x,6y)$，在 $(1,1)$ 处为 $(2,6{)}^{\top }$。 (b) $D_{\mathbf{u}}f=(2,6)\cdot (3/5,4/5)=6/5+24/5=30/5=6$。 (c) 最陡方向 $(2,6)/\sqrt{40}=(1,3)/\sqrt{10}$，变化率 $\sqrt{40}=2\sqrt{10}\approx 6.325$。

2. $\nabla f=(2x,6y)$。

   • ${\mathbf{x}}_1=(1,1)-0.1(2,6)=(0.8,0.4)$，$f=0.64+3(0.16)=1.12$。
   • ${\mathbf{x}}_2=(0.8,0.4)-0.1(1.6,2.4)=(0.64,0.16)$，$f=0.4096+3(0.0256)=0.4864$。
   • ${\lambda }_{\max }=6$，上界 $2/6\approx 0.333>0.1$，满足。

3. $J_F=\left[\begin{array}{ccc}2xy& x^2& 0\\ 1& z& y\end{array}\right]$，在 $(1,2,3)$ 处为 $\left[\begin{array}{ccc}4& 1& 0\\ 1& 3& 2\end{array}\right]$，形状 $[2,3]$。$F(1,2,3)=(2,7{)}^{\top }$，$\Delta =(0.1,-0.1,0.2{)}^{\top }$：

   $$J\Delta =\left[\begin{array}{c}0.4-0.1\\ 0.1-0.3+0.4\end{array}\right]=\left[\begin{array}{c}0.3\\ 0.2\end{array}\right]$$

   所以 $F\approx (2.3,7.2{)}^{\top }$。精确值 $F(1.1,1.9,3.2)=(1.21\times 1.9,1.9\times 3.2+1.1)=(2.299,7.18)$，误差很小。

4. $H=\left[\begin{array}{cc}4& 2\\ 2& 2\end{array}\right]$。迹 $6$，行列式 $8-4=4$，特征值满足 ${\lambda }^2-6\lambda +4=0$，即 $\lambda =3\pm \sqrt{5}\approx 5.236,0.764$。两个都为正，$H$ 正定，原点是严格局部极小（且 $f$ 为凸二次型，也是全局极小）。

5. $\nabla f=(2x+y,4y+x)$，在 $(1,1)$ 处为 $(3,5{)}^{\top }$；$H=\left[\begin{array}{cc}2& 1\\ 1& 4\end{array}\right]$，$\det H=7$。解

   $$\left[\begin{array}{cc}2& 1\\ 1& 4\end{array}\right]\mathbf{d}=\left[\begin{array}{c}3\\ 5\end{array}\right]⟹\mathbf{d}=\frac{1}{7}\left[\begin{array}{c}4\cdot 3-1\cdot 5\\ -1\cdot 3+2\cdot 5\end{array}\right]=\left[\begin{array}{c}1\\ 1\end{array}\right]$$

   落点 $(1,1)-(1,1)=(0,0)$，正是全局极小。

6. $\nabla f=(2x,2y,2z)$，$\nabla g=(1,2,3)$。条件给出 $x=\lambda /2$，$y=\lambda$，$z=3\lambda /2$。代入约束：

   $$\frac{\lambda }{2}+2\lambda +\frac{9\lambda }{2}=7\lambda =14⟹\lambda =2$$

   所以 $(x,y,z)=(1,2,3)$，$f=1+4+9=14$。验证：$\nabla f=(2,4,6)=2(1,2,3)=\lambda \nabla g$。

C 大模型题

1. $\mathbf{z}=W\mathbf{x}=(-1,-1{)}^{\top }$，$\mathbf{\delta }=\mathbf{z}-\mathbf{y}=(-1,-2{)}^{\top }$，$L=\frac{1}{2}(1+4)=2.5$。

   $$\frac{\partial L}{\partial W}=\mathbf{\delta }{\mathbf{x}}^{\top }=\left[\begin{array}{c}-1\\ -2\end{array}\right]\left[\begin{array}{cc}1& -1\end{array}\right]=\left[\begin{array}{cc}-1& 1\\ -2& 2\end{array}\right][2,2]$$ $$\frac{\partial L}{\partial \mathbf{x}}=W^{\top }\mathbf{\delta }=\left[\begin{array}{cc}1& 0\\ 2& 1\end{array}\right]\left[\begin{array}{c}-1\\ -2\end{array}\right]=\left[\begin{array}{c}-1\\ -4\end{array}\right][2]$$

   形状都与变量一致。抽查：$W_{11}$ 增加 $0.01$，$z_1$ 增加 $0.01$，$L$ 增加 ${\delta }_1\times 0.01=-0.01$，与梯度 $-1$ 一致。

2. $Z\in {\mathbb{R}}^{8\times 2048}$，$\Delta \in {\mathbb{R}}^{8\times 2048}$，$\partial L/\partial W={\Delta }^{\top }X\in {\mathbb{R}}^{2048\times 512}$，$\partial L/\partial X=\Delta W\in {\mathbb{R}}^{8\times 512}$。Adam 除参数外还要存一阶矩 $m$ 与二阶矩 $v$，共 2 个与 $W$ 同形的张量（$2\times 2048\times 512=2,097,152$ 个数）；加上参数本身与梯度，显存约为参数的 4 倍。

3. 上界 $\eta <2/16=0.125$；条件数 $\kappa =16/0.04=400$；最优学习率 ${\eta }^{\star }=2/(16+0.04)\approx 0.1247$，慢方向每步乘 $(\kappa -1)/(\kappa +1)=399/401\approx 0.9950$。步数：

   $$\frac{\ln (10^{-3})}{\ln (0.9950)}\approx \frac{-6.908}{-0.00501}\approx 1382$$

   即约 1400 步才能把最慢方向的误差压到 $10^{-3}$——这就是病态条件的代价。

D 开放题

1. 场景：冻结预训练模型，只训练最后一层分类头（linear probing）。此时特征固定，交叉熵关于分类头权重是凸的，从不同初始化出发都能到同一个全局最优，结果可复现、可校准，适合评估表征质量和低资源基线。局限：它只优化「给定表征上的线性读出」，不能改善表征本身；端到端微调仍非凸，最终效果可能差很多。

2. 选 Adam 作为默认：显存 $O(P)$（参数 + 梯度 + 两个矩），每步 $O(P)$，工程成熟；代价是没有全局收敛保证，且对学习率、warmup、clip 敏感。完整牛顿法不可行：$P=10^{10}$ 时 Hessian 有 $10^{20}$ 个元素，解方程 $O(P^3)$。HVP + 共轭梯度只需 $O(P)$ 显存，每步多几次反向传播，适合小规模、最后一层或周期性校正；可把它作为 Adam 的「二阶补丁」，而不是全量替代。