附录源文件：exercises/m08-习题.md

M08 习题：微积分与优化

对应模块：M08 微积分与优化先独立完成，再对答案。计算题请写出中间步骤，不要只写结果。

A 概念题

偏导数存在是否意味着函数可微？用反例说明。梯度 $\nabla f$ 的形状由什么决定？
方向导数为什么要求方向向量是单位向量？用柯西–施瓦茨不等式证明「梯度方向是上升最快的方向」。
设 $F : R^{4} \to R^{2}$ 。 $J_{F}$ 是什么形状？链式法则 $J_{G \circ F} = J_{G} J_{F}$ 中，中间维数为什么会被消掉？反向传播为什么不显式构造 $J_{F}$ ？
Hessian 在什么条件下对称？「 $H$ 正定 ⇒ 严格局部极小」的直觉是什么？为什么半正定时判据会失效？
凸性的一阶判据与二阶判据分别是什么？为什么凸函数上「局部最优 = 全局最优」？大模型的损失通常不凸，这个事实还有用吗？

$f (x, y) = x^{2} + 3 y^{2}$ ， $x_{0} = (1, 1)$ 。 (a) 求 $\nabla f (x_{0})$ ； (b) 求沿 $u = (3/5, 4/5)^{⊤}$ 的方向导数； (c) 求最陡上升方向及其变化率。
对 $f (x, y) = x^{2} + 3 y^{2}$ ，从 $(1, 1)$ 出发，取 $η = 0.1$ 做两步梯度下降。写出每步的点与函数值，并验证 $η < 2/ λ_{m a x}$ 。
$F (x, y, z) = (x^{2} y, y z + x)$ ，在 $(1, 2, 3)$ 处求 $J_{F}$ ，并用它估计 $F (1.1, 1.9, 3.2)$ 。
$f (x, y) = 2 x^{2} + 2 x y + y^{2}$ ，求 Hessian、特征值，判断原点是极小、极大还是鞍点。
$f (x, y) = x^{2} + 2 y^{2} + x y$ ，从 $(1, 1)$ 出发做一步牛顿法。写出梯度、Hessian、线性方程的解与落点。
用拉格朗日乘子求 $min x^{2} + y^{2} + z^{2}$ s.t. $x + 2 y + 3 z = 14$ ，写出最优点、乘子与最优值。

线性层 $z = W x + b$ ， $W = [1021]$ ， $x = (1, - 1)^{⊤}$ ， $b = 0$ ，目标 $y = (0, 1)^{⊤}$ ，损失 $L = \frac{1}{2} ∥ z - y ∥^{2}$ 。求 $z$ 、 $\partial L / \partial z$ 、 $\partial L / \partial W$ 、 $\partial L / \partial x$ ，并验证每个梯度的形状。
一个 batch 的线性层： $X \in R^{8 \times 512}$ ， $W \in R^{2048 \times 512}$ ， $Z = X W^{⊤} + b$ 。写出 $Z$ 、上游 $Δ = \partial L / \partial Z$ 、 $\partial L / \partial W$ 、 $\partial L / \partial X$ 的形状。若用 Adam，除参数外还要为 $W$ 存几个同形状张量？
某层损失曲面的 Hessian 最大特征值为 $16$ ，最小特征值为 $0.04$ 。学习率的安全上界是多少？条件数是多少？在最优学习率下，慢方向每步收缩多少？把误差降到 $1 0^{- 3}$ 约需多少步？

大模型损失非凸，为什么「最后一层是凸的」仍然有实用价值？举一个具体场景，并说明它的局限。
如果让你在「完整牛顿法」「Adam」「Hessian–向量乘积 + 共轭梯度」中为 100 亿参数模型选优化方案，你会怎么选？从显存、每步成本、收敛保证三方面论证。