梯度

结果先摆出来

∂J∂zk=p^k−yk\frac{\partial J}{\partial z_k} = \hat{p}_k - y_k

预测概率减去真实标签。

这个形式和逻辑回归的 f−yf - y 一模一样。不是巧合——两类时 softmax 退化成 sigmoid,梯度自然也退化成同一个。

推导

损失对某个 logit 求导。先看 softmax 自己对 logit 的导数:

∂p^k∂zj=p^k(δkj−p^j)\frac{\partial \hat{p}_k}{\partial z_j} = \hat{p}_k\left(\delta_{kj} - \hat{p}_j\right)

其中 δkj\delta_{kj} 在 k=jk=j 时等于 1,否则等于 0。

分两种情况。

k=jk = j 时(分子和分母都在变):

∂∂zkezk∑ezi=ezk∑ezi−ezkezk(∑ezi)2=p^k−p^k2=p^k(1−p^k)\frac{\partial}{\partial z_k}\frac{e^{z_k}}{\sum e^{z_i}} = \frac{e^{z_k}\sum e^{z_i} - e^{z_k}e^{z_k}}{(\sum e^{z_i})^2} = \hat{p}_k - \hat{p}_k^2 = \hat{p}_k(1-\hat{p}_k)

k≠jk \neq j 时(分子是常数,只有分母变):

∂∂zjezk∑ezi=−ezkezj(∑ezi)2=−p^kp^j\frac{\partial}{\partial z_j}\frac{e^{z_k}}{\sum e^{z_i}} = -\frac{e^{z_k}e^{z_j}}{(\sum e^{z_i})^2} = -\hat{p}_k\hat{p}_j

两种情况合起来就是上面那个式子。

对损失求导:

J=−∑kyklog⁡p^kJ = -\sum_k y_k \log \hat{p}_k
∂J∂zj=−∑kykp^k⋅∂p^k∂zj=−∑kykp^k⋅p^k(δkj−p^j)\frac{\partial J}{\partial z_j} = -\sum_k \frac{y_k}{\hat{p}_k}\cdot\frac{\partial \hat{p}_k}{\partial z_j} = -\sum_k \frac{y_k}{\hat{p}_k}\cdot \hat{p}_k\left(\delta_{kj}-\hat{p}_j\right)

那个 p^k\hat{p}_k 上下约掉了:

=−∑kyk(δkj−p^j)=−yj+p^j∑kyk= -\sum_k y_k\left(\delta_{kj}-\hat{p}_j\right) = -y_j + \hat{p}_j\sum_k y_k

而 ∑kyk=1\sum_k y_k = 1(one-hot 只有一个 1),所以:

∂J∂zj=p^j−yj\boxed{\frac{\partial J}{\partial z_j} = \hat{p}_j - y_j}

ykp^k\dfrac{y_k}{\hat{p}_k} 里的 p^k\hat{p}_k 和 softmax 导数里的 p^k\hat{p}_k 正好约掉。

这就是为什么交叉熵要配 softmax:两者难看的因子互相抵消,只剩 p^−y\hat{p} - y 这个干净的东西。

换成平方误差配 softmax 就约不掉,梯度会拖着一堆 p^(1−p^)\hat{p}(1-\hat{p}) 的尾巴。

传回参数

z=W⊤x+b\mathbf{z} = W^{\top}\mathbf{x} + \mathbf{b},所以:

∂J∂W=1mX⊤(P−Y),∂J∂b=1m∑i=1m(pi−yi)\frac{\partial J}{\partial W} = \frac{1}{m}X^{\top}\left(P - Y\right), \qquad \frac{\partial J}{\partial \mathbf{b}} = \frac{1}{m}\sum_{i=1}^{m}\left(\mathbf{p}_i - \mathbf{y}_i\right)

PP 是 m×Km \times K 的矩阵(每行一个样本的预测概率),YY 也是 m×Km \times K(每行一个 one-hot)。

手算一遍

还是样本 1:z=[3.0, −0.3, 0.1]\mathbf{z} = [3.0,\ -0.3,\ 0.1],预测 p^=[0.916, 0.034, 0.050]\hat{\mathbf{p}} = [0.916,\ 0.034,\ 0.050]。

真实是 0(y=[1,0,0]\mathbf{y} = [1,0,0]):

∂J∂z=p^−y=[0.916−1, 0.034−0, 0.050−0]=[−0.084, 0.034, 0.050]\frac{\partial J}{\partial \mathbf{z}} = \hat{\mathbf{p}} - \mathbf{y} = [0.916-1,\ 0.034-0,\ 0.050-0] = [\mathbf{-0.084},\ \mathbf{0.034},\ \mathbf{0.050}]

读一下这三个数:

  • 数字 0:负的 → 更新会增大它的 logit(判对了但还能更自信,再推一把)

  • 数字 1 和 7:正的 → 更新会减小它们的 logit

注意三个数加起来等于 0。这不是偶然——因为 ∑p^k=1\sum \hat{p}_k = 1 且 ∑yk=1\sum y_k = 1,两者的差自然求和为 0。它保证了更新之后三类的关系仍然自洽。

实现

def softmax(z): z = z - z.max(axis=1, keepdims=True) # 数值稳定,下一课讲 e = np.exp(z) return e / e.sum(axis=1, keepdims=True) def compute_gradient(X, Y, W, b): m = X.shape[0] Z = X @ W + b P = softmax(Z) dZ = (P - Y) / m # 就这一步是新的 dW = X.T @ dZ db = dZ.sum(axis=0) return dW, db

整个梯度计算里,只有 P - Y 这一行是"新东西"。剩下的全是矩阵乘法。

与二分类对照

逻辑回归

softmax 回归

输出

f=g(z)f = g(z)

p^=softmax(z)\hat{\mathbf{p}} = \text{softmax}(\mathbf{z})

损失

−log⁡f-\log f(真实类)

−log⁡p^真实类-\log \hat{p}_{\text{真实类}}

对 logit 的梯度

f−yf - y

p^k−yk\hat{p}_k - y_k

训练循环

一样

一样

同一套东西,只是输出从一个数变成了一个向量。