结果先摆出来
∂zk∂J=p^k−yk 预测概率减去真实标签。
这个形式和逻辑回归的 f−y 一模一样。不是巧合——两类时 softmax 退化成 sigmoid,梯度自然也退化成同一个。
推导
损失对某个 logit 求导。先看 softmax 自己对 logit 的导数:
∂zj∂p^k=p^k(δkj−p^j) 其中 δkj 在 k=j 时等于 1,否则等于 0。
分两种情况。
k=j 时(分子和分母都在变):
∂zk∂∑eziezk=(∑ezi)2ezk∑ezi−ezkezk=p^k−p^k2=p^k(1−p^k) k=j 时(分子是常数,只有分母变):
∂zj∂∑eziezk=−(∑ezi)2ezkezj=−p^kp^j 两种情况合起来就是上面那个式子。
对损失求导:
J=−k∑yklogp^k ∂zj∂J=−k∑p^kyk⋅∂zj∂p^k=−k∑p^kyk⋅p^k(δkj−p^j) 那个 p^k 上下约掉了:
=−k∑yk(δkj−p^j)=−yj+p^jk∑yk 而 ∑kyk=1(one-hot 只有一个 1),所以:
∂zj∂J=p^j−yj p^kyk 里的 p^k 和 softmax 导数里的 p^k 正好约掉。
这就是为什么交叉熵要配 softmax:两者难看的因子互相抵消,只剩 p^−y 这个干净的东西。
换成平方误差配 softmax 就约不掉,梯度会拖着一堆 p^(1−p^) 的尾巴。
传回参数
z=W⊤x+b,所以:
∂W∂J=m1X⊤(P−Y),∂b∂J=m1i=1∑m(pi−yi) P 是 m×K 的矩阵(每行一个样本的预测概率),Y 也是 m×K(每行一个 one-hot)。
手算一遍
还是样本 1:z=[3.0, −0.3, 0.1],预测 p^=[0.916, 0.034, 0.050]。
真实是 0(y=[1,0,0]):
∂z∂J=p^−y=[0.916−1, 0.034−0, 0.050−0]=[−0.084, 0.034, 0.050]
读一下这三个数:
注意三个数加起来等于 0。这不是偶然——因为 ∑p^k=1 且 ∑yk=1,两者的差自然求和为 0。它保证了更新之后三类的关系仍然自洽。
实现
def softmax(z): z = z - z.max(axis=1, keepdims=True) # 数值稳定,下一课讲 e = np.exp(z) return e / e.sum(axis=1, keepdims=True) def compute_gradient(X, Y, W, b): m = X.shape[0] Z = X @ W + b P = softmax(Z) dZ = (P - Y) / m # 就这一步是新的 dW = X.T @ dZ db = dZ.sum(axis=0) return dW, db
整个梯度计算里,只有 P - Y 这一行是"新东西"。剩下的全是矩阵乘法。
与二分类对照
| 逻辑回归 | softmax 回归 |
|---|
输出 | f=g(z) | p^=softmax(z) |
损失 | −logf(真实类) | −logp^真实类 |
对 logit 的梯度 | f−y | p^k−yk |
训练循环 | 一样 | 一样 |
同一套东西,只是输出从一个数变成了一个向量。