一个会炸的写法
把公式直接翻译成代码:
def softmax_naive(z): e = np.exp(z) return e / e.sum()
输入 z=[1000, 1001, 1002],实际跑出来是:
| 结果 |
|---|
ez | [inf, inf, inf]
|
softmax | [nan, nan, nan]
|
e1000 约等于 10434,远超 float64 的上限(约 1.8×10308)。三个都变成无穷大,无穷大除以无穷大就是 nan。
反过来也会炸
输入 z=[−1000, −1001, −1002]:
| 结果 |
|---|
ez | [0.0, 0.0, 0.0]
|
softmax | [nan, nan, nan]
|
这次是下溢——e−1000 约等于 10−434,低于 float64 能表示的最小正数,全部变成 0。然后 0 除以 0 还是 nan。
上溢(变无穷大)和下溢(变 0)都会让最后那步除法得到 nan。
而 nan 会污染之后所有的计算——损失是 nan,梯度是 nan,参数变成 nan,训练直接废掉。
这不是理论问题,是每个实现 softmax 的人都会撞上的第一堵墙。
修法:先减去最大值
def softmax(z): z = z - z.max(axis=1, keepdims=True) # 就加这一行 e = np.exp(z) return e / e.sum(axis=1, keepdims=True)
同一个 z=[1000, 1001, 1002],减去最大值 1002 之后变成 [−2, −1, 0]:
| 结果 |
|---|
ez−max | [0.135, 0.368, 1.000]
|
softmax | [0.090, 0.245, 0.665]
|
正常了。
为什么可以随便减
softmax 有平移不变性:
∑jezj−cezk−c=e−c∑jezje−cezk=∑jezjezk 分子分母同时乘了 e−c,约掉了。减任何常数结果都不变。
减完之后:
既不会上溢(最大值不超过 1),也不会下溢到全 0(至少有一个是 1)。
除以总和时分母至少是 1,绝不会是 0。两个坑一次填平。
下溢也验证一下
z=[−1000, −1001, −1002],减最大值 −1000:
z′=[0, −1, −2]⟹ez′=[1, 0.368, 0.135] softmax 得到 [0.665, 0.245, 0.090]。和直接算(如果能算的话)结果完全一致,只是这次没有溢出。
交叉熵也要一起处理
只有 softmax 稳定还不够。算损失时如果先算出 p^ 再取对数,p^ 很小时 −logp^ 也可能不准。
实际框架用的是把两步合成一个的写法(log-sum-exp):
−logp^真=−(z真−logj∑ezj) 这样对数直接作用在 logit 上,不需要先算出那个可能非常小的概率。
PyTorch 的 CrossEntropyLoss、TensorFlow 的 CategoricalCrossentropy 内部都已经做了这些处理,而且把 softmax 和交叉熵合成了一步。
自己写的时候必须记住减最大值;用框架时它会替你记住。
一条通用经验
凡是涉及 ex 或者 logx 的计算,都要问一句:极端输入会怎样?
操作 | 危险输入 | 症状 |
|---|
ex | x 很大 | 上溢成无穷大 |
ex | x 很负 | 下溢成 0 |
logx | x 接近 0 | 变成负无穷 |
log(1−x) | x 接近 1 | 变成负无穷 |
x/y | y 接近 0 | 变成无穷大 |
这些问题在训练正常时往往不出现,一旦模型发散就会全部冒出来。先处理数值,再调模型——否则你会对着 nan 调半天超参数。
下一课
softmax 还是 one-vs-rest