数值稳定

一个会炸的写法

把公式直接翻译成代码:

def softmax_naive(z): e = np.exp(z) return e / e.sum()

输入 z=[1000, 1001, 1002]\mathbf{z} = [1000,\ 1001,\ 1002],实际跑出来是:

结果

eze^{\mathbf{z}}

[inf, inf, inf]

softmax

[nan, nan, nan]

e1000e^{1000} 约等于 1043410^{434},远超 float64 的上限(约 1.8×103081.8 \times 10^{308})。三个都变成无穷大,无穷大除以无穷大就是 nan。

反过来也会炸

输入 z=[−1000, −1001, −1002]\mathbf{z} = [-1000,\ -1001,\ -1002]:

结果

eze^{\mathbf{z}}

[0.0, 0.0, 0.0]

softmax

[nan, nan, nan]

这次是下溢——e−1000e^{-1000} 约等于 10−43410^{-434},低于 float64 能表示的最小正数,全部变成 0。然后 0 除以 0 还是 nan。

上溢(变无穷大)和下溢(变 0)都会让最后那步除法得到 nan。

而 nan 会污染之后所有的计算——损失是 nan,梯度是 nan,参数变成 nan,训练直接废掉。

这不是理论问题,是每个实现 softmax 的人都会撞上的第一堵墙。

修法:先减去最大值

def softmax(z): z = z - z.max(axis=1, keepdims=True) # 就加这一行 e = np.exp(z) return e / e.sum(axis=1, keepdims=True)

同一个 z=[1000, 1001, 1002]\mathbf{z} = [1000,\ 1001,\ 1002],减去最大值 1002 之后变成 [−2, −1, 0][-2,\ -1,\ 0]:

结果

ez−max⁡e^{\mathbf{z}-\max}

[0.135, 0.368, 1.000]

softmax

[0.090, 0.245, 0.665]

正常了。

为什么可以随便减

softmax 有平移不变性:

ezk−c∑jezj−c=e−cezke−c∑jezj=ezk∑jezj\frac{e^{z_k - c}}{\sum_j e^{z_j - c}} = \frac{e^{-c}e^{z_k}}{e^{-c}\sum_j e^{z_j}} = \frac{e^{z_k}}{\sum_j e^{z_j}}

分子分母同时乘了 e−ce^{-c},约掉了。减任何常数结果都不变。

减完之后:

  • 最大的那个变成 e0=1e^0 = 1

  • 其余的都在 (0,1](0, 1] 之间

既不会上溢(最大值不超过 1),也不会下溢到全 0(至少有一个是 1)。

除以总和时分母至少是 1,绝不会是 0。两个坑一次填平。

下溢也验证一下

z=[−1000, −1001, −1002]\mathbf{z} = [-1000,\ -1001,\ -1002],减最大值 −1000-1000:

z′=[0, −1, −2]⟹ez′=[1, 0.368, 0.135]\mathbf{z}' = [0,\ -1,\ -2] \quad\Longrightarrow\quad e^{\mathbf{z}'} = [1,\ 0.368,\ 0.135]

softmax 得到 [0.665, 0.245, 0.090][0.665,\ 0.245,\ 0.090]。和直接算(如果能算的话)结果完全一致,只是这次没有溢出。

交叉熵也要一起处理

只有 softmax 稳定还不够。算损失时如果先算出 p^\hat{p} 再取对数,p^\hat{p} 很小时 −log⁡p^-\log \hat{p} 也可能不准。

实际框架用的是把两步合成一个的写法(log-sum-exp):

−log⁡p^真=−(z真−log⁡∑jezj)-\log \hat{p}_{\text{真}} = -\left(z_{\text{真}} - \log\sum_j e^{z_j}\right)

这样对数直接作用在 logit 上,不需要先算出那个可能非常小的概率。

PyTorch 的 CrossEntropyLoss、TensorFlow 的 CategoricalCrossentropy 内部都已经做了这些处理,而且把 softmax 和交叉熵合成了一步。

自己写的时候必须记住减最大值;用框架时它会替你记住。

一条通用经验

凡是涉及 exe^x 或者 log⁡x\log x 的计算,都要问一句:极端输入会怎样?

操作

危险输入

症状

exe^x

xx 很大

上溢成无穷大

exe^x

xx 很负

下溢成 0

log⁡x\log x

xx 接近 0

变成负无穷

log⁡(1−x)\log(1-x)

xx 接近 1

变成负无穷

x/yx/y

yy 接近 0

变成无穷大

这些问题在训练正常时往往不出现,一旦模型发散就会全部冒出来。先处理数值,再调模型——否则你会对着 nan 调半天超参数。

下一课

softmax 还是 one-vs-rest