softmax

摆在面前的问题

上一课算出了样本 1 的三个分数:

z=[3.0, −0.3, 0.1]\mathbf{z} = [3.0,\ -0.3,\ 0.1]

对应数字 0、1、7。

这三个数不是概率——加起来才 2.8,中间还是负数。我们需要一组满足

p^k≥0,∑kp^k=1\hat{p}_k \geq 0, \qquad \sum_k \hat{p}_k = 1

的数。

怎么从 z\mathbf{z} 变过去?

先别急着看公式,想想你会怎么做。 下面两条路,是我能想到的全部。

第一次尝试:直接除以总和

最直觉的做法:

p^k=zk∑jzj\hat{p}_k = \frac{z_k}{\sum_j z_j}

代进去:[3.0/2.8, −0.3/2.8, 0.1/2.8]=[1.071, −0.107, 0.036][3.0/2.8,\ -0.3/2.8,\ 0.1/2.8] = [1.071,\ -0.107,\ 0.036]。

两个问题同时出现:有一个是负数,还有一个超过了 1。

而且分母本身就不稳定——如果三个分数是 [1, −1, 0][1,\ -1,\ 0],和正好是 0,直接除不了。

分数的符号和总和都没有保证。它可以是负的,可以加起来是 0,也可以让结果超过 1。

所以第一步必须是:把每个分数变成严格的正数。

第二次尝试:各过 sigmoid 再归一

sigmoid 恒正,正好能用:

z=[3.0, −0.3, 0.1]→sigmoid[0.953, 0.426, 0.525]\mathbf{z} = [3.0,\ -0.3,\ 0.1] \quad\xrightarrow{\text{sigmoid}}\quad [0.953,\ 0.426,\ 0.525]

都是正的了。但加起来是 1.903,不是 1。

那就再除以总和:

p^=[0.501, 0.224, 0.276]\hat{\mathbf{p}} = [0.501,\ 0.224,\ 0.276]

和为 1,全部为正,而且三个分量的大小顺序没变。这个方案是可行的。

那为什么还要 softmax

因为还有一条更简单的路:先取指数,再归一。

p^k=ezk∑jezj\hat{p}_k = \frac{e^{z_k}}{\sum_j e^{z_j}}

同样输入 [3.0, −0.3, 0.1][3.0,\ -0.3,\ 0.1],两种做法给出:

数字 0

数字 1

数字 7

sigmoid 再归一

0.5010.501

0.2240.224

0.2760.276

softmax

0.916\mathbf{0.916}

0.034\mathbf{0.034}

0.050\mathbf{0.050}

差异很大。sigmoid 那边给的是"三个都还行",softmax 那边明确说"就是 0"。

一、少一层非线性。 sigmoid 再归一是两层变换叠在一起;softmax 只有一层。层数少,求导就简单。

二、梯度会变得极干净。 这一条要等第 4 课才看得到结果——softmax 配交叉熵,梯度正好是 p^−y\hat{\mathbf{p}} - \mathbf{y},那个讨厌的分母求导时整个约掉了。

换成 sigmoid 再归一,约不掉。

所以这不是"唯一正确"的选择,是"后面算起来最省事"的选择。

为什么底数是 ee

用 2、用 10 都行(只要保证正数),但 ee 有一个别的底数没有的性质:

ea+b=ea⋅ebe^{a+b} = e^{a} \cdot e^{b}

它把加法变成乘法。 这个性质在后面会反复出现——softmax 的导数、和交叉熵的结合、和最大似然的关系,全靠它。

三步走一遍

步骤

数字 0

数字 1

数字 7

合计

分数 zz

3.000

−0.300

0.100

—

eze^{z}

20.086

0.741

1.105

21.932

除以总和

0.916

0.034

0.050

1.000

模型认为:这是 0 的概率 91.6%,是 1 的概率 3.4%,是 7 的概率 5.0%。

注意两个负分的结果:−0.3-0.3 和 0.10.1 只差 0.4,但取指数后差了 1.5 倍。softmax 会放大差距。

它和 sigmoid 的关系

二分类时 K=2K=2,softmax 退化成 sigmoid:

p^1=ez1ez1+ez2=11+e−(z1−z2)=g(z1−z2)\hat{p}_1 = \frac{e^{z_1}}{e^{z_1}+e^{z_2}} = \frac{1}{1+e^{-(z_1-z_2)}} = g(z_1-z_2)

分母上下同除 ez1e^{z_1} 就得到这个。

sigmoid 是 softmax 在两类时的特例。

两类时两者算出的结果完全相同。这也是为什么有些库只实现 softmax——两类的情况它自动覆盖。

几个性质

性质

内容

值域

每个分量都在 (0,1)(0, 1)

归一

所有分量加起来等于 1

保序

zkz_k 越大,p^k\hat{p}_k 越大

平移不变

z\mathbf{z} 和 z+c\mathbf{z}+c 给出同样的结果

对 sigmoid

两类时退化成 sigmoid

给所有分数同时加一个常数,softmax 结果一点不变——分子分母同时乘了 ece^c,约掉了。

第 5 课讲数值稳定时,整个技巧就建立在这条性质上:既然加常数不影响结果,那就减去最大值,让指数不溢出。

一个容易误会的地方

softmax 的输出不代表"模型有多确定"。

它只反映分数之间的相对大小。如果三个分数都很小但彼此接近(比如 [0.1, 0.0, −0.1][0.1,\ 0.0,\ -0.1]),softmax 还是给出一组概率(约 [0.37, 0.33, 0.30][0.37,\ 0.33,\ 0.30]),看着像"三个都差不多"。

但这不代表模型"认真考虑过三个选项"——它的分数全都很小,可能只是没学好。

softmax 只做归一化,不做校准。

下一课

多分类的交叉熵