softmax
摆在面前的问题
上一课算出了样本 1 的三个分数:
对应数字 0、1、7。
这三个数不是概率——加起来才 2.8,中间还是负数。我们需要一组满足
的数。
怎么从 变过去?
先别急着看公式,想想你会怎么做。 下面两条路,是我能想到的全部。
第一次尝试:直接除以总和
最直觉的做法:
代进去:。
两个问题同时出现:有一个是负数,还有一个超过了 1。
而且分母本身就不稳定——如果三个分数是 ,和正好是 0,直接除不了。
分数的符号和总和都没有保证。它可以是负的,可以加起来是 0,也可以让结果超过 1。
所以第一步必须是:把每个分数变成严格的正数。
第二次尝试:各过 sigmoid 再归一
sigmoid 恒正,正好能用:
都是正的了。但加起来是 1.903,不是 1。
那就再除以总和:
和为 1,全部为正,而且三个分量的大小顺序没变。这个方案是可行的。
那为什么还要 softmax
因为还有一条更简单的路:先取指数,再归一。
同样输入 ,两种做法给出:
数字 0 | 数字 1 | 数字 7 | |
|---|---|---|---|
sigmoid 再归一 | |||
softmax |
差异很大。sigmoid 那边给的是"三个都还行",softmax 那边明确说"就是 0"。
一、少一层非线性。 sigmoid 再归一是两层变换叠在一起;softmax 只有一层。层数少,求导就简单。
二、梯度会变得极干净。 这一条要等第 4 课才看得到结果——softmax 配交叉熵,梯度正好是 ,那个讨厌的分母求导时整个约掉了。
换成 sigmoid 再归一,约不掉。
所以这不是"唯一正确"的选择,是"后面算起来最省事"的选择。
为什么底数是
用 2、用 10 都行(只要保证正数),但 有一个别的底数没有的性质:
它把加法变成乘法。 这个性质在后面会反复出现——softmax 的导数、和交叉熵的结合、和最大似然的关系,全靠它。
三步走一遍

步骤 | 数字 0 | 数字 1 | 数字 7 | 合计 |
|---|---|---|---|---|
分数 | 3.000 | −0.300 | 0.100 | — |
20.086 | 0.741 | 1.105 | 21.932 | |
除以总和 | 0.916 | 0.034 | 0.050 | 1.000 |
模型认为:这是 0 的概率 91.6%,是 1 的概率 3.4%,是 7 的概率 5.0%。
注意两个负分的结果: 和 只差 0.4,但取指数后差了 1.5 倍。softmax 会放大差距。
它和 sigmoid 的关系
二分类时 ,softmax 退化成 sigmoid:
分母上下同除 就得到这个。
sigmoid 是 softmax 在两类时的特例。
两类时两者算出的结果完全相同。这也是为什么有些库只实现 softmax——两类的情况它自动覆盖。
几个性质
性质 | 内容 |
|---|---|
值域 | 每个分量都在 |
归一 | 所有分量加起来等于 1 |
保序 | 越大, 越大 |
平移不变 | 和 给出同样的结果 |
对 sigmoid | 两类时退化成 sigmoid |
给所有分数同时加一个常数,softmax 结果一点不变——分子分母同时乘了 ,约掉了。
第 5 课讲数值稳定时,整个技巧就建立在这条性质上:既然加常数不影响结果,那就减去最大值,让指数不溢出。
一个容易误会的地方
softmax 的输出不代表"模型有多确定"。
它只反映分数之间的相对大小。如果三个分数都很小但彼此接近(比如 ),softmax 还是给出一组概率(约 ),看着像"三个都差不多"。
但这不代表模型"认真考虑过三个选项"——它的分数全都很小,可能只是没学好。
softmax 只做归一化,不做校准。
下一课
多分类的交叉熵