题目
第一题 三个 logit:z=[1.0, 2.0, 3.0],对应猫、狗、鸡。
算出 softmax 的三个概率。手算,别用代码。
(提示:e1≈2.718,e2≈7.389,e3≈20.086。)
第二题 接上题,如果真实类别是鸡,交叉熵损失是多少?
第三题 接上题,算出 ∂z∂J。三个数加起来应该等于多少?为什么?
第四题 下面哪些输出不可能是 softmax 的结果?说明理由。
[0.5, 0.5]
[0.9, 0.3, −0.2]
[−0.1, 1.0, 0.1]
[0.3, 0.3, 0.4]
[1.2, −0.1, −0.1]
第五题 某个模型的 logit 全部乘 10 倍(从 [2, 1, 0.1] 变成 [20, 10, 1]),softmax 的输出会怎么变?为什么?
第六题 你要做一个"给新闻文章打标签"的模型,标签有"体育""财经""科技""国际"。一篇文章可能同时属于多个类别。该用 softmax 还是 one-vs-rest?
第一题算完三个概率加起来应该是 1。如果不是 1,回头检查求和。
第五题不用全算,估个量级就知道趋势了。
答案
第一题
步骤 | 猫 | 狗 | 鸡 | 合计 |
|---|
z | 1.000 | 2.000 | 3.000 | — |
ez | 2.718 | 7.389 | 20.086 | 30.193 |
概率 | 0.090 | 0.245 | 0.665 | 1.000 |
p^1=30.1932.718=0.0900,p^2=30.1937.389=0.2447,p^3=30.19320.086=0.6652 第二题
真实是鸡(第 3 类),只取正确类别那一项:
J=−log(0.6652)=0.4076 第 1、2 类的概率不直接参与这个计算——它们只通过"加起来等于 1"间接影响 p^3。
第三题
∂z∂J=p^−y=[0.0900, 0.2447, 0.6652]−[0, 0, 1] =[0.0900, 0.2447, −0.3348] 三个数加起来等于 0(0.0900+0.2447−0.3348≈0)。
原因:∑kp^k=1 且 ∑kyk=1,所以 ∑k(p^k−yk)=1−1=0。
这个性质保证平移不变性在梯度上也成立——给所有 logit 加同一个常数,梯度不变,更新后的相对关系也不变。
第四题
选项 | 是否可能 | 理由 |
|---|
1. [0.5, 0.5] | 可能 | 和为 1,都非负 |
2. [0.9, 0.3, −0.2] | 不可能 | 有负数,softmax 输出恒正 |
3. [−0.1, 1.0, 0.1] | 不可能 | 有负数,和为 1 只是巧合 |
4. [0.3, 0.3, 0.4] | 可能 | 和为 1,都非负 |
5. [1.2, −0.1, −0.1] | 不可能 | 有负数,且第一个超过 1 |
判断标准就两条:全部非负,且加起来等于 1。两条都得满足。
第五题
logit 从 [2, 1, 0.1] 变成 [20, 10, 1],全都乘了 10。
| 原来的 | 乘 10 之后 |
|---|
ez | [7.39, 2.72, 1.11] | [4.85×108, 22026, 2.72] |
softmax | [0.659, 0.242, 0.099] | [0.99995, 0.000045, 0.0000056] |
输出变得极端得多。 原来"猫 66%、狗 24%",现在"猫 99.995%、狗 0.0045%"。
原因:softmax 会放大领先者。乘 10 让原本差 1.9 的 logit 变成差 19,取指数之后差距被放大到天文数字。
训练越久,正确类别的 logit 越大(因为损失一直奖励"更自信"),softmax 输出就越接近 one-hot。
如果数据有噪声、存在标错的样本,这会导致模型过度自信——它对一个错标的样本也报 0.999。
正则化(第 7 章)和标签平滑(后面会讲)都是缓解这个问题的办法。
第六题
one-vs-rest。
因为一篇文章可以同时属于多个类别——一篇讲"中国芯片产业"的文章,既可以算"科技",也可以算"国际"。
softmax 强制所有概率加起来等于 1,这意味着给"科技"的概率高了,"国际"就必须低。这个约束在这里是错的。
one-vs-rest 训练四个独立二分类器,每个回答"这篇文章是不是这一类",互不干扰。一篇文章可以四个都判"是"。
代价是:四个概率加起来可能大于 1(这没关系,它们不是互斥事件的概率),而且每个概率都需要单独定阈值。
本章小结
概念 | 内容 |
|---|
one-hot | 标签写成向量,只有一个位置是 1 |
logit | 模型直接输出的分数,不是概率,没有上下界 |
softmax | p^k=ezk/∑jezj,三步:取指数、求和、归一 |
为什么用 e | ea+b=eaeb,把加法变乘法,推导全靠它 |
多分类交叉熵 | −logp^真实类,只有正确那一项活着 |
梯度 | p^k−yk,和逻辑回归的 f−y 同形 |
数值稳定 | 先减最大值,否则上下溢都会得到 nan |
one-vs-rest | 训 K 个二分类器,适合多标签场景 |
下一章
分类模型有了,但怎么判断它好不好?准确率?第 9 章会告诉你为什么准确率经常骗人,以及在什么情况下该看什么指标。