习题

题目

第一题 三个 logit:z=[1.0, 2.0, 3.0]\mathbf{z} = [1.0,\ 2.0,\ 3.0],对应猫、狗、鸡。

算出 softmax 的三个概率。手算,别用代码。

(提示:e1≈2.718e^1 \approx 2.718,e2≈7.389e^2 \approx 7.389,e3≈20.086e^3 \approx 20.086。)

第二题 接上题,如果真实类别是鸡,交叉熵损失是多少?

第三题 接上题,算出 ∂J∂z\dfrac{\partial J}{\partial \mathbf{z}}。三个数加起来应该等于多少?为什么?

第四题 下面哪些输出不可能是 softmax 的结果?说明理由。

  1. [0.5, 0.5][0.5,\ 0.5]

  2. [0.9, 0.3, −0.2][0.9,\ 0.3,\ -0.2]

  3. [−0.1, 1.0, 0.1][-0.1,\ 1.0,\ 0.1]

  4. [0.3, 0.3, 0.4][0.3,\ 0.3,\ 0.4]

  5. [1.2, −0.1, −0.1][1.2,\ -0.1,\ -0.1]

第五题 某个模型的 logit 全部乘 10 倍(从 [2, 1, 0.1][2,\ 1,\ 0.1] 变成 [20, 10, 1][20,\ 10,\ 1]),softmax 的输出会怎么变?为什么?

第六题 你要做一个"给新闻文章打标签"的模型,标签有"体育""财经""科技""国际"。一篇文章可能同时属于多个类别。该用 softmax 还是 one-vs-rest?

第一题算完三个概率加起来应该是 1。如果不是 1,回头检查求和。

第五题不用全算,估个量级就知道趋势了。


答案

第一题

步骤

猫

狗

鸡

合计

zz

1.000

2.000

3.000

—

eze^z

2.718

7.389

20.086

30.193

概率

0.090

0.245

0.665

1.000

p^1=2.71830.193=0.0900,p^2=7.38930.193=0.2447,p^3=20.08630.193=0.6652\hat{p}_1 = \frac{2.718}{30.193} = 0.0900, \quad \hat{p}_2 = \frac{7.389}{30.193} = 0.2447, \quad \hat{p}_3 = \frac{20.086}{30.193} = 0.6652

第二题

真实是鸡(第 3 类),只取正确类别那一项:

J=−log⁡(0.6652)=0.4076J = -\log(0.6652) = \mathbf{0.4076}

第 1、2 类的概率不直接参与这个计算——它们只通过"加起来等于 1"间接影响 p^3\hat{p}_3。

第三题

∂J∂z=p^−y=[0.0900, 0.2447, 0.6652]−[0, 0, 1]\frac{\partial J}{\partial \mathbf{z}} = \hat{\mathbf{p}} - \mathbf{y} = [0.0900,\ 0.2447,\ 0.6652] - [0,\ 0,\ 1]
=[0.0900, 0.2447, −0.3348]= [\mathbf{0.0900},\ \mathbf{0.2447},\ \mathbf{-0.3348}]

三个数加起来等于 0(0.0900+0.2447−0.3348≈00.0900 + 0.2447 - 0.3348 \approx 0)。

原因:∑kp^k=1\sum_k \hat{p}_k = 1 且 ∑kyk=1\sum_k y_k = 1,所以 ∑k(p^k−yk)=1−1=0\sum_k(\hat{p}_k - y_k) = 1-1 = 0。

这个性质保证平移不变性在梯度上也成立——给所有 logit 加同一个常数,梯度不变,更新后的相对关系也不变。

第四题

选项

是否可能

理由

1. [0.5, 0.5][0.5,\ 0.5]

可能

和为 1,都非负

2. [0.9, 0.3, −0.2][0.9,\ 0.3,\ -0.2]

不可能

有负数,softmax 输出恒正

3. [−0.1, 1.0, 0.1][-0.1,\ 1.0,\ 0.1]

不可能

有负数,和为 1 只是巧合

4. [0.3, 0.3, 0.4][0.3,\ 0.3,\ 0.4]

可能

和为 1,都非负

5. [1.2, −0.1, −0.1][1.2,\ -0.1,\ -0.1]

不可能

有负数,且第一个超过 1

判断标准就两条:全部非负,且加起来等于 1。两条都得满足。

第五题

logit 从 [2, 1, 0.1][2,\ 1,\ 0.1] 变成 [20, 10, 1][20,\ 10,\ 1],全都乘了 10。

原来的

乘 10 之后

eze^z

[7.39, 2.72, 1.11][7.39,\ 2.72,\ 1.11]

[4.85×108, 22026, 2.72][4.85\times10^8,\ 22026,\ 2.72]

softmax

[0.659, 0.242, 0.099][0.659,\ 0.242,\ 0.099]

[0.99995, 0.000045, 0.0000056][0.99995,\ 0.000045,\ 0.0000056]

输出变得极端得多。 原来"猫 66%、狗 24%",现在"猫 99.995%、狗 0.0045%"。

原因:softmax 会放大领先者。乘 10 让原本差 1.9 的 logit 变成差 19,取指数之后差距被放大到天文数字。

训练越久,正确类别的 logit 越大(因为损失一直奖励"更自信"),softmax 输出就越接近 one-hot。

如果数据有噪声、存在标错的样本,这会导致模型过度自信——它对一个错标的样本也报 0.999。

正则化(第 7 章)和标签平滑(后面会讲)都是缓解这个问题的办法。

第六题

one-vs-rest。

因为一篇文章可以同时属于多个类别——一篇讲"中国芯片产业"的文章,既可以算"科技",也可以算"国际"。

softmax 强制所有概率加起来等于 1,这意味着给"科技"的概率高了,"国际"就必须低。这个约束在这里是错的。

one-vs-rest 训练四个独立二分类器,每个回答"这篇文章是不是这一类",互不干扰。一篇文章可以四个都判"是"。

代价是:四个概率加起来可能大于 1(这没关系,它们不是互斥事件的概率),而且每个概率都需要单独定阈值。

本章小结

概念

内容

one-hot

标签写成向量,只有一个位置是 1

logit

模型直接输出的分数,不是概率,没有上下界

softmax

p^k=ezk/∑jezj\hat{p}_k = e^{z_k}/\sum_j e^{z_j},三步:取指数、求和、归一

为什么用 ee

ea+b=eaebe^{a+b}=e^a e^b,把加法变乘法,推导全靠它

多分类交叉熵

−log⁡p^真实类-\log \hat{p}_{\text{真实类}},只有正确那一项活着

梯度

p^k−yk\hat{p}_k - y_k,和逻辑回归的 f−yf-y 同形

数值稳定

先减最大值,否则上下溢都会得到 nan

one-vs-rest

训 KK 个二分类器,适合多标签场景

下一章

分类模型有了,但怎么判断它好不好?准确率?第 9 章会告诉你为什么准确率经常骗人,以及在什么情况下该看什么指标。