从两类到多类

一张 28×28 的图

一张手写数字的扫描图,是 28×28 的灰度网格——784 个数,每个代表一个像素有多亮。

问题:这是 0 到 9 里的哪一个?

人一眼就看出来了。但要把它写成规则,你试试: "右上角有一横、左下有一撇"——那手写体的 7 有几十种写法,你怎么穷举?

三章之前处理过分类,那时是肿瘤良性还是恶性:模型输出一个概率,大于 0.5 判正类。

现在有 10 个类别。一个概率不够用了——你需要十个,而且它们加起来得是 1。

先把问题缩小到能算

真实的 MNIST 有六万张图、784 个特征、10 个类别。手算不了,也画不出来。

这一章用它的一个缩小版:6 个样本、2 个特征、3 个类别。

样本

笔画粗细 x1x_1

上下对称度 x2x_2

真实数字

1

2.0

1.0

0

2

0.4

2.2

1

3

1.8

0.2

7

4

0.6

1.9

1

5

2.2

0.8

0

6

1.1

0.3

7

特征从 784 个砍到 2 个,类别从 10 个砍到 3 个。只砍数量,不砍结构——每一步推导和真实 MNIST 上完全一样,只是这里算得动。

标签怎么写

真实数字那一列写着 0、1、7。

最直接的想法:就把这几个数字当标签,y∈{0,1,7}y \in \{0, 1, 7\}。

这个想法在某些场合是对的。如果类别本来就有顺序——比如预测年龄段:婴儿、儿童、青少年、青年、中年——那用 1、2、3、4、5 当标签完全合理,这本质上是个回归问题,数字之间的距离有意义。

但这里没有顺序。

0 和 7 之间,并不比 0 和 1 之间"更远"。把标签写成数字会让模型产生两个错误认知:

  • 7 比 0 大 → 预测会倾向往大里调

  • 0 和 1 差 1,0 和 7 差 7 → 模型会以为区分 0 和 1 更容易

两条都是无中生有。

所以标签要换一种写法:one-hot。

真实数字

yy

0

[1, 0, 0][1,\ 0,\ 0]

1

[0, 1, 0][0,\ 1,\ 0]

7

[0, 0, 1][0,\ 0,\ 1]

只有一个位置是 1。这样所有类别等距——任意两类之间的差距都一样大。

像"年龄段""满意度 1–5 星"这种,确实可以当数字用,那是个回归问题。

判断标准:两个相邻类别之间的距离,和其他相邻类别一样吗?

  • 1 星到 2 星,和 4 星到 5 星,感觉一样远 → 可以当数字

  • 0 到 1,和 0 到 7,没有远近之分 → 必须 one-hot

模型结构

原来的逻辑回归:一组权重 w\mathbf{w},算一个分数。

现在每个类别各有一组:

z0=w0⊤x+b0,z1=w1⊤x+b1,z7=w7⊤x+b7z_0 = \mathbf{w}_0^{\top}\mathbf{x} + b_0, \qquad z_1 = \mathbf{w}_1^{\top}\mathbf{x} + b_1, \qquad z_7 = \mathbf{w}_7^{\top}\mathbf{x} + b_7

把三组权重按列拼成一个矩阵 WW(2×32 \times 3),三个偏置拼成向量 b\mathbf{b},就能一次算完:

z=W⊤x+b\mathbf{z} = W^{\top}\mathbf{x} + \mathbf{b}

z\mathbf{z} 是一个长度为 3 的向量,每个分量叫一个 logit。

它是模型直接输出的分数,可以取任意实数。

比如拿一组训练好的参数(W=[1.2−0.80.30.51.5−1.0]W = \begin{bmatrix}1.2 & -0.8 & 0.3 \\ 0.5 & 1.5 & -1.0\end{bmatrix},b=[0.1, −0.2, 0.5]\mathbf{b} = [0.1,\ -0.2,\ 0.5])去算样本 1:

z=[3.0, −0.3, 0.1]\mathbf{z} = [3.0,\ -0.3,\ 0.1]

三个数加起来才 2.8,而且中间那个是负数。它没法当概率用。

下一步就是把这些分数变成概率。

下一课

分数有了,怎么变成"三个加起来等于 1 的正数"?

先别急着看公式。下一课我们把两种可能想到的做法都试一遍,看它们各自死在哪。