从两类到多类
一张 28×28 的图
一张手写数字的扫描图,是 28×28 的灰度网格——784 个数,每个代表一个像素有多亮。

问题:这是 0 到 9 里的哪一个?
人一眼就看出来了。但要把它写成规则,你试试: "右上角有一横、左下有一撇"——那手写体的 7 有几十种写法,你怎么穷举?
三章之前处理过分类,那时是肿瘤良性还是恶性:模型输出一个概率,大于 0.5 判正类。
现在有 10 个类别。一个概率不够用了——你需要十个,而且它们加起来得是 1。
先把问题缩小到能算
真实的 MNIST 有六万张图、784 个特征、10 个类别。手算不了,也画不出来。
这一章用它的一个缩小版:6 个样本、2 个特征、3 个类别。
样本 | 笔画粗细 | 上下对称度 | 真实数字 |
|---|---|---|---|
1 | 2.0 | 1.0 | 0 |
2 | 0.4 | 2.2 | 1 |
3 | 1.8 | 0.2 | 7 |
4 | 0.6 | 1.9 | 1 |
5 | 2.2 | 0.8 | 0 |
6 | 1.1 | 0.3 | 7 |
特征从 784 个砍到 2 个,类别从 10 个砍到 3 个。只砍数量,不砍结构——每一步推导和真实 MNIST 上完全一样,只是这里算得动。
标签怎么写
真实数字那一列写着 0、1、7。
最直接的想法:就把这几个数字当标签,。
这个想法在某些场合是对的。如果类别本来就有顺序——比如预测年龄段:婴儿、儿童、青少年、青年、中年——那用 1、2、3、4、5 当标签完全合理,这本质上是个回归问题,数字之间的距离有意义。
但这里没有顺序。
0 和 7 之间,并不比 0 和 1 之间"更远"。把标签写成数字会让模型产生两个错误认知:
7 比 0 大 → 预测会倾向往大里调
0 和 1 差 1,0 和 7 差 7 → 模型会以为区分 0 和 1 更容易
两条都是无中生有。
所以标签要换一种写法:one-hot。
真实数字 | |
|---|---|
0 | |
1 | |
7 |
只有一个位置是 1。这样所有类别等距——任意两类之间的差距都一样大。
像"年龄段""满意度 1–5 星"这种,确实可以当数字用,那是个回归问题。
判断标准:两个相邻类别之间的距离,和其他相邻类别一样吗?
1 星到 2 星,和 4 星到 5 星,感觉一样远 → 可以当数字
0 到 1,和 0 到 7,没有远近之分 → 必须 one-hot
模型结构
原来的逻辑回归:一组权重 ,算一个分数。
现在每个类别各有一组:
把三组权重按列拼成一个矩阵 (),三个偏置拼成向量 ,就能一次算完:
是一个长度为 3 的向量,每个分量叫一个 logit。
它是模型直接输出的分数,可以取任意实数。
比如拿一组训练好的参数(,)去算样本 1:
三个数加起来才 2.8,而且中间那个是负数。它没法当概率用。
下一步就是把这些分数变成概率。
下一课
分数有了,怎么变成"三个加起来等于 1 的正数"?
先别急着看公式。下一课我们把两种可能想到的做法都试一遍,看它们各自死在哪。