习题

题目

第一题 一个二分类模型的混淆矩阵:

预测:有

预测:无

实际:有

8

2

实际:无

15

75

算出准确率、精确率、召回率、F1。手算。

第二题 接上题。如果把阈值调低,下面哪些会上升?

  1. 召回率

  2. 精确率

  3. 被报出来的人数

  4. 准确率

第三题 某个模型的 AUC = 0.5。这说明什么?

第四题 一份数据里 99% 是负类。模型 A 的 AUC 是 0.90,模型 B 的准确率是 0.99。能直接说 B 更好吗?为什么?

第五题 三个类别的召回率分别是 0.90、0.60、0.30,样本量分别是 800、150、50。

算出 macro 召回率和 weighted 召回率。两者差多少?为什么差这么多?

第六题 一个癌症筛查模型,召回率 0.95、精确率 0.08。你觉得这个模型能用吗?

第一题记得:精确率的分母是"模型报出来的",召回率的分母是"实际有的"。这两个分母不一样。

第五题加权的时候,权重是样本量占总数的比例,不是样本量本身。


答案

第一题

先确认四个格子:TP=8、FN=2、FP=15、TN=75。总数 100。

准确率=8+75100=0.83\text{准确率} = \frac{8+75}{100} = \mathbf{0.83}
精确率=88+15=823=0.348\text{精确率} = \frac{8}{8+15} = \frac{8}{23} = \mathbf{0.348}
召回率=88+2=810=0.800\text{召回率} = \frac{8}{8+2} = \frac{8}{10} = \mathbf{0.800}
F1=2×0.348×0.8000.348+0.800=0.55681.148=0.485F_1 = \frac{2 \times 0.348 \times 0.800}{0.348 + 0.800} = \frac{0.5568}{1.148} = \mathbf{0.485}

注意准确率 0.83 看起来不错,但它掩盖了"报三次错两次"(精确率只有 0.348)这个事实。

第二题

阈值调低意味着"更容易报警"。

选项

会上升吗

原因

1. 召回率

会

报得更多,漏掉的更少

2. 精确率

不会,会下降

报得更多,掺进来的误报也更多

3. 报出人数

会

这是阈值降低的直接后果

4. 准确率

不一定

取决于多抓的正类能不能抵消多出来的误报

准确率那一项最能说明问题:它对阈值不敏感,因为它把四种情况糊在一起了。这也是为什么它不适合用来选阈值。

第三题

AUC = 0.5 意味着:随机取一个正样本和一个负样本,正样本得分更高的概率是 50%。

换句话说——和抛硬币一样。

模型的排序能力和瞎猜没有区别。可能它输出的是随机数,也可能它把标签学反了又翻回来,总之没有任何分辨能力。

注意:这样的模型准确率不一定是 50%。如果正类只占 3%,一个 AUC=0.5 的模型全判负类,准确率还是 97%。这就是准确率会骗人的又一个例子。

第四题

不能。

模型 B 的准确率 0.99,但负类占 99%——全判负类就能拿到 0.99。这个数字什么都没说明,它可能就是个什么都没学的模型。

模型 A 的 AUC 0.90 说明它有真实的排序能力:随机抽一对,90% 的概率把正样本排在前面。这个数字和类别比例无关。

比较模型时,在类别不平衡的数据上,AUC 比准确率可信得多。

要比较两个模型,必须用同一个指标。拿 A 的 AUC 和 B 的准确率比,比不出来任何东西。

第五题

总数 = 800 + 150 + 50 = 1000。

macro(直接平均,不管样本量):

0.90+0.60+0.303=0.600\frac{0.90 + 0.60 + 0.30}{3} = \mathbf{0.600}

weighted(按样本量加权):

0.90×800+0.60×150+0.30×501000=720+90+151000=0.825\frac{0.90 \times 800 + 0.60 \times 150 + 0.30 \times 50}{1000} = \frac{720 + 90 + 15}{1000} = \mathbf{0.825}

差了 0.225。

原因:第一类占了 80% 的样本,它的 0.90 在加权平均里话语权极大,把总分拉到了 0.825。而在 macro 里,它和只有 50 个样本的第三类权重完全相同。

这个差距不是数学游戏。它决定了你怎么看这个模型:

  • 看 weighted 0.825 → "还不错"

  • 看 macro 0.600 → "第三类基本没学会(召回率 0.30)"

如果第三类恰恰是业务上最关心的那一类,weighted 会把你骗得很惨。

第六题

要看情况,但通常能用,前提是把流程设计对。

召回率 0.95 意味着 100 个病人能查出 95 个——这对癌症筛查是关键指标,漏诊会死人。

精确率 0.08 意味着报出来的人里只有 8% 真有病——每 100 个被叫去复查的人里,92 个是虚惊。

关键在于:虚惊的代价能不能承受?

如果

结论

复查是无创的、便宜的(比如再抽一次血)

能用。宁可错杀一千

复查是有创的、昂贵的(比如穿刺活检)

要重新权衡,可能需要提高阈值

复查资源有限,排不上队

会挤占真正需要的病人,要慎重

它取决于:一次复查多少钱、漏诊一个的代价多大、医疗资源够不够。

算法给出的是数字,能不能用是业务判断。 这也正是为什么第 5 课说"阈值是决策,不是模型"。

一句话总结

结论

内容

准确率

类别不平衡时会骗人,别单独用

精确率 / 召回率

分母不同,回答的问题不同

F1

两者都还行才算好

阈值

不是模型的一部分,是业务决策

AUC

衡量排序能力,与阈值和类别比例无关

多分类平均

macro 保护小类,weighted 反映真实分布

下一课

线性模型在这里失效