习题
题目
第一题 一个二分类模型的混淆矩阵:
预测:有 | 预测:无 | |
|---|---|---|
实际:有 | 8 | 2 |
实际:无 | 15 | 75 |
算出准确率、精确率、召回率、F1。手算。
第二题 接上题。如果把阈值调低,下面哪些会上升?
召回率
精确率
被报出来的人数
准确率
第三题 某个模型的 AUC = 0.5。这说明什么?
第四题 一份数据里 99% 是负类。模型 A 的 AUC 是 0.90,模型 B 的准确率是 0.99。能直接说 B 更好吗?为什么?
第五题 三个类别的召回率分别是 0.90、0.60、0.30,样本量分别是 800、150、50。
算出 macro 召回率和 weighted 召回率。两者差多少?为什么差这么多?
第六题 一个癌症筛查模型,召回率 0.95、精确率 0.08。你觉得这个模型能用吗?
第一题记得:精确率的分母是"模型报出来的",召回率的分母是"实际有的"。这两个分母不一样。
第五题加权的时候,权重是样本量占总数的比例,不是样本量本身。
答案
第一题
先确认四个格子:TP=8、FN=2、FP=15、TN=75。总数 100。
注意准确率 0.83 看起来不错,但它掩盖了"报三次错两次"(精确率只有 0.348)这个事实。
第二题
阈值调低意味着"更容易报警"。
选项 | 会上升吗 | 原因 |
|---|---|---|
1. 召回率 | 会 | 报得更多,漏掉的更少 |
2. 精确率 | 不会,会下降 | 报得更多,掺进来的误报也更多 |
3. 报出人数 | 会 | 这是阈值降低的直接后果 |
4. 准确率 | 不一定 | 取决于多抓的正类能不能抵消多出来的误报 |
准确率那一项最能说明问题:它对阈值不敏感,因为它把四种情况糊在一起了。这也是为什么它不适合用来选阈值。
第三题
AUC = 0.5 意味着:随机取一个正样本和一个负样本,正样本得分更高的概率是 50%。
换句话说——和抛硬币一样。
模型的排序能力和瞎猜没有区别。可能它输出的是随机数,也可能它把标签学反了又翻回来,总之没有任何分辨能力。
注意:这样的模型准确率不一定是 50%。如果正类只占 3%,一个 AUC=0.5 的模型全判负类,准确率还是 97%。这就是准确率会骗人的又一个例子。
第四题
不能。
模型 B 的准确率 0.99,但负类占 99%——全判负类就能拿到 0.99。这个数字什么都没说明,它可能就是个什么都没学的模型。
模型 A 的 AUC 0.90 说明它有真实的排序能力:随机抽一对,90% 的概率把正样本排在前面。这个数字和类别比例无关。
比较模型时,在类别不平衡的数据上,AUC 比准确率可信得多。
要比较两个模型,必须用同一个指标。拿 A 的 AUC 和 B 的准确率比,比不出来任何东西。
第五题
总数 = 800 + 150 + 50 = 1000。
macro(直接平均,不管样本量):
weighted(按样本量加权):
差了 0.225。
原因:第一类占了 80% 的样本,它的 0.90 在加权平均里话语权极大,把总分拉到了 0.825。而在 macro 里,它和只有 50 个样本的第三类权重完全相同。
这个差距不是数学游戏。它决定了你怎么看这个模型:
看 weighted 0.825 → "还不错"
看 macro 0.600 → "第三类基本没学会(召回率 0.30)"
如果第三类恰恰是业务上最关心的那一类,weighted 会把你骗得很惨。
第六题
要看情况,但通常能用,前提是把流程设计对。
召回率 0.95 意味着 100 个病人能查出 95 个——这对癌症筛查是关键指标,漏诊会死人。
精确率 0.08 意味着报出来的人里只有 8% 真有病——每 100 个被叫去复查的人里,92 个是虚惊。
关键在于:虚惊的代价能不能承受?
如果 | 结论 |
|---|---|
复查是无创的、便宜的(比如再抽一次血) | 能用。宁可错杀一千 |
复查是有创的、昂贵的(比如穿刺活检) | 要重新权衡,可能需要提高阈值 |
复查资源有限,排不上队 | 会挤占真正需要的病人,要慎重 |
它取决于:一次复查多少钱、漏诊一个的代价多大、医疗资源够不够。
算法给出的是数字,能不能用是业务判断。 这也正是为什么第 5 课说"阈值是决策,不是模型"。
一句话总结
结论 | 内容 |
|---|---|
准确率 | 类别不平衡时会骗人,别单独用 |
精确率 / 召回率 | 分母不同,回答的问题不同 |
F1 | 两者都还行才算好 |
阈值 | 不是模型的一部分,是业务决策 |
AUC | 衡量排序能力,与阈值和类别比例无关 |
多分类平均 | macro 保护小类,weighted 反映真实分布 |
下一课
线性模型在这里失效