ROC 与 AUC
PR 曲线的问题
上一课的 PR 曲线有个毛病:它依赖正类的比例。
同样一个模型,放在"3% 正类"的数据上和"30% 正类"的数据上,PR 曲线的形状会变。这让人很难跨数据集比较模型。
ROC 曲线没有这个问题。它衡量的是一个更纯粹的东西:排序能力。
怎么画
回顾混淆矩阵的四个格子。ROC 用其中两个比率作坐标:
横轴 FPR:健康人里,有多少被误报了
纵轴 TPR:病人里,有多少被抓到了
每挪一次阈值,就得到一对 (FPR, TPR),在图上点一个点。所有阈值连起来就是 ROC 曲线。

怎么读这张图
四个角的位置:
坐标 (FPR, TPR) | 图中位置 | 含义 |
|---|---|---|
(0, 0) | 左下 | 阈值高到全判健康:一个没抓,一个没误报 |
(1, 1) | 右上 | 阈值低到全判有病:全抓到,也全误报 |
(0, 1) | 左上 | 完美:零误报,全抓到 |
(1, 0) | 右下 | 最差:全判反了 |
曲线越靠近左上角越好。 那条对角虚线是"随机猜"——闭着眼睛乱判,抓到和误报的比例一样。
把曲线下方的面积算出来,就是 AUC(Area Under the Curve)。
AUC = 1.0:完美模型
AUC = 0.5:和瞎猜一样
AUC < 0.5:比瞎猜还差(说明标签搞反了)
这张图的 AUC 是 0.842。
AUC 的真正含义
这是这一课最该记住的一句:
具体做法:
从所有病人里随机抽一个
从所有健康人里随机抽一个
比较模型给他们的分数
AUC 就是"病人的分数比健康人高"这件事发生的概率。
AUC = 0.842 的意思是:随便抽一对,有 84.2% 的概率模型把病人排在前面。
这个解释为什么重要:
它不涉及任何阈值。 模型输出的是分数,AUC 只关心这些分数的排序对不对——不管你把切线放在 0.3 还是 0.7,排序都不变。
所以 AUC 衡量的是模型的分辨能力,是模型本身的属性,不是决策的属性。
AUC 和准确率的差别
准确率 | AUC | |
|---|---|---|
依赖阈值吗 | 依赖 | 不依赖 |
类别不平衡时 | 会骗人 | 相对稳健 |
衡量什么 | 判对了多少 | 排序能力 |
范围 | 0 到 1 | 0 到 1(0.5 是瞎猜) |
它也有盲区:
一、它不关心概率的绝对值。 一个模型输出 0.51/0.49,另一个输出 0.99/0.01,只要排序一样,AUC 相同。但这两个模型的"把握程度"完全不同——如果要做概率校准,AUC 看不出来。
二、类别极度不平衡时,AUC 会偏乐观。 因为 FPR 的分母是全部负类(比如 970 个),误报几十个也拉不高 FPR。这时候 PR 曲线更能反映问题。
三、它假设你正负类同等重要。 实际业务里往往不是。
三个指标怎么一起用
你想知道 | 看什么 |
|---|---|
这个模型能不能分出正负 | AUC(不看阈值,看模型本身) |
在某个阈值下表现如何 | 该阈值的精确率 + 召回率 |
该选哪个阈值 | PR 曲线 / ROC 曲线 + 业务代价 |
类别不平衡且关心正类 | PR 曲线 |
AUC 用来选模型,精确率召回率用来定阈值。 这是两件事。
下一课
前面全是二分类。多分类的时候,这些指标怎么算?
答案是:拆成很多个二分类,然后平均。但怎么平均有三种方式,它们给出的结论可能不一样。