ROC 与 AUC

PR 曲线的问题

上一课的 PR 曲线有个毛病:它依赖正类的比例。

同样一个模型,放在"3% 正类"的数据上和"30% 正类"的数据上,PR 曲线的形状会变。这让人很难跨数据集比较模型。

ROC 曲线没有这个问题。它衡量的是一个更纯粹的东西:排序能力。

怎么画

回顾混淆矩阵的四个格子。ROC 用其中两个比率作坐标:

TPR=TPTP+FN(就是召回率)\text{TPR} = \frac{TP}{TP+FN} \quad\text{(就是召回率)}
FPR=FPFP+TN(负类里被误报的比例)\text{FPR} = \frac{FP}{FP+TN} \quad\text{(负类里被误报的比例)}
  • 横轴 FPR:健康人里,有多少被误报了

  • 纵轴 TPR:病人里,有多少被抓到了

每挪一次阈值,就得到一对 (FPR, TPR),在图上点一个点。所有阈值连起来就是 ROC 曲线。

怎么读这张图

四个角的位置:

坐标 (FPR, TPR)

图中位置

含义

(0, 0)

左下

阈值高到全判健康:一个没抓,一个没误报

(1, 1)

右上

阈值低到全判有病:全抓到,也全误报

(0, 1)

左上

完美:零误报,全抓到

(1, 0)

右下

最差:全判反了

曲线越靠近左上角越好。 那条对角虚线是"随机猜"——闭着眼睛乱判,抓到和误报的比例一样。

把曲线下方的面积算出来,就是 AUC(Area Under the Curve)。

  • AUC = 1.0:完美模型

  • AUC = 0.5:和瞎猜一样

  • AUC < 0.5:比瞎猜还差(说明标签搞反了)

这张图的 AUC 是 0.842。

AUC 的真正含义

这是这一课最该记住的一句:

具体做法:

  1. 从所有病人里随机抽一个

  2. 从所有健康人里随机抽一个

  3. 比较模型给他们的分数

AUC 就是"病人的分数比健康人高"这件事发生的概率。

AUC = 0.842 的意思是:随便抽一对,有 84.2% 的概率模型把病人排在前面。

这个解释为什么重要:

它不涉及任何阈值。 模型输出的是分数,AUC 只关心这些分数的排序对不对——不管你把切线放在 0.3 还是 0.7,排序都不变。

所以 AUC 衡量的是模型的分辨能力,是模型本身的属性,不是决策的属性。

AUC 和准确率的差别

准确率

AUC

依赖阈值吗

依赖

不依赖

类别不平衡时

会骗人

相对稳健

衡量什么

判对了多少

排序能力

范围

0 到 1

0 到 1(0.5 是瞎猜)

它也有盲区:

一、它不关心概率的绝对值。 一个模型输出 0.51/0.49,另一个输出 0.99/0.01,只要排序一样,AUC 相同。但这两个模型的"把握程度"完全不同——如果要做概率校准,AUC 看不出来。

二、类别极度不平衡时,AUC 会偏乐观。 因为 FPR 的分母是全部负类(比如 970 个),误报几十个也拉不高 FPR。这时候 PR 曲线更能反映问题。

三、它假设你正负类同等重要。 实际业务里往往不是。

三个指标怎么一起用

你想知道

看什么

这个模型能不能分出正负

AUC(不看阈值,看模型本身)

在某个阈值下表现如何

该阈值的精确率 + 召回率

该选哪个阈值

PR 曲线 / ROC 曲线 + 业务代价

类别不平衡且关心正类

PR 曲线

AUC 用来选模型,精确率召回率用来定阈值。 这是两件事。

下一课

前面全是二分类。多分类的时候,这些指标怎么算?

答案是:拆成很多个二分类,然后平均。但怎么平均有三种方式,它们给出的结论可能不一样。