阈值是决策,不是模型

模型给的是概率

逻辑回归输出的不是一个标签,是一个 0 到 1 之间的数。

要变成"有病/健康",得有一条线:

y^={1p^≥阈值0p^<阈值\hat{y} = \begin{cases} 1 & \hat{p} \geq \text{阈值} \\ 0 & \hat{p} < \text{阈值} \end{cases}

这条线不在模型里,是你在外面画的。

默认大家用 0.5,但那只是习惯,没有数学上的必然性。

挪动阈值会发生什么

用一份 300 个样本的数据(30 个正类),画精确率和召回率随阈值的变化:

两条线方向相反:

  • 阈值升高 → 只在很有把握时才报 → 报的少但准(精确率↑),漏的多(召回率↓)

  • 阈值降低 → 稍微有点像就报 → 抓得全(召回率↑),但误报一堆(精确率↓)

它不是模型的缺陷,是同一件事的两个侧面。

模型本身没变——它给出的那 300 个概率,一个都没变。变的只是你拿哪条线去切。

所以"这个模型的精确率是 0.35"这句话是不完整的,得说"在阈值 0.5 下"。

阈值该定在哪

看业务代价。

假设这是一个癌症筛查。把阈值从 0.5 降到 0.3,会发生:

阈值 0.5

阈值 0.3

召回率

0.833

1.000

精确率

0.197

0.139

抓到的病人

25 / 30

30 / 30

报出人数

127

216

多抓 5 个病人,代价是多让 89 个健康人去做复查。

这笔账划不划算,得医院来算——一次复查多少钱、漏诊一个的代价多大。算法工程师算不了这个。

拿默认的 0.5 跑完,报个指标就交差。

如果正类只占 3%,0.5 这条线往往根本不合适——模型输出的概率很少超过 0.5,你可能一个都报不出来。

阈值应该由业务代价决定,然后写进代码里,不是一个可以忽略的默认值。

PR 曲线

把所有阈值下的 (召回率, 精确率) 都画出来,就是一条曲线:

横轴召回率,纵轴精确率。每挪一次阈值,就在曲线上走一个点。

曲线越靠右上越好(两个都高)。理想情况是贴着右上角走。

ROC 曲线(下一课)的横轴是假阳性率,分母是负类总数。

负类有 970 个,即使误报很多,假阳性率也不会太难看——分母太大了,把问题稀释了。

PR 曲线的精确率分母是"模型报出来的数量",误报多了立刻掉下来。所以在正类稀疏的问题上,PR 曲线对模型的好坏更敏感。

类别不平衡时看 PR 曲线,平衡时两者都行。

下一课

PR 曲线有个毛病:它依赖正类的比例。换一份正类占比不同的数据,同一条曲线会变形。

ROC 曲线没这个问题——它衡量的是排序能力,和阈值、和正类比例都无关。