评估指标

scoring 怎么填

cross_val_score 和 GridSearchCV 的 scoring 参数接受字符串或函数。

任务常用字符串含义
分类"accuracy"准确率
"precision"精确率
"recall"召回率
"f1" / "f1_macro" / "f1_weighted"F1
"roc_auc"AUC(需要 predict_proba)
"average_precision"PR 曲线下面积
回归"r2"决定系数(默认)
"neg_mean_squared_error"MSE 取负
"neg_root_mean_squared_error"RMSE 取负
"neg_mean_absolute_error"MAE 取负
为什么回归指标都带 neg_

sklearn 里所有 scoring统一“越大越好”。误差越小越好,所以取负号。

看到 -0.85 不用慌,它的意思是 MSE 是 0.85。

自己写 scorer 时也要遵守这个约定。

一次看全

from sklearn.metrics import classification_report

print(classification_report(y_test, y_pred, digits=4))

输出包含每一类的 precision / recall / f1 / support,以及 macro avg、weighted avg。

那几行平均怎么算什么时候看
macro avg各类别直接平均每个类都重要
weighted avg按各类样本数加权想反映总体表现
accuracy总判对 / 总数类别均衡时够用
from sklearn.metrics import confusion_matrix

print(confusion_matrix(y_test, y_pred))
# [[TN FP]
#  [FN TP]]

常用指标函数

函数输入注意
accuracy_score标签类别不平衡时会骗人
precision_score / recall_score / f1_score标签多分类要指定 average=
roc_auc_score概率或标签要传 predict_proba()[:, 1]
average_precision_score概率不平衡时比 AUC 更有用
log_loss概率评估概率校准
mean_squared_error数值squared=False 得 RMSE
mean_absolute_error数值对离群点不敏感
r2_score数值可以为负(比瞎猜还差)
AUC 要用概率,不是标签

roc_auc_score(y_test, y_pred) 传硬标签也能跑,但只有一个点,算出来的 AUC 就是准确率的翻版,没有意义。

正确写法:roc_auc_score(y_test, model.predict_proba(X)[:, 1])。

make_scorer:自定义目标

想优化一个 sklearn 没内置的指标:

from sklearn.metrics import make_scorer, fbeta_score

# F2:更看重召回率
f2 = make_scorer(fbeta_score, beta=2)

GridSearchCV(pipe, grid, scoring=f2, cv=5)

# 自己的函数
def my_metric(y_true, y_pred):
    return (y_true == y_pred).mean()

my = make_scorer(my_metric, greater_is_better=True)
greater_is_better 必须设对

如果指标是“越小越好”(比如自定义的误差),要设 greater_is_better=False, 否则网格搜索会挑最差的那组。

不平衡数据的指标选择

关心什么用
漏掉正类代价大(筛查)recall、fbeta_score(beta=2)
误报代价大(垃圾邮件)precision、fbeta_score(beta=0.5)
要一个综合分f1
要排序能力,不看阈值roc_auc 或 average_precision
正类极稀少average_precision(比 ROC 敏感)
这一课解决了什么

scoring 统一“越大越好”;回归指标带 neg_; AUC 要传概率;不平衡时别只看 accuracy。

下一课把常用模型横向列一遍。