scikit-learn›课程›评估指标
评估指标
scoring 怎么填
cross_val_score 和 GridSearchCV 的 scoring 参数接受字符串或函数。
| 任务 | 常用字符串 | 含义 |
|---|---|---|
| 分类 | "accuracy" | 准确率 |
"precision" | 精确率 | |
"recall" | 召回率 | |
"f1" / "f1_macro" / "f1_weighted" | F1 | |
"roc_auc" | AUC(需要 predict_proba) | |
"average_precision" | PR 曲线下面积 | |
| 回归 | "r2" | 决定系数(默认) |
"neg_mean_squared_error" | MSE 取负 | |
"neg_root_mean_squared_error" | RMSE 取负 | |
"neg_mean_absolute_error" | MAE 取负 |
为什么回归指标都带 neg_
sklearn 里所有 scoring统一“越大越好”。误差越小越好,所以取负号。
看到 -0.85 不用慌,它的意思是 MSE 是 0.85。
自己写 scorer 时也要遵守这个约定。
一次看全
from sklearn.metrics import classification_report
print(classification_report(y_test, y_pred, digits=4))输出包含每一类的 precision / recall / f1 / support,以及 macro avg、weighted avg。
| 那几行平均 | 怎么算 | 什么时候看 |
|---|---|---|
macro avg | 各类别直接平均 | 每个类都重要 |
weighted avg | 按各类样本数加权 | 想反映总体表现 |
accuracy | 总判对 / 总数 | 类别均衡时够用 |
from sklearn.metrics import confusion_matrix
print(confusion_matrix(y_test, y_pred))
# [[TN FP]
# [FN TP]]常用指标函数
| 函数 | 输入 | 注意 |
|---|---|---|
accuracy_score | 标签 | 类别不平衡时会骗人 |
precision_score / recall_score / f1_score | 标签 | 多分类要指定 average= |
roc_auc_score | 概率或标签 | 要传 predict_proba()[:, 1] |
average_precision_score | 概率 | 不平衡时比 AUC 更有用 |
log_loss | 概率 | 评估概率校准 |
mean_squared_error | 数值 | squared=False 得 RMSE |
mean_absolute_error | 数值 | 对离群点不敏感 |
r2_score | 数值 | 可以为负(比瞎猜还差) |
AUC 要用概率,不是标签
roc_auc_score(y_test, y_pred) 传硬标签也能跑,但只有一个点,算出来的 AUC 就是准确率的翻版,没有意义。
正确写法:roc_auc_score(y_test, model.predict_proba(X)[:, 1])。
make_scorer:自定义目标
想优化一个 sklearn 没内置的指标:
from sklearn.metrics import make_scorer, fbeta_score
# F2:更看重召回率
f2 = make_scorer(fbeta_score, beta=2)
GridSearchCV(pipe, grid, scoring=f2, cv=5)
# 自己的函数
def my_metric(y_true, y_pred):
return (y_true == y_pred).mean()
my = make_scorer(my_metric, greater_is_better=True)greater_is_better 必须设对
如果指标是“越小越好”(比如自定义的误差),要设 greater_is_better=False, 否则网格搜索会挑最差的那组。
不平衡数据的指标选择
| 关心什么 | 用 |
|---|---|
| 漏掉正类代价大(筛查) | recall、fbeta_score(beta=2) |
| 误报代价大(垃圾邮件) | precision、fbeta_score(beta=0.5) |
| 要一个综合分 | f1 |
| 要排序能力,不看阈值 | roc_auc 或 average_precision |
| 正类极稀少 | average_precision(比 ROC 敏感) |
这一课解决了什么
scoring 统一“越大越好”;回归指标带 neg_; AUC 要传概率;不平衡时别只看 accuracy。
下一课把常用模型横向列一遍。