数据怎么进 sklearn

形状的硬性要求

形状说明
X二维 (n_samples, n_features)行是样本,列是特征
y一维 (n_samples,)每个样本一个答案

最常见的报错来自这一点:

import numpy as np
from sklearn.linear_model import LogisticRegression

x = np.array([1, 2, 3, 4, 5])       # 一维!形状 (5,)
x.reshape(-1, 1)                     # 改成 (5,1) 才是一列特征

X = np.array([[1], [2], [3], [4], [5]])   # 正确:(5,1)
一维 X 会报什么错

ValueError: Expected 2D array, got 1D array instead

报错信息里通常会直接告诉你该怎么改:Reshape your data either using array.reshape(-1, 1)...

内置数据集

练手不用自己找数据。sklearn 自带几个:

函数内容规模
load_iris()鸢尾花,3 类、4 特征150
load_digits()手写数字 0-9,8×8 像素1797
load_breast_cancer()乳腺癌良恶性,30 特征569
load_diabetes()糖尿病进展(回归)442
load_wine()葡萄酒分类,3 类178
from sklearn.datasets import load_breast_cancer

X, y = load_breast_cancer(return_X_y=True)
print(X.shape)    # (569, 30)
print(y.mean())   # 0.627,说明正类占 62.7%
return_X_y=True

不加这个参数,返回的是一个 Bunch 对象,要 d.X / d.target 分开取。

加了直接解包成两个数组,省事。

造数据

想控制难度(样本量、类别比例、噪声),用 make_*:

from sklearn.datasets import make_classification, make_regression, make_blobs, make_moons

# 分类:1000 样本、20 特征、其中 5 个有信息、正类只占 3%
X, y = make_classification(n_samples=1000, n_features=20,
                           n_informative=5, weights=[0.97],
                           random_state=0)

# 回归
X, y = make_regression(n_samples=200, n_features=5, noise=10, random_state=0)

# 聚类:3 团
X, y = make_blobs(n_samples=300, centers=3, cluster_std=1.0, random_state=0)

# 双月牙(k-means 的经典失败案例)
X, y = make_moons(n_samples=300, noise=0.1, random_state=0)

train_test_split 参数表

参数作用建议
test_size测试集比例或个数0.2 ~ 0.3
train_size训练集比例一般不用,给 test_size 就行
random_state随机种子一定要给,否则每次结果不同
shuffle是否打乱(默认 True)时间序列要设 False
stratify按某列分层分类任务传 y
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42, stratify=y
)
stratify 为什么重要

假设 1000 个样本里只有 30 个正类(3%)。随机划分 200 个做测试集,有可能只抽到 2 个正类——测试集里正类比例完全偏离真实分布。

这样算出来的指标波动极大,甚至没有意义。

stratify=y 保证训练集和测试集的类别比例与原始数据一致。

分类任务几乎总是要加。

时间序列不能随便打乱

股票、销量、日志这类有先后顺序的数据,随机打乱会让“未来”的信息进到训练集。

要按时间切:shuffle=False,或者用 TimeSeriesSplit(第 6 课讲)。

划分之前 vs 之后

这一步的顺序极其重要,下一课专门讲。先记住一句话:

先划分,再做别的一切

拿到数据,第一件事就是 train_test_split,然后所有预处理都只在训练集上做。

先缩放后划分、先选特征后划分——都是数据泄漏。

检查数据有没有问题

喂进去之前,先看三件事:

import numpy as np

np.isnan(X).sum()          # 有多少缺失
np.isinf(X).sum()          # 有没有无穷大
X.dtype, X.shape           # 类型和形状
(X == 0).all(axis=0).sum() # 有没有全 0 的列(这种列没信息)
这一课解决了什么

X 必须二维、y 必须一维;分类任务一定加 stratify;时间序列不能打乱。

下一课讲预处理的三类工具。