scikit-learn›课程›数据怎么进 sklearn
数据怎么进 sklearn
形状的硬性要求
| 形状 | 说明 | |
|---|---|---|
X | 二维 (n_samples, n_features) | 行是样本,列是特征 |
y | 一维 (n_samples,) | 每个样本一个答案 |
最常见的报错来自这一点:
import numpy as np
from sklearn.linear_model import LogisticRegression
x = np.array([1, 2, 3, 4, 5]) # 一维!形状 (5,)
x.reshape(-1, 1) # 改成 (5,1) 才是一列特征
X = np.array([[1], [2], [3], [4], [5]]) # 正确:(5,1)一维 X 会报什么错
ValueError: Expected 2D array, got 1D array instead
报错信息里通常会直接告诉你该怎么改:Reshape your data either using array.reshape(-1, 1)...
内置数据集
练手不用自己找数据。sklearn 自带几个:
| 函数 | 内容 | 规模 |
|---|---|---|
load_iris() | 鸢尾花,3 类、4 特征 | 150 |
load_digits() | 手写数字 0-9,8×8 像素 | 1797 |
load_breast_cancer() | 乳腺癌良恶性,30 特征 | 569 |
load_diabetes() | 糖尿病进展(回归) | 442 |
load_wine() | 葡萄酒分类,3 类 | 178 |
from sklearn.datasets import load_breast_cancer
X, y = load_breast_cancer(return_X_y=True)
print(X.shape) # (569, 30)
print(y.mean()) # 0.627,说明正类占 62.7%return_X_y=True
不加这个参数,返回的是一个 Bunch 对象,要 d.X / d.target 分开取。
加了直接解包成两个数组,省事。
造数据
想控制难度(样本量、类别比例、噪声),用 make_*:
from sklearn.datasets import make_classification, make_regression, make_blobs, make_moons
# 分类:1000 样本、20 特征、其中 5 个有信息、正类只占 3%
X, y = make_classification(n_samples=1000, n_features=20,
n_informative=5, weights=[0.97],
random_state=0)
# 回归
X, y = make_regression(n_samples=200, n_features=5, noise=10, random_state=0)
# 聚类:3 团
X, y = make_blobs(n_samples=300, centers=3, cluster_std=1.0, random_state=0)
# 双月牙(k-means 的经典失败案例)
X, y = make_moons(n_samples=300, noise=0.1, random_state=0)train_test_split 参数表
| 参数 | 作用 | 建议 |
|---|---|---|
test_size | 测试集比例或个数 | 0.2 ~ 0.3 |
train_size | 训练集比例 | 一般不用,给 test_size 就行 |
random_state | 随机种子 | 一定要给,否则每次结果不同 |
shuffle | 是否打乱(默认 True) | 时间序列要设 False |
stratify | 按某列分层 | 分类任务传 y |
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=42, stratify=y
)stratify 为什么重要
假设 1000 个样本里只有 30 个正类(3%)。随机划分 200 个做测试集,有可能只抽到 2 个正类——测试集里正类比例完全偏离真实分布。
这样算出来的指标波动极大,甚至没有意义。
stratify=y 保证训练集和测试集的类别比例与原始数据一致。
分类任务几乎总是要加。
时间序列不能随便打乱
股票、销量、日志这类有先后顺序的数据,随机打乱会让“未来”的信息进到训练集。
要按时间切:shuffle=False,或者用 TimeSeriesSplit(第 6 课讲)。
划分之前 vs 之后
这一步的顺序极其重要,下一课专门讲。先记住一句话:
先划分,再做别的一切
拿到数据,第一件事就是 train_test_split,然后所有预处理都只在训练集上做。
先缩放后划分、先选特征后划分——都是数据泄漏。
检查数据有没有问题
喂进去之前,先看三件事:
import numpy as np
np.isnan(X).sum() # 有多少缺失
np.isinf(X).sum() # 有没有无穷大
X.dtype, X.shape # 类型和形状
(X == 0).all(axis=0).sum() # 有没有全 0 的列(这种列没信息)这一课解决了什么
X 必须二维、y 必须一维;分类任务一定加 stratify;时间序列不能打乱。
下一课讲预处理的三类工具。