pandas›前言›pandas 前言
pandas 前言
两个对象:Series 是一列加一条索引,DataFrame 是几列共用一条索引。 索引本身也是数据,可以重复,可以对齐,可以拿来排序。
它是干什么的
numpy 的数组只装一种类型、没有列名、缺一个值只能塞个特殊数字。而真实的一张表三样都不是这样: 城市是字符串,金额是浮点,日期是时间戳,某一格可能是空的。
pandas 让「这张表」本身成为对象:按列名取一列,按条件筛行,按某列分组算, 缺失值填掉或删掉,最后写回 CSV。这些操作都发生在列上,不在行上。
它解决什么问题
分组统计最典型。100 万行、城市加金额两列的表占 61 MB,按城市分组求均值 209 ms,得到 6 行结果; 同一张表求单列之和 1.81 ms。换成 numpy 要自己写掩码循环,还要自己维护「组名到位置」的映射。
里外都是 numpy:一列底下就是一块 ndarray,所以整列运算快—— 100 万行乘 2,列运算 4.58 ms,写成 .map(lambda ...) 逐行处理是 377.9 ms,差 83 倍。 在 pandas 里写 for 循环,等于把这份优势退回去。
什么时候会用到它
拿到一个 CSV 或 Excel 的第一件事,三行就能答:多少行多少列(.shape)、 每列什么类型(.dtypes)、哪几列缺值(.isna().sum())。 建模之前的时间基本都花在这一层,而这一层出事,后面调什么模型都没用。
反过来:纯数值的矩阵运算、要上 GPU 的、要按批次喂进网络的,不该过它。
这个库的课
两课:一课从头讲一遍,一课按操作查。
- pandas 入门:两个核心对象、读数据、拿到表先看什么、 选取、增删改,最后一个完整的小例子。
- pandas 用法大全:19 节,读取与写出、查看、选取、 缺失值、排序去重、groupby、透视、合并、时间序列、字符串方法、性能与常见坑,最后一节是一页速查。