pandas 入门
它解决的是什么问题
numpy 处理的是“一堆数字”。但真实数据往往不是纯数字——它是一张表: 有列名(城市、销量、日期),有不同的类型(字符串、整数、时间),有缺失,有重复。
这些东西 numpy 处理起来很别扭:它只能装同一类型,没有列名,缺一个值就得塞个特殊数字。
pandas 就是为“带表头和索引的表”设计的。
pandas 底层用 numpy 存数据。所以你会在两边来回转:df.to_numpy() 拿出来算,pd.DataFrame(arr) 放回去。
数值计算量大的时候,取出来用 numpy 算,比在 pandas 里逐个操作快得多。
两个核心对象
| Series | DataFrame | |
|---|---|---|
| 是什么 | 带索引的一维数组 | 带行列标签的二维表 |
| 类比 | Excel 的一列 | Excel 的一整张表 |
| 创建 | pd.Series([1,2]) | pd.DataFrame({"a":[1,2]}) |
import pandas as pd
df = pd.DataFrame({
"城市": ["北京", "上海", "北京", "广州"],
"销量": [10, 20, 30, 40],
})自动生成了行号 0 1 2 3(叫索引 index),列名是你给的那两个。
numpy 只有位置:第 0 行第 1 列。
pandas 有标签:行可以叫“张三”,列叫“销量”。
所以 pandas 能按名字取值、自动对齐、处理缺失、混合类型。代价是慢一些、占内存多一些。
读数据
实际工作里,表几乎都是从文件来的:
df = pd.read_csv("data.csv")
df = pd.read_excel("data.xlsx", sheet_name="Sheet1")
df = pd.read_parquet("data.parquet") # 列式,最快
df = pd.read_sql("SELECT * FROM t", conn) # 从数据库Excel 导出的中文 CSV 常是 GBK 编码,读进来会乱码。
加 encoding="gbk" 或 "gb18030"。
拿到表先看什么
这一步别跳过。很多问题(类型不对、编码错、多了一列索引)在这一步就能发现。
df.head() # 前 5 行,看看长什么样
df.shape # (行数, 列数)
df.info() # 每列的类型 + 非空数量 ← 最重要
df.describe() # 数值列的统计摘要
df.isna().sum() # 每列缺几个值它一眼告诉你三件事:有多少行、每列是什么类型、有没有缺失。
常见问题都在这里暴露:本该是数字的列变成了 object(说明有非数字字符), 本该 1000 行的只有 300 行(说明读取时出错了)。
选取
选列
df["销量"] # 一列,返回 Series
df[["城市", "销量"]] # 多列,返回 DataFrame(双层方括号)选行:loc 和 iloc
df.loc[0, "销量"] # 按标签:第 0 行、"销量"列
df.iloc[0, 1] # 按位置:第 0 行、第 1 列
df.loc[0:2] # 标签切片,含 2
df.iloc[0:2] # 位置切片,不含 2loc[0:2] 包含 2,因为它是“给我 0、1、2 这三个标签”。
iloc[0:2] 不包含 2,沿用 Python 的位置切片习惯。
记法:loc 是问“有哪些”,iloc 是问“第几个”。
按条件筛
df[df["销量"] > 20]
df[(df["城市"] == "北京") & (df["销量"] > 20)] # 与:用 & 并加括号
df[df["城市"].isin(["北京", "上海"])]增删改
df["单价"] = df["销量"] / 10 # 新增列(直接赋值)
df = df.drop(columns=["单价"]) # 删列
df = df.drop(index=[0]) # 删行
df = df.rename(columns={"销量": "sales"})
df["销量"] = df["销量"].astype(float)df["销量"][0] = 99 会报 SettingWithCopyWarning。
因为它可能是“取一份拷贝 → 改拷贝”,原表根本没变。pandas 不确定,所以警告。
正确写法是一次写完索引:df.loc[0, "销量"] = 99。
一个完整的小例子
算出每个城市的平均销量,并按从高到低排:
result = (
df.groupby("城市")["销量"]
.mean()
.sort_values(ascending=False)
)
print(result)
# 广州 40.0
# 北京 20.0
# 上海 20.0三行:按城市分组 → 求平均 → 排序。这是 pandas 最典型的用法, 数据分析里一大半的需求都是这个形状。
这一课讲的是“它是什么、怎么上手”。真正的函数细节在用法大全里,当字典查。
别试图背下来。知道有这个东西、知道去哪查就够了。