一文详解Python Pandas中67个最常用的数据处理函数

import pandas as pd

# 自己创建数据框，用于练习
pd.DataFrame() 

# 从 CSV 文件导入数据
pd.read_csv('filename.csv') 

# 从限定分隔符的文本文件导入数据
pd.read_table('filename.txt') 

# 从 Excel 文件导入数据
pd.read_excel('filename.xlsx') 

# 从 SQL 表/库导入数据
pd.read_sql(query, connection_object) 

# 从 JSON 格式的字符串导入数据
pd.read_json(json_string) 

# 解析 URL、字符串或者 HTML 文件，抽取其中的 tables 表格
pd.read_html(url) 

# 导出数据到 CSV 文件
df.to_csv('filename.csv') 

# 导出数据到 Excel 文件
df.to_excel('filename.xlsx') 

# 导出数据到 SQL 表
df.to_sql(table_name, connection_object) 

# 以 Json 格式导出数据到文本文件
df.to_json('filename.json') 

# 将多个数据帧写入同一个工作簿的多个 sheet (工作表)
writer = pd.ExcelWriter('test.xlsx', index=False) 
df1.to_excel(writer, sheet_name='单位') 
writer.save() # 注意：在较新版本 Pandas 中，推荐使用 with pd.ExcelWriter(...) as writer: 语法

# 查看 DataFrame 对象的前 n 行
df.head(n) 

# 查看 DataFrame 对象的最后 n 行
df.tail(n) 

# 查看行数和列数
df.shape 

# 查看索引、数据类型和内存信息
df.info() 

# 查看字段（首行）名称
df.columns 

# 查看数值型列的汇总统计
df.describe() 

# 查看 Series 对象的唯一值和计数
s.value_counts(dropna=False) 

# 查看 DataFrame 对象中每一列的唯一值和计数
df.apply(pd.Series.value_counts) 

# 查看是否有缺失值
df.isnull().any() 

# 查看 column_name 字段数据重复的数据信息
df[df['column_name'].duplicated()] 

# 查看 column_name 字段数据重复的个数
df[df['column_name'].duplicated()].count() 

# 根据列名，并以 Series 的形式返回列
df['col'] 

# 以 DataFrame 形式返回多列
df[['col1', 'col2']] 

# 按位置选取数据 (Series)
s.iloc[0] 

# 按索引选取数据 (Series)
s.loc['index_one'] 

# 返回第一行
df.iloc[0, :] 

# 返回第一列的第一个元素
df.iloc[0, 0] 

# 返回第一行（索引为默认的数字时，用法同 df.iloc），但需要注意的是 loc 是按索引, iloc 参数只接受数字参数
df.loc[0, :] 

# 【已弃用】返回字段为 col1 和 col2 的前 5 条数据
# 注意：.ix 在新版 Pandas 中已被移除，请使用 .loc 或 .iloc
# df.ix[[:5], ["col1", "col2"]] 

# 选择索引名称为 5，字段名称为 col1 的数据
df.at[5, "col1"] 

# 选择索引排序为 5，字段排序为 0 的数据
df.iat[5, 0] 

# 重命名列名（需要将所有列名列出，否则会报错）
df.columns = ['a', 'b', 'c'] 

# 检查 DataFrame 对象中的空值，并返回一个 Boolean 数组
pd.isnull(df) 

# 检查 DataFrame 对象中的非空值，并返回一个 Boolean 数组
pd.notnull(df) 

# 删除所有包含空值的行
df.dropna() 

# 删除所有包含空值的列
df.dropna(axis=1) 

# 删除所有小于 n 个非空值的行
df.dropna(axis=1, thresh=n) 

# 用 x 替换 DataFrame 对象中所有的空值
df.fillna(value=x) 

# 指定列填充缺失值
df['column_name'].fillna(x) 

# 将 Series 中的数据类型更改为 float 类型
s.astype(float) 

# 用 ‘one' 代替所有等于 1 的值
s.replace(1, 'one') 

# 用 'one' 代替 1，用 'three' 代替 3
s.replace([1, 3], ['one', 'three']) 

# 批量更改列名
df.rename(columns=lambda x: x + 1) 

# 选择性更改列名
df.rename(columns={'old_name': 'new_name'}) 

# 将某个字段设为索引，可接受列表参数，即设置多个索引
df.set_index('column_one') 

# 将索引设置为 col1 字段，并将索引新设置为 0, 1, 2...
df.reset_index() # 原文为 df.reset_index("col1")，通常直接调用或传 drop=True

# 批量重命名索引
df.rename(index=lambda x: x + 1) 

# 对前 5 条数据进行索引排序
df.sort_index().loc[:5] 

# 按照列 col1 排序数据，默认升序排列
df.sort_values('col1') 

# 按照列 col1 降序排列数据
df.sort_values('col2', ascending=False) 

# 先按列 col1 升序排列，后按 col2 降序排列数据
df.sort_values(['col1', 'col2'], ascending=[True, False]) 

# 返回一个按列 col 进行分组的 Groupby 对象
df.groupby('col') 

# 返回一个按多列进行分组的 Groupby 对象
df.groupby(['col1', 'col2']) 

# 返回按列 col1 进行分组后，列 col2 的均值
df.groupby('col1')['col2'].agg('mean') 
# agg 可以接受列表参数，如 agg([len, np.mean])

# 创建一个按列 col1 进行分组，计算 col2 的最大值和 col3 的最大值、最小值的数据透 视表
df.pivot_table(index='col1', values=['col2', 'col3'], aggfunc={'col2': max, 'col3': [max, min]}) 

# 返回按列 col1 分组的所有列的均值
df.groupby('col1').agg(np.mean) 

# 对特定列聚合
df.groupby('col1')['col2'].agg(['min', 'max']) 

# 对 DataFrame 中的每一列应用函数 np.mean
data.apply(np.mean) 

# 对 DataFrame 中的每一行应用函数 np.max
data.apply(np.max, axis=1) 

# 通常与 groupby 连用，避免索引更改（返回与原表长度一致的序列）
df.groupby('col1')['col2'].transform("sum") 

# 【已弃用】将 df2 中的行添加到 df1 的尾部
# 注意：.append() 在 Pandas 2.0+ 中已被移除，请使用 pd.concat()
# df1.append(df2) 
pd.concat([df1, df2]) # 推荐做法

# 将 df2 中的列添加到 df1 的尾部，值为空的对应行与对应列都不要
df.concat([df1, df2], axis=1, join='inner') 

# 对 df1 的列和 df2 的列执行 SQL 形式的 join
# 默认按照索引来进行合并，如果 df1 和 df2 有共同字段时，会报错
# 可通过设置 lsuffix, rsuffix 来进行解决
# 如果需要按照共同列进行合并，就要用到 set_index(col1)
df1.join(df2.set_index('col1'), on='col1', how='inner') 

# 对 df1 和 df2 合并，按照 col1，方式为 outer
pd.merge(df1, df2, on='col1', how='outer') 

# 与 df1.join(df2, how='outer') 效果相同
pd.merge(df1, df2, left_index=True, right_index=True, how='outer')