Pandas清洗数据和预处理的7种核心方法

import pandas as pd
import numpy as np
# 构造测试数据
df = pd.DataFrame({
    '地区': ['北京', '北京', '上海', '上海', '广州', '广州'],
    '销售额': [100, np.nan, 200, 150, np.nan, 300],
    '品类': ['家电', np.nan, '数码', '数码', '家电', '家电']
})
# 1. 删除缺失值（仅删除销售额列有缺失的行）
df_drop = df.dropna(subset=['销售额'])
# 2. 数值列用分组均值填充（按地区填充该地区销售额均值）
df['销售额'] = df.groupby('地区')['销售额'].transform(lambda x: x.fillna(x.mean()))
# 3. 分类列用众数填充
df['品类'] = df['品类'].fillna(df['品类'].mode()[0])
# 4. 时序数据方向填充（示例）
df_time = pd.DataFrame({'温度': [25, np.nan, 27, np.nan, 28]}, 
                       index=pd.date_range('2026-03-01', periods=5))
df_time['温度'] = df_time['温度'].fillna(method='ffill')  # 前向填充

# 构造测试数据
df = pd.DataFrame({
    'ID': [1, 1, 2, 3, 3],
    '姓名': ['张三', '张三', '李四', '王五', '王五'],
    '金额': [100, 200, 150, 300, 300]
})
# 1. 检测重复（默认全部列相同才视为重复）
df['是否重复'] = df.duplicated()
# 2. 按指定列检测重复（仅ID相同即视为重复）
df['ID重复'] = df.duplicated(subset=['ID'])
# 3. 删除重复行（保留第一次出现的行）
df_clean = df.drop_duplicates()
# 4. 按ID去重，保留金额最大的行（进阶用法）
df_clean = df.sort_values('金额', ascending=False).drop_duplicates(subset=['ID'], keep='first')

# 构造测试数据
df = pd.DataFrame({
    '年龄': ['25', '30', '未知'],
    '收入': ['5,000', '8,000', '10,000'],
    '日期': ['2026-03-01', '2026/03/02', '20260303'],
    '性别': ['男', '女', '男']
})
# 1. 字符串转数值（处理异常值）
df['年龄'] = pd.to_numeric(df['年龄'], errors='coerce')  # "未知"转为NaN
df['收入'] = pd.to_numeric(df['收入'].str.replace(',', ''))  # 去掉逗号再转数值
# 2. 字符串转日期（自动识别多种格式）
df['日期'] = pd.to_datetime(df['日期'])
# 3. 转为分类类型（节省内存，加速分组）
df['性别'] = df['性别'].astype('category')
# 4. 日期提取年/月/日（衍生字段）
df['年'] = df['日期'].dt.year
df['月'] = df['日期'].dt.month
df['星期'] = df['日期'].dt.dayofweek  # 0=周一，6=周日

# 构造测试数据
df = pd.DataFrame({
    '地区': ['北京', '北京', '上海', '上海'],
    '品类': ['家电', '数码', '家电', '数码'],
    '2025年': [100, 200, 150, 250],
    '2026年': [120, 220, 180, 280]
})
# 1. 宽转长（将年份列转为行）
df_long = df.melt(
    id_vars=['地区', '品类'],  # 保留的标识列
    value_vars=['2025年', '2026年'],  # 要转换的列
    var_name='年份',  # 新列名（原列名）
    value_name='销售额'  # 新值列名
)
# 2. 长转宽（恢复宽表）
df_wide = df_long.pivot(
    index=['地区', '品类'],
    columns='年份',
    values='销售额'
).reset_index()
# 3. 透视表（聚合统计）
df_pivot = df.pivot_table(
    index='地区',
    columns='品类',
    values=['2025年', '2026年'],
    aggfunc='sum'  # 聚合方式
)

# 构造测试数据
df = pd.DataFrame({
    '姓名': [' 张三 ', '李四 ', ' 王五'],
    '手机号': ['138-1234-5678', '139 9876 5432', '13788889999'],
    '地址': ['北京市朝阳区XX小区', '上海市浦东新区XX路', '广州市天河区XX街'],
    '爱好': ['篮球,足球', '读书,旅游', '跑步,游泳']
})
# 1. 格式标准化
df['姓名'] = df['姓名'].str.strip()  # 去空格
df['地址'] = df['地址'].str.replace('市', '')  # 去掉"市"字
# 2. 清理特殊字符
df['手机号'] = df['手机号'].str.replace('-', '').str.replace(' ', '')  # 去掉横线和空格
# 3. 拆分多值列
df_hobby = df['爱好'].str.split(',', expand=True)
df_hobby.columns = ['爱好1', '爱好2']
df = pd.concat([df, df_hobby], axis=1)
# 4. 提取关键信息（从地址提取省份）
df['省份'] = df['地址'].str.extract('(北京|上海|广州)')
# 5. 筛选包含指定内容的行
df_bj = df[df['地址'].str.contains('北京')]

# 构造测试数据
df = pd.DataFrame({
    '年龄': [18, 25, 32, 45, 58, 65, 72, 80],
    '收入': [3000, 8000, 15000, 25000, 50000, 80000, 100000, 150000]
})
# 1. 等宽分箱（年龄分为4个等宽区间）
df['年龄分档_等宽'] = pd.cut(df['年龄'], bins=4, labels=['青年', '中年', '中老年', '老年'])
# 2. 等频分箱（收入分为3个区间，每个区间样本数相同）
df['收入分档_等频'] = pd.qcut(df['收入'], q=3, labels=['低收入', '中收入', '高收入'])
# 3. 自定义分箱（按业务规则分年龄）
age_bins = [0, 18, 30, 50, 100]
age_labels = ['未成年', '青年', '中年', '老年']
df['年龄分档_自定义'] = pd.cut(df['年龄'], bins=age_bins, labels=age_labels, right=False)
# 4. 分箱后统计（各年龄档的收入均值）
df.groupby('年龄分档_自定义')['收入'].mean()

# 构造测试数据
df = pd.DataFrame({
    'A': [1, 2, 3, 4],
    'B': [10, 20, 30, 40],
    'C': ['a', 'b', 'a', 'b']
})
# 1. 列运算（创建新列）
df['A+B'] = df['A'] + df['B']  # 简单运算
df['A*B'] = df['A'] * df['B']  # 乘法
df['B/A'] = df['B'] / df['A']  # 除法
# 2. 映射替换（按字典替换值）
map_dict = {'a': '类别1', 'b': '类别2'}
df['C_映射'] = df['C'].map(map_dict)
# 3. 排序（按多列排序）
df_sorted = df.sort_values(by=['C', 'A'], ascending=[True, False])
# 4. 重置索引（清洗后索引不连续时）
df_reset = df_sorted.reset_index(drop=True)
# 5. 重命名列
df_rename = df.rename(columns={'A': '列1', 'B': '列2', 'C': '列3'})
# 6. 过滤行（按条件筛选）
df_filter = df[df['B'] > 20]  # B列大于20的行