pandas处理缺失值的10种策略

一、引言

在数据分析的世界里，数据清洗是一项至关重要的前期工作。它犹如给食材去皮、洗净、切片，让它们成为一道道美味佳肴的原材料。对于Python初学者来说，掌握如何使用强大的Pandas库处理数据中的缺失值是迈向数据清洗高手的第一步。本文将带领您探索使用Pandas处理缺失值的10种策略，让您在实战中游刃有余。

二、准备工作：导入Pandas库与加载示例数据集

首先，确保已经安装了Pandas库，可通过以下命令进行安装：

pip install pandas

然后，我们创建一个简单的示例数据集example_data.csv，其中包含一些故意引入的缺失值（用NaN表示），以方便演示各种处理策略。以下代码导入Pandas库并加载数据集：

import pandas as pd

# 加载示例数据集
df = pd.read_csv("example_data.csv")
print(df)

输出结果类似如下：

   A    B    C    D
0  1  2.0  NaN  foo
1  2  NaN  7.0  bar
2  3  4.0  5.0  baz
3  4  NaN  6.0  qux
4  5  6.0  NaN  quux

接下来，我们将逐一介绍并演示10种处理缺失值的策略。

三、策略1：直接删除含有缺失值的行

有时，当数据集中存在大量缺失值，且对分析影响较小时，可以选择直接删除含有缺失值的行。Pandas的dropna()方法可以轻松实现这一操作：

# 删除含有缺失值的行
df_cleaned = df.dropna()
print(df_cleaned)

注意：删除数据需谨慎，确保缺失值的分布不会严重影响分析结果。

四、策略2：删除含有缺失值的列

如果某一列的缺失值过多，可能对该列的分析价值产生较大影响，这时可以考虑删除整列。只需将dropna()方法的axis参数设置为1（代表列）：

# 删除含有缺失值的列
df_cleaned = df.dropna(axis=1)
print(df_cleaned)

五、策略3：填充缺失值（替换为固定值）

若希望将所有缺失值替换为某个固定的值（如0、-1或特定字符串），使用fillna()方法即可：

# 将所有缺失值替换为0
df_filled = df.fillna(0)
print(df_filled)

六、策略4：基于前一个非空值进行向前填充

对于时间序列数据或其他有序数据，有时会采用“前一个非空值”来填充缺失值。只需将fillna()方法的method参数设为ffill（forward fill）：

# 基于前一个非空值进行向前填充
df_filled = df.fillna(method='ffill')
print(df_filled)

七、策略5：基于后一个非空值进行向后填充

与向前填充相反，向后填充（backfill）使用的是“后一个非空值”。只需将fillna()方法的method参数设为bfill：

# 基于后一个非空值进行向后填充
df_filled = df.fillna(method='bfill')
print(df_filled)

八、策略6：基于平均值、中位数或众数填充缺失值

对于数值型数据，可以计算列的平均值、中位数或众数，然后用这些统计量填充缺失值。分为两步：

• 计算统计量：

mean_A = df['A'].mean()
median_B = df['B'].median()
mode_C = df['C'].mode()[0]

• 使用fillna()方法进行填充：

df_filled_A = df['A'].fillna(mean_A)
df_filled_B = df['B'].fillna(median_B)
df_filled_C = df['C'].fillna(mode_C)

九、策略7：使用插值法填充缺失值

对于连续的数值型数据，可以使用插值法进行填充。Pandas支持线性插值和时间序列插值：

• 线性插值：使用interpolate()方法，无需额外参数：

df_interpolated = df.interpolate()
print(df_interpolated)

• 时间序列插值：假设数据集有时间戳列（如datetime），则可使用method='time'参数：

df['datetime'] = pd.to_datetime(df['datetime'])  # 转换为datetime类型
df_interpolated = df.set_index('datetime').interpolate(method='time').reset_index()
print(df_interpolated)

十、策略8：使用特定函数填充缺失值

如果您想根据数据特点自定义填充规则，可以编写一个函数，然后通过applymap()方法应用到整个数据框：

def custom_fillna(x):
    if isinstance(x, float) and pd.isnull(x):
        return 0  # 对浮点数缺失值填充0
    else:
        return x  # 其他情况保持原样

df_custom_filled = df.applymap(custom_fillna)
print(df_custom_filled)

十一、策略9：利用机器学习模型预测缺失值

对于复杂的数据集，可以训练一个简单的机器学习模型（如线性回归）来预测缺失值。以下是一个简化的示例：

from sklearn.linear_model import LinearRegression

# 假设D列有缺失值，用A、B、C列作为特征预测D列
X = df.dropna(subset=['D'])[['A', 'B', 'C']]
y = df.dropna(subset=['D'])['D']

model = LinearRegression().fit(X, y)

# 预测并填充缺失值
df['D_pred'] = model.predict(df[['A', 'B', 'C']])
df['D_filled'] = df['D'].fillna(df['D_pred'])
print(df)

十二、策略10：多重填充策略的组合运用

实际工作中，可能需要结合多种策略灵活应对不同情况。例如，先用众数填充类别变量，再用线性插值填充数值变量：

df_filled_categories = df.fillna(df.mode().iloc[0])
df_filled_numerics = df_filled_categories.interpolate()
print(df_filled_numerics)

十三、结论与实践建议

处理数据中的缺失值没有绝对的“最佳实践”，应根据数据特性和分析目标灵活选择合适的方法。理解并熟练运用Pandas提供的工具，结合实际情况创新组合策略，将使你在数据清洗的道路上更加自信从容。

到此这篇关于pandas处理缺失值的10种策略的文章就介绍到这了,更多相关pandas 缺失值内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

最新评论