Python DataFrame处理缺失值的完整指南与实战技巧

import pandas as pd
import numpy as np

# 创建示例DataFrame
df = pd.DataFrame({
    'A': [1, 2, np.nan, 4],
    'B': [5, np.nan, np.nan, 8],
    'C': [9, 10, 11, 12]
})

# 检查单个值是否为缺失值
print(pd.isna(df.loc[2, 'A']))  # 输出: True

# 检查整个DataFrame的缺失值
print(df.isna())
"""
       A      B      C
0  False  False  False
1  False   True  False
2   True   True  False
3  False  False  False
"""

# 检查每列缺失值数量
print(df.isna().sum())
"""
A    1
B    2
C    0
dtype: int64
"""

# 检查每列缺失值比例
print(df.isna().mean())
"""
A    0.25
B    0.50
C    0.00
dtype: float64
"""

import seaborn as sns
import matplotlib.pyplot as plt

sns.heatmap(df.isna(), cbar=False, cmap='viridis')
plt.title('Missing Values Heatmap')
plt.show()

# 删除包含缺失值的行（默认axis=0）
df_drop_rows = df.dropna()
print(df_drop_rows)
"""
     A    B   C
0  1.0  5.0   9
3  4.0  8.0  12
"""

# 删除包含缺失值的列
df_drop_cols = df.dropna(axis=1)
print(df_drop_cols)
"""
     C
0    9
1   10
2   11
3   12
"""

# 只删除全为缺失值的行
df_drop_all_na = df.dropna(how='all')

# 只删除特定列有缺失值的行
df_drop_subset = df.dropna(subset=['A', 'B'])

# 用0填充所有缺失值
df_fill_0 = df.fillna(0)

# 不同列用不同值填充
fill_values = {'A': df['A'].mean(), 'B': df['B'].median()}
df_fill_dict = df.fillna(fill_values)

# 前向填充（用前一个有效值填充）
df_ffill = df.fillna(method='ffill')

# 后向填充（用后一个有效值填充）
df_bfill = df.fillna(method='bfill')

# 限制连续填充数量
df_ffill_limit = df.fillna(method='ffill', limit=1)

# 线性插值
df_interpolate = df.interpolate()

# 时间序列插值（适用于DatetimeIndex）
# df_ts = df.set_index('datetime_column')
# df_ts_interpolate = df_ts.interpolate(method='time')

# 多项式插值
df_poly_interpolate = df.interpolate(method='polynomial', order=2)

from sklearn.impute import KNNImputer

# K近邻填充（使用3个最近邻的平均值）
imputer = KNNImputer(n_neighbors=3)
df_knn = pd.DataFrame(imputer.fit_transform(df), columns=df.columns)

# 随机森林填充（需要先分离特征和目标）
# from sklearn.ensemble import RandomForestRegressor
# 示例代码略

# 创建缺失值指示列
for col in df.columns:
    df[f'{col}_isna'] = df[col].isna().astype(int)

# 按某列分组后填充
df['B'] = df.groupby('C')['B'].transform(lambda x: x.fillna(x.mean()))

# 创建带时间索引的DataFrame
date_rng = pd.date_range(start='1/1/2020', end='1/08/2020', freq='D')
df_ts = pd.DataFrame(date_rng, columns=['date'])
df_ts['value'] = [1, np.nan, np.nan, 4, 5, np.nan, 7, 8]
df_ts.set_index('date', inplace=True)

# 时间感知的前向填充
df_ts_filled = df_ts.resample('D').mean().ffill()

# 迭代填充直到收敛（适用于相互依赖的缺失值）
def iterative_impute(df, max_iter=10, tol=1e-4):
    for _ in range(max_iter):
        df_filled = df.fillna(df.mean())
        if np.allclose(df.fillna(0), df_filled.fillna(0), atol=tol):
            break
        df = df_filled
    return df