Python清理数据的八种常用方法

import pandas as pd  
  
# 读取数据  
df = pd.read_csv('data.csv')  
  
# 显示前5行  
print(df.head())  
  
# 显示后5行  
print(df.tail())  
  
# 显示基本信息  
print(df.info())  
  
# 显示描述性统计信息  
print(df.describe())

import pandas as pd  
  
# 读取数据  
df = pd.read_csv('data.csv')  
  
# 填充缺失值为0  
df.fillna(0, inplace=True)  
  
# 使用前一个非空值填充缺失值  
df['column_name'].ffill(inplace=True)  
  
# 使用后一个非空值填充缺失值  
df['column_name'].bfill(inplace=True)  
  
# 删除包含缺失值的行  
df = df.dropna()

import pandas as pd  
  
# 将字符串转换为整数  
df['column_name'] = df['column_name'].astype(int)  
  
# 将字符串转换为浮点数  
df['column_name'] = df['column_name'].astype(float)  
  
# 将日期时间字符串转换为日期时间对象  
df['column_name'] = pd.to_datetime(df['column_name'])

import pandas as pd  
  
# 删除重复行  
df = df.drop_duplicates()

from sklearn.preprocessing import StandardScaler  
  
# 创建标准化器  
scaler = StandardScaler()  
  
# 标准化数据  
df = scaler.fit_transform(df)

import pandas as pd  
from sklearn.feature_selection import SelectKBest, chi2  
  
# 计算特征与目标变量之间的卡方统计量  
kbest = SelectKBest(score_func=chi2, k=10)  
X_new = kbest.fit_transform(df.drop('target_column', axis=1), df['target_column'])
包装法：通过训练模型并计算特征的重要性来选择最具预测性的特征。例如使用随机森林、XGBoost等模型进行特征选择。示例代码如下：

python
from sklearn.ensemble import RandomForestClassifier  
from sklearn.feature_selection import SelectFromModel  
  
# 训练随机森林分类器  
clf = RandomForestClassifier()  
clf.fit(df.drop('target_column', axis=1), df['target_column'])  
  
# 创建特征选择器并选择最重要的10个特征  
sfm = SelectFromModel(clf, threshold=0.15, prefit=True)  
X_new = sfm.transform(df.drop('target_column', axis=1))

import pandas as pd  
  
# 读取数据  
df = pd.read_csv('data.csv')  
  
# 将类别数据转换为独热编码  
df = pd.get_dummies(df, columns=['column_name'])  
  
# 将类别数据转换为标签编码  
df['column_name'] = df['column_name'].map({'类别1': 1, '类别2': 2, '类别3': 3})
数据去重
如果数据中存在重复的行，可以使用pandas的duplicated()函数进行去重。示例代码如下：

python
import pandas as pd  
  
# 读取数据  
df = pd.read_csv('data.csv')  
  
# 删除重复行  
df = df.drop_duplicates()
数据排序
对于某些数据分析任务，我们需要对数据进行排序。例如，按时间顺序查看数据的发展趋势。使用pandas的sort_values()函数可以方便地对数据进行排序。示例代码如下：

python
import pandas as pd  
  
# 读取数据  
df = pd.read_csv('data.csv')  
  
# 按时间列进行升序排序  
df = df.sort_values(by='time_column')