Python中数据清洗与处理的常用方法小结

import pandas as pd

# 从 CSV 文件导入数据
df = pd.read_csv('data.csv')

# 从 Excel 文件导入数据
df_excel = pd.read_excel('data.xlsx', sheet_name='Sheet1')

# 从 JSON 文件导入数据
df_json = pd.read_json('data.json')

# 导出到 CSV 文件
df.to_csv('output.csv', index=False)

# 导出到 Excel 文件
df.to_excel('output.xlsx', sheet_name='Sheet1', index=False)

# 导出到 JSON 文件
df.to_json('output.json', orient='records', lines=True)

# 检测缺失值
print(df.isnull().sum())  # 检查每列的缺失值数量
print(df.isnull().values.any())  # 检查整个 DataFrame 是否有缺失值

# 删除缺失值
df_cleaned = df.dropna()  # 删除包含任何缺失值的行
df_cleaned = df.dropna(how='all')  # 删除所有列都为缺失值的行

# 填充缺失值
df_filled = df.fillna(0)  # 用特定值填充缺失值
df_filled = df.fillna(method='ffill')  # 用前一个有效值填充缺失值
df_filled = df.fillna(method='bfill')  # 用后一个有效值填充缺失值

# 查看重复行
duplicates = df[df.duplicated()]
print(duplicates)

# 删除重复行，保留第一次出现
df_unique = df.drop_duplicates()

# 将某列转换为整数类型
df['age'] = df['age'].astype(int)

# 将某列转换为日期类型
df['date'] = pd.to_datetime(df['date'], errors='coerce')

# 使用 IQR 方法检测和处理异常值
Q1 = df.quantile(0.25)
Q3 = df.quantile(0.75)
IQR = Q3 - Q1
df = df[~((df < (Q1 - 1.5 * IQR)) | (df > (Q3 + 1.5 * IQR))).any(axis=1)]

from sklearn.preprocessing import MinMaxScaler

# 数据归一化
scaler = MinMaxScaler()
df['salary_normalized'] = scaler.fit_transform(df[['salary']])

# 去掉两端空格
df['title'] = df['title'].str.strip()

# 替换特定字符
df['title'] = df['title'].str.replace('[^a-zA-Z0-9\s]', '', regex=True)

# 转换为小写
df['title'] = df['title'].str.lower()

# 按列分组求均值
grouped = df.groupby('author')['price'].mean()
print(grouped)

# 按价格分箱
bins = [0, 10, 20, 30]
labels = ['低', '中', '高']
df['price_level'] = pd.cut(df['price'], bins=bins, labels=labels, right=False)