Python数据分析必备的12种数据清洗技术分享

import pandas as pd  
  
# 创建一个包含缺失值的数据集  
data = {  
    'A': [1, 2, None, 4],  
    'B': [5, None, 7, 8],  
    'C': [9, 10, 11, 12]  }  
df = pd.DataFrame(data)  
  
# 删除含有缺失值的行  
df.dropna(inplace=True)  
print(df)  

# 填充缺失值  
df = pd.DataFrame(data)  
  
# 使用均值填充  
df.fillna(df.mean(), inplace=True)  
print(df)  

# 创建一个包含重复值的数据集  
data = {  
    'A': [1, 2, 2, 4],  
    'B': [5, 6, 6, 8],  
    'C': [9, 10, 10, 12]  }  
df = pd.DataFrame(data)  
  
# 删除重复值  
df.drop_duplicates(inplace=True)  
print(df)  

# 创建一个包含字符串类型数字的数据集  
data = {  
    'A': ['1', '2', '3', '4'],  
    'B': ['5', '6', '7', '8'] }  
df = pd.DataFrame(data)  
  
# 转换数据类型  
df['A'] = df['A'].astype(int)  
df['B'] = df['B'].astype(float)  
print(df)  

# 创建一个包含异常值的数据集  
data = {  
    'A': [1, 2, 3, 100],  
    'B': [5, 6, 7, 8]  }  
df = pd.DataFrame(data)  
  
# 检测异常值  
Q1 = df.quantile(0.25)  
Q3 = df.quantile(0.75)  
IQR = Q3 - Q1  
  
# 定义异常值的范围  
lower_bound = Q1 - 1.5 * IQR  
upper_bound = Q3 + 1.5 * IQR  
  
# 删除异常值  
df = df[~((df < lower_bound) | (df > upper_bound)).any(axis=1)]  
print(df)  

from sklearn.preprocessing import StandardScaler, MinMaxScaler    
# 创建一个数据集  
data = {  
    'A': [1, 2, 3, 4],  
    'B': [5, 6, 7, 8]  }  
df = pd.DataFrame(data)  
  
# 标准化  
scaler = StandardScaler()  
df_scaled = scaler.fit_transform(df)  
df_scaled = pd.DataFrame(df_scaled, columns=df.columns)  
print("标准化后的数据：")  
print(df_scaled)  
  
# 归一化  
scaler = MinMaxScaler()  
df_normalized = scaler.fit_transform(df)  
df_normalized = pd.DataFrame(df_normalized, columns=df.columns)  
print("\n归一化后的数据：")  
print(df_normalized)  

# 创建一个数据集  
data = {  
    'A': [1, 2, 3, 4],  
    'B': [5, 6, 7, 8]  }  
df = pd.DataFrame(data)  
  
# 重命名列名  
df.rename(columns={'A': 'Column1', 'B': 'Column2'}, inplace=True)  
print(df)  

# 创建两个数据集  
data1 = {  
    'A': [1, 2, 3],  
    'B': [4, 5, 6] }  
df1 = pd.DataFrame(data1)  
  
data2 = {  
    'A': [4, 5, 6],  
    'B': [7, 8, 9]  
}  
df2 = pd.DataFrame(data2)  
  
# 使用 concat 合并数据集  
df_concat = pd.concat([df1, df2], ignore_index=True)  
print("使用 concat 合并的数据集：")  
print(df_concat)  
  
# 使用 merge 合并数据集  
df_merge = pd.merge(df1, df2, on='A', how='outer')  
print("\n使用 merge 合并的数据集：")  
print(df_merge)  

# 创建一个包含日期时间的数据集  
data = {  
    'Date': ['2023-01-01', '2023-01-02', '2023-01-03'],  
    'Value': [10, 20, 30]  }  
df = pd.DataFrame(data)  
  
# 将日期时间列转换为 datetime 类型  
df['Date'] = pd.to_datetime(df['Date'])  
  
# 提取年份、月份和日期  
df['Year'] = df['Date'].dt.year  
df['Month'] = df['Date'].dt.month  
df['Day'] = df['Date'].dt.day  
  
print(df)  

# 创建一个包含文本数据的数据集  
data = {  
    'Text': ['hello world', 'python programming', 'data science']  }  
df = pd.DataFrame(data)  
  
# 将文本数据转换为小写  
df['Text'] = df['Text'].str.lower()  
  
# 替换特定字符  
df['Text'] = df['Text'].str.replace(' ', '_')  
  
print(df)  

# 创建一个包含分类数据的数据集  
data = {  
    'Category': ['A', 'B', 'A', 'C', 'B', 'A']  }  
df = pd.DataFrame(data)  
  
# 将分类数据转换为类别类型  
df['Category'] = df['Category'].astype('category')  
  
# 查看类别及其编码  
print(df['Category'].cat.codes)  

# 创建一个包含缺失值的数据集  
data = {  
    'A': [1, 2, None, 4],  
    'B': [5, None, 7, 8],  
    'C': [9, 10, 11, 12]  }  
df = pd.DataFrame(data)  
  
# 使用前向填充  
df.fillna(method='ffill', inplace=True)  
print("前向填充后的数据：")  
print(df)  
  
# 使用后向填充  
df = pd.DataFrame(data)  
df.fillna(method='bfill', inplace=True)  
print("\n后向填充后的数据：")  
print(df)