Python常用的数据清洗方法详解

import pandas as pd
dataset= pd.read_csv("red_wine_repetition.csv")
print("是否存在重复值：",any(dataset.duplicated()))     #输出：True
dataset.drop_duplicates(inplace=True)
dataset.to_csv('red_wine_repetition2.csv',index=False)   #保存移除重复值后的数据集

from numpy import NaN
from pandas import Series
data=Series([5, None, 15, NaN, 25])
print(data.isnull())    #输出每个元素的检测结果
print('是否存在缺失值：',any(data.isnull()))  #输出 :True

import pandas as pd
dataset= pd.read_csv("red_wine_deficiency.csv")
data1=dataset.dropna()  #删除所有的缺失值
data2=dataset.dropna(axis=1, thresh=9)  #删除有效属性小于9的列
data3=dataset.drop("free sulfur dioxide", axis=1)   #删除free sulfur dioxide的数据
print(data1,'\n---------------\n',data2,'\n---------------\n',data3)

import pandas as pd
dataset= pd.read_csv("red_wine_deficiency.csv")
data1=dataset.fillna(0)    #用0填补所有的缺失值
data2=dataset.fillna(method='ffill')      #用前一行的值填补缺失值
data3=dataset.fillna(method='bfill')      #用后一行的值填补缺失值，最后一行缺失不处理
data4=dataset.fillna(value={'pH':dataset.pH.mode()[0],           #使用众数填补
                            'density':dataset.density.mean(),    #使用均值填补
                            'alcohol':dataset.alcohol.median()}) #使用中位数填补
print(data1,'\n-----\n',data2,'\n-----\n',data3,'\n-----\n',data4)

import pandas as pd
dataset= pd.read_csv("red_wine_deficiency.csv")
data=dataset.fillna(value={'pH':dataset.pH.mode()[0],           #使用众数填补
                            'density':dataset.density.interpolate(method='polynomial',order=2),
                            #使用二项式插值填补
                            'alcohol':dataset.alcohol.interpolate()})  #使用线性插值填补
print(data)

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
dataset= pd.read_csv("red_wine_abnormal.csv")
dataset=dataset['fixed acidity']
mu=dataset.mean()      #计算平均值
δ=dataset.std()      #计算标准差
print('标准差法异常值上限检测:',any(dataset > mu+2*δ))    #输出：True
print('标准差法异常值下限检测:',any(dataset < mu-2*δ))    #输出：True
Q1=dataset.quantile(0.25)    #计算下四分位数
Q3=dataset.quantile(0.75)    #计算上四分位数
IQR=Q3-Q1
print('箱线图法异常值上限检测：',any(dataset > Q3+1.5*IQR))  #输出：True
print('箱线图法异常值下限检测：',any(dataset < Q1-1.5*IQR))  #输出：True
plt.style.use('ggplot')
dataset.plot(kind='hist',bins=30,density=True)  
dataset.plot(kind='kde')
plt.show()
#替换异常值
UB=Q3+1.5*IQR
st=dataset[dataset < UB].max()    #找出低于判断上限的最大值
dataset.loc[dataset >UB] = st
plt.style.use('ggplot')
dataset.plot(kind='hist',bins=30,density=True)  
dataset.plot(kind='kde')
plt.show()