利用pandas进行数据清洗的7种方式
更新时间：2024年03月25日 08:50:28 作者：菜鸟学Python数据分析
采集到原始的数据中会存在一些噪点数据,噪点数据是对分析无意义或者对分析起到偏执作用的数据,所以这篇文章给大家介绍了利用pandas进行数据清洗的7种方式,需要的朋友可以参考下
1.处理数据中的空值
我们在处理真实的数据时，往往会有很多缺少的的特征数据，就是所谓的空值，必须要进行处理才能进行下一步分析
空值的处理方式有很多种，一般是删除或者填充
Excel通过“查找和替换”功能实现空值的统一替换：
通过“定位”删除空值：
pandas处理空值的方式比较灵活，可以使用dropna函数删除空值
import pandas as pd
data=pd.read_csv('成绩表.csv',encoding='gbk')
data.dropna(how='any')
用fillna函数实现空值的填充
①使用数字0填充数据表中的空值
data.fillna(value=0)
②使用平均值填充数据表中的空值
data['语文'].fillna(data['语文'].mean())
2.删除空格
excel中清理空格很简单，直接替换即可
pandas删除空格也很方便，主要使用map函数
data['姓名']=data['姓名'].map(str.strip) data
3.大小写转换
excel中大小写转换函数分别为upper()和lower()
pandas中转换函数也为upper()和lower()
data['拼音']=data['拼音'].str.upper() data
data['拼音']=data['拼音'].str.lower() data
4.更改数据格式
excel中更改数据格式通过快捷键“ctrl+1”打开“设置单元格格式”：
pandas使用astype来修改数据格式，以将“语文”列改成整数为例
data['语文'].dropna(how='any').astype('int')
5.更改列名称
excel中更改列名称就不说了，大家都会
pandas使用rename函数更改列名称，代码如下：
data.rename(columns={'语文':'语文成绩'})
6.删除重复值
excel的功能区“数据”下有“删除重复项”，可以用来删除表中的重复值，默认保留最第一个重复值，把后面的删除：
pandas使用drop_duplicates函数删除重复值：
data['数学'].drop_duplicates() #默认删除后面的重复值
data['数学'].drop_duplicates(keep='last') #删除第一项重复值
7.修改及替换数据
excel中使用“查找和替换”功能实现数值的替换
pandas中使用replace函数实现数据替换
data['姓名'].replace('成 功','失 败')到此这篇关于利用pandas进行数据清洗的7种方式的文章就介绍到这了,更多相关pandas数据清洗内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要给大家介绍了关于Pycharm最全报错的原因与解决方法的相关资料,文中记录了Python各种报错解释及处理方法,属于个人记录型,需要的朋友可以参考下2022-07-07
这篇文章主要介绍了Python高级特性之闭包与装饰器,结合实例形式详细分析了Python闭包与装饰器的相关原理、使用方法及相关操作注意事项,需要的朋友可以参考下2019-11-11
这篇文章主要为大家详细介绍了python实现微信防撤回，基于itchat模块，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-04-04
这篇文章主要为大家详细介绍了python图形用户接口实例，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-12-12
这篇文章主要介绍了python基础之匿名函数详解,文中有非常详细的代码示例,对正在学习python基础的小伙伴们有很好的帮助,需要的朋友可以参考下2021-04-04
这篇文章主要介绍了Python iter()函数用法,结合实例形式详细分析了Python iter()函数的功能、使用方法及相关操作注意事项,需要的朋友可以参考下2018-03-03
这篇文章主要介绍了jupyternotebook 撤销删除的操作方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-04-04
在本篇文章里小编给大家分享的是一篇关于怎么快速自学python的相关内容，有兴趣的朋友们可以学习参考下。2020-06-06
对Python 窗体(tkinter)树状数据(Treeview)详解
今天小编就为大家分享一篇对Python 窗体(tkinter)树状数据(Treeview)详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-10-10
Django是Python最流行的Web框架之一,它帮助开发者快速、高效地构建功能强大的Web应用程序,接下来我们将从简介、安装到用法详解,全方位解析Django的世界,感兴趣的朋友跟随小编一起看看吧2025-08-08
最新评论