利用pandas进行数据清洗的7种方式
1.处理数据中的空值
我们在处理真实的数据时，往往会有很多缺少的的特征数据，就是所谓的空值，必须要进行处理才能进行下一步分析
空值的处理方式有很多种，一般是删除或者填充
Excel通过“查找和替换”功能实现空值的统一替换：
通过“定位”删除空值：
pandas处理空值的方式比较灵活，可以使用dropna函数删除空值
import pandas as pd
data=pd.read_csv('成绩表.csv',encoding='gbk')
data.dropna(how='any')
用fillna函数实现空值的填充
①使用数字0填充数据表中的空值
data.fillna(value=0)
②使用平均值填充数据表中的空值
data['语文'].fillna(data['语文'].mean())
2.删除空格
excel中清理空格很简单，直接替换即可
pandas删除空格也很方便，主要使用map函数
data['姓名']=data['姓名'].map(str.strip) data
3.大小写转换
excel中大小写转换函数分别为upper()和lower()
pandas中转换函数也为upper()和lower()
data['拼音']=data['拼音'].str.upper() data
data['拼音']=data['拼音'].str.lower() data
4.更改数据格式
excel中更改数据格式通过快捷键“ctrl+1”打开“设置单元格格式”：
pandas使用astype来修改数据格式，以将“语文”列改成整数为例
data['语文'].dropna(how='any').astype('int')
5.更改列名称
excel中更改列名称就不说了，大家都会
pandas使用rename函数更改列名称，代码如下：
data.rename(columns={'语文':'语文成绩'})
6.删除重复值
excel的功能区“数据”下有“删除重复项”，可以用来删除表中的重复值，默认保留最第一个重复值，把后面的删除：
pandas使用drop_duplicates函数删除重复值：
data['数学'].drop_duplicates() #默认删除后面的重复值
data['数学'].drop_duplicates(keep='last') #删除第一项重复值
7.修改及替换数据
excel中使用“查找和替换”功能实现数值的替换
pandas中使用replace函数实现数据替换
data['姓名'].replace('成 功','失 败')到此这篇关于利用pandas进行数据清洗的7种方式的文章就介绍到这了,更多相关pandas数据清洗内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
探讨python pandas.DataFrame.to_json 函数
这篇文章主要介绍了python pandas.DataFrame.to_json 函数示例详解,to_json 函数提供了灵活的参数设置,使得 pandas 数据框能够以多种格式导出为 JSON 文件,需要的朋友可以参考下2024-07-07
用python基于appium模块开发一个自动收取能量的小助手
大家都有了解过蚂蚁森林吧，本篇文章带给你自动收取蚂蚁森林能量的思路与方法，基于appium模块开发一个自动收取能量的小助手，本文给大家介绍的非常详细，对大家的学习或工作具有一定的价值2021-09-09
这篇文章主要介绍了python3 最常用的三种装饰器语法总结,本文通过示例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-06-06
这篇文章主要给大家介绍了关于python常见模块之OS模块和time模块的相关资料，time模块、os模块与sys模块被称为python模块中的三剑客,需要的朋友可以参考下2021-06-06
这篇文章主要为大家详细介绍了python实现flappy bird游戏，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-12-12
django-orm F对象的使用 按照两个字段的和,乘积排序实例
这篇文章主要介绍了django-orm F对象的使用 按照两个字段的和,乘积排序实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
在Django中自定义filter并在template中的使用详解
这篇文章主要介绍了在Django中自定义filter并在template中的使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
学好Python和条件语句,将方便有效提高工作效率,这篇文章主要给大家介绍了关于python条件语句的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下2021-08-08
这篇文章主要介绍了Python的爬虫框架 Scrapy的相关资料，文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下2020-08-08
这篇文章主要介绍了浅谈Django前端后端值传递问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-07-07
最新评论