Pandas之使用drop_duplicates:去除重复项
更新时间：2023年12月19日 09:58:04 作者：小虎AI实验室
这篇文章主要介绍了Pandas之使用drop_duplicates:去除重复项方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
前言
本文，我们讲述Pandas如何去除重复项的操作，我们选择一个评价数据集来演示如何删除特定列上的重复项，如何删除重复项并保留最后一次出现，以及drop_duplicates的默认用法
方法
DataFrame.drop_duplicates(subset=None, keep='first', inplace=False)
返回值
这个drop_duplicate方法是对DataFrame格式的数据，去除特定列下面的重复行。
返回删除重复行的 DataFrame。
考虑某些列是可选的。
索引（包括时间索引）将被忽略。
参数
返回DataFrame格式的数据。
- subset : column label or sequence of labels, optional
- 用来指定特定的列，默认所有列
- keep : {‘first’, ‘last’, False}, default ‘first’
- 删除重复项并保留第一次出现的项
- inplace : boolean, default False
- 是直接在原来数据上修改还是保留一个副本
实验
构建包含拉面评级的数据集
df = pd.DataFrame({
'brand': ['Yum Yum', 'Yum Yum', 'Indomie', 'Indomie', 'Indomie'],
'style': ['cup', 'cup', 'cup', 'pack', 'pack'],
'rating': [4, 4, 3.5, 15, 5]
})
数据集数据格式
df
brand style rating
0 Yum Yum cup 4.0
1 Yum Yum cup 4.0
2 Indomie cup 3.5
3 Indomie pack 15.0
4 Indomie pack 5.0
默认情况下，它会根据所有列删除重复的行
df.drop_duplicates()
brand style rating
0 Yum Yum cup 4.0
2 Indomie cup 3.5
3 Indomie pack 15.0
4 Indomie pack 5.0
要删除特定列上的重复项，请使用subset
df.drop_duplicates(subset=['brand'])
brand style rating
0 Yum Yum cup 4.0
2 Indomie cup 3.5
要删除重复项并保留最后一次出现，请使用 keep
df.drop_duplicates(subset=['brand', 'style'], keep='last')
brand style rating
1 Yum Yum cup 4.0
2 Indomie cup 3.5
4 Indomie pack 5.0
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
您可能感兴趣的文章:
相关文章
今天小编就为大家分享一篇python 消费 kafka 数据教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
这篇文章主要介绍了pandas分批读取大数据集教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-06-06
python动画manim中的颜色ManimColor的使用方法详解
这篇文章主要介绍了python动画manim中的颜色ManimColor的使用方法,本文通过实例图文展示给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧2024-08-08
这篇文章主要介绍了Python中Scrapy爬虫图片处理方式和原理，需要的朋友学习参考下吧。2017-11-11
自动转换Python代码为HTML界面的GUI库remi使用探究
这篇文章主要为大家介绍了自动转换Python代码为HTML界面的GUI库remi使用探究,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-01-01
这篇文章主要介绍了python nohup 实现远程运行不宕机操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-04-04
这篇文章主要为大家介绍了python计算机视觉实现全景图像拼接示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
这篇文章主要介绍了在Python的Flask框架中实现单元测试的教程,属于自动化部署的方面,可以给debug工作带来诸多便利,需要的朋友可以参考下2015-04-04
这篇文章主要介绍了Python闭包，所谓闭包就是用函数代替类，被外层函数包围的内层函数，它能够获取外层函数范围中的变量，感兴趣的小伙伴请和小编一起进入文章学习具体内容吧2021-12-12
app.route()是Flask框架中用于定义路由的装饰器函数,本文主要介绍了Flask中app.route装饰器参数的使用,具有一定的参考价值,感兴趣的可以了解一下2023-11-11
最新评论