Pandas之使用drop_duplicates:去除重复项
更新时间：2023年12月19日 09:58:04 作者：小虎AI实验室
这篇文章主要介绍了Pandas之使用drop_duplicates:去除重复项方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
前言
本文，我们讲述Pandas如何去除重复项的操作，我们选择一个评价数据集来演示如何删除特定列上的重复项，如何删除重复项并保留最后一次出现，以及drop_duplicates的默认用法
方法
DataFrame.drop_duplicates(subset=None, keep='first', inplace=False)
返回值
这个drop_duplicate方法是对DataFrame格式的数据，去除特定列下面的重复行。
返回删除重复行的 DataFrame。
考虑某些列是可选的。
索引（包括时间索引）将被忽略。
参数
返回DataFrame格式的数据。
- subset : column label or sequence of labels, optional
- 用来指定特定的列，默认所有列
- keep : {‘first’, ‘last’, False}, default ‘first’
- 删除重复项并保留第一次出现的项
- inplace : boolean, default False
- 是直接在原来数据上修改还是保留一个副本
实验
构建包含拉面评级的数据集
df = pd.DataFrame({
'brand': ['Yum Yum', 'Yum Yum', 'Indomie', 'Indomie', 'Indomie'],
'style': ['cup', 'cup', 'cup', 'pack', 'pack'],
'rating': [4, 4, 3.5, 15, 5]
})
数据集数据格式
df
brand style rating
0 Yum Yum cup 4.0
1 Yum Yum cup 4.0
2 Indomie cup 3.5
3 Indomie pack 15.0
4 Indomie pack 5.0
默认情况下，它会根据所有列删除重复的行
df.drop_duplicates()
brand style rating
0 Yum Yum cup 4.0
2 Indomie cup 3.5
3 Indomie pack 15.0
4 Indomie pack 5.0
要删除特定列上的重复项，请使用subset
df.drop_duplicates(subset=['brand'])
brand style rating
0 Yum Yum cup 4.0
2 Indomie cup 3.5
要删除重复项并保留最后一次出现，请使用 keep
df.drop_duplicates(subset=['brand', 'style'], keep='last')
brand style rating
1 Yum Yum cup 4.0
2 Indomie cup 3.5
4 Indomie pack 5.0
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
您可能感兴趣的文章:
相关文章
今天小编给大家来介绍一款十分好用的可视化模块，D3Blocks，不仅可以用来绘制可动态交互的图表，并且导出的图表可以是HTML格式，方便在浏览器上面呈现，感兴趣的可以了解一下2023-02-02
这篇文章主要介绍了python爬取全国火锅店数量并可视化展示，文章通过获取全国不同城市火锅店数量情况，并将这些数据进行可视化展示，下文详细内容介绍，需要的小伙伴可以参考2022-05-05
这篇文章主要为大家详细介绍了如何利用python Django实现歌曲搜索功能,文中的示例代码讲解详细,具有一定的参考价值,有需要的小伙伴开业了解下2023-10-10
这篇文章主要介绍了使用C++扩展Python的功能详解，具有一定借鉴价值,需要的朋友可以参考下2018-01-01
这篇文章主要介绍了Python map和reduce函数用法示例,本文给出了两个函数的多个用法示例,需要的朋友可以参考下2015-02-02
今天小编就为大家分享一篇关于Opencv+Python实现图像运动模糊和高斯模糊的示例，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2019-04-04
这篇文章主要给大家介绍了关于如何利用Python将图片中扭曲矩形复原的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-09-09
这篇文章主要介绍了Python如何把字典写入到CSV文件的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-08-08
这篇文章主要为大家详细介绍了pygame实现弹球游戏，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2020-04-04
这篇文章主要介绍了python读取并写入mat文件的方法，文中给大家提到了python读取matlab写的mat文件问题以及解决办法 ,需要的朋友可以参考下2019-07-07
最新评论