python pandas dataframe 去重函数的具体使用
更新时间：2020年07月20日 10:45:21 作者：张某人ER
这篇文章主要介绍了python pandas dataframe 去重函数的具体使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
今天笔者想对pandas中的行进行去重操作，找了好久，才找到相关的函数
先看一个小例子
from pandas import Series, DataFrame
data = DataFrame({'k': [1, 1, 2, 2]})
print data
IsDuplicated = data.duplicated()
print IsDuplicated
print type(IsDuplicated)
data = data.drop_duplicates()
print data
执行结果是：
k
0 1
1 1
2 2
3 2
0 False
1 True
2 False
3 True
k
0 1
2 2
DataFrame的duplicated方法返回一个布尔型Series,表示各行是否重复行。
而 drop_duplicates方法，它用于返回一个移除了重复行的DataFrame
这两个方法会判断全部列，你也可以指定部分列进行重复项判段。
drop_duplicates根据数据的不同情况及处理数据的不同需求，通常会分为两种情况，一种是去除完全重复的行数据，另一种是去除某几列重复的行数据，就这两种情况可用下面的代码进行处理。
1. 去除完全重复的行数据
data.drop_duplicates(inplace=True)
2. 去除某几列重复的行数据
data.drop_duplicates(subset=['A','B'],keep='first',inplace=True)
- subset： 列名，可选，默认为None
- keep： {‘first', ‘last', False}, 默认值 ‘first'
- first： 保留第一次出现的重复行，删除后面的重复行。
- last： 删除重复项，除了最后一次出现。
- False： 删除所有重复项。
- inplace：布尔值，默认为False，是否直接在原数据上删除重复项或删除重复项后返回副本。（inplace=True表示直接在原来的DataFrame上删除重复项，而默认值False表示生成一个副本。）
例如，希望对名字为k2的列进行去重，
data.drop_duplicates(['k2'])
到此这篇关于python pandas dataframe 去重函数的具体使用的文章就介绍到这了,更多相关python pandas dataframe 去重函数内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
您可能感兴趣的文章:
相关文章
这篇文章主要介绍了如何在python中执行另一个py文件,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-04-04
本文主要介绍了Python统计列表中每个元素出现次数的4种实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-07-07
这篇文章主要介绍了使用11行Python代码盗取了室友的U盘内容的相关资料,需要的朋友可以参考下2018-10-10
这篇文章主要介绍了Python Matplotlib 库使用基本指南,通过本教程,我们学习了使用 Matplotlib 创建各种类型的图表和图形,Matplotlib 提供了丰富的函数和选项,以满足不同的数据可视化需求,需要的朋友可以参考下2024-01-01
这篇文章主要介绍了python中关于os.path.pardir的一些坑及解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-09-09
这篇文章主要介绍了Python requests上传文件实现步骤,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-09-09
这篇文章主要为大家详细介绍了python3实现点餐系统，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-01-01
下面小编就为大家分享一篇python的dataframe转换为多维矩阵的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
本文主要介绍了Pandas DataFrame修改值，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-03-03
在本篇文章里小编给大家详解了关于django表单中的按钮获取数据的内容，需要的朋友们可以参考下。2020-07-07
最新评论