Python对多属性的重复数据去重实例
更新时间：2018年04月18日 15:26:53 作者：I天辉I
下面小编就为大家分享一篇Python对多属性的重复数据去重实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python中的pandas模块中对重复数据去重步骤：
1）利用DataFrame中的duplicated方法返回一个布尔型的Series,显示各行是否有重复行，没有重复行显示为FALSE，有重复行显示为TRUE；
2）再利用DataFrame中的drop_duplicates方法用于返回一个移除了重复行的DataFrame。
注释：
如果duplicated方法和drop_duplicates方法中没有设置参数，则这两个方法默认会判断全部咧，如果在这两个方法中加入了指定的属性名（或者称为列名），例如：frame.drop_duplicates(['state']),则指定部分列（state列）进行重复项的判断。
具体实例如下：
>>> import pandas as pd
>>> data={'state':[1,1,2,2],'pop':['a','b','c','d']}
>>> frame=pd.DataFrame(data)
>>> frame
pop state
0 a 1
1 b 1
2 c 2
3 d 2
>>> IsDuplicated=frame.duplicated()
>>> print IsDuplicated
0 False
1 False
2 False
3 False
dtype: bool
>>> frame=frame.drop_duplicates(['state'])
>>> frame
pop state
0 a 1
2 c 2
>>> IsDuplicated=frame.duplicated(['state'])
>>> print IsDuplicated
0 False
2 False
dtype: bool
>>>
以上这篇Python对多属性的重复数据去重实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
Python 一直以来被大家所诟病的一点就是执行速度慢，但不可否认的是 Python 依然是我们学习和工作中的一大利器。本文总结了15个tips有助于提升 Python 执行速度、优化性能，需要的可以参考一下2022-02-02
这篇文章主要介绍了python实现删除文件与目录的方法,详细的分析了涉及Python文件操作的各种方法,需要的朋友可以参考下2014-11-11
RSA加密算法是一种非对称加密算法,RSA算法的安全性基于大数分解的困难性,即已知两个大素数p和q的乘积n,求解p和q非常困难,RSA算法广泛应用于数据加密和数字签名等领域,本文将详细介绍如何在Python中使用RSA算法进行加密和解密,需要的朋友可以参考下2024-09-09
这篇文章主要介绍了python爬取拉勾网职位数据的实现方法，非常不错，具有参考借鉴价值,需要的朋友可以参考下2018-01-01
今天小编就为大家分享一篇python中for循环输出列表索引与对应的值方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-11-11
这篇文章主要为大家详细介绍了Python计算多幅图像栅格值的平均值，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-06-06
这篇文章主要介绍了python Xpath语法的使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-11-11
为了达到类似C++类的封装性能,可以使用property来设置Python类属性的访问权限,本文就介绍一下Python中通过property设置类属性的访问,感兴趣的可以了解一下,感兴趣的可以了解一下2023-09-09
Python的datetime模块提供了一套强大而灵活的工具,使我们能够轻松地在不同的时间表示形式间相互转换,并进行复杂的时间计算,本文通过一个实用的例子向大家展示如何在Python中高效地进行这些操作,感兴趣的朋友一起看看吧2024-05-05
Markdown格式的文章转换成Word文档能够帮助作者制作更复杂的文档,同时确保内容的一致性和美观性,本文将使用Python实现Markdown转Word,感兴趣的可以了解下2024-11-11
最新评论