Python Pandas中DataFrame.drop_duplicates()删除重复值详解

更新时间：2022年07月11日 16:10:36 作者：山茶花开时。

在实际处理数据中,数据预处理操作中,常常需要去除掉重复的数据,这篇文章主要给大家介绍了关于Python Pandas中DataFrame.drop_duplicates()删除重复值的相关资料,需要的朋友可以参考下

语法

df.drop_duplicates(subset = None,
                   keep = 'first', 
                   inplace = False, 
                   ignore_index = False)

参数

1.subset:指定的标签或标签序列，仅删除这些列重复值，默认情况为所有列

2.keep:确定要保留的重复值，有以下可选项:

first:保留第一次出现的重复值，默认

last:保留最后一次出现的重复值

False:删除所有重复值

3.inplace:是否生效

4.ignore_index:如果为True，则重新分配自然索引(0,1,…,n - 1)

# 删除重复值 DataFrame.drop_duplicates()
import pandas as pd
 
df = pd.DataFrame([['x','x',1],['x','x',1],['z','x',2]], columns = ['A','B','C'])
 
# 删除重复行
res1 = df.drop_duplicates()
 
# 删除指定列
res2 = df.drop_duplicates(subset = ['A'])
 
# 保留最后一个
res3 = df.drop_duplicates(subset = ['A'], keep = 'last')

结果展示

res1

res2

res3

扩展:识别重复值

import pandas as pd
 
df = pd.DataFrame({
    'studentID':['A001','A002','A003','A004','A005','A006','A006'],
    'score':[100,93,94,96,93,95,95]})
 
# 识别重复值
duplicate_value = df[df.duplicated()]

由上图可知studentID为'A006'的记录有两条，我们可以使用duplicated()方法识别重复值，它返回的是布尔值结果(True:有重复值，False:无重复值)

duplicate_value

总结

到此这篇关于Python Pandas中DataFrame.drop_duplicates()删除重复值的文章就介绍到这了,更多相关Pandas DataFrame.drop_duplicates()删除重复值内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

Python读写txt文本文件的操作方法全解析
这篇文章主要介绍了Python读写txt文本文件的操作方法全解析,包括对文本的查找和替换等技巧的讲解,需要的朋友可以参考下
2016-06-06
Python中八大图像特效算法的示例详解
图像特效处理是基于图像像素数据特征，将原图像进行一定步骤的计算——例如像素作差、灰度变换、颜色通道融合等，从而达到期望的效果。本文将为大家介绍八种常用的图像特效算法，需要的可以参考一下
2022-03-03
Python可视化单词统计词频统计中文分词的实现步骤
这篇文章主要介绍了Python可视化单词统计词频统计中文分词，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
2022-11-11
Python自动化提取多个Word文档的文本
在日常工作和学习中,我们经常需要处理大量的Word文档,本文将深入探讨如何利用Python批量提取Word文档中的文本内容,帮助你解放生产力,感兴趣的小伙伴可以了解下
2025-12-12
python中requests模拟登录的三种方式(携带cookie/session进行请求网站)
这篇文章主要介绍了python中requests模拟登录的三种方式(携带cookie/session进行请求网站)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-11-11
python实现Simhash算法
这篇文章主要介绍了python实现Simhash算法，simhash算法用来进行文本比对的，simhash包含分词、hash、加权、合并、降维五大步骤，下文围绕更多相关资料介绍，需要的小伙伴可以参考一下
2022-02-02
python实现百度关键词排名查询
这篇文章主要介绍了python实现百度关键词排名查询,需要的朋友可以参考下
2014-03-03
一文带你详解Python中sys.executable函数的作用
sys.executable函数是用来获取当前Python解释器的完整路径的,本文主要介绍了一文带你详解Python中sys.executable函数的作用,具有一定的参考价值,感兴趣的可以了解一下
2024-03-03
关于python中@property的使用方法
这篇文章主要介绍了关于python中@property的使用方法,@property装饰器会将方法转换为同名的只读属性，它可以与所定义的属性配合使用,需要的朋友可以参考下
2023-07-07
Python文件如何读取read()函数
这篇文章主要介绍了Python文件如何读取read()函数问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2024-02-02