Python Pandas中DataFrame.drop_duplicates()删除重复值详解

更新时间：2022年07月11日 16:10:36 作者：山茶花开时。

在实际处理数据中,数据预处理操作中,常常需要去除掉重复的数据,这篇文章主要给大家介绍了关于Python Pandas中DataFrame.drop_duplicates()删除重复值的相关资料,需要的朋友可以参考下

语法

df.drop_duplicates(subset = None,
                   keep = 'first', 
                   inplace = False, 
                   ignore_index = False)

参数

1.subset:指定的标签或标签序列，仅删除这些列重复值，默认情况为所有列

2.keep:确定要保留的重复值，有以下可选项:

first:保留第一次出现的重复值，默认

last:保留最后一次出现的重复值

False:删除所有重复值

3.inplace:是否生效

4.ignore_index:如果为True，则重新分配自然索引(0,1,…,n - 1)

# 删除重复值 DataFrame.drop_duplicates()
import pandas as pd
 
df = pd.DataFrame([['x','x',1],['x','x',1],['z','x',2]], columns = ['A','B','C'])
 
# 删除重复行
res1 = df.drop_duplicates()
 
# 删除指定列
res2 = df.drop_duplicates(subset = ['A'])
 
# 保留最后一个
res3 = df.drop_duplicates(subset = ['A'], keep = 'last')

结果展示

res1

res2

res3

扩展:识别重复值

import pandas as pd
 
df = pd.DataFrame({
    'studentID':['A001','A002','A003','A004','A005','A006','A006'],
    'score':[100,93,94,96,93,95,95]})
 
# 识别重复值
duplicate_value = df[df.duplicated()]

由上图可知studentID为'A006'的记录有两条，我们可以使用duplicated()方法识别重复值，它返回的是布尔值结果(True:有重复值，False:无重复值)

duplicate_value

总结

到此这篇关于Python Pandas中DataFrame.drop_duplicates()删除重复值的文章就介绍到这了,更多相关Pandas DataFrame.drop_duplicates()删除重复值内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

Python对象中__del__方法起作用的条件详解
今天小编就为大家分享一篇Python对象中__del__方法起作用的条件详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-11-11
python文本进度条实例
这篇文章主要为大家介绍了python文本进度条，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助
2021-12-12
Python合并多个Excel数据的方法
这篇文章主要介绍了Python合并多个Excel数据的方法也就是说将多个excel中的数据合并到另一个表中，本文通过实例代码相结合的形式给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友参考下吧
2018-07-07
python assert的用处示例详解
python assert 句语格式及用法很简单。通常程序在运行完之后抛出异常，使用assert可以在出现有异常的代码处直接终止运行。这篇文章通过实例代码介绍了python assert的用处 ,需要的朋友可以参考下
2019-04-04
推荐8款常用的Python GUI图形界面开发框架
这篇文章主要介绍了推荐8款常用的Python GUI图形界面开发框架,需要的朋友可以参考下
2020-02-02
Python实现Word批量转PDF的小工具
这篇文章主要为大家详细介绍了如何使用Python复刻一个Word批量转PDF的小工具,文中的示例代码讲解详细,感兴趣的小伙伴可以参考一下
2025-05-05
python 包 requests 实现请求操作
这篇文章主要介绍了python 包 requests 实现请求操作，文章介绍内容包括带参数请求、自定义headers，文章内容详细具有一定的参考价值，需要的小伙伴可以参考一下
2022-04-04
Python get()函数用法案例详解
在Python中,get()是字典（dict）类型的内置方法,用于安全地获取字典中指定键对应的值,它的核心作用是避免因访问不存在的键而引发KeyError错误,本文给大家介绍Python get()函数用法案例,感兴趣的朋友一起看看吧
2025-06-06
如何用定值 Cookie 实现反爬详解
这篇文章主要为大家介绍了如何用定值 Cookie 实现反爬示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2023-04-04
Matplotlib之解决plt.savefig()保存多张图片有重叠的问题
这篇文章主要介绍了Matplotlib之解决plt.savefig()保存多张图片有重叠的问题,具有很好的参考价值,希望对大家有所帮助,
2023-09-09