pandas数据处理之取出重复数据实践
更新时间：2026年04月22日 09:13:40 作者：星越华夏
本文介绍了使用Pandas库处理重复数据的方法,方法一通过将duplicate_bool设为True,保留重复数据；方法二通过两次drop_duplicates操作,得到重复数据
pandas取出重复数据
平常我们用pandas做重复数据处理时，常常调用到drop_duplicates方法来去除重。
现在我不想完全去除重复，而是把重复数据输出，现有数据如下所示：
dic = {'序号':[2,3,4,5,6,7,8,9,10,11,12,13,14,15],'地市缩写': ['LF', 'CZ', 'HS', 'ZJ', 'TS', 'HD', '广阳', 'CD', 'QH', 'XT', 'XA', 'BD', 'SJ', '栾城'],
'地市': ['廊坊', '沧州', '衡水', '张家口', '唐山', '邯郸', '廊坊', '承德', '秦皇岛', '邢台', '雄安', '保定',
'石家庄', '石家庄']}
p_city = pd.DataFrame(dic)
print(p_city )输出：
方法一
重复数据保留一个，duplicate_bool输出的是bool类型值，通过判断bool==True，取出重复行。
duplicate_bool = p_city.duplicated(subset=['地市'], keep='first') print(duplicate_bool ) repeat =p_city.loc[duplicate_bool == True] print(repeat)
输出：
方法二
采用drop_duplicates对数据去两次重，一次将重复数据全部去除(keep=False)，一次将重复数据保留一个(keep=last/first)，将两个去重后的数据做差集，取出重复行。
# 重复数据全部去除 data1 = p_city.drop_duplicates(subset=['地市'], keep=False) print(data1)
输出：
# 重复数据保留一个 data2 = p_city.drop_duplicates(subset=['地市'], keep='last') print(data2)
输出：
# 做差集，取出重复行 data1 = p_city.drop_duplicates(subset=['地市'], keep=False) data2 = p_city.drop_duplicates(subset=['地市'], keep='last') repeat = pd.concat([data2,data1]).drop_duplicates(keep=False) print(repeat)
输出：
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了python with (as)语句实例详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-02-02
贪吃蛇（也叫做贪食蛇）游戏是一款休闲益智类游戏，有PC和手机等多平台版本。既简单又耐玩。本文将利用Python语言快速实现简易贪吃蛇小游戏，感兴趣的可以尝试一下2022-10-10
Python+Django在windows下的开发环境配置图解
Python+Django在windows下的开发环境配置图解教程，需要的朋友可以参考下。2009-11-11
在日常办公和数据处理中,经常需要将Word文档中的表格提取为DataFrame进行后续分析,但Word表格的格式复杂,常规读取方式容易丢失格式或出现内容为空的问题,本文将从基础到终极,提供5个版本的可直接运行代码,覆盖所有Word表格场景,需要的朋友可以参考下2026-05-05
这篇文章主要介绍了python中的线程池threadpool问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-11-11
这篇文章主要介绍了Python调用.NET库的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-12-12
这篇文章主要介绍了Python解析网页源代码中的115网盘链接实例,主要采用了正则表达式re模块来实现该功能,需要的朋友可以参考下2014-09-09
今天小编就为大家分享一篇pandas.loc 选取指定列进行操作的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
本文主要介绍了利用Pygame实现落球小游戏，即屏幕上落下一个球，通过鼠标移动，地下的木块如果接上则加分，否则就减去一命，三条命用完则游戏结束。感兴趣的可以学习2022-01-01
这篇文章主要介绍了pandas 使用insert插入一列的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
最新评论