pandas重复行删除操作df.drop_duplicates和df.duplicated的区别

更新时间：2022年08月22日 15:38:17 作者：jingzen

本文主要介绍了pandas重复行删除操作df.drop_duplicates和df.duplicated的区别，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

概念

df.duplicated（）

使用df.cuplicated()来查看重复数据，返回True,False，数据类型是bool.

也可以指定某一列是否有重复值df.cuplidated(‘colname’),不指定则默认为第一列。

df.dropduplicates(’col‘,keep=‘first’,inplace=False)

用来删除重复行。

实例

读取数据

# %% 提取数据 从sqlite
import pandas as pd
from sqlalchemy import create_engine
'''创建sqlite3连接'''
eg = create_engine('sqlite:///I:/jianguoyun/Udoc/WorkDb/dataset2022.db')  #创建数据库连接
# 读取数据库文件
q_store = """
select *  from pj_store20220525
"""
# 读取表
cols= ['货号','品类','节庆','库位','合格','换包装','错码','维修','总数量' ]
df = pd.read_sql(q_store,eg)[cols]

计算重复项

# df.duplicated 计算重复项
cond = df.duplicated('货号') # 查看货号相同的项 df.duplicated返回的是布尔值
def_line = df[cond]
def_line

计算有多少个重复行

#有多少个重复行
dep_data = df.duplicated('货号').sum() 
dep_data

用df.drop_duplicates提取夏季品类

# 用df.drop_duplicates提取夏季品类
df_category = df.query('节庆=="夏季"').drop_duplicates('品类',keep='last',inplace=False) 
df_category['品类'].sort_values()

参数：

keep ，保留最后last还是第一行first,
inplace:是否替换原列表,false:不替换，True，替换。

到此这篇关于pandas重复行删除操作df.drop_duplicates和df.duplicated的区别的文章就介绍到这了,更多相关pandas df.drop_duplicates df.duplicated内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

在centos7中分布式部署pyspider
PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。
2017-05-05
python3连接mysql获取ansible动态inventory脚本
Ansible Inventory 是包含静态 Inventory 和动态 Inventory 两部分的，静态 Inventory 指的是在文件中指定的主机和组，动态 Inventory 指通过外部脚本获取主机列表。这篇文章主要介绍了python3连接mysql获取ansible动态inventory脚本,需要的朋友可以参考下
2020-01-01
Python多线程编程之threading模块详解
这篇文章主要介绍了Python多线程编程之threading模块详解,文中有非常详细的代码示例,对正在学习python的小伙伴们有非常好的帮助,需要的朋友可以参考下
2021-04-04
python编程中简洁优雅的推导式示例详解
这篇文章主要为大家介绍了python编程中简洁优雅的推导式示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步
2021-11-11
解决安装和导入tensorflow、keras出错的问题
这篇文章主要介绍了解决安装和导入tensorflow、keras出错的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2024-01-01
python中numpy 数组过滤详解
这篇文章主要介绍了python中numpy 数组过滤详解的相关资料,需要的朋友可以参考下
2023-06-06
Python列表如何更新值
在本篇内容中小编给大家整理的是一篇关于Python列表如何更新值的知识点，需要的朋友们可以学习下。
2020-05-05
python通过PyQt5实现登录界面的示例代码
本文主要介绍了python通过PyQt5实现登录界面的示例代码，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2021-08-08
Python与shell的3种交互方式介绍
这篇文章主要介绍了Python与shell的3种交互方式介绍,本文讲解了os.system、os.popen、subprocess模块等3种方法,需要的朋友可以参考下
2015-04-04
更改Python命令行交互提示符的方法
这篇文章主要介绍了更改Python命令行交互提示符的方法,本文还介绍了一款开源软件iPython和Python的distutils,需要的朋友可以参考下
2015-01-01