Pandas去除重复项函数详解drop_duplicates()

 更新时间:2024年02月20日 17:01:28   作者:ckSpark  
这篇文章主要介绍了Pandas去除重复项函数drop_duplicates(),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

drop_duplicates函数用途

pandas中的drop_duplicates()函数

可以通过SQL中关键字distinct的用法来理解

根据指定的字段对数据集进行去重处理

drop_duplicates()函数的具体参数

用法:

DataFrame.drop_duplicates(subset=None, keep=‘first', inplace=False)

参数说明:

参数说明
subset根据指定的列名进行去重,默认整个数据集
keep可选{‘first’, ‘last’, False},默认first,即默认保留第一次出现的重复值,并删去其他重复的数据,False是指删去所有重复数据。
inplace是否对数据集本身进行修改,默认False

drop_duplicates用法举例

根据指定字段进行去重

保留第一次出现的数据

import pandas as pd
#创建数据框
df=pd.DataFrame({
    'a':[1,2,4,3,3,3,4],
    'b':[2,3,3,4,4,5,3]
})
print('去重前:\n',df)

#根据字段a进行去重,保留第一次出现的数据
df.drop_duplicates(['a'],keep='first',inplace=True)
print('去重后:\n',df)

>>>
去重前:
    a  b
0  1  2
1  2  3
2  4  3
3  3  4
4  3  4
5  3  5
6  4  3
去重后:
    a  b
0  1  2
1  2  3
2  4  3
3  3  4

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python Pytorch学习之图像检索实践

    Python Pytorch学习之图像检索实践

    随着电子商务和在线网站的出现,图像检索在我们的日常生活中的应用一直在增加。图像检索的基本本质是根据查询图像的特征从集合或数据库中查找图像。本文将利用Pytorch实现图像检索,需要的可以参考一下
    2022-04-04
  • 完美解决ARIMA模型中plot_acf画不出图的问题

    完美解决ARIMA模型中plot_acf画不出图的问题

    这篇文章主要介绍了完美解决ARIMA模型中plot_acf画不出图的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06
  • Matplotlib绘图基础之3D图形绘制详解

    Matplotlib绘图基础之3D图形绘制详解

    matplotlib 在1.0版本之前其实是不支持3D图形绘制的,后来的版本中,matplotlib加入了3D图形的支持,扩展了其展示数据分布和关系的能力,下面就和大家介绍一下matplotlib中绘制各类3D图形的方法
    2023-08-08
  • python实现比较文件内容异同

    python实现比较文件内容异同

    这篇文章主要为大家详细介绍了python实现比较文件内容异同,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-06-06
  • python避免死锁方法实例分析

    python避免死锁方法实例分析

    这篇文章主要介绍了python避免死锁方法,较为详细的分析了死锁的成因与避免形成死锁的方法,需要的朋友可以参考下
    2015-06-06
  • 详解python中absl包的使用

    详解python中absl包的使用

    "absl" 是 Google 开发的一个 Python 软件包,用于提供一些常见的 Python 编程功能和工具,以改善代码的可读性、可维护性和性能,下面我们就来看看absl包的具体使用吧
    2023-11-11
  • python 写的一个爬虫程序源码

    python 写的一个爬虫程序源码

    这篇文章主要介绍了python 写的一个爬虫程序源码,需要的朋友可以参考下
    2016-02-02
  • python 实现控制鼠标键盘

    python 实现控制鼠标键盘

    这篇文章主要介绍了python 控制鼠标键盘的示例,帮助大家更好的理解和学习python,感兴趣的朋友可以了解下
    2020-11-11
  • python 提取tuple类型值中json格式的key值方法

    python 提取tuple类型值中json格式的key值方法

    今天小编就为大家分享一篇python 提取tuple类型值中json格式的key值方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • python中循环语句while用法实例

    python中循环语句while用法实例

    这篇文章主要介绍了python中循环语句while用法,实例分析了while语句的使用方法,需要的朋友可以参考下
    2015-05-05

最新评论