python pandas dataframe 去重函数的具体使用

更新时间：2020年07月20日 10:45:21 作者：张某人ER

这篇文章主要介绍了python pandas dataframe 去重函数的具体使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

今天笔者想对pandas中的行进行去重操作，找了好久，才找到相关的函数

先看一个小例子

from pandas import Series, DataFrame
 
data = DataFrame({'k': [1, 1, 2, 2]})
 
print data
 
IsDuplicated = data.duplicated()
 
print IsDuplicated
print type(IsDuplicated)
 
data = data.drop_duplicates()
print data

执行结果是：

k
0 1
1 1
2 2
3 2

0    False
1     True
2    False
3     True

k
0 1
2 2

DataFrame的duplicated方法返回一个布尔型Series,表示各行是否重复行。

而 drop_duplicates方法，它用于返回一个移除了重复行的DataFrame

这两个方法会判断全部列，你也可以指定部分列进行重复项判段。

drop_duplicates根据数据的不同情况及处理数据的不同需求，通常会分为两种情况，一种是去除完全重复的行数据，另一种是去除某几列重复的行数据，就这两种情况可用下面的代码进行处理。

1. 去除完全重复的行数据

data.drop_duplicates(inplace=True)

2. 去除某几列重复的行数据

data.drop_duplicates(subset=['A','B'],keep='first',inplace=True)

subset：列名，可选，默认为None
- keep： {‘first', ‘last', False}, 默认值 ‘first'
- first：保留第一次出现的重复行，删除后面的重复行。
- last：删除重复项，除了最后一次出现。
False：删除所有重复项。
inplace：布尔值，默认为False，是否直接在原数据上删除重复项或删除重复项后返回副本。（inplace=True表示直接在原来的DataFrame上删除重复项，而默认值False表示生成一个副本。）

例如，希望对名字为k2的列进行去重，

data.drop_duplicates(['k2'])

到此这篇关于python pandas dataframe 去重函数的具体使用的文章就介绍到这了,更多相关python pandas dataframe 去重函数内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

详解JavaScript编程中的window与window.screen对象
这篇文章主要介绍了JavaScript编程中的window与window.screen对象,是JS在浏览器中视图编程的基础,需要的朋友可以参考下
2015-10-10
OpenCV图像处理GUI功能详解
GUI功能是opencv的入门知识，本文给大家介绍下OpenCV图像处理GUI功能，结合实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，感兴趣的朋友一起看看吧
2022-03-03
一步步教你用python代码画一幅星空
这篇文章主要给大家介绍了关于如何使用python代码画一幅星空的相关资料,Python是一种非常流行的编程语言,它可以用来创建许多有趣的项目,例如绘制星空,需要的朋友可以参考下
2023-09-09
Python爬虫实战之网易云音乐加密解析附源码
读万卷书不如行万里路，学的扎不扎实要通过实战才能看出来，本篇文章手把手带你解析网易云音乐数据,大家可以在实战过程中更有效的掌握python
2021-10-10
利用Python编写简易的录制屏幕小工具
这篇文章主要为大家详细介绍了如何利用Python语言编写一个简易的录制屏幕小工具，文中的示例代码讲解详细，感兴趣的小伙伴可以动手尝试一下
2022-08-08
在Django的URLconf中使用多个视图前缀的方法
这篇文章主要介绍了在Django的URLconf中使用多个视图前缀的方法,Django是Python中最为著名的遵循MVC结构的开发框架,需要的朋友可以参考下
2015-07-07
Python7个爬虫小案例详解(附源码)中篇
这篇文章主要介绍了Python7个爬虫小案例详解（附源码）中篇，本文章内容详细，通过案例可以更好的理解爬虫的相关知识，七个例子分为了三部分，本次为中篇，共有二道题，需要的朋友可以参考下
2023-01-01
python创建关联数组（字典）的方法
这篇文章主要介绍了python创建关联数组（字典）的方法,涉及Python操作字典的相关技巧,非常具有实用价值,需要的朋友可以参考下
2015-05-05
Python boxplot 用法详解
这篇文章主要介绍了Python boxplot 用法详解,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2022-07-07
Python八个自动化办公的技巧
这篇文章主要介绍了几个Python自动化办公的技巧，可以大大提高工作效率，例如：Word文档doc转docx、Excel文件批量合并、Word文件批量转pdf等，需要的可以参考一下
2022-01-01