pandas中的数据去重处理的实现方法
更新时间：2020年02月10日 10:35:05 作者：我是小蚂蚁
这篇文章主要介绍了pandas中的数据去重处理的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
数据去重可以使用duplicated()和drop_duplicates()两个方法。
DataFrame.duplicated（subset = None，keep =‘first' ）返回boolean Series表示重复行
参数：
subset：列标签或标签序列，可选
仅考虑用于标识重复项的某些列，默认情况下使用所有列
keep：{‘first'，‘last'，False}，默认'first'
- first：标记重复，True除了第一次出现。
- last：标记重复，True除了最后一次出现。
- 错误：将所有重复项标记为True。
import numpy as np
import pandas as pd
from pandas import Series, DataFrame
df = pd.read_csv('./demo_duplicate.csv')
print(df)
print(df['Seqno'].unique()) # [0. 1.]
# 使用duplicated 查看 重复值
# 参数 keep 可以标记重复值 {'first'，'last'，False}
print(df['Seqno'].duplicated())
'''
0 False
1 True
2 True
3 True
4 False
Name: Seqno, dtype: bool
'''
# 删除 series 重复数据
print(df['Seqno'].drop_duplicates())
'''
0 0.0
4 1.0
Name: Seqno, dtype: float64
'''
# 删除 dataframe 重复数据
print(df.drop_duplicates(['Seqno'])) # 按照 Seqno 来 去重
'''
Price Seqno Symbol time
0 1623.0 0.0 APPL 1473411962
4 1649.0 1.0 APPL 1473411963
'''
# drop_dujplicates() 第二个参数 keep 包含的值 有： first、last、False
print(df.drop_duplicates(['Seqno'], keep='last')) # 保存最后一个
'''
Price Seqno Symbol time
3 1623.0 0.0 APPL 1473411963
4 1649.0 1.0 APPL 1473411963
'''
pandas 去除重复行
DataFrame.drop_duplicates（subset = None，keep ='first'，inplace = False ）
subset ： 指定列，默认情况下使用所有列
keep ： {'first'，'last'，False}，默认'first'
first ：删除重复项保留第一次出现的。last ：删除重复项保留最后一次出现的。false：删除所有重复项。
inplace ： 布尔值，默认为False 是否删除重复项或返回副本
栗子：
到此这篇关于pandas中的数据去重处理的实现方法的文章就介绍到这了,更多相关Pandas 数据去重内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了keras 权重保存和权重载入方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
这篇文章介绍了Python中的sys模块、random模块和math模块，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-05-05
这篇文章主要介绍了Python设计中的结构型适配器模式，适配器模式即Adapter Pattern，将一个类的接口转换成为客户希望的另外一个接口，下文内容具有一定的参考价值，需要的小伙伴可以参考一下2022-02-02
这篇文章主要为大家详细介绍了python如何将多个PDF进行合并，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-08-08
基于Python的网页自动化工具DrissionPage的使用详解
DrissionPage 是一个基于 python 的网页自动化工具,它既能控制浏览器,也能收发数据包,还能把两者合而为一,下面就跟随小编一起来学习一下它的具体使用吧2024-01-01
这篇文章会从加载数据开始,一步步教大家如何格式化数据、保存数据,最后还会教大家如何加载处理后的数据,感兴趣的小伙伴可以跟随小编一起学习一下2024-12-12
python一行代码就能实现数据分析的pandas-profiling库
这篇文章主要为大家介绍了python一行代码就能实现数据分析的pandas-profiling库,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-01-01
Python pandas DataFrame基础运算及空值填充详解
pandas除了可以drop含有空值的数据之外,当然也可以用来填充空值,下面这篇文章主要给大家介绍了关于Python pandas DataFrame基础运算及空值填充的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-07-07
Python 中的条件控制和循环语句都非常简单,也非常容易理解,与其他编程语言类似,下面这篇文章主要给大家介绍了关于python小白练习题之条件控制与循环控制的相关资料,需要的朋友可以参考下2021-10-10
pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
今天小编就为大家分享一篇pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
最新评论