pandas去除重复列的实现方法

更新时间：2019年01月29日 14:20:58 作者：Emily_2018

这篇文章主要介绍了pandas去除重复列的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

数据准备

假设我们目前有两个数据表：

① 一个数据表是关于三个人他们的id以及其他的几列属性信息

import pandas as pd
import numpy as np
data = pd.DataFrame(np.random.randint(low=1,high=20,size=(3,4)))
data['id'] = range(1,4)
# 输出：其中，最左边的0 1 2 为其索引

② 另外一个数据表是3个用户的app操作日志信息，一个人会有多条app操作记录

sample = pd.DataFrame(np.random.randint(low=1,high=9,size=(7,1)),columns=['hhh'])
sample['id'] = [1,1,2,2,3,3,3]
# 输出：

问题描述

① 首先我们需要统计每个用户app操作记录数，比如上表可以看出用户id为1的用户有2条操作记录，用户id为3的用户有3条操作记录

s = sample.groupby('id').count()
# 输出：

② 此时，S是一个以id为索引，count出来的记录数为value的Series结构。因为考虑到后面我们需要id列进行merge，所以我们需要让id列从索引列变成真实的一列。

s = s.reset_index()
# 输出：

③ 将S与最上的data表进行merge，我们不想要看到重复的id列，甚至我们也可以将问题延伸为S与data表不止是id列的重复，还有好多条其他的列的重复，那么如何保证将它们merge之后没有重复列呢？

解决方案

第一想法是用 DataFrame.drop(‘列名') 或者用 del DataFrame[‘列名']

但是如果用该方法，会删除掉所有的重复列，而达不到我们的要求。

办法是：参考StackOverflow解答

cols_to_use = s.columns.difference(data.columns) # pandas版本在0.15及之上的都可以用这种方法，该方法找出S和data表的不同列，然后再进行merge
pd.merge(data, s[cols_to_use], left_index=True, right_index=True, how='outer')

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Django学习之文件上传与下载
这篇文章主要为大家详细介绍了Django学习之文件上传与下载，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2019-10-10
解决pycharm py文件运行后停止按钮变成了灰色的问题
今天小编就为大家分享一篇解决pycharm py文件运行后停止按钮变成了灰色的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-11-11
Python进度条的制作代码实例
这篇文章主要介绍了Python进度条的制作代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-08-08
Python实现去除Excel重复数据并统计重复次数
这篇文章主要为大家详细介绍了如何利用Python语言实现文本数据去重，创建包含唯一值的新列，并统计文本数据出现的次数，需要的可以参考下
2023-08-08
Python采集腾讯新闻实例
这篇文章主要介绍了Python采集腾讯新闻实例,一个简单的例子,着重于实现步骤的讲解,需要的朋友可以参考下
2014-07-07
python绘制带有误差棒条形图的实现
本文主要介绍了python绘制带有误差棒条形图的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-07-07
python爬虫之requests库使用代理方式
这篇文章主要介绍了python爬虫之requests库使用代理方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2022-11-11
解决Python找不到ssl模块问题 No module named _ssl的方法
这篇文章主要介绍了解决Python找不到ssl模块问题 No module named _ssl的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2019-04-04
关于Python如何安装requests库
这篇文章主要介绍了关于Python如何安装requests库,requests库自称“HTTP for Humans”,直译过来的意思是专门为人类设计的HTTP库,能够被开发人员安全地使用,需要的朋友可以参考下
2023-04-04
python安装Scrapy图文教程
下面小编就为大家带来一篇python安装Scrapy图文教程。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2017-08-08