Python pandas 列转行操作详解(类似hive中explode方法)
更新时间：2020年05月18日 14:42:53 作者：geekingLi
这篇文章主要介绍了Python pandas 列转行操作详解(类似hive中explode方法)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
最近在工作上用到Python的pandas库来处理excel文件，遇到列转行的问题。找了一番资料后成功了，记录一下。
1. 如果需要爆炸的只有一列：
df=pd.DataFrame({'A':[1,2],'B':[[1,2],[1,2]]})
df
Out[1]:
A B
0 1 [1, 2]
1 2 [1, 2]
如果要爆炸B这一列，可以直接用explode方法（前提是你的pandas的版本要高于或等于0.25）
df.explode('B')
A B
0 1 1
1 1 2
2 2 1
3 2 2
2. 如果需要爆炸的有2列及以上
df=pd.DataFrame({'A':[1,2],'B':[[1,2],[3,4]],'C':[[1,2],[3,4]]})
df
Out[592]:
A B C
0 1 [1, 2] [1, 2]
1 2 [3, 4] [3, 4]
则可以用写一个方法，如下代码：
def unnesting(df, explode):
idx = df.index.repeat(df[explode[0]].str.len())
df1 = pd.concat([
pd.DataFrame({x: np.concatenate(df[x].values)}) for x in explode], axis=1)
df1.index = idx
return df1.join(df.drop(explode, 1), how='left')
unnesting(df,['B','C'])
Out[2]:
B C A
0 1 1 1
0 2 2 1
1 3 3 2
1 4 4 2
补充知识：pandas:一列分解成多列 series.str.split(',',expand=True);pyspark 一列分解成多列
源shuju
question_id id 0 17576 70391,70394 1 17576 70391,70392,70393,70394 2 17576 70391,70392 3 40430 155032,155033,155034 4 40430 155032,155033,155034,155035 5 40430 155033,155034,155035 6 40430 155032,155035 7 40430 155034,155035 8 40430 155032,155034 9 40430 155032,155034,155035 10 40430 155033,155034 11 40430 155032,155033 12 40430 155033,155035 13 40430 155032,155033,155035
pandas solution
df.join(df['id'].str.split(',',expand=True)
result
0 1 2 3 0 70391 70394 None None 1 70391 70392 70393 70394 2 70391 70392 None None 3 155032 155033 155034 None 4 155032 155033 155034 155035 5 155033 155034 155035 None 6 155032 155035 None None 7 155034 155035 None None 8 155032 155034 None None 9 155032 155034 155035 None 10 155033 155034 None None 11 155032 155033 None None 12 155033 155035 None None 13 155032 155033 155035 None
#注意expand=True
df.join(df['id'].str.split(',',expand=True))
question_id id 0 1 2 3 0 17576 70391,70394 70391 70394 None None 1 17576 70391,70392,70393,70394 70391 70392 70393 70394 2 17576 70391,70392 70391 70392 None None 3 40430 155032,155033,155034 155032 155033 155034 None 4 40430 155032,155033,155034,155035 155032 155033 155034 155035 5 40430 155033,155034,155035 155033 155034 155035 None 6 40430 155032,155035 155032 155035 None None 7 40430 155034,155035 155034 155035 None None 8 40430 155032,155034 155032 155034 None None 9 40430 155032,155034,155035 155032 155034 155035 None 10 40430 155033,155034 155033 155034 None None 11 40430 155032,155033 155032 155033 None None 12 40430 155033,155035 155033 155035 None None 13 40430 155032,155033,155035 155032 155033 155035 None
pyspark solution
tdf=df.select(F.split(df.id,',').alias('ss'),'question_id','count_num')
tdf.sort('question_id').show()
res=tdf.select(F.explode(tdf.ss).alias('new'),'question_id','count_num')
res.sort('question_id').show()
res.groupBy('question_id','new').sum().sort('question_id').show()
result
以上这篇Python pandas 列转行操作详解(类似hive中explode方法)就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
详解pyqt5的UI中嵌入matplotlib图形并实时刷新(挖坑和填坑)
这篇文章主要介绍了详解pyqt5的UI中嵌入matplotlib图形并实时刷新(挖坑和填坑)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-08-08
Ubuntu16.04/树莓派Python3+opencv配置教程(分享)
下面小编就为大家分享一篇Ubuntu16.04/树莓派Python3+opencv配置教程。具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
这篇文章主要为大家详细介绍了Python笔记之观察者模式，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-11-11
这篇文章主要介绍了如何使用Python将语音转换为文本,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-08-08
本文我们将先从基本概念开始，然后通过详细举例探讨每一种机制，特别关注多线程和多进程的应用，最后分享一些实战经验以及一种优雅的编程技巧，希望对大家有所帮助2023-05-05
本文主要介绍了Sklearn多种算法实现人脸补全的项目实践，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-03-03
对于开发一个游戏来说,窗口的显示肯定是前提中的前提,对于pygame来说,只需要一小段代码就可以初始化窗口,下面这篇文章主要给大家介绍了关于pygame自定义窗口创建及相关操作的相关资料,需要的朋友可以参考下2022-07-07
Python获取命令实时输出-原样彩色输出并返回输出结果的示例
今天小编就为大家分享一篇Python获取命令实时输出-原样彩色输出并返回输出结果的示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-07-07
这篇文章主要介绍了基于python修改srt字幕的时间轴,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-02-02
这篇文章主要为大家介绍了Tortoise-orm信号实现及使用场景源码详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-03-03
最新评论