pandas dataframe 中的explode函数用法详解

 更新时间:2020年05月18日 14:55:06   作者:Sinsa_SI  
这篇文章主要介绍了pandas dataframe 中的explode函数用法详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

在使用 pandas 进行数据分析的过程中,我们常常会遇到将一行数据展开成多行的需求,多么希望能有一个类似于 hive sql 中的 explode 函数。

这个函数如下:

Code

# !/usr/bin/env python
# -*- coding:utf-8 -*-
# create on 18/4/13
import pandas as pd

def dataframe_explode(dataframe, fieldname): 
 temp_fieldname = fieldname + '_made_tuple_' 
 dataframe[temp_fieldname] = dataframe[fieldname].apply(tuple)  
 list_of_dataframes = []
 for values in dataframe[temp_fieldname].unique().tolist(): 
  list_of_dataframes.append(pd.DataFrame({
   temp_fieldname: [values] * len(values), 
   fieldname: list(values), 
  }))
 dataframe = dataframe[list(set(dataframe.columns) - set([fieldname]))].merge(pd.concat(list_of_dataframes), how='left', on=temp_fieldname) 
 del dataframe[temp_fieldname]
 return dataframe

df = pd.DataFrame({'listcol':[[1,2,3],[4,5,6]], "aa": [222,333]})
df = dataframe_explode(df, "listcol")

Description

将 dataframe 按照某一指定列进行展开,使得原来的每一行展开成一行或多行。( 注:该列可迭代, 例如list, tuple, set)

补充知识:Pandas列中的字典/列表拆分为单独的列

我就废话不多说了,大家还是直接看代码吧

[1] df
Station ID  Pollutants
8809   {"a": "46", "b": "3", "c": "12"}
8810   {"a": "36", "b": "5", "c": "8"}
8811   {"b": "2", "c": "7"}
8812   {"c": "11"}
8813   {"a": "82", "c": "15"}

Method 1:

step 1: convert the Pollutants column to Pandas dataframe series

df_pol_ps = data_df['Pollutants'].apply(pd.Series)

df_pol_ps:
 a b c
0 46 3 12
1 36 5 8
2 NaN 2 7
3 NaN NaN 11
4 82 NaN 15

step 2: concat columns a, b, c and drop/remove the Pollutants

df_final = pd.concat([df, df_pol_ps], axis = 1).drop('Pollutants', axis = 1)

df_final:
 StationID a b c
0 8809 46 3 12
1 8810 36 5 8
2 8811 NaN 2 7
3 8812 NaN NaN 11
4 8813 82 NaN 15

Method 2:

df_final = pd.concat([df, df['Pollutants'].apply(pd.Series)], axis = 1).drop('Pollutants', axis = 1)

df_final:
 StationID a b c
0 8809 46 3 12
1 8810 36 5 8
2 8811 NaN 2 7
3 8812 NaN NaN 11
4 8813 82 NaN 15

以上这篇pandas dataframe 中的explode函数用法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • python下10个简单实例代码

    python下10个简单实例代码

    最近学python比较顺手,找到感觉了,所以,我想把我用来练习的实例题目分享出来,有兴趣的朋友可以关注一下。 文章分为10篇,每篇10题,共100道实例。后续如果需要可以增加
    2017-11-11
  • python中子类继承父类的__init__方法实例

    python中子类继承父类的__init__方法实例

    这篇文章主要给大家详细介绍了python中子类如何继承父类的__init__方法,文中给出了详细的示例代码,相信对大家的理解和学习具有一定参考价值,有需要的朋友们下面来跟着小编一起学习学习吧。
    2016-12-12
  • Python包管理工具之PDM的使用教程

    Python包管理工具之PDM的使用教程

    今天主要是给大家推荐一个叫PDM的工具,全称:Python Development Master,它也是非常好用。本文将为大家详细讲讲它的使用,感兴趣的可以了解一下
    2022-08-08
  • Python中json文件的读取实现

    Python中json文件的读取实现

    在许多编程语言中,都有内置的JSON解析器和生成器,可以方便地处理JSON数据,本文主要介绍了Python中json文件的读取实现,具有一定的参考价值,感兴趣的可以了解一下
    2023-08-08
  • Python中BaseHTTPRequestHandler实现简单的API接口

    Python中BaseHTTPRequestHandler实现简单的API接口

    本文主要介绍了Python中BaseHTTPRequestHandler实现简单的API接口,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-07-07
  • 用pickle存储Python的原生对象方法

    用pickle存储Python的原生对象方法

    下面小编就为大家带来一篇用pickle存储Python的原生对象方法。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-04-04
  • 详细介绍Python中的偏函数

    详细介绍Python中的偏函数

    这篇文章主要介绍了Python中的偏函数,示例代码基于Python2.x版本,需要的朋友可以参考下
    2015-04-04
  • python使用paramiko模块通过ssh2协议对交换机进行配置的方法

    python使用paramiko模块通过ssh2协议对交换机进行配置的方法

    今天小编就为大家分享一篇python使用paramiko模块通过ssh2协议对交换机进行配置的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • Python编写屏幕截图程序方法

    Python编写屏幕截图程序方法

    这篇文章主要介绍了Python编写屏幕截图程序方法,本文讲解使用开源程序pywin32实现屏幕截图和读取剪切板功能,需要的朋友可以参考下
    2015-02-02
  • Python PaddlePaddle机器学习之求解线性模型

    Python PaddlePaddle机器学习之求解线性模型

    这篇文章主要介绍了Python PaddlePaddle机器学习之求解线性模型,文章围绕主题展开详细的内容介绍,具有一定参考价值,需要的小伙伴可以参考一下
    2022-08-08

最新评论