python pandas分组聚合详细

 更新时间:2021年09月01日 14:27:31   作者:FTDdata  
分组聚合是数据处理中常见的场景,在pandas中用groupby方法实现分组操作,用agg方法实现聚合操作,在这篇文章里有主要介绍,感兴趣的朋友请参考下文

python pandas分组聚合

1、环境

  • python3.9
  • win10 64bit
  • pandas==1.2.1

groupby方法是pandas中的分组方法,对数据框采用groupby方法后,返回的是DataFrameGroupBy对象,一般分组操作后会进行聚合操作。

2、分组

import pandas as pd
import numpy as np
pd.set_option('display.notebook_repr_html',False)
# 数据准备
df = pd.DataFrame({'A': [1, 1, 2, 2],'B': [1, 2, 3, 4],'C':[6,8,1,9]})
df

      A  B  C
0  1  1  6
1  1  2  8
2  2  3  1
3  2  4  9

对数据框按A列进行分组,产生分组数据框。分组数据框是可迭代对象,可以进行循环遍历,可以看出在循环中,每个元素的类型是元组,

元组的第一个元素是分组值,第二个元素是对应的分组数据框。

# 分组
g_df=df.groupby('A')
# 分组数据框类
type(g_df)
pandas.core.groupby.generic.DataFrameGroupBy

# 循环分组数据
for i in g_df:
    print(i,type(i),end='\n\n')

(1,    A  B  C
0  1  1  6
1  1  2  8) <class 'tuple'>

(2,    A  B  C
2  2  3  1
3  2  4  9) <class 'tuple'>

可以对分组后的数据框直接使用聚合方法agg,对分组数据框的每一列计算统计函数值。

# 分组求和
df.groupby('A').agg('sum')
   B   C
A       
1  3  14
2  7  10

3、序列分组

可以根据数据框外的序列数据对数据框进行分组,需要注意序列长度需要与数据框行数相同。

# 定义分组列表
label=['a','a','b','b']
# 分组求和
df.groupby(label).agg('sum')
   A  B   C
a  2  3  14
b  4  7  10

4、多列分组

可以根据数据框的多列对数据框进行分组。

# 数据准备
df = pd.DataFrame({'A': [1, 1, 2, 2],'B': [3, 4, 3, 3],'C':[6,8,1,9]})
df


   A  B  C
0  1  3  6
1  1  4  8
2  2  3  1
3  2  3  9


根据A,B列进行分组,然后求和。

# 根据多列分组求和
df.groupby(['A','B']).agg('sum')
      C
A B    
1 3   6
  4   8
2 3  10

5、索引分组

可以根据索引对数据框进行分组,需要设置level参数。

# 数据准备
df = pd.DataFrame({'A': [1, 1, 2, 2],'B': [3, 4, 3, 3],'C':[6,8,1,9]},index=['a','a','b','b'])
df


   A  B  C
a  1  3  6
a  1  4  8
b  2  3  1
b  2  3  9


数据框只有一层索引,设置参数level=0

# 根据索引分组求和
df.groupby(level=0).agg('sum')
   A  B   C
a  2  7  14
b  4  6  10


当数据框索引有多层时,也可以根据需求设置level参数,完成分组聚合。

# 数据准备
mi=pd.MultiIndex.from_arrays([[1,1,2,2],[3,4,3,3]],names=['id1','id2'])
df=pd.DataFrame(dict(value=[4,7,2,9]),index=mi)
df


         value
id1 id2       
1   3        4
    4        7
2   3        2
    3        9


设置level参数,如需要根据第一层索引,即id1进行分组,可以设置level=0level='id1'完成分组聚合。

# 根据第一层索引分组求和
df.groupby(level=0).agg('sum')


     value
id1       
1       11
2       11


# 根据第一层索引分组求和
df.groupby(level='id1').agg('sum')
 

    value
id1       
1       11
2       11

7、聚合

分组后一般会进行聚合操作,用agg方法进行聚合。

# 数据准备
df = pd.DataFrame({'A': [1, 1, 2, 2],'B': [3, 4, 3, 3],'C':[6,8,1,9],'D':[2,5,4,8]})
df


   A  B  C  D
0  1  3  6  2
1  1  4  8  5
2  2  3  1  4
3  2  3  9  8

8、单函数对多列

对分组后数据框使用单个函数进行聚合,单个聚合函数会对每列进行计算,然后合并返回。聚合函数以字符串的形式传入。

# 对所有列分组求和
df.groupby('A').agg('sum')


   B   C   D
A           
1  7  14   7
2  6  10  12


可以对分组后的数据指定列进行分组聚合。需要注意子列需要用[]包裹

# 对指定列分组求和
df.groupby('A')[['B','C']].agg('sum')


   B   C
A       
1  7  14
2  6  10


聚合函数也可以传入自定义的匿名函数。

# 匿名函数分组求和
df.groupby('A').agg(lambda x:sum(x))


  B   C   D
A           
1  7  14   7
2  6  10  12

9、多函数对多列

聚合函数可以是多个函数。聚合时,多个聚合函数会对每列进行计算,然后合并返回。聚合函数以列表的形式传入。

# 全部列多函数聚合
df.groupby('A').agg(['sum','mean'])


    B        C        D     
  sum mean sum mean sum mean
A                           
1   7  3.5  14    7   7  3.5
2   6  3.0  10    5  12  6.0


聚合返回后的数据列名有两层索引,第一层是聚合的列名,第二层是使用的聚合函数名。如果需要对返回的聚合函数名重命名,
需要在传参时,传入元组,第一个元素为聚合函数名,第二个元素为聚合函数。

# 聚合函数重命名
df.groupby('A').agg([('SUM','sum'),('MEAN','mean')])

    B        C        D     
  SUM MEAN SUM MEAN SUM MEAN
A                           
1   7  3.5  14    7   7  3.5
2   6  3.0  10    5  12  6.0


同样,也可以传入匿名函数。

# 匿名函数并重命名
df.groupby('A').agg([('SUM','sum'),('MAX',lambda x:max(x))])


    B       C       D    
  SUM MAX SUM MAX SUM MAX
A                        
1   7   4  14   8   7   5
2   6   3  10   9  12   8


如果需要对不同的列进行不同的聚合计算,则需要传入字典的形式。

# 不同列不同聚合函数
df.groupby('A').agg({'B':['sum','mean'],'C':'mean'})


    B         C
  sum mean mean
A              
1   7  3.5    7
2   6  3.0    5


可以重命名聚合后的列名,注意只能对一列传入一个聚合函数时有效

# 聚合后重命名列名
df.groupby('A').agg(B_sum=('B','sum'),C_mean=('C','mean'))


   B_sum  C_mean
A               
1      7       7
2      6       5

到此这篇关于python pandas分组聚合详细的文章就介绍到这了,更多相关python pandas分组聚合内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Python实现中一次读取多个值的方法

    Python实现中一次读取多个值的方法

    下面小编就为大家分享一篇Python实现中一次读取多个值的方法,具有很好的参考价值,我对大家有所帮助。一起跟随小编过来看看吧
    2018-04-04
  • python从入门到精通(DAY 1)

    python从入门到精通(DAY 1)

    本文是此次python从入门到精通系列文章的第一篇,给大家汇总一下常用的Python的基础知识,非常的简单,但是很全面,有需要的小伙伴可以参考下
    2015-12-12
  • 在Python中使用M2Crypto模块实现AES加密的教程

    在Python中使用M2Crypto模块实现AES加密的教程

    这篇文章主要介绍了在Python中使用M2Crypto模块实现AES加密的教程,例子中的方法使用aes_128_ecb算法,需要的朋友可以参考下
    2015-04-04
  • Python模仿POST提交HTTP数据及使用Cookie值的方法

    Python模仿POST提交HTTP数据及使用Cookie值的方法

    这篇文章主要介绍了Python模仿POST提交HTTP数据及使用Cookie值的方法,通过两种不同的实现方法较为详细的讲述了HTTP数据通信及cookie的具体用法,需要的朋友可以参考下
    2014-11-11
  • python如何使用腾讯云发送短信

    python如何使用腾讯云发送短信

    这篇文章主要介绍了python如何使用腾讯云发送短信,帮助大家更好的理解和使用python,感兴趣的朋友可以了解下
    2020-09-09
  • pandas的resample重采样的使用

    pandas的resample重采样的使用

    这篇文章主要介绍了pandas的resample重采样的使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-04-04
  • Django中密码的加密、验密、解密操作

    Django中密码的加密、验密、解密操作

    这篇文章主要介绍了Django中密码的加密、验密、解密操作,本文通过实例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-12-12
  • python numpy数组中的复制知识解析

    python numpy数组中的复制知识解析

    这篇文章主要介绍了python numpy数组中的复制知识解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-02-02
  • django 模型字段设置默认值代码

    django 模型字段设置默认值代码

    这篇文章主要介绍了django 模型字段设置默认值代码,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-07-07
  • 详解利用python识别图片中的条码(pyzbar)及条码图片矫正和增强

    详解利用python识别图片中的条码(pyzbar)及条码图片矫正和增强

    这篇文章主要介绍了详解利用python识别图片中的条码(pyzbar)及条码图片矫正和增强,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-11-11

最新评论