Python DataFrame实现固定周期内统计每列的非零值

 更新时间:2024年09月12日 07:37:09   作者:南洲.  
在数据处理中,使用DataFrame统计固定周期内每列的非零值数量是一种常见需求,通过将数据分组并使用计数函数,可以方便地实现此目标,具体方法包括首先计算每列的0值个数,然后通过总数减去0值个数得到非零值的数量

DataFrame实现固定周期内统计每列的非零值

1、概述

最近做一个数值统计,统计固定周期内(比如100行统一次)每列的非零值,实现不难,先统计0值个数,再计算非零值个数,主要是有些关于dataframe的操作技巧可以作为以后的参考。

data.csv文件数据示例格式如下:

想要得到的结果为:

2、代码

import pandas as pd

def non_zeros_count(df):
    s = 0
    calc_interval = 5   # 统计周期数
    new_columns = []
    for i in range(len(df.columns)):
        new_columns.append(df.columns[i]+'_non_zero_count') # 重新组织列名
    non_zeros_count = pd.DataFrame(columns=df.columns[1:])  # 新建dataframe 储存最后统计结果(没有计算第一列“时间”)

    # 对所有数据按照每 “calc_interval” 计算每个字段中的非0个数
    while s + calc_interval <= df.shape[0]:
        data_piece = df.iloc[s:s + calc_interval, 1:]
        count_zero = data_piece.apply(lambda x: x.value_counts().get(0.0, 0.0))  # 0值个数
        # np.count_nonzero(data_piece,axis = 0)   #这种方法也可以得到,但是得到的是类型是ndarray
        non_zeros = calc_interval - count_zero  # 非零值个数(每列计算周期内的总数-每列的0值数)
        non_zeros_to_frame = non_zeros.to_frame()  # series转dataframe
        non_zeros_transp = pd.DataFrame(non_zeros_to_frame.values.T,
                                        index=non_zeros_to_frame.columns,
                                        columns=non_zeros_to_frame.index)  # 取转置
        non_zeros_count = pd.concat([non_zeros_count, non_zeros_transp])  # 数据合并
        s = s + calc_interval

    non_zeros_count.index = [i for i in range(non_zeros_count.shape[0])]
    # non_zeros_count.values.reshape(30,24) # dataframe
    non_zeros_count.columns = new_columns[1:] # 重新修改列名
    non_zeros_count.to_csv('./non_zeros_count.csv',encoding= 'utf-8')

if __name__=='__main__':

    sv_data = pd.read_csv('data.csv',encoding='utf-8')
    non_zeros_count(sv_data)

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Django models filter筛选条件详解

    Django models filter筛选条件详解

    这篇文章主要介绍了Django models filter筛选条件详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-03-03
  • Python实现新浪博客备份的方法

    Python实现新浪博客备份的方法

    这篇文章主要介绍了Python实现新浪博客备份的方法,涉及Python正则操作,字符串操作及文本操作的相关技巧,需要的朋友可以参考下
    2016-04-04
  • 解决ToPILImage时出现维度报错问题pic should be 2/3 dimensional. Got 4 dimensions.

    解决ToPILImage时出现维度报错问题pic should be 2/3 d

    这篇文章主要介绍了解决ToPILImage时出现维度报错问题pic should be 2/3 dimensional. Got 4 dimensions.具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-02-02
  • python基础之while循环、for循环详解及举例

    python基础之while循环、for循环详解及举例

    所谓循环结构就是程序中控制某条或某些指令重复执行的结构,下面这篇文章主要给大家介绍了关于python基础之while循环、for循环的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-04-04
  • python通过zlib实现压缩与解压字符串的方法

    python通过zlib实现压缩与解压字符串的方法

    这篇文章主要介绍了python通过zlib实现压缩与解压字符串的方法,较为详细的介绍了zlib的用法及使用zlib.compressobj和zlib.decompressobj对文件进行压缩解压的方法,需要的朋友可以参考下
    2014-11-11
  • Python3爬虫学习之MySQL数据库存储爬取的信息详解

    Python3爬虫学习之MySQL数据库存储爬取的信息详解

    这篇文章主要介绍了Python3爬虫学习之MySQL数据库存储爬取的信息,涉及Python3针对mysql数据库的连接、信息存储等相关操作技巧,需要的朋友可以参考下
    2018-12-12
  • 深入浅出学习python装饰器

    深入浅出学习python装饰器

    这篇文章主要和大家一起深入浅出的学习python装饰器的相关资料,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-09-09
  • 一篇文章彻底搞懂python正则表达式

    一篇文章彻底搞懂python正则表达式

    正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配,Python 自1.5版本起增加了re模块,这篇文章主要给大家介绍了如何通过一篇文章彻底搞懂python正则表达式的相关资料,需要的朋友可以参考下
    2021-09-09
  • 实例说明Python中比较运算符的使用

    实例说明Python中比较运算符的使用

    这篇文章主要介绍了=Python中比较运算符的使用,是Python学习当中的基本知识,需要的朋友可以参考下
    2015-05-05
  • python爬取网易云音乐排行榜实例代码

    python爬取网易云音乐排行榜实例代码

    大家好,本篇文章主要讲的是python爬取网易云音乐排行榜数据代码,感兴趣的同学赶快来看一看吧,对你有帮助的话记得收藏一下,方便下次浏览
    2021-12-12

最新评论