Python基于滑动平均思想实现缺失数据填充的方法

 更新时间:2019年02月21日 10:01:14   作者:Together_CZ  
今天小编就为大家分享一篇关于Python基于滑动平均思想实现缺失数据填充的方法,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧

在时序数据处理过程中,我们经常会遇到由于现实中的种种原因导致获取的数据缺失的情况,这里的数据缺失不单单是指为‘NaN'的数据,比如在AQI数据中,0是不可能出现的,这时候如果数据中出现了0也就是数据缺失了,最近正好在拿一个污染物的数据在做模型分析,中间就遇到了数据缺失值的问题,数据量本身不大,如果直接对缺失值进行丢弃处理的话会进一步减小数据量,所以这里考虑采用数据填充的方法来实现缺失数据的填充。我做了两个版本其中,第一个版本很简单可以不看,主要是简单实现以下效果。具体实现如下:

#!usr/bin/env python
#encoding:utf-8
from __future__ import division
'''
__Author__:沂水寒城
功能: python 基于滑动平均思想实现简易的缺失数据填充
'''
def zeroDataFill(one_all_list):
  '''
  对于0数据处理,简单实现版本,可忽略
  '''
  res_list=[]
  for i in range(len(one_all_list)):
    if one_all_list[i]!=0:
      res_list.append(one_all_list[i])
    else:
      if i==0:
        for j in range(1,len(one_all_list)):
          if one_all_list[j]!=0:
            res_list.append(one_all_list[j])
            break
      elif i==len(one_all_list)-1:
        res_list.append(int(sum(res_list[-3:-1])/2))
      else:
        tmp=0
        for j in range(i,len(one_all_list)):
          if one_all_list[j]!=0:
            tmp=one_all_list[j]
            break
        now=(res_list[i-1]+tmp)/2
        res_list.append(int(now))
  print res_list
  return res_list
def dataProcessing(one_all_list,num=7):
  '''
  对于时间序列数据中的 0 进行处理,采用滑动平均的方法来填充(默认时间为一周)
  '''
  nozero_list=[one for one in one_all_list if one!=0]
  before_avg,last_avg=sum(nozero_list[:num])/num,sum(nozero_list[-1*num:])/num
  res_list=[]
  for i in range(len(one_all_list)):
    if one_all_list[i]!=0:
      res_list.append(one_all_list[i])
    else:
      tmp=int(num/2)+1
      if i<=tmp:
        res_list.append(int(before_avg))
      elif i>=len(one_all_list)-tmp:
        res_list.append(int(last_avg))
        slice_list=one_all_list[i-tmp:i+tmp+1]
        res_list.append(int(sum(slice_list)/(num-1)))
  print res_list
  return res_list
if __name__=='__main__':
  one_all_list=[0,12,3,5,1,5,7,8,4,0,12,14,0,0,45,34,67,43,0,9,1,0]
  zeroDataFill(one_all_list)
  dataProcessing(one_all_list,num=7)

结果如下:

[12, 12, 3, 5, 1, 5, 7, 8, 4, 8, 12, 14, 29, 37, 45, 34, 67, 43, 26, 9, 1, 17]
[5, 12, 3, 5, 1, 5, 7, 8, 4, 12, 14, 45, 34, 67, 43, 30, 33, 9, 1, 30, 8]

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对脚本之家的支持。如果你想了解更多相关内容请查看下面相关链接

相关文章

  • Python3爬虫中关于Ajax分析方法的总结

    Python3爬虫中关于Ajax分析方法的总结

    在本篇文章里小编给大家整理的是一篇关于Python3爬虫中关于Ajax分析方法的总结,需要的朋友们可以学习下。
    2020-07-07
  • python对象转字典的两种实现方式示例

    python对象转字典的两种实现方式示例

    这篇文章主要介绍了python对象转字典的两种实现方式,结合实例形式分析了Python字典与对象数据类型转换相关操作技巧,需要的朋友可以参考下
    2019-11-11
  • Python3 queue队列模块详细介绍

    Python3 queue队列模块详细介绍

    queue是python中的标准库,俗称队列。这篇文章给大家介绍了Python3 queue队列模块,包括模块中的常用方法及构造函数,需要的朋友参考下吧
    2018-01-01
  • pycharm通过anaconda安装pyqt5的教程

    pycharm通过anaconda安装pyqt5的教程

    PyCharm是一种Python IDE,带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具,这篇文章主要介绍了pycharm通过anaconda来安装pyqt5的教程,需要的朋友可以参考下
    2020-03-03
  • python进程间通信Queue工作过程详解

    python进程间通信Queue工作过程详解

    这篇文章主要介绍了python进程间通信Queue工作过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-11-11
  • python调用Matplotlib绘制分布点图

    python调用Matplotlib绘制分布点图

    这篇文章主要为大家详细介绍了python调用Matplotlib绘制分布点图,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-10-10
  • Python解决抛小球问题 求小球下落经历的距离之和示例

    Python解决抛小球问题 求小球下落经历的距离之和示例

    这篇文章主要介绍了Python解决抛小球问题 求小球下落经历的距离之和,涉及Python基于递归的数值计算相关操作技巧,需要的朋友可以参考下
    2018-02-02
  • python解析json实例方法

    python解析json实例方法

    这篇文章主要介绍了python解析json数据的小实例,代码简单实用,大家参考使用吧
    2013-11-11
  • python实现上传文件到linux指定目录的方法

    python实现上传文件到linux指定目录的方法

    这篇文章主要介绍了python实现上传文件到linux指定目录的方法,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-01-01
  • Jupyter 无法下载文件夹如何实现曲线救国

    Jupyter 无法下载文件夹如何实现曲线救国

    这篇文章主要介绍了Jupyter 无法下载文件夹如何实现曲线救国?今天小编就为大家带来了解决方法,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-04-04

最新评论