python实现数据预处理之填充缺失值的示例

 更新时间:2017年12月22日 15:31:39   作者:Ruoshuiss  
下面小编就为大家分享一篇python实现数据预处理之填充缺失值的示例。具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

1、给定一个数据集noise-data-1.txt,该数据集中保护大量的缺失值(空格、不完整值等)。利用“全局常量”、“均值或者中位数”来填充缺失值。

noise-data-1.txt:

5.1 3.5 1.4 0.2
4.9 3 1.4 0.2
4.7 3.2 1.3 0.2
4.6 3.1 1.5 0.2
5 3.6 1.4 0.2
5.4 3.9 1.7 0.4
4.6 3.4 1.4 0.3
5 3.4 1.5 0.2
4.4 2.9 1.4 0.2
4.9 -3.1 1.5 0.1
5.4 3.7 1.5 0.2
4.8 3.4 1.6 0.2
4.8 3 -1.4 0.1
4.3 3 1.1 0.1
5.8 4 1.2 0.2
5.7 4.4 1.5 0.4
5.4 3.9 1.3 0.4
5.1 3.5 1.4 0.3
5.7 3.8 1.7 0.3
5.1 3.8 -1.5 0.3
5.4 3.4 1.7 0.2
5.1 3.7 1.5 0.4
4.6 3.6 1 0.2
5.1 3.3 1.7 0.5
4.8 3.4 1.9 0.2

解题思路:首先读入数据,对数据进行处理,去掉空行,利用 “均值来填充缺失值,本题利用Python语言实现,代码如下:

import numpy as np
data = []
my_list = []
con=0
noise_data = open('noise-data-1.txt') 
clean_data = open("clean_data3.txt", 'w')
for line in noise_data.readlines():
 if len(line) == 0:
 break
 if line.count('\n') == len(line):
 continue 
 dataline =line.strip().split('\t')
 my_list.append(dataline)
 con+=1
for i in range(0,con):
 for j in range(0,len(my_list[i])):
 if my_list[i][j].count('.')==0:
  miss_row=[]
  for a in range(0,len(my_list[i])):
  if float(my_list[i][a])<0:
   miss_row.append(-float(my_list[i][a])) 
  miss_row.append(float(my_list[i][a])) 
  my_average=round(np.average(miss_row),1)
  my_list[i][j]=my_average
 else:
  if float(my_list[i][j])<0:
   my_list[i][j]=-float(my_list[i][j]) 
  my_list[i][j]=float(my_list[i][j]) 
print my_list
def file_write(filename,data_list):
 file1=open(filename,'w')
 for i in data_list:
 for j in i:
  if type(j)!=str:
  j=str(j)
  file1.write(j)
  file1.write(' ')
 file1.write('\n')
 file1.close()
 return file1
filename='clean_data.txt'
file_write(filename,my_list)

运行结果如下:

以上这篇python实现数据预处理之填充缺失值的示例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python中SOAP项目的介绍及其在web开发中的应用

    Python中SOAP项目的介绍及其在web开发中的应用

    这篇文章主要介绍了Python中的SOAP项目及其在web开发中的应用,本文来自于IBM官方网站技术文档,需要的朋友可以参考下
    2015-04-04
  • 详解Python使用apscheduler定时执行任务

    详解Python使用apscheduler定时执行任务

    在平常的工作中几乎有一半的功能模块都需要定时任务来推动,例如项目中有一个定时统计程序,定时爬出网站的URL程序,定时检测钓鱼网站的程序等等,都涉及到了关于定时任务的问题,所以就找到了python的定时任务模块
    2022-03-03
  • python中logging模块的一些简单用法的使用

    python中logging模块的一些简单用法的使用

    这篇文章主要介绍了python中logging模块的一些简单用法的使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-02-02
  • Python实现图形用户界面和游戏开发的方法和技巧

    Python实现图形用户界面和游戏开发的方法和技巧

    GUI图形用户界面编程,我们可以通过python提供的丰富的组件,快速的实现使用图形的界面和用户交互, GUI编程类似于“搭积⽊”,将⼀个个组件(Widget)放到窗⼝中,这篇文章主要给大家介绍了基于Python的GUI图形用户界面编程的相关资料,需要的朋友可以参考下
    2023-05-05
  • 解决python xx.py文件点击完之后一闪而过的问题

    解决python xx.py文件点击完之后一闪而过的问题

    今天小编就为大家分享一篇解决python xx.py文件点击完之后一闪而过的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-06-06
  • python 中if else 语句的作用及示例代码

    python 中if else 语句的作用及示例代码

    python中的if-else语句是一个判断性语句,既然是判断就要有条件以及满足条件与不满足的情况,一下将讲解一些if-else语句的知识,需要的朋友参考下吧
    2018-03-03
  • Python删除docx文档中的页眉和页脚的示例代码

    Python删除docx文档中的页眉和页脚的示例代码

    在日常工作中,我们经常需要处理文档,其中包括删除或修改页眉和页脚,本文将介绍如何使用Python编程语言和wxPython模块创建一个简单的GUI应用程序,帮助我们删除docx文档中的页眉和页脚,需要的朋友可以参考下
    2025-01-01
  • Python趣味挑战之turtle库绘画飘落的银杏树

    Python趣味挑战之turtle库绘画飘落的银杏树

    银杏还是和恐龙同时代的植物,被称为活化石,适应能力强,生长期漫长,寿命可达千年.因此,银杏是长寿的代表和象征,接下来用Python的turtle库来绘画银杏树唯美的一幕,需要的朋友可以参考下
    2021-05-05
  • Pycharm-community-2021版安装和配置

    Pycharm-community-2021版安装和配置

    pycharm-community-PyCharm是一种Python IDE,带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具,本文就来介绍一下Pycharm-community-2021版安装和配置,感兴趣的可以了解一下
    2023-11-11
  • python机器学习案例教程——K最近邻算法的实现

    python机器学习案例教程——K最近邻算法的实现

    本篇文章主要介绍了python机器学习案例教程——K最近邻算法的实现,详细的介绍了K最近邻算法的概念和示例,具有一定的参考价值,有兴趣的可以了解一下
    2017-12-12

最新评论