python 缺失值处理的方法（Imputation）
一、缺失值的处理方法
由于各种各样的原因，真实世界中的许多数据集都包含缺失数据，这些数据经常被编码成空格、nans或者是其他的占位符。但是这样的数据集并不能被scikit - learn算法兼容，因为大多数的学习算法都会默认数组中的元素都是数值，因此素偶有的元素都有自己的代表意义。
使用不完整的数据集的一个基本策略就是舍弃掉整行或者整列包含缺失值的数值，但是这样处理会浪费大量有价值的数据。下面是处理缺失值的常用方法：
1.忽略元组
当缺少类别标签时通常这样做（假定挖掘任务涉及分类时），除非元组有多个属性缺失值，否则该方法不是很有效。当每个属性缺少值的百分比变化很大时，它的性能特别差。
2.人工填写缺失值
一般该方法很费时，并且当数据集很大，缺少很多值时，该方法可能行不通。
3.使用一个全局常量填充缺失值
将缺失的属性值用同一个常数(如“Unknown”或 负无穷)替换。如果缺失值都用“unknown”替换，则挖掘程序可能会认为它们形成一个有趣的概念，因为它们都具有相同的值“unknown”。因此，虽然该方法很简单，但是它十分不可靠。
4.使用与给定元组属同一类的所有样本的属性均值
例如：将顾客按照credit_risk分类，则使用具有相同信用度的给定元组的顾客的平均收入替换income中的缺失值。
5.使用最可能的值填充缺失值
可以用回归、使用贝叶斯形式化的基于推理的工具或决策树归纳确定。例如，利用数据集中其他顾客的属性，可以构造一颗决策树来预测income的缺失值。
注意：缺失值并不总是意味着数据的错误！！！！！！！
二、缺失值处理的代码实现
class:`Imputer`类提供了缺失数值处理的基本策略，比如使用缺失数值所在行或列的均值、中位数、众数来替代缺失值。该类也兼容不同的缺失值编码。
1、使用均值填充缺失值
import numpy as np from sklearn.preprocessing import Imputer imp = Imputer(missing_values='NaN', strategy='mean', axis=0) import numpy as np from sklearn.preprocessing import Imputer ###1.使用均值填充缺失值 imp = Imputer(missing_values='NaN', strategy='mean', axis=0) imp.fit([[1, 2], [np.nan, 3], [7, 6]]) X = [[np.nan, 2], [6, np.nan], [7, 6]] print(imp.transform(X)) [[4. 2. ] [6. 3.66666667] [7. 6. ]]
2、Imputer 类也支持稀疏矩阵:
import scipy.sparse as sp X = sp.csc_matrix([[1, 2], [0, 3], [7, 6]]) imp = Imputer(missing_values=0, strategy='mean', axis=0) imp.fit(X) X_test = sp.csc_matrix([[0, 2], [6, 0], [7, 6]]) print(imp.transform(X_test)) #注意，在这里，缺失数据被编码为0, 这种方式用在当缺失数据比观察数据更多的情况时是非常合适的。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
首先，Python 标准库中的 urllib2 模块提供了你所需要的大多数 HTTP 功能，但是它的 API 不友好。通过本文给大家介绍Python Requests 入门基础，感兴趣的朋友一起学习吧2016-04-04
这篇文章主要介绍了python drf各类组件的用法和作用，帮助大家更好的理解和学习python，感兴趣的朋友可以了解下2021-01-01
这篇文章主要介绍了Python变量作用域LEGB用法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-02-02
今天小编就为大家分享一篇python生成特定分布数的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
这篇文章主要介绍了Python实现操纵控制windows注册表的方法,结合实例形式分析了Python使用_winreg模块以及win32api模块针对Windows注册表操作相关实现技巧,需要的朋友可以参考下2019-05-05
tensorflow的ckpt及pb模型持久化方式及转化详解
今天小编就为大家分享一篇tensorflow的ckpt及pb模型持久化方式及转化详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
当多个进程使用同一份数据资源的时候，因为进程的运行没有顺序，运行起来也无法控制，如果不加以干预，往往会引发数据安全或顺序混乱的问题，所以要在多个进程读写共享数据资源的时候加以适当的策略，来保证数据的一致性问题2023-01-01
这篇文章主要为大家详细介绍了CentOS6.5设置Django开发环境,具有一定的参考价值，感兴趣的小伙伴们可以参考一下2016-10-10
python之np.argmax()及对axis=0或者1的理解
这篇文章主要介绍了python之np.argmax()及对axis=0或者1的理解，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-06-06
这篇文章主要介绍了python各种excel写入方式的速度对比，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-11-11
最新评论