解读dataframe中有关inf的处理技巧

 更新时间:2023年09月12日 16:04:40   作者:AML杰  
这篇文章主要介绍了解读dataframe中有关inf的处理技巧,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

dataframe有关inf的处理

numpy中inf的相关文档

什么是inf?

IEEE 754浮点表示(正)无穷大。

为什么会产生?

>>> np.NINF
-inf
>>> np.inf
inf
>>> np.log(0)
-inf
>>> np.array([1,2])/0 #碰到的最多的情况
array([ inf,  inf])

产生inf有什么好处?

目前没看到有什么好处,只是单纯用inf表示无穷大,方便理解和表示。

产生inf有什么坏处?

对用户而言,对inf需要特殊处理,加大了工作量。
为什么需要特殊处理?因为许多机器学习算法库并不支持对inf的处理。

怎么处理?

常见的处理方法:

  • 不处理
  • 替换

怎么获取到inf的所在位置并进行填补?

'''
isinf:显示哪些元素为正或负无穷大
isposinf:显示哪些元素为正无穷大
isneginf:显示哪些元素为负无穷大
isnan:显示哪些元素不是数字
isfinite:显示哪些元素是有限的(不是非数字,正无穷大和负无穷大中的一个)
'''
>>> np.isinf(np.inf) #其他函数同理使用,isinf使用最多。
True
>>> np.isinf(np.array([1,np.inf]))
array([False,  True], dtype=bool)
>>>np.isinf(pd.DataFrame(np.array([1,np.inf])))
       0
0  False
1   True
>>>s1 = pd.Series([1,2,3,np.inf])
>>>s1
0    1.0
1    2.0
2    3.0
3    NaN
dtype: float64
#对inf填补 999
>>>s1[np.isinf(s1)] = 999
>>>s1
0    1.0
1    2.0
2    3.0
3  999.0
dtype: float64
#对inf填补np.nan (较为常用)
>>>s1[np.isinf(s1)] = np.nan
>>>s1
0    1.0
1    2.0
2    3.0
3    NaN
dtype: float64

Pandas处理DataFrame中的inf值

在用DataFrame计算变化率时,例如(今天-昨天) / 昨天恰好为(2-0) / 0时,这些结果数据会变为inf。

为了方便后续处理,可以利用numpy,将这些inf值进行替换。

1. 将某1列(series格式)中的 inf 替换为数值。

import numpy as np
df['Col'][np.isinf(df['Col'])] = -1

2. 将某1列(series格式)中的 inf 替换为NA值。

import numpy as np
df['Col'][np.isinf(df['Col'])] = np.nan

3. 将整个DataFrame中的 inf 替换为数值(空值同理)。#感谢评论区的补充

import numpy as np
df.replace(np.inf, -1) #替换正inf为-1
#替换正负inf为NA,加inplace参数 
df.replace([np.inf, -np.inf], np.nan, inplace=True)

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python使用腾讯云API实现短信验证码功能

    Python使用腾讯云API实现短信验证码功能

    使用Python与腾讯云接口对接,实现短信验证码功能变得非常简单,只需要几行代码就能够轻松实现短信的发送,无须关心复杂的短信协议和底层实现,读者可以根据自己的实际需求,灵活使用腾讯云短信SDK提供的API来实现更丰富的短信功能
    2024-01-01
  • matplotlib设置坐标轴标签和间距的实现

    matplotlib设置坐标轴标签和间距的实现

    本文主要介绍了matplotlib设置坐标轴标签和间距的实现,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-10-10
  • 用python实现名片管理系统

    用python实现名片管理系统

    这篇文章主要为大家详细介绍了用python实现名片管理系统,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-06-06
  • 使用OpenCV获取图像某点的颜色值,并设置某点的颜色

    使用OpenCV获取图像某点的颜色值,并设置某点的颜色

    这篇文章主要介绍了使用OpenCV获取图像某点的颜色值,并设置某点的颜色,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06
  • Pycharm学习教程(6) Pycharm作为Vim编辑器使用

    Pycharm学习教程(6) Pycharm作为Vim编辑器使用

    这篇文章主要为大家详细介绍了最全的Pycharm学习教程第六篇,Pycharm作为Vim编辑器使用,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-05-05
  • python基础之函数和面向对象详解

    python基础之函数和面向对象详解

    这篇文章主要为大家详细介绍了python的函数和面向对象,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下,希望能够给你带来帮助
    2022-02-02
  • Python数据分析的八种处理缺失值方法详解

    Python数据分析的八种处理缺失值方法详解

    缺失值可能是数据科学中最不受欢迎的值,然而,它们总是在身边。忽略缺失值也是不合理的,因此我们需要找到有效且适当地处理它们的方法
    2021-11-11
  • 对python实现模板生成脚本的方法详解

    对python实现模板生成脚本的方法详解

    今天小编就为大家分享一篇对python实现模板生成脚本的方法详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • Python即时网络爬虫项目启动说明详解

    Python即时网络爬虫项目启动说明详解

    这篇文章主要为大家详细介绍了Python即时网络爬虫项目启动说明,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-02-02
  • Python光学仿真之对光的干涉理解学习

    Python光学仿真之对光的干涉理解学习

    这篇文章主要为大家介绍了Python光学仿真之对光的干涉理解学习,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步早日升职加薪
    2021-10-10

最新评论