pandas如何将dataframe中的NaN替换成None

更新时间：2023年08月15日 14:31:45 作者：什么都干的派森

这篇文章主要介绍了pandas如何将dataframe中的NaN替换成None问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

pandas将dataframe的NaN替换成None

df = df.where(df.notnull(), None)

dataframe缺失值(NaN)处理

在进行机器学习的特征工程时，常常需要根据选择的机器学习算法，采用合适的数据预处理方式，特别是对于对于空值(NaN)的处理，常常使人感到困惑。

一般对于NaN，常常有两种处理方式：

第一种——填补。
第二种——不处理。

当你使用sklearn库进行机器学习训练时，一般对于缺失值要求较为严格，因此，需要进行填补，至于填补为何值，则需要根据业务需求进行。

当你使用lightgbm库一类库进行机器学习训练时，一般不需要处理缺失值，因为这类算法，天然支持缺失值处理，它会将缺失值单独分为一类。

本人认为，数据的缺失，在实际中是存在一定的业务含义的，例如月收入的缺失，就反应人对于自己收入的不自信，因此在风控领域就存在更容易逾期现象。但此时若是进行均值的缺失值填补，则会使该业务含义消失，因此我觉得是不可取的。

数据的特征工程决定数据质量，数据质量决定模型效果上限，模型参数决定训练的模型能否逼近理论模型，特征工程的难易复杂程度决定模型最终上线的工作量。

（以上为本人的一点点见解）

判断缺失值的函数有：np.isnan()/ pd.isna()/pd.isnull()。

np.isnan()：一般用于单个值，也可以用于Series或者DataFrame，但是这里存在一个坑，np.isnan()判断datetime类型的Series或者DataFrame会报错。
pd.isna()和pd.isnull()：用的比较多，一般推荐使用pd.isna()

s1 = pd.Series([1,2,3,np.nan])
np.isnan(s1)
>>> 0    False
	1    False
	2    False
	3     True
	dtype: bool
pd.isna(s1)
>>> 0    False
	1    False
	2    False
	3     True
	dtype: bool
pd.isnull(s1)
>>> 0    False
	1    False
	2    False
	3     True
	dtype: bool

除了以上的方法之外，还有一种较为方便和万能的方法来判断缺失值，取出非缺失值进行处理(本人一般也采用这种方法)。

通过对np.nan==np.nan发现，np.nan是不会等于np.nan，因此我们可以通过以下方式取出非缺失值。

np.nan==np.nan
>>> False

s1 = pd.Series([1,2,3,np.nan])
s1==s1
>>> 0     True
	1     True
	2     True
	3    False
	dtype: bool
#获取非缺失值
s1[s1==s1]
>>> 0    1.0
	1    2.0
	2    3.0
	dtype: float64
#获取非缺失值的数量
len(s1[s1==s1])
>>>3
#对缺失值进行填补(除了fillna外的方式)
s1[~(s1==s1)]=0
s1
>>> 0    1.0
	1    2.0
	2    3.0
	3    0.0
	dtype: float64

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

python循环控制之break和continue流程控制语句
这篇文章主要介绍了python循环控制之break流程控制语句，Python中提供了两个关键字用来控制循环语句,分别是break和continue，本文都有介绍,需要的朋友可以参考一下
2022-03-03
python创建与遍历List二维列表的方法
这篇文章主要介绍了python创建与遍历List二维列表的方法，本文给大家介绍的非常详细，具有一定的参考借鉴价值 ,需要的朋友可以参考下
2019-08-08
Python 字典与字符串的互转实例
下面小编就为大家带来一篇Python 字典与字符串的互转实例。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2017-01-01
python实现MQTT客户端通信的示例代码
本文主要介绍了python实现MQTT客户端通信的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
2025-12-12
Python读取大型数据文件的6种方式汇总
在 Python 中，我们可以使用多种方法读取大型数据文件，本文主要为大家介绍6个常用的Python读取大型数据文件的方法，希望对大家有所帮助
2023-05-05
Python使用raise报错抛出异常显示Unicode码的解决方法
在 Python 开发中,我们经常使用 raise 抛出异常来处理错误情况,但有时候,异常信息中的中文或其他非 ASCII 字符会被显示为 Unicode 转义序列,下面我们就来看看如何解决吧
2026-04-04
python类特殊方法使用示例讲解
这篇文章主要为大家介绍了python类特殊方法使用示例讲解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2023-06-06
详解Python爬取并下载《电影天堂》3千多部电影
这篇文章主要介绍了Python爬取并下载《电影天堂》3千多部电影，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-04-04
python 合并表格详解
这篇文章主要为大家详细介绍了python 合并表格的方法，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2021-10-10
python处理csv数据动态显示曲线实例代码
这篇文章主要介绍了python处理csv数据动态显示曲线实例代码，分享了相关代码示例，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下
2018-01-01