python pandas消除空值和空格以及 Nan数据替换方法
更新时间：2018年10月30日 09:10:18 作者：alanhu1024
今天小编就为大家分享一篇python pandas消除空值和空格以及 Nan数据替换方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
在人工采集数据时，经常有可能把空值和空格混在一起，一般也注意不到在本来为空的单元格里加入了空格。这就给做数据处理的人带来了麻烦，因为空值和空格都是代表的无数据，而pandas中Series的方法notnull()会把有空格的数据也纳入进来，这样就不能完整地得到我们想要的数据了，这里给出一个简单的方法处理该问题。
方法1：
既然我们认为空值和空格都代表无数据，那么可以先得到这两种情况下的布尔数组。
这里，我们的DataFrame类型的数据集为df，其中有一个变量VIN，那么取得空值和空格的布尔数组为NONE_VIN。然后通过该布尔数组，就能得到我们要的数据了
NONE_VIN = (df["VIN"].isnull()) | (df["VIN"].apply(lambda x: str(x).isspace())) df_null = df[NONE_VIN] df_not_null = df[~NONE_VIN]
方法2：
直接使用Series的.apply方法来修改变量VIN中的每个值。如果发现是空格，就返回Nan，否则就返回原值。
df["VIN"]=df["VIN"].apply(lambda x: np.NaN if str(x).isspace() else x) df_null = df[df["VIN"].isnull()] df_not_null = df[df["VIN"].notnull()]
将dataframe中的NaN替换成希望的值
import pandas as pd
df1 = pd.DataFrame([{'col1':'a', 'col2':1}, {'col1':'b', 'col2':2}])
df2 = pd.DataFrame([{'col1':'a', 'col3':11}, {'col1':'c', 'col3':33}])
data = pd.merge(left=df1, right=df2, how='left', left_on='col1', right_on='col1')
print data
# 将NaN替换为None
print data.where(data.notnull(), None)
输出结果：
col1 col2 col3 0 a 1 11 1 b 2 NaN col1 col2 col3 0 a 1 11 1 b 2 None
总结：
方法1的思路就是直接判定是否为空格，把空格纳入到选择中来。方法2的思路是先把空格转换为NaN，然后正常使用.isnull()或.notnull()来得到我们想要的数据。
以上这篇python pandas消除空值和空格以及 Nan数据替换方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
pycharm中使用request和Pytest进行接口测试的方法
这篇文章主要介绍了pycharm中使用request和Pytest进行接口测试的方法，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-07-07
随着计算机性能的提升，人们对计算机个性化的要求也越来越高了，自己使用的计算机当然要设置成自己喜欢的风格！本文就来用Python做个桌面壁纸下载器，需要的可以参考一下2022-11-11
这篇文章主要为大家介绍了Python 异步之非阻塞流使用示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-03-03
这篇文章主要介绍了python list转dict的使用方法，大家参考使用吧2014-01-01
PDF文件合并工具是非常好用可以把多个pdf文件合并成一个，本文以5个pdf文件为例给大家分享具体操作方法，通过实例代码给大家介绍的非常详细，需要的朋友参考下吧2021-07-07
这篇文章主要介绍了PyTorch 实现L2正则化以及Dropout的操作，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-05-05
Python中easy_install 和 pip 的安装及使用
本篇文章主要介绍了Python中easy_install 和 pip 的安装及使用，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-06-06
这篇文章主要介绍了Python依赖包迁移到断网环境操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-07-07
这篇文章主要为大家介绍了python区块链地址的简版实现，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
这篇文章主要介绍了pandas针对excel处理的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-01-01
最新评论