脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python pandas消除空值和空格以及 Nan数据替换

python pandas消除空值和空格以及 Nan数据替换方法

 更新时间：2018年10月30日 09:10:18   作者：alanhu1024  
今天小编就为大家分享一篇python pandas消除空值和空格以及 Nan数据替换方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

在人工采集数据时，经常有可能把空值和空格混在一起，一般也注意不到在本来为空的单元格里加入了空格。这就给做数据处理的人带来了麻烦，因为空值和空格都是代表的无数据，而pandas中Series的方法notnull()会把有空格的数据也纳入进来，这样就不能完整地得到我们想要的数据了，这里给出一个简单的方法处理该问题。

方法1：

既然我们认为空值和空格都代表无数据，那么可以先得到这两种情况下的布尔数组。

这里，我们的DataFrame类型的数据集为df，其中有一个变量VIN，那么取得空值和空格的布尔数组为NONE_VIN。然后通过该布尔数组，就能得到我们要的数据了

NONE_VIN = (df["VIN"].isnull()) | (df["VIN"].apply(lambda x: str(x).isspace()))
df_null = df[NONE_VIN]
df_not_null = df[~NONE_VIN]

方法2：

直接使用Series的.apply方法来修改变量VIN中的每个值。如果发现是空格，就返回Nan，否则就返回原值。

df["VIN"]=df["VIN"].apply(lambda x: np.NaN if str(x).isspace() else x)
df_null = df[df["VIN"].isnull()]
df_not_null = df[df["VIN"].notnull()]

将dataframe中的NaN替换成希望的值

import pandas as pd
df1 = pd.DataFrame([{'col1':'a', 'col2':1}, {'col1':'b', 'col2':2}])
df2 = pd.DataFrame([{'col1':'a', 'col3':11}, {'col1':'c', 'col3':33}])

data = pd.merge(left=df1, right=df2, how='left', left_on='col1', right_on='col1')
print data
# 将NaN替换为None
print data.where(data.notnull(), None)

输出结果：

 col1 col2 col3
0 a  1 11
1 b  2 NaN
 col1 col2 col3
0 a  1 11
1 b  2 None

总结：

方法1的思路就是直接判定是否为空格，把空格纳入到选择中来。方法2的思路是先把空格转换为NaN，然后正常使用.isnull()或.notnull()来得到我们想要的数据。

以上这篇python pandas消除空值和空格以及 Nan数据替换方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • 如何使用python写截屏小工具

    如何使用python写截屏小工具

    这篇文章主要介绍了如何使用python写截屏小工具,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2020-09-09
  • 对python多线程SSH登录并发脚本详解

    对python多线程SSH登录并发脚本详解

    今天小编就为大家分享一篇对python多线程SSH登录并发脚本详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-02-02
  • Django rest framework基本介绍与代码示例

    Django rest framework基本介绍与代码示例

    这篇文章主要介绍了Django rest framework基本介绍与代码示例，简单叙述了rest framework的一些用处，可选择的相关软件包，然后分享了一个简单的模型支持的API的例子，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下
    2018-01-01
  • selenium 安装与chromedriver安装的方法步骤

    selenium 安装与chromedriver安装的方法步骤

    这篇文章主要介绍了selenium 安装与chromedriver安装的方法步骤，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2019-06-06
  • pycharm配置SSH远程连接服务器详细步骤(0基础详细版)

    pycharm配置SSH远程连接服务器详细步骤(0基础详细版)

    PyCharm是一款流行的Python集成开发环境(IDE),提供了远程连接云服务器的功能,使得开发者可以更加便捷地进行远程开发和调试,这篇文章主要给大家介绍了关于pycharm配置SSH远程连接服务器的详细步骤,需要的朋友可以参考下
    2024-07-07
  • ubuntu16.04制作vim和python3的开发环境

    ubuntu16.04制作vim和python3的开发环境

    本文给大家介绍的是在ubuntu系统下制作python3开发环境的详细步骤，非常的实用，有需要的小伙伴可以参考下
    2018-09-09
  • 如何理解及使用Python闭包

    如何理解及使用Python闭包

    闭包是优雅的 Python 结构,在本文中,我们将了解它们,如何定义闭包,为什么以及何时使用它们.但是在讨论什么是闭包之前,我们必须首先理解什么是嵌套函数,以及作用域规则是如何为它们工作的.那么让我们开始吧,需要的朋友可以参考下
    2021-06-06
  • 解决keras使用cov1D函数的输入问题

    解决keras使用cov1D函数的输入问题

    这篇文章主要介绍了解决keras使用cov1D函数的输入问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06
  • 详解如何使用Python的Plotly库进行交互式图形可视化

    详解如何使用Python的Plotly库进行交互式图形可视化

    Python中有许多强大的工具和库可用于创建交互式图形,其中之一就是Plotly库,Plotly库提供了丰富的功能和灵活的接口,使得创建各种类型的交互式图形变得简单而直观,本文将介绍如何使用Plotly库来创建交互式图形,需要的朋友可以参考下
    2024-05-05
  • Python企业编码生成系统之系统主要函数设计详解

    Python企业编码生成系统之系统主要函数设计详解

    这篇文章主要介绍了Python企业编码生成系统之系统主要函数设计,涉及目录操作、文件读写、验证判断、编码输出等功能实现技巧,需要的朋友可以参考下
    2019-07-07

最新评论