pandas读取excel统计空值数量错误的解决方法
问题: pd.read_excel()读取excel数据后,用pd.isnull().sum()统计空值数量不对,代码如下
import pandas as pd
df = pd.read_excel('test.xlsx',dtype=str)
# 剔除空格
df = df.applymap(lambda x : str(x).strip())
print("b列为空的个数为"+ str(pd.isnull(df['b']).sum())) # 打印出来b列中为空的是0个
excel数据长这样,B2是一个空格,希望得到空值为2的结果

问题分析:
读取excel后的df是这样

使用applymap剔除空格后的df是这样

读取excel后的df的值(df.values)

使用applymap剔除空格后的df的值(df.values)

可以看到,在applymap方法处理后
值values的变化:一个空格变成了’’,之前的nan变成了’nan’(这里是字符串nan,当然不为空)
pd.isnull()只会统计NaN的数量,一个是字符串’‘,一个是字符串’nan’,因此都统计不到
解决: 将’'和’nan’全部替换为np.nan,isnull就可以统计到
import numpy as np
import pandas as pd
df = pd.read_excel('test.xlsx',dtype=str)
# 剔除空格
df = df.applymap(lambda x : str(x).strip())
df[df == ''] = np.nan
df[df == 'nan'] = np.nan
print("b列为空的个数为"+ str(pd.isnull(df['b']).sum())) # 打印出来b列中为空的是2个到此这篇关于pandas读取excel统计空值数量错误的解决方法的文章就介绍到这了,更多相关pandas读取excel空值内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
相关文章
pycharm中使用request和Pytest进行接口测试的方法
这篇文章主要介绍了pycharm中使用request和Pytest进行接口测试的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2020-07-07
Python os.path.exists()函数总是返回false的解决方案
这篇文章主要介绍了Python os.path.exists()函数总是返回false的解决方案,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
pytorch如何自定义forward和backward函数
PyTorch自动求导功能强大,但在特定情况下需要用户自行定义backward函数,通过实例解释了保存变量、计算梯度、链式法则等核心概念,并展示了如何通过自定义函数集成到网络中以及如何正确返回梯度,此外,还讨论了多输出情况下的梯度传递2024-10-10
在Python中使用defaultdict初始化字典以及应用方法
今天小编就为大家分享一篇在Python中使用defaultdict初始化字典以及应用方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧2018-10-10


最新评论