关于Python数据处理中的None、NULL和NaN的理解与应用

更新时间：2023年08月24日 09:28:08 作者：sodaloveer

这篇文章主要介绍了关于Python数据处理中的None、NULL和NaN的理解与应用,None表示空值,一个特殊Python对象,None的类型是NoneType,需要的朋友可以参考下

一、python中None、null和NaN

注意：python中没有null，只有和其意义相近的None。

1、None

1）数据类型

None表示空值，一个特殊Python对象，None的类型是NoneType。

None是NoneType数据类型的唯一值，我们不能创建其它NoneType类型的变量，但是可以将None赋值给任何变量。

type(None) #该值是一个空对象，空值是python里面一个特殊的值，用None表示。None不能理解为0，因为0是有意义，而None是一个特殊的空值。
type('')

在这里插入图片描述

2）特征：

None不支持任何运算
None和任何其他数据类型比较永远返回False
None有自己的数据类型NoneType，不能创建其他NoneType对象。（它只有一个值None）
None与0、空列表、空字符串不一样。
None赋值给任何变量，也可以给None值变量赋值
None没有像len、size等属性，要判断一个变量是否为None，直接使用。

None==0 
None==‘'
None==False
dir(None) #返回参数属性、方法列表

在这里插入图片描述

3）作为没有return关键函数的返回值

对于所有没有return语句的函数定义，python都会在末尾加上return None，使用不带值的return语句（也就是只有return关键字本身），那么就返回None。

def fun1():
	print('test')
result=fun()
print(result)

在这里插入图片描述

2、NaN

1）当使用Numpy或者Pandas处理数据的时候，会自动将条目中没有数据转换为NaN。

import pandas as pd
df=pd.read_csv('F:\\python_test\\demo.csv',header=None)
print(df)

原数据为下图：

在这里插入图片描述

2）特征

NaN是没有办法和任何数据进行比较
它和任何值都不相等，包括他自己。
它的数类型是float，但是和任何值做计算的结果都是NaN

frame= pd.DataFrame([[1, 2, 3], 
                    [2, 3, 4],
                    [3, 4, np.nan]],
                   index=list('abc'), columns=list('ABC'))
num=frame.iloc[2,2]
result=num+2
result

在这里插入图片描述

二、实际应用

1、使用read_sql读取null数据显示NaN

使用hive进行数据清洗、特征处理后，用python读取hive数据库下的整理好的表。

一般使用pyhive连续数据库，pandas读取数据。

pandas读取hive数据库下面的数据表

1、如果数据表字段为string格式，pandas读取后在python中该字段数据格式为object，如果该字段中含有 NULL 值，读取会直接转换成字符串** ‘NULL’ **，如果该字段中含有’'（空值），读取直接转换成字符串 ** ‘’ **。

2、如果数据表字段为int格式，pandas读取后在python中该字段数据格式为float64，如果该字段中含有 NULL 值或者 ‘’（空值），读取直接转换成字符串 NaN。

如果数据库表的字段为string，字段中含NULL，多数意义就是默认为空值或者异常数值，使用pd.DataFrame或者read_sql()读取，默认为字符串‘NULL’。

因此对此进行数值处理会导致很多报错（比如ValueError: could not convert string to float: ‘NULL’），比如想要在python转换数据类型的时候，或者想要对null进行缺失值填充等等。

因此想要将“NULL”转换成“NaN”，后续更加方便。

from pyhive import hive
import pandas as pd
import numpy as np
#缺失值统计
def na_count(data):
    data_count=data.count()
    na_count=len(data)-data_count
    na_rate=na_count/len(data)
    na_result=pd.concat([data_count,na_count,na_rate],axis=1)
    return na_result
sql='''select is_vice_card,online_days,age,payment_type
,star_level_int,cert_cnt,channel_nbr,payment_method_variable,package_price_group,white_flag
 from database.v1_6_501_train_test'''
con=hive.connect(host='b1m6.hdp.dc',port=10000,auth='KERBEROS',kerberos_service_name="hive") 
cursor=con.cursor()
cursor.execute(sql) #执行sql
result=cursor.fetchall()
data_pos_1=pd.DataFrame(result,columns=['is_vice_card',
		'online_days',
		'calling_cnt',
		'age',
		'payment_type',
		'star_level_int',
		'cert_cnt',
		'channel_nbr',
		'payment_method_variable',
		'package_price_group'])
print("未将‘NULL'替换成np.nan,查看train_data的缺失值：\n",na_count(data_pos_1))
#将str字段中的null转换成空值		
data_pos_1.loc[data_pos_1['is_vice_card']=='NULL','is_vice_card'] = np.nan
data_pos_1.loc[data_pos_1['online_days']=='NULL','online_days'] = np.nan
data_pos_1.loc[data_pos_1['age']=='NULL','age'] = np.nan
data_pos_1.loc[data_pos_1['payment_type']=='NULL','payment_type'] = np.nan
data_pos_1.loc[data_pos_1['star_level_int']=='NULL','star_level_int'] = np.nan
data_pos_1.loc[data_pos_1['cert_cnt']=='NULL','cert_cnt'] = np.nan
data_pos_1.loc[data_pos_1['channel_nbr']=='NULL','channel_nbr'] = np.nan
data_pos_1.loc[data_pos_1['payment_method_variable']=='NULL','payment_method_variable'] = np.nan
data_pos_1.loc[data_pos_1['package_price_group']=='NULL','package_price_group'] = np.nan
print("将‘NULL'替换成np.nan,查看train_data的缺失值：\n",na_count(data_pos_1))

运行代码，结果显示：

查看未将“NULL”替换成np.nan,data_pos_1的缺失值：
0 1 2
is_vice_card 8289 0 0.0
online_days 8289 0 0.0
calling_cnt 8289 0 0.0
age 8289 0 0.0
payment_type 8289 0 0.0
star_level_int 8289 0 0.0
cert_cnt 8289 0 0.0
channel_nbr 8289 0 0.0
payment_method_variable 8289 0 0.0
package_price_group 8289 0 0.0
查看将“NULL”替换成np.nan,data_pos_1的缺失值：;
0 1 2
is_vice_card 7854 435 0.052479
online_days 7854 435 0.052479
calling_cnt 8289 0 0.000000
age 7854 435 0.052479
payment_type 7854 435 0.052479
star_level_int 7830 459 0.055375
cert_cnt 6134 2155 0.259983
channel_nbr 7847 442 0.053324
payment_method_variable 7890 399 0.048136
package_price_group 8289 0 0.000000

也可以在数据库表建立将字段设置为int。

2、使用read_csv读取null数据显示为字符串null

一般默认为NaN

import pandas as pd
data_pos=pd.read_csv(file_pos,encoding='utf-8')
data_pos.head(10)

在这里插入图片描述

显示为字符串为null

import pandas as pd
data_pos=pd.read_csv(file_pos,encoding='utf-8', na_filter=False)
#或
data_pos=pd.read_csv(file_pos,encoding='utf-8', keep_default_na=False)
#查看data_pos数据格式
data_pos[data_pos['online_days']=='NULL'].head(10)

在这里插入图片描述

到此这篇关于关于Python数据处理中的None、NULL和NaN的理解与应用的文章就介绍到这了,更多相关Python数据处理中的空值内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

python神经网络学习使用Keras进行回归运算
这篇文章主要为大家介绍了python神经网络学习使用Keras进行回归运算，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2022-05-05
Python学习之直方图均衡化原理详解
直方图均衡化是以累计分布函数为核心，将原始图像灰度直方图从比较集中的某个灰度区间，非线性地映射为在全部灰度范围内的较均匀分布，从而增强对比度。本文将为大家详细讲解直方图均衡化的原理，需要的可以参考一下
2022-03-03
Python用input输入列表的实例代码
在本篇文章里小编给大家整理的是关于Python用input输入列表的实例代码，需要的朋友们可以参考下。
2020-02-02
使用Python进行数独求解详解(一)
本文主要介绍了如何构建一个Python脚本来解决数独难题，本文的重点在于介绍用于构建数独求解器的回溯算法。感兴趣的小伙伴可以学习一下
2022-02-02
Python在Excel中添加数据条的代码详解
在Excel中添加数据条是一种数据可视化技巧,它通过条形图的形式在单元格内直观展示数值的大小,尤其适合比较同一列或行中各个单元格的数值,本文将介绍如何使用Python在Excel中的指定单元格区域添加数据条,需要的朋友可以参考下
2024-10-10
Python OOP类中的几种函数或方法总结
今天小编就为大家分享一篇关于Python OOP类中的几种函数或方法总结，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
2019-02-02
详解python中docx库的安装过程
这篇文章主要介绍了python中docx库的安装过程，非常不错，具有一定的参考借鉴价值,需要的朋友可以参考下
2019-11-11
python excel多行合并的方法
这篇文章主要介绍了python excel多行合并的方法，帮助大家更好的利用python处理excel表格，感兴趣的朋友可以了解下
2020-12-12
Python中使用 zipfile创建文件压缩工具
这篇文章主要介绍了Python中使用zipfile创建文件压缩工具,通过使用 wxPython 模块，我们创建了一个简单而实用的文件压缩工具，本文结合实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的ca参考借鉴价值，需要的朋友可以参考下
2023-09-09
pandas中8种常用的index 索引设置
在数据处理时,经常会因为index报错而发愁,本文主要介绍了pandas中8种常用的index 索引设置,具有一定的参考价值,感兴趣的可以了解一下
2024-07-07