Python数据清洗之利用pandas筛选数据详解

更新时间：2023年08月24日 09:55:57 作者：sodaloveer

这篇文章主要介绍了Python数据清洗之利用pandas筛选数据详解,Pandas是一个用于数据分析和处理的Python库,它提供了高效的数据结构和数据分析工具,使得数据的清洗、转换、分析和可视化变得更加容易和灵活,需要的朋友可以参考下

利用pandas筛选数据

在Pandas中，最常用的数据结构是Series和DataFrame。

Series是一维的数组-like对象，用于存储任意类型的数据。

DataFrame是二维的表格型数据结构，可以存储多种类型的数据，并且可以进行灵活的数据操作和分析。

直接筛选

比较运算符(==、<、>、>=、<=、!=)逻辑运算符 &（与）、|（或）、~（非），使用比较运算符时，请将每个条件括在括号内。

运算符的优先级是NOT（〜），AND（＆），OR（|）。

读取数据

import os
import pandas as pd
import numpy as np
#读取文件
def read_file(filepath):
    os.chdir(os.path.dirname(filepath))
    return pd.read_csv(os.path.basename(filepath),encoding='utf-8')
file_pos="C:\\Users\\周晓婷\\Desktop\\train_data_original.csv"
data_pos=read_file(file_pos)

查看数据类型

data_pos.dtypes

在这里插入图片描述

筛选出frand_flag为0的数据

data_pos[data_pos['frand_flag']==0] ##用比较运算符‘=='直接筛选

筛选出frand_flag不为1的数据

data_pos[data_pos['frand_flag']!=1] 
data_pos[~(data_pos['frand_flag']==1)]

筛选cdr_duration>=15的数据

data_pos[data_pos['cdr_duration']>=15] ##用比较运算符“>=”直接筛选

筛选cdr_duration<15的数据

data_pos[data_pos['cdr_duration']<15]

筛选cdr_duration<=15且frand_flag=0的数据

data_pos[(data_pos['cdr_duration']<=15)&(data_pos['frand_flag']==0)]

筛选cdr_duration<=15或cdr_duration>60的数据

data_pos[(data_pos['cdr_duration']<=15)|(data_pos['cdr_duration']>60)]

函数筛选

比较函数(eq, ne, le, lt, ge, gt)

筛选出frand_flag为0的数据

data_pos[data_pos['frand_flag'].eq(0)]

筛选出frand_flag不为1的数据

data_pos[data_pos['frand_flag'].ne(1)]

筛选cdr_duration>=15的数据

data_pos[data_pos['cdr_duration'].ge(15)]

筛选cdr_duration<=15的数据

data_pos[data_pos['cdr_duration'].le(15)]

筛选cdr_duration<=15且frand_flag=0的数据

data_pos[(data_pos['cdr_duration'].le(15))&(data_pos['frand_flag'].eq(0))]

范围运算 between(left,right)

筛选cdr_duration>=15或cdr_duration<=60的数据

data_pos[data_pos['cdr_duration'].between(15,60)]

筛选start_date>=20220701且start_date<=20221031的数据

data_pos[data_pos['start_date'].between(20220701,20221031)]

字符筛选 Series.str.contains(pattern或字符串,na=False)

测试pattern或regex是否包含在Series或Index的字符串中。

Series列要为字符数据类型。

最终返回：布尔值的系列或索引。

布尔值的Series或Index，指示给定模式是否包含在Series或Index的每个元素的字符串中。

函数语法：

Series.str.contains（pat，case = True，flags = 0，na = nan，regex = True)

参数说明如下：

参数	描述
pat	str类型。字符序列或正则表达式。
case	bool，默认为True。如果为True，区分大小写。
flags	int，默认为0（无标志）。标志传递到re模块，例如re.IGNORECASE。
na	默认NaN，填写缺失值的值。
regex	bool，默认为True。如果为True，则假定pat是正则表达式。如果为False，则将pat视为文字字符串。所以针对特殊符号，默认情况下我们必须使用转义符，或者设置 regex=False。

筛选billing_nbr为移动号码，移动号码用正则表达式

#该列转换为字符数据类型（2种方法）
data_pos['billing_nbr']=data_pos['billing_nbr'].apply(str)
data_pos['billing_nbr']=data_pos['billing_nbr'].values.astype('str')
data_pos=data_pos[data_pos['billing_nbr'].str.contains('^1[35678]\d{9}$')]
print(data_pos.shape)

模糊查询，筛选某列中包含某个字符，比如“筛选start_date为202207的数据”

data_pos['start_date']=data_pos['start_date'].apply(str)
data_pos=data_pos[data_pos['start_date'].str.contains('202207')]
print(data_pos.shape)

筛选channel_type_desc为实体渠道的数据，na=False的意思就是，遇到非字符串的情况，直接忽略。你也可以写na=True，意思就是遇到非字符串的情况，计为筛选有效。如果遇到非字符串没有标明na参数会报错。

data_pos_1=data_pos_1[data_pos_1['channel_type_desc'].str.contains('实体渠道',na=False)]

apply()函数

筛选出frand_flag为0的数据

data_pos[data_pos['frand_flag'].apply(lambda x:x==0)]

截取billing_nbr前7位数

data_pos['billing_nbr']=data_pos['billing_nbr'].apply(str)
data_pos['billing_nbr_pre7']=data_pos['billing_nbr'].apply(lambda x:x[0:8])
data_pos['billing_nbr_pre7']=data_pos['billing_nbr'].map(lambda x:x[0:8])

筛选billing_nbr为移动号码，移动号码用正则表达式

import re
def func(x):
	if re.search('^1[35678]\d{9}$',x):
		return(True)
	else:
		return(False)
data_pos[data_pos['billing_nbr'].apply(func)]

筛选某一列并替换其他字符：筛选channel_type_desc列，将”含有实体渠道的“全部替换”实体渠道”，将“含有电子渠道的”全部替换成“电子渠道”，将“含有直销渠道的”全部替换成“直销渠道”，其他替换为未知。

未修改前，数据详情：

在这里插入图片描述

import re 
def func(data):
    if re.match(r'[\u4e00-\u9fa5]*实体渠道*[\u4e00-\u9fa5]',str(data)):
        return "实体渠道"
    elif re.match(r'[\u4e00-\u9fa5]*电子渠道*[\u4e00-\u9fa5]',str(data)):
        return "电子渠道"
    elif re.match(r'[\u4e00-\u9fa5]*直销渠道*[\u4e00-\u9fa5]',str(data)):
        return "直销渠道"
    else:
        return "未识别"
data_pos_1['channel_type_desc_1']=data_pos_1.channel_type_desc.apply(func)

import re
def func(x):
    if re.search(r'[\u4e00-\u9fa5]*实体渠道*[\u4e00-\u9fa5]',str(x)):
        return "实体渠道"
    elif re.search(r'[\u4e00-\u9fa5]*电子渠道*[\u4e00-\u9fa5]',str(x)):
        return "电子渠道"
    elif re.search(r'[\u4e00-\u9fa5]*直销渠道*[\u4e00-\u9fa5]',str(x)):
        return "直销渠道"
    else:
        return "未识别"
data_pos_1['channel_type_desc_1']=data_pos_1.channel_type_desc.apply(func)

数据替代后，数据详情：

在这里插入图片描述

isin()函数，支持多值筛选，用列表表示

筛选出frand_flag为0的数据

data_pos[data_pos['frand_flag'].isin([0])]

筛选出called_nbr包含10086、10010、10016、114的数据

data_pos[data_pos['called_nbr'].isin([10086,10010,10016,114])]

~isin()

筛选called_nbr不包含10086、10010、10016、114的数据

data_pos[~data_pos['called_nbr'].isin([10086,10010,10016,114])]

到此这篇关于Python数据清洗之利用pandas筛选数据详解的文章就介绍到这了,更多相关pandas筛选数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

淘宝秒杀python脚本扫码登录版
这篇文章主要为大家详细介绍了淘宝秒杀python脚本，扫码登录版，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2019-09-09
Python利用pip安装tar.gz格式的离线资源包
这篇文章主要给大家介绍了关于Python利用pip安装tar.gz格式的离线资源包的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-09-09
python字符串常规操作大全
这篇文章主要给大家介绍了关于python字符串常规操作的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2021-05-05
python如何使用腾讯云发送短信
这篇文章主要介绍了python如何使用腾讯云发送短信，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下
2020-09-09
pytorch中nn.Flatten()函数详解及示例
nn.Flatten是一个类,而torch.flatten()则是一个函数,下面这篇文章主要给大家介绍了关于pytorch中nn.Flatten()函数详解及示例的相关资料,需要的朋友可以参考下
2023-01-01
Python异步编程从协程到异步框架实践指南
Python的异步编程提供了一种更轻量级的并发方案,能够在单线程内实现高并发,大幅提升I/O密集型应用的性能,本文将从协程的基础概念讲起,深入讲解asyncio的核心原理和实战应用,帮助读者建立完整的异步编程知识体系
2026-05-05
基于Tensorflow使用CPU而不用GPU问题的解决
今天小编就为大家分享一篇基于Tensorflow使用CPU而不用GPU问题的解决，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-02-02
详解Python如何解析JSON中的对象数组
这篇文章主要为大家详细介绍了如何使用Python的JSON模块传输和接收JSON数据,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
2023-10-10
django 捕获异常和日志系统过程详解
这篇文章主要介绍了django-捕获异常和日志系统过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-07-07
解读numpy中改变数组维度的几种方式
这篇文章主要介绍了numpy中改变数组维度的几种方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2023-06-06

Python数据清洗之利用pandas筛选数据详解

目录

利用pandas筛选数据

直接筛选

函数筛选

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具