Python数据预处理常用的5个技巧
前言
我们知道数据是一项宝贵的资产，近年来经历了指数级增长。但是原始数据通常不能立即使用，它需要进行大量清理和转换。
Pandas 是 Python 的数据分析和操作库，它有多种清理数据的方法和函数。在本文中，我将做5个示例来帮助大家掌握数据清理技能。
数据集
这是一个包含脏数据的示例数据框
让我们看看可以做些什么来使这个数据集变得干净。
第一列是多余的，应该删除；
Date 没有标准；
Name 写成姓氏、名字，并有大写和小写字母；
Payment 代表一个数量，但它们显示为字符串，需要处理；
在 Note 中，有一些非字母数字应该被删除;
示例 1
删除列是使用 drop 函数的简单操作。除了写列名外，我们还需要指定轴参数的值，因为 drop 函数用于删除行和列。 最后，我们可以使用 inplace 参数来保存更改。
import pandas as pd
df.drop("Unnamed: 0", axis=1, inplace=True)
示例 2
我们有多种选择将日期值转换为适当的格式。一种更简单的方法是使用 astype 函数来更改列的数据类型。
它能够处理范围广泛的值并将它们转换为整洁、标准的日期格式。
df["Date"] = df["Date"].astype("datetime64[ns]")
示例 3
关于名称列，我们首先需要解决如下问题：
首先我们应该用所有大写或小写字母来表示它们。另一种选择是将它们大写（即只有首字母是大写的）；
切换姓氏和名字的顺序；
df["Name"].str.split(",", expand=True)
然后，我将取第二列与第一列结合起来，中间有一个空格。最后一步是使用 lower 函数将字母转换为小写。
df["Name"] = (df["Name"].str.split(",", expand=True)[1] + " " + df["Name"].str.split(",", expand=True)[0]).str.lower()
示例 4
支付Payment的数据类型是不能用于数值分析的。在将其转换为数字数据类型(即整数或浮点数)之前，我们需要删除美元符号并将第一行中的逗号替换为点。
我们可以使用 Pandas 在一行代码中完成所有这些操作
df["Payment"] = df["Payment"].str[1:].str.replace(",", ".").astype("float")
示例 5
Note 列中的一些字符也需要删除。在处理大型数据集时，可能很难手动替换它们。
我们可以做的是删除非字母数字字符（例如？、！、-、. 等）。在这种情况下也可以使用 replace 函数，因为它接受正则表达式。
如果我们只想要字母字符，下面是我们如何使用替换函数：
df["Note"].str.replace('[^a-zA-Z]', '')
0 Unhappy
1 Satisfied
2 Neutral
3 Unhappy
4 Neutral
Name: Note, dtype: object
如果我们想要字母和数字（即字母数字），我们需要在我们的正则表达式中添加数字：
df["Note"].str.replace('[^a-zA-Z0-9]', '')
0 Unhappy
1 Satisfied
2 Neutral
3 Unhappy
4 Neutral0
Name: Note, dtype: object
请注意，这次没有删除最后一行中的 0，我只需选择第一个选项。如果我还想在删除非字母数字字符后将字母转换为小写
df["Note"] = df["Note"].str.replace('[^a-zA-Z]', '').str.lower()
与初始形式相比，数据集看起来要好得多。当然，它是一个简单的数据集，但这些清理操作在处理大型数据集时肯定会对你有所帮助。
总结
到此这篇关于Python数据预处理常用的5个技巧的文章就介绍到这了,更多相关Python数据预处理内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了Python如何计算语句执行时间,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-11-11
Iconfont(矢量图标)+iconmoon(图标svg互转)配合javascript实现社交分享系统
这篇文章主要介绍了Iconfont(矢量图标)+iconmoon(图标svg互转)配合javascript实现社交分享系统,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-04-04
这篇文章主要为大家介绍了Python pandas之多级索引取值，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2022-01-01
Pandas是Python中用于数据处理和数据分析的库，它提供了灵活的数据结构和数据操作工具，包括Series和DataFrame等。Pandas还支持大量数据操作和数据分析功能，包括数据清洗、转换、筛选、聚合、透视表、时间序列分析等2023-04-04
这篇文章主要介绍了django框架cookie和session用法,结合实例形式详细分析了Django框架cookie和session的功能、原理、使用方法及相关操作注意事项,需要的朋友可以参考下2019-12-12
这篇文章主要介绍了Pytest接口自动化测试框架搭建模板，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-03-03
这篇文章主要介绍了详解Python3中setuptools、Pip安装教程，文中给大家提到了注意事项,需要的朋友可以参考下2019-06-06
f-string想必很多Python用户都基础性的使用过，但是百分之九十的人不知道？在Python中f-string的几个技巧，今天就带大家一起看看Python f-string技巧大全，需要的朋友参考下吧2021-10-10
这篇文章主要介绍了Django Channel实时推送与聊天的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-04-04
Linux系统一般自带Python，有时候又自己下载了Python，因此有可能Python2和Python3同时存在。那么当我们在Terminal键入python的时候，会调出哪个Python呢？本文即解决这个问题2018-10-10
最新评论