Pandas数据操作分析基本常用的15个代码片段

 更新时间:2023年09月04日 11:13:14   作者:deephub  
这篇文章主要介绍了Pandas数据操作分析基本常用的15个代码片段,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

引言

Pandas提供了强大的数据操作和分析功能,是数据科学的日常基本工具。在本文中,我们将介绍最常用的15个Pandas代码片段。这些片段将帮助简化数据分析任务,从数据集中提取有价值的见解。

1、过滤数据

Pandas提供了多种方法来过滤数据。

import pandas as pd
 # Create a DataFrame
 data = {'Name': ['Alice', 'Bob', 'Charlie', 'David'],
         'Age': [25, 30, 35, 40]}
 df = pd.DataFrame(data)
 # Filter rows where Age is greater than 30
 filtered_df = df[df['Age'] > 30]
 print(filtered_df)

2、分组和聚合数据

# Grouping by a column and calculating the mean
 grouped = df.groupby('Age').mean()
 print(grouped)

3、数据缺失值

# Check for missing values
 missing_values = df.isnull().sum()
 # Fill missing values with a specific value
 df['Age'].fillna(0, inplace=True)

4、将函数应用于列

apply()函数允许在 DataFrame 的行或列上应用自定义函数,以实现更复杂的数据处理和转换操作。

df['Age'] = df['Age'].apply(lambda x: x * 2)

5、连接DataFrames

这里的连接主要是行的连接,也就是说将两个相同列结构的DataFrame进行连接

# Concatenate two DataFrames
 df1 = pd.DataFrame({'A': ['A0', 'A1'], 'B': ['B0', 'B1']})
 df2 = pd.DataFrame({'A': ['A2', 'A3'], 'B': ['B2', 'B3']})
 result = pd.concat([df1, df2], ignore_index=True)
 print(result)

6、合并DataFrames

这里的合并指的是列的合并,也就是说根据一个或若干个相同的列,进行合并

# Merge two DataFrames
 left = pd.DataFrame({'key': ['A', 'B', 'C'], 'value': [1, 2, 3]})
 right = pd.DataFrame({'key': ['B', 'C', 'D'], 'value': [4, 5, 6]})
 
 merged = pd.merge(left, right, on='key', how='inner')
 print(merged)

7、数据透视表

pivot_table是用于数据透视的重要函数之一。它根据一个或多个列的值对数据进行重新排列和汇总,以便更好地理解数据的结构和关系。

# Creating a pivot table
 pivot_table = df.pivot_table(index='Name', columns='Age', values='Value')
 print(pivot_table)

8、处理时间/日期类型数据

# Converting a column to DateTime
 df['Date'] = pd.to_datetime(df['Date'])

9、数据重塑

pandas.melt()是用于将宽格式(wide format)的数据表格转换为长格式(long format)。这个函数通常用于数据重塑(data reshaping)操作,以便更容易进行数据分析和可视化。

pandas.melt(frame, id_vars=None, value_vars=None, var_name=None, value_name='value', col_level=None)

参数说明:

  • frame:要进行重塑操作的数据表格(DataFrame)。
  • id_vars:需要保留的列,它们将成为长格式中的标识变量(identifier variable),不被"融化"。
  • value_vars:需要"融化"的列,它们将被整合成一列,并用新的列名表示。
  • var_name:用于存储"融化"后的列名的新列的名称。
  • value_name:用于存储"融化"后的值的新列的名称。
  • col_level:如果输入数据是多级索引(MultiIndex),则可以指定在哪个级别上应用"融化"操作。

下面是一个示例,演示如何使用

melt()函数将宽格式数据转换为长格式,假设有以下的宽格式数据表格

df:

ID  Name  Math  English  History
 0   1   Amy    90       85       88
 1   2   Bob    78       92       76
 2   3  John    88       79       90

我们要将 Math、English 和History列"融化"为一个长格式数据表格,可以这样做:

melted_df=pd.melt(df, id_vars=['ID', 'Name'], value_vars=['Math', 'English', 'History'], var_name='Subject', value_name='Score')

转换后的长格式数据表格

melted_df

如下所示:

ID  Name  Subject  Score
 0   1   Amy     Math     90
 1   2   Bob     Math     78
 2   3  John     Math     88
 3   1   Amy  English     85
 4   2   Bob  English     92
 5   3  John  English     79
 6   1   Amy  History     88
 7   2   Bob  History     76
 8   3  John  History     90

通过这种方式,你可以将宽格式数据表格中的多列数据整合到一个列中,以更容易进行分析、可视化或其他操作。

melt()函数在数据清洗和转换阶段非常有用。

melt()或者可以理解为上面pivot_table或者unstack的反操作。

10、分类数据

astype('category')是用于将一列数据类型转换为分类(Category)类型的方法。将数据列转换为分类类型有助于节省内存和提高性能,特别是当数据列中包含有限的不同取值时。

# Encoding categorical variables
 df['Category'] = df['Category'].astype('category')
 df['Category'] = df['Category'].cat.codes

11、数据抽样

# Randomly sample rows from a DataFrame
 sampled_df = df.sample(n=2)

12、计算累加和

# Calculating cumulative sum
 df['Cumulative_Sum'] = df['Values'].cumsum()

13、删除重复的数据

# Removing duplicate rows
 df.drop_duplicates(subset=['Column1', 'Column2'], keep='first', inplace=True)

14、创建虚拟变量

pandas.get_dummies()是 Pandas 中用于执行独热编码(One-Hot Encoding)的函数。

# Creating dummy variables for categorical data
 dummy_df = pd.get_dummies(df, columns=['Category'])

15、数据导出

有很多个to方法,可以到导出不同的格式

# Exporting DataFrame to CSV
 df.to_csv('output.csv', index=False)

总结

以上这15个Pandas代码片段是我们日常最常用的数据操作和分析操作。熟练的掌握它,并将它们合并到工作流程中,可以提高处理和探索数据集的效率和效果。

以上就是Pandas数据操作分析基本常用的15个代码片段的详细内容,更多关于Pandas数据操作代码的资料请关注脚本之家其它相关文章!

相关文章

  • Python中Django的URL反向解析

    Python中Django的URL反向解析

    这篇文章主要介绍了Python中Django的URL反向解析,url反向解析是指在视图或模板中,用path定义的名称来动态查找或计算出相应的路由,本文提供了部分实现代码与解决思路,需要的朋友可以参考下
    2023-09-09
  • Python全面解读高级特性切片

    Python全面解读高级特性切片

    这篇文章主要介绍了Python全面解读高级特性切片,切片(slice)就是一种截取索引片段的技术,借助切片技术,我们可以十分灵活地处理序列类型的对象,下面我们一起进入文章了解更详细内容吧
    2021-12-12
  • django表单实现下拉框的示例讲解

    django表单实现下拉框的示例讲解

    今天小编就为大家分享一篇django表单实现下拉框的示例讲解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-05-05
  • Python中的套接字编程是什么?

    Python中的套接字编程是什么?

    不可否认,互联网已成为“存在之魂”,其活动以“连接”或“网络”为特征.使用套接字的最关键的基础之一,使这些网络成为可能.本文涵盖了有关使用Python进行套接字编程的所有领域.套接字可以帮助您建立这些连接,而Python无疑可以简化连接,需要的朋友可以参考下
    2021-06-06
  • 如何使用 Python Pandas 更新行和列

    如何使用 Python Pandas 更新行和列

    这篇文章主要介绍了使用 Python Pandas 更新行和列的方法,在整篇文章中,我们将使用我们现在要创建的数据框,这将使大家了解更新数据操作,在此之后,大家可以将这些方法应用于自己的数据,需要的朋友可以参考下
    2023-03-03
  • Python Lambda函数使用总结详解

    Python Lambda函数使用总结详解

    这篇文章主要介绍了Python Lambda函数使用总结详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-12-12
  • OpenCV 之按位运算举例解析

    OpenCV 之按位运算举例解析

    这篇文章主要介绍了OpenCV之按位运算举例解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-06-06
  • 介绍Python的Urllib库的一些高级用法

    介绍Python的Urllib库的一些高级用法

    这篇文章主要介绍了Python的Urllib库的一些高级用法,是用Python编写爬虫的一些基础知识,需要的朋友可以参考下
    2015-04-04
  • Python简易版停车管理系统

    Python简易版停车管理系统

    这篇文章主要为大家详细介绍了Python如何实现简易版停车管理系统,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-08-08
  • Python Selenium 之数据驱动测试的实现

    Python Selenium 之数据驱动测试的实现

    这篇文章主要介绍了Python Selenium 之数据驱动测试的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-08-08

最新评论