pandas和spark dataframe互相转换实例详解
更新时间：2020年02月18日 08:43:34 投稿：yaominghui
这篇文章主要介绍了pandas和spark dataframe互相转换实例详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
这篇文章主要介绍了pandas和spark dataframe互相转换实例详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
from pyspark.sql import SparkSession # 初始化spark会话 spark = SparkSession \ .builder \ .getOrCreate() spark_df = spark.createDataFrame(pandas_df)
spark的dataframe转pandas的dataframe
import pandas as pd pandas_df = spark_df.toPandas()
由于pandas的方式是单机版的，即toPandas()的方式是单机版的，所以参考breeze_lsw改成分布式版本：
import pandas as pd def _map_to_pandas(rdds): return [pd.DataFrame(list(rdds))] def topas(df, n_partitions=None): if n_partitions is not None: df = df.repartition(n_partitions) df_pand = df.rdd.mapPartitions(_map_to_pandas).collect() df_pand = pd.concat(df_pand) df_pand.columns = df.columns return df_pand pandas_df = topas(spark_df)
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
f-string采用 {content:format} 设置字符串格式，其中content是替换并填入字符串的内容，可以是变量、表达式或函数等，format 是格式描述符，这篇文章主要介绍了python使用 f 格式化字符串,需要的朋友可以参考下2022-12-12
Appium中scroll和drag_and_drop根据元素位置滑动
本文主要介绍了Appium中scroll和drag_and_drop根据元素位置滑动，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-02-02
这篇文章主要介绍了python对指定字符串逆序的6种方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-04-04
解决json.decoder.JSONDecodeError: Expecting value:&n
这篇文章主要介绍了解决json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)错误,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-04-04
这篇文章主要介绍了Python开启线程和线程池的方法，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2024-03-03
Python使用try-except捕获与处理异常的实现方法
在Python中,try-except 语句是用于捕获和处理异常的主要工具,当程序运行过程中发生错误时,try-except 结构可以有效地防止程序崩溃,并允许开发者为错误提供适当的解决方案,接下来,我们将详细探讨 try-except 的使用方式,需要的朋友可以参考下2024-11-11
Python基于PyGraphics包实现图片截取功能的方法
这篇文章主要介绍了Python基于PyGraphics包实现图片截取功能的方法,涉及PyGraphics包的安装及基于PyGraphics包实现图片的打开、读取、截取等相关操作技巧,需要的朋友可以参考下2017-12-12
这篇文章主要为大家介绍了python目标检测数据增强的代码参数解读及应用，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
这篇文章主要介绍了python入门课程第一讲之安装与优缺点，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-09-09
这篇文章主要和大家详细介绍了在Python中如何将Tqdm与Asyncio结合使用呢，文中的示例代码讲解详细，感兴趣的小伙伴可以跟随小编一起学习一下2023-05-05
最新评论