pandas和spark dataframe互相转换实例详解
更新时间：2020年02月18日 08:43:34 投稿：yaominghui
这篇文章主要介绍了pandas和spark dataframe互相转换实例详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
这篇文章主要介绍了pandas和spark dataframe互相转换实例详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
from pyspark.sql import SparkSession # 初始化spark会话 spark = SparkSession \ .builder \ .getOrCreate() spark_df = spark.createDataFrame(pandas_df)
spark的dataframe转pandas的dataframe
import pandas as pd pandas_df = spark_df.toPandas()
由于pandas的方式是单机版的，即toPandas()的方式是单机版的，所以参考breeze_lsw改成分布式版本：
import pandas as pd def _map_to_pandas(rdds): return [pd.DataFrame(list(rdds))] def topas(df, n_partitions=None): if n_partitions is not None: df = df.repartition(n_partitions) df_pand = df.rdd.mapPartitions(_map_to_pandas).collect() df_pand = pd.concat(df_pand) df_pand.columns = df.columns return df_pand pandas_df = topas(spark_df)
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要为大家详细介绍了python实现猜拳游戏，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2020-03-03
这篇文章主要给大家介绍了关于Python字符串操作实战之如何提取子字符串的相关资料,字符串是Python中最常用的数据类型,大家应该都不陌生,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2023-06-06
解决pyecharts在jupyter notebook中使用报错问题
这篇文章主要介绍了解决pyecharts在jupyter notebook中使用报错问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-06-06
这篇文章主要介绍了解决pycharm不能自动保存在远程linux中的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-02-02
pathlib模块类似os模块,包含了对创建和删除目录、读写文件、获取文件所在目录不同部分字段、判断文件是否存在,是否为文件和文件夹、文件统计和匹配查找,这篇文章主要介绍了python编程语言中pathlib模块简介及使用,需要的朋友可以参考下2023-09-09
这篇文章主要介绍了pandas之数据修改与基本运算方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
这篇文章主要介绍了Django实现小程序的登录验证功能并维护登录态,本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下2019-07-07
本文主要介绍了python中绑定方法与非绑定方法的实现示例，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-09-09
2020最新pycharm汉化安装（python工程狮亲测有效）
这篇文章主要介绍了2020最新pycharm汉化安装（python工程狮亲测有效）,文中通过图文介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-04-04
scikit-learn是Python中最流行的机器学习库之一，它提供了各种各样的机器学习算法和工具，包括分类、回归、聚类、降维等2023-03-03
最新评论