spark: RDD与DataFrame之间的相互转换方法
更新时间：2018年06月07日 08:51:39 作者：birdlove1987
今天小编就为大家分享一篇spark: RDD与DataFrame之间的相互转换方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
DataFrame是一个组织成命名列的数据集。它在概念上等同于关系数据库中的表或R/Python中的数据框架，但其经过了优化。DataFrames可以从各种各样的源构建，例如：结构化数据文件，Hive中的表，外部数据库或现有RDD。
DataFrame API 可以被Scala，Java，Python和R调用。
在Scala和Java中，DataFrame由Rows的数据集表示。
在Scala API中，DataFrame只是一个类型别名Dataset[Row]。而在Java API中，用户需要Dataset<Row>用来表示DataFrame。
在本文档中，我们经常将Scala/Java数据集Row称为DataFrames。
那么DataFrame和spark核心数据结构RDD之间怎么进行转换呢？
代码如下：
# -*- coding: utf-8 -*-
from __future__ import print_function
from pyspark.sql import SparkSession
from pyspark.sql import Row
if __name__ == "__main__":
# 初始化SparkSession
spark = SparkSession \
.builder \
.appName("RDD_and_DataFrame") \
.config("spark.some.config.option", "some-value") \
.getOrCreate()
sc = spark.sparkContext
lines = sc.textFile("employee.txt")
parts = lines.map(lambda l: l.split(","))
employee = parts.map(lambda p: Row(name=p[0], salary=int(p[1])))
#RDD转换成DataFrame
employee_temp = spark.createDataFrame(employee)
#显示DataFrame数据
employee_temp.show()
#创建视图
employee_temp.createOrReplaceTempView("employee")
#过滤数据
employee_result = spark.sql("SELECT name,salary FROM employee WHERE salary >= 14000 AND salary <= 20000")
# DataFrame转换成RDD
result = employee_result.rdd.map(lambda p: "name: " + p.name + " salary: " + str(p.salary)).collect()
#打印RDD数据
for n in result:
print(n)
以上这篇spark: RDD与DataFrame之间的相互转换方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了python如何查找图片按钮的坐标位置，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-11-11
本文是Python机器学习NLP自然语言处理系列文章，带大家开启一段学习自然语言处理 (NLP) 的旅程。本篇文章主要学习NLP自然语言处理基本操作之词袋模型2021-09-09
在本篇文章里小编给大家整理了关于python range实例用法，有需要的朋友们可以学习参考下2020-02-02
字典是Python语言中唯一的映射类型。字典对象是可变的，它是一个容器类型，能存储任意个数的Python对象，其中也可包括其他容器类型。在学习了 Python 基本的字典操作后，通过学习本文的这些进阶操作，让写出的代码更加优雅简洁和pythonic。下面来一起看看吧。2016-11-11
这篇文章主要介绍了pybind11和numpy进行交互的方法，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值 ,需要的朋友可以参考下2019-07-07
这篇文章主要介绍了python字典通过值反查键的实现(简洁写法)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-09-09
Python如何实现Markdown记账记录转Excel存储
这篇文章主要为大家详细介绍了Python如何实现Markdown记账记录转Excel存储功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下2025-03-03
这篇文章主要总结了一些Python中的列表的知识点,来自于IBM官网技术文档,需要的朋友可以参考下2015-04-04
PyTorch详解经典网络种含并行连结的网络GoogLeNet实现流程
今天小编就为大家分享一篇Pytorch实现GoogLeNet的方法，GoogLeNet提出了一个名为“Inception”的深度卷积神经网结构，其目标是将分类、识别ILSVRC14数据集的技术水平提高一个层次。这一结构的主要特征是对网络内部计算资源的利用进行了优化2022-05-05
这篇文章主要介绍了详解Django中的form库的使用,Django是最为著名的Python编程框架,需要的朋友可以参考下2015-07-07
最新评论