pyspark 读取csv文件创建DataFrame的两种方法
更新时间：2018年06月07日 08:36:22 作者：Stephen__Chou
今天小编就为大家分享一篇pyspark 读取csv文件创建DataFrame的两种方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
方法一：用pandas辅助
from pyspark import SparkContext from pyspark.sql import SQLContext import pandas as pd sc = SparkContext() sqlContext=SQLContext(sc) df=pd.read_csv(r'game-clicks.csv') sdf=sqlc.createDataFrame(df)
方法二：纯spark
from pyspark import SparkContext
from pyspark.sql import SQLContext
sc = SparkContext()
sqlContext = SQLContext(sc)
sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('game-clicks.csv')
以上这篇pyspark 读取csv文件创建DataFrame的两种方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
python使用lxml xpath模块解析XML遇到的坑及解决
这篇文章主要介绍了python使用lxml xpath模块解析XML遇到的坑及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-05-05
PyCharm作为业界领先的集成开发环境（IDE）,提供了强大的本地和远程开发功能,本文详细介绍了如何在PyCharm中使用远程文件编辑功能,希望能够帮助你提高远程开发的效率和体验2024-08-08
在处理字符串时,我们经常需要分析字符的频率,找出那些出现次数超过一次的重复字符,这在数据处理、文本分析、密码学等多个领域都有广泛的应用,本文介绍了Python查找字符串中重复字符的多种方法,需要的朋友可以参考下2024-09-09
这篇文章主要为大家详细介绍了python实现Floyd算法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-01-01
这篇文章主要介绍了SQLAlchemy使用前端页面实现插入数据，文章内容介绍详细巨头有一定的参考价值，需要的小伙伴可以参考一下2022-03-03
下面小编就为大家带来一篇python中函数总结之装饰器闭包详解。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2016-06-06
今天小编就为大家分享一篇numpy:找到指定元素的索引示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-11-11
Pandas是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的,下面这篇文章主要给大家介绍了关于Pandas中Replace函数使用那些事儿,文中通过实例代码以及图文介绍的非常详细,需要的朋友可以参考下2022-11-11
这篇文章主要介绍了python 三边测量定位的实现代码，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-04-04
Python基于Tkinter的HelloWorld入门实例
这篇文章主要介绍了Python基于Tkinter的HelloWorld入门实例,以一个简单实例分析了Python中Tkinter模块的使用技巧,需要的朋友可以参考下2015-06-06
最新评论