如何将PySpark导入Python的放实现(2种)
更新时间：2020年04月26日 15:00:49 作者：Lauhoman
这篇文章主要介绍了如何将PySpark导入Python的放实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
方法一
使用findspark
使用pip安装findspark：
pip install findspark
在py文件中引入findspark：
>>> import findspark >>> findspark.init()
导入你要使用的pyspark库
>>> from pyspark import *
优点：简单快捷
缺点：治标不治本，每次写一个新的Application都要加载一遍findspark
方法二
把预编译包中的Python库文件添加到Python的环境变量中
export SPARK_HOME=你的PySpark目录 export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH
优点：一劳永逸
缺点：对于小白可能不太了解环境变量是什么
问题1、ImportError: No module named pyspark
现象：
- 已经安装配置好了PySpark，可以打开PySpark交互式界面；
- 在Python里找不到pysaprk。
参照上面解决
问题2、ImportError: No module named ‘py4j'
现象：
已经安装配置好了PySpark，可以打开PySpark交互式界面；
按照上面的b方式配置后出现该问题。
解决方法：
把py4j添加到Python的环境变量中
export PYTHONPATH= $SPARK_HOME/python/lib/py4j-x.xx-src.zip:$PYTHONPATH
注意：这里的py4j-x.xx-src.zip根据自己电脑上的py4j版本决定。
测试成功的环境
- Python: 3.7、2.7
- PySpark: 1.6.2 - 预编译包
- OS: Mac OSX 10.11.1
参考
Stackoverflow: importing pyspark in python shell
Stackoverflow: Why can't PySpark find py4j.java_gateway?
到此这篇关于如何将PySpark导入Python的放实现(2种)的文章就介绍到这了,更多相关PySpark导入Python内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
query()方法是一个功能强大的函数,允许用户通过字符串表达式来筛选DataFrame中的数据,本文就来介绍一下pandas中query()用法,感兴趣的可以了解一下2024-03-03
%是Python风格的字符串格式化操作符,非常类似C语言里的printf()函数的字符串格式化,下面这篇文章主要给大家介绍了关于Python如何利用%操作符格式化字符串的相关资料,需要的朋友可以参考下2021-10-10
这篇文章主要介绍了python分析apache访问日志脚本分享,本文直接给出实现代码,需要的朋友可以参考下2015-02-02
这篇文章主要为大家详细介绍了python实现K最近邻算法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-01-01
python基于socketserver实现并发,验证客户端的合法性
TCP协议的socket一次只能和一个客户端通信, 而socketsever可以时间和多个客户端通信。本文将讲解socketserver的具体使用2021-05-05
这篇文章主要介绍了深度学习入门之Pytorch 数据增强的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-02-02
Python高级数据分析之pandas和matplotlib绘图
Matplotlib是一个强大的Python绘图和数据可视化的工具包,下面这篇文章主要给大家介绍了关于Python高级数据分析之pandas和matplotlib绘图的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下2022-05-05
今天小编就为大家分享一篇解决Python 中英文混输格式对齐的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-07-07
PyAudio 是语音处理的 Python 库，提供了比较丰富的功能。本文将利用pyaudio控制指定设备，实现录制音频、采集音频流、播放音频，感兴趣的可以了解一下2022-07-07
今天小编就为大家分享一篇Opencv+Python 色彩通道拆分及合并的示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
最新评论