MAC下Anaconda+Pyspark安装配置详细步骤
在MAC的Anaconda上使用pyspark,主要包括以下步骤：
- 在MAC下安装Spark,并配置环境变量。
- 在Anaconda中安装引用pyspark。
1. MAC下安装Spark
到Apark Spark官网上下载Spark文件，无论是windows系统，还是MAC系统，亦或者Linux系统，都可以下载这个文件(独立于系统)。
将下载的文件进行解压(可以使用命令行进行解压，也可以使用解压软件)。解压之后的文件如下：
配置环境变量。打开MAC命令行窗口，输入如下命令：
sudo vi ~/.bash_profile #bash_profile是当前用户的环境变量文件
打开bash_profile文件，并在该文件中增加以下两行命令：
export SPARK_HOME="/Users/sherry/documents/spark/spark-3.1.2-bin-hadoop2.7" #spark文件的完整解压目录
export PATH=${PATH}:${SPARK_HOME}/bin
如下图
保存并退出之后，运行以下命令：
source ~/.bash_profile #让修改的bash_profile生效 echo $PATH #查看环境变量，可以看到新增的路径名
一般MAC上使用的是zsh的shell工具，需要修改zshrc文件来使环境变量永久生效(若不修改该文件，在命令行中输入spark- shell或者pyspark时可能会提示zsh:command not found:pyspark 或 zsh:command not found spark-shell )。输入以下命令：
vi ~/.zshrc
修改该文件，添加如下命令：
if [ -f ~/.bash_profile ]; then
source ~/.bash_profile
fi
保存并退出即可。下面来验证spark是否正确安装，具体如下：
(1)命令行中输入spark-shell
(2)命令行中输入pyspark
至此，spark已经安装成功。
2.在Anaconda中引用pyspark
想要在Anacond中使用pyspark, 只需将spark解压文件中python文件夹下的pyspark复制到Anaconda下的site-packages文件中。下面来验证一下是否能在spyder中使用pyspark, 使用如下代码：
from pyspark import SparkContext, SparkConf
if __name__ == "__main__":
spark_conf = SparkConf()\
.setAppName('Python_Spark_WordCount')\
.setMaster('local[2]')
#使用spark最原始的API进行数据分析
sc = SparkContext(conf=spark_conf)
sc.setLogLevel('WARN')
print (sc)
# ------创建RDD，需要分析的数据 --------------------------------------
def local_rdd(spark_context):
datas = ['hadoop spark','hadoop hive spark','hadoop hive spark',\
'hadoop python spark','hadoop python spark',]
return spark_context.parallelize(datas)
rdd = local_rdd(sc)
print (rdd.count())
print (rdd.first())
sc.stop()
运行发现提示如下错误：
从提示信息可以知道，找不到SPARK_HOME。可以在上述主函数中增加如下代码：
import os #添加spark安装目录 os.environ['SPARK_HOME'] ='/Users/sherry/documents/spark/spark-3.1.2-bin-hadoop2.7'
重新运行即可得到如下结果：
5
hadoop spark
到此这篇关于MAC+Anaconda+Pyspark安装配置教程的文章就介绍到这了,更多相关Anaconda Pyspark安装配置内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
Python3.5 Pandas模块缺失值处理和层次索引实例详解
这篇文章主要介绍了Python3.5 Pandas模块缺失值处理和层次索引,结合实例形式详细分析了Python3.5 Pandas模块缺失值处理和层次索引的原理、处理方法及相关操作注意事项,需要的朋友可以参考下2019-04-04
ubuntu20.04运用startup application开机自启动python程序的脚本写法
这篇文章主要介绍了ubuntu20.04运用startup application开机自启动python程序的脚本写法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2023-10-10
这篇文章主要介绍了Python3+Appium实现多台移动设备操作的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-07-07
下面小编就为大家分享一篇pandas修改DataFrame列名的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
这篇文章主要介绍了Python画图练习案例分享，文章基于Python实现各种画图，具有一定的参考价值，感兴趣的小伙伴可以参考一下2022-07-07
这篇文章主要为大家详细介绍了Python如何利用pymupdf实现简单的PDF阅读器，并展示了PDF文件的内容，文中的示例代码讲解详细，需要的可以了解一下2023-08-08
这篇文章主要介绍了Python 多行匹配模式的相关资料，文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下2020-07-07
为什么要在实验过程中存储文件，因为有些算法的内容存在一些重复计算的步骤，这些步骤往往消耗很大一部分时间，在有大量参数的情况时，需要在多次不同参数的情况下重复试验，因此可以考虑将一些不涉及参数运算的部分结果存入文件中2022-09-09
这篇文章主要介绍了基于Python中Remove函数的用法讨论，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-12-12
这篇文章主要介绍了Django上使用数据可视化利器Bokeh解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-07-07
最新评论