脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Anaconda Pyspark安装配置

MAC下Anaconda+Pyspark安装配置详细步骤

 更新时间：2021年12月01日 15:36:23   作者：Sun_Sherry  
一般MAC上使用的是zsh的shell工具，需要修改zshrc文件来使环境变量永久生效(若不修改该文件，在命令行中输入相应的命令即可，本文给大家介绍MAC下Anaconda+Pyspark安装配置详细步骤，感兴趣的朋友跟随小编一起看看吧

在MAC的Anaconda上使用pyspark,主要包括以下步骤：

  • 在MAC下安装Spark,并配置环境变量。
  • 在Anaconda中安装引用pyspark。

1. MAC下安装Spark

  到Apark Spark官网上下载Spark文件，无论是windows系统，还是MAC系统，亦或者Linux系统，都可以下载这个文件(独立于系统)。

在这里插入图片描述

将下载的文件进行解压(可以使用命令行进行解压，也可以使用解压软件)。解压之后的文件如下：

在这里插入图片描述

配置环境变量。打开MAC命令行窗口，输入如下命令：

sudo vi ~/.bash_profile #bash_profile是当前用户的环境变量文件

打开bash_profile文件，并在该文件中增加以下两行命令：

export SPARK_HOME="/Users/sherry/documents/spark/spark-3.1.2-bin-hadoop2.7" #spark文件的完整解压目录
export PATH=${PATH}:${SPARK_HOME}/bin

如下图

在这里插入图片描述

保存并退出之后，运行以下命令：

source ~/.bash_profile #让修改的bash_profile生效
echo $PATH #查看环境变量，可以看到新增的路径名

一般MAC上使用的是zsh的shell工具，需要修改zshrc文件来使环境变量永久生效(若不修改该文件，在命令行中输入spark- shell或者pyspark时可能会提示zsh:command not found:pyspark 或 zsh:command not found spark-shell )。输入以下命令：

vi ~/.zshrc

修改该文件，添加如下命令：

if [ -f ~/.bash_profile ]; then
        source ~/.bash_profile
fi

保存并退出即可。下面来验证spark是否正确安装，具体如下：
(1)命令行中输入spark-shell

在这里插入图片描述

(2)命令行中输入pyspark

在这里插入图片描述

至此，spark已经安装成功。

2.在Anaconda中引用pyspark

  想要在Anacond中使用pyspark, 只需将spark解压文件中python文件夹下的pyspark复制到Anaconda下的site-packages文件中。下面来验证一下是否能在spyder中使用pyspark, 使用如下代码：

from pyspark import SparkContext, SparkConf

if __name__ == "__main__":
    spark_conf = SparkConf()\
        .setAppName('Python_Spark_WordCount')\
        .setMaster('local[2]') 
    #使用spark最原始的API进行数据分析
    sc = SparkContext(conf=spark_conf)
    sc.setLogLevel('WARN')
    print (sc)
   # ------创建RDD，需要分析的数据 --------------------------------------
    def local_rdd(spark_context):
        datas = ['hadoop spark','hadoop hive spark','hadoop hive spark',\
                 'hadoop python spark','hadoop python spark',]
        return spark_context.parallelize(datas)

    rdd = local_rdd(sc)
    print (rdd.count())
    print (rdd.first())
    sc.stop()

运行发现提示如下错误：

在这里插入图片描述

从提示信息可以知道，找不到SPARK_HOME。可以在上述主函数中增加如下代码：

import os
#添加spark安装目录
os.environ['SPARK_HOME'] ='/Users/sherry/documents/spark/spark-3.1.2-bin-hadoop2.7'

重新运行即可得到如下结果：

5

hadoop spark

到此这篇关于MAC+Anaconda+Pyspark安装配置教程的文章就介绍到这了,更多相关Anaconda Pyspark安装配置内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • django框架model orM使用字典作为参数，保存数据的方法分析

    django框架model orM使用字典作为参数，保存数据的方法分析

    这篇文章主要介绍了django框架model orM使用字典作为参数，保存数据的方法,结合实例形式分析了字典参数结合django model实现保存数据相关操作技巧,需要的朋友可以参考下
    2019-06-06
  • Python 机器学习第一章环境配置图解流程

    Python 机器学习第一章环境配置图解流程

    机器学习是一类算法的总称，这些算法企图从大量历史数据中挖掘出其中隐含的规律，并用于预测或者分类，更具体的说，机器学习可以看作是寻找一个函数，输入是样本数据，输出是期望的结果，只是这个函数过于复杂，以至于不太方便形式化表达
    2021-11-11
  • Python在图片中添加文字的两种方法

    Python在图片中添加文字的两种方法

    这篇文章主要给大家介绍了在Python在图片中添加文字的两种方法，分别是使用OpenCV和PIL这两个方法实现，在实际应用中要在这两种方法中择优使用。两种方法都给出了详细示例代码，需要的朋友可以参考下。
    2017-04-04
  • 开启Django博客的RSS功能的实现方法

    开启Django博客的RSS功能的实现方法

    这篇文章主要介绍了开启Django博客的RSS功能的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-02-02
  • 详解如何用Flask中的Blueprints构建大型Web应用

    详解如何用Flask中的Blueprints构建大型Web应用

    Blueprints是Flask中的一种模式,用于将应用程序分解为可重用的模块,这篇文章主要为大家详细介绍了如何使用Blueprints构建大型Web应用,需要的可以参考下
    2024-03-03
  • Django项目中用JS实现加载子页面并传值的方法

    Django项目中用JS实现加载子页面并传值的方法

    今天小编就为大家分享一篇Django项目中用JS实现加载子页面并传值的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-05-05
  • python中循环语句while用法实例

    python中循环语句while用法实例

    这篇文章主要介绍了python中循环语句while用法,实例分析了while语句的使用方法,需要的朋友可以参考下
    2015-05-05
  • 一文带你深入理解Python的`functools.lru_cache`装饰器

    一文带你深入理解Python的`functools.lru_cache`装饰器

    Python中的functools.lru_cache装饰器是一个非常有用的装饰器，它可以帮助我们优化递归函数，避免重复计算已经计算过的值，在这篇文章中，我们将探讨 functools.lru_cache 的工作原理以及如何使用它，感兴趣的朋友跟着小编一起来学习吧
    2023-07-07
  • 聊聊pytorch测试的时候为何要加上model.eval()

    聊聊pytorch测试的时候为何要加上model.eval()

    这篇文章主要介绍了聊聊pytorch测试的时候为何要加上model.eval()的操作，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2021-05-05
  • Python文件读写6大实用方法小结

    Python文件读写6大实用方法小结

    Python文件读写的6大实用方法涵盖了从基本读取到高级操作的不同场景,本文给大家介绍了是这些方法的具体使用,并通过代码示例介绍的非常详细,需要的朋友可以参考下
    2025-01-01

最新评论