Spark在Win10下的环境搭建过程
前言
本章将介绍如何在WIN10下实现spark环境搭建。
本章概要
1、版本说明
2、环境准备：
- jdk配置；
- scala安装与配置；
- spark安装与配置；
- hadoop安装与配置；
版本说明
jdk：1.8
scala：2.11.8
spark：2.3.0
hadoop：2.8.3
环境准备
jdk配置
1、配置JAVA_HOME与Path：
Path
2、验证配置：
scala安装与配置
1、scala下载：
访问官方地址
http://www.scala-lang.org/download/2.11.8.html
2、配置Path：
3、验证配置：
Spark安装与配置
1、spark下载：
访问官方地址
http://spark.apache.org/downloads.html
选中官方推荐的地址即可下载，其他地址也可用（建议采用迅雷等下载工具下载，速度比较会快很多）
2、解压至D盘；
3、配置Path：
4、通过spark-shell进入Spark的交互式命令行模式：
如上，可以看到对应的spark、scala、java版本，同时也看到了异常信息，该异常信息是由于hadoop导致的，下面来配置hadoop。
Hadoop安装与配置
1、hadoop下载
访问官方
http://hadoop.apache.org/releases.html
进入下载页，如下建议地址（同样建议用迅雷等下载工具下载，速度更快）
2、解压至
3、配置HADOOP_HOME&Path：
path：
4、winutils下载：
https://github.com/steveloughran/winutils
下载对应版本的bin目录直接替换本地bin目录即可。
5、此时继续spark-shell进入spark命令行交互模式：
此时即不会出现上述的异常提示。
6、访问控制台中的webui如下：
到此这篇关于Spark在Win10下的环境搭建的文章就介绍到这了,更多相关win10 Spark环境搭建内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
对初学者而言，汇编的许多命令太复杂，往往学习很长时间也写不出一个漂漂亮亮的程序，以致妨碍了我们学习汇编的兴趣，不少人就此放弃2013-05-05
Windows API函数大全，从事软件开发的朋友可以参考下2012-05-05
国外的营销工作者和技术开发者开发了许多能帮助企业创建简单APP应用的工具，通过这些工具，就算是一个对程序一窍不通的普通网民都可以很容易的创建一个企业的APP程序，并可以对程序进行应用更新维护，开展营销等活动2013-11-11
这篇文章主要介绍了Scala模式匹配的的相关资料，文中讲解非常详细，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下2020-06-06
这篇文章主要介绍了scala基础语法的的相关资料，文中讲解非常详细，帮助大家更好的理解和学习，感兴趣的朋友可以了解下2020-06-06
云计算的不断发展，涌现出很多改变传统IT架构和运维方式的新技术，而以虚拟机、容器、微服务为代表的技术更是在各个层面不断提升云服务的技术能力，它们将应用和环境中很多通用能力变成了一种服务。但无论这些技术应用在哪里，帮助企业降本增效是技术变革永恒的主题。2021-05-05
uniapp打包安卓App的两种方式(云打包、本地打包)方法详解
这篇文章主要介绍了uniapp打包安卓App的两种方式(云打包、本地打包)方法详解,需要的朋友可以参考下2022-12-12
如今高要求的分布式系统的建造者遇到了不能完全由传统的面向对象编程(OOP)模型解决的挑战，但这可以从Actor模型中获益。2021-05-05
本文提纲絜领的介绍了符号执行，让大家明白这个技术的主要作用和面临的挑战，领大家入坑。2021-05-05
HBuilder是DCloud(数字天堂)推出的一款支持HTML5的Web开发IDE，下面这篇文章主要给大家介绍了关于Hbuilder如何配置Avalon和Vue指令提示的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或工作具有一定的参考学习价值，需要的朋友们下面来一起看看吧。2017-10-10
最新评论