Idea 编译并运行 Spark 3.1.1 源码的方法
Idea 编译并运行 Spark 3.1.1 源码
1、下载源码
直接使用 idea clone spark 源码，git 地址： https://github.com/apache/spark.git
如果网络连接不上github的话可以去官网下载源码压缩包。下载地址：https://archive.apache.org/dist/spark/
clone 或 import 之后会有 maven 和 sbt 两个选项导入，直接识别成 maven 项目，checkout自己需要的版本，我本次编译版本为3.1分支
2、编译源码
直接使用 idea 页面 ui 编译，找到 Spark Project Parent POM 然后点击 clean 和 package，勾选上 skipTest。
编译过程中，报了如下异常：
这是maven插件的问题，我们跳过这个的功能，使用如下maven 语句编译：
mvn clean package -DskipTests -Denforcer.skip=true
编译过程中，又抛了如下异常：
Execute failed: java.io.IOException: Cannot run program “bash” (in directory “D:\Develop\workspace\spark\core”): CreateProcess error=2, 系统找不到指定的文件。
这个是本地Windows环境不能执行bash导致的，需要本机安装Git工具, 将git路径添加到系统环境变量 Path 中，然后重启电脑就可以解决。
之后就等待编译完成即可，可能时间有点长，15分钟左右。
3、运行源码
尝试根据官网案例运行代码
运行 ./bin/run-example SparkPi 10 命令报找不到 HADOOP_HOME，配置一下HADOOP_HOME，然后重启电脑即可。
配置完成之后，运行成功
spark shell 也可以正常启动，证明我们的代码可以正常运行了，更多的操作就留给大家自己操作了，下面就可以正常的进行代码debug查看源码了。
到此这篇关于Idea 编译并运行 Spark 3.1.1 源码的文章就介绍到这了,更多相关Idea 编译运行 Spark内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
SpringBoot中的static静态资源访问、参数配置、代码自定义访问规则详解
这篇文章主要介绍了SpringBoot的static静态资源访问、参数配置、代码自定义访问规则,本文通过示例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2023-07-07
快速排序是对冒泡排序的一种改进,下面这篇文章主要给大家介绍了关于Java快速排序的实现方法,文中通过代码介绍的非常详细,对大家的学习或者工作具有一定的参考借鉴价值,需要的朋友可以参考下2024-03-03
这篇文章主要介绍了spring使用ehcache实现页面缓存示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-02-02
这篇文章主要介绍了Spring事物基础知识及AOP相关陷阱，在平时的实际开发中经常会遇到，只有深入了解了其中的原理，才会在工作中能够有效应对2021-09-09
这篇文章主要介绍了Java生成MD5加密字符串代码实例,本文对MD5的作用作了一些介绍,然后给出了Java下生成MD5加密字符串的代码示例,需要的朋友可以参考下2015-06-06
这篇文章主要介绍了eclipse怎么引入spring boot项目插件的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-06-06
下面小编就为大家分享一篇Spring根据XML配置文件 p名称空间注入属性的实例，具有很好的参考价值。希望对大家有所帮助2017-11-11
这篇文章主要介绍了Spring实战之Bean的作用域request用法,结合实例形式分析了spring中Bean的request作用域相关使用技巧与操作注意事项,需要的朋友可以参考下2019-11-11
这篇文章主要介绍了Java编程实现springMVC简单登录实例，具有一定参考价值，需要的朋友可以了解下。2017-11-11
mybatis-plus的IService接口默认提供saveBatch批量插入，也是唯一一个默认批量插入，在数据量不是很大的情况下可以直接使用，本文带你详细了解MyBatis-plus 批量插入的通用方法及使用方法，需要的朋友可以参考一下2023-04-04
最新评论