Apache Spark 2.0 在作业完成时却花费很长时间结束
现象
大家在使用 Apache Spark 2.x 的时候可能会遇到这种现象：虽然我们的 Spark Jobs 已经全部完成了，但是我们的程序却还在执行。比如我们使用 Spark SQL 去执行一些 SQL，这个 SQL 在最后生成了大量的文件。然后我们可以看到，这个 SQL 所有的 Spark Jobs 其实已经运行完成了，但是这个查询语句还在运行。通过日志，我们可以看到 driver 节点正在一个一个地将 tasks 生成的文件移动到最终表的目录下面，当我们作业生成的文件很多的情况下，就很容易产生这种现象。本文将给大家介绍一种方法来解决这个问题。
为什么会造成这个现象
Spark 2.x 用到了 Hadoop 2.x，其将生成的文件保存到 HDFS 的时候，最后会调用了 saveAsHadoopFile，而这个函数在里面用到了 FileOutputCommitter，如下：
问题就出在了 Hadoop 2.x 的 FileOutputCommitter 实现FileOutputCommitter 里面有两个值得注意的方法：commitTask 和 commitJob。在 Hadoop 2.x 的FileOutputCommitter 实现里面，mapreduce.fileoutputcommitter.algorithm.version 参数控制着 commitTask 和 commitJob 的工作方式。具体代码如下（为了说明方便，我去掉了无关紧要的语句，完整代码可以参见 FileOutputCommitter.java）：
大家可以看到 commitTask 方法里面，有个条件判断 algorithmVersion == 1，这个就是 mapreduce.fileoutputcommitter.algorithm.version 参数的值，默认为1；如果这个参数为1，那么在 Task 完成的时候，是将 Task 临时生成的数据移到 task 的对应目录下，然后再在 commitJob 的时候移到最终作业输出目录，而这个参数,在 Hadoop 2.x 的默认值就是 1！这也就是为什么我们看到 job 完成了，但是程序还在移动数据，从而导致整个作业尚未完成，而且最后是由 Spark 的 Driver 执行 commitJob 函数的，所以执行的慢也是有到底的。
而我们可以看到，如果我们将 mapreduce.fileoutputcommitter.algorithm.version 参数的值设置为 2，那么在 commitTask 执行的时候，就会调用 mergePaths 方法直接将 Task 生成的数据从 Task 临时目录移动到程序最后生成目录。而在执行 commitJob 的时候，直接就不用移动数据了，自然会比默认的值要快很多。
注意，其实在 Hadoop 2.7.0 之前版本，我们可以将 mapreduce.fileoutputcommitter.algorithm.version 参数设置为非1的值就可以实现这个目的，因为程序里面并没有限制这个值一定为2,。不过到了 Hadoop 2.7.0，mapreduce.fileoutputcommitter.algorithm.version 参数的值必须为1或2，具体参见 MAPREDUCE-4815。
怎么在 Spark 里面设置这个参数
问题已经找到了，我们可以在程序里面解决这个问题。有以下几种方法：
- 直接在
conf/spark-defaults.conf里面设置spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version 2，这个是全局影响的。 - 直接在 Spark 程序里面设置，spark.conf.set("mapreduce.fileoutputcommitter.algorithm.version", "2")，这个是作业级别的。
- 如果你是使用 Dataset API 写数据到 HDFS，那么你可以这么设置 dataset.write.option("mapreduce.fileoutputcommitter.algorithm.version", "2")。
不过如果你的 Hadoop 版本为 3.x，mapreduce.fileoutputcommitter.algorithm.version 参数的默认值已经设置为2了，具体参见 MAPREDUCE-6336 和 MAPREDUCE-6406。
因为这个参数对性能有一些影响，所以到了 Spark 2.2.0，这个参数已经记录在 Spark 配置文档里面了 configuration.html，具体参见 SPARK-20107。
总结
以上所述是小编给大家介绍的Apache Spark 2.0 在作业完成时却花费很长时间结束，希望对大家有所帮助！
相关文章
大家好，本篇文章主要讲的是Centos8搭建基于kdc加密的nfs，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下，方便下次浏览2021-12-12
本篇文章主要介绍了Linux下配置DNS服务器，具有一定的参考价值，有需要的可以了解一下。2016-11-11
这篇文章主要介绍了linux命令下jq的用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-12-12
下面小编就为大家带来一篇使用yum查看工具lspci所在包并安装的方法(详解)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2016-11-11
最近做项目，遇到这样的需求，要求将Linux系统的的某个文件夹下载到我Windows系统某个文件夹里，怎么实现这个功能呢？下面脚本之家小编给大家带来了使用FileZilla从Linux系统下载文件的方法，感兴趣的朋友一起看看吧2018-07-07
Virtualbox安装Lubuntu 18.04 64位的图文教程
这篇文章主要为大家详细介绍了Virtualbox安装Lubuntu 18.04 64位的图文教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-07-07
新版VPS主机管理面板WDCP安装及使用体验-国产简单易用型VPS面板
这篇文章主要介绍了新版VPS主机管理面板WDCP安装及使用体验-国产简单易用型VPS面板，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-07-07
这篇文章主要介绍了CentOS8.0 网络配置的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-10-10
这篇文章主要介绍了关于linux中ssh超时自动登出时间的设置方法，以避免总是被强行退出。需要的朋友可以参考借鉴，下面来一起看看吧。2017-02-02
这篇文章主要给大家介绍了关于Linux中top命令输出的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Linux系统具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-07-07
最新评论