2018即将推出的Apache Spark 2.4都有哪些新功能
更新时间：2018年09月29日 10:12:43 作者：青色的海牛
即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对Apache Spark 2.4 的主要功能和增强功能进行了概述,需要的朋友可以参考下
本文来自于2018年09月19日在 Adobe Systems Inc 举行的Apache Spark Meetup。
即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对Apache Spark 2.4 的主要功能和增强功能进行了概述。
- 新的调度模型（Barrier Scheduling），使用户能够将分布式深度学习训练恰当地嵌入到 Spark 的 stage 中，以简化分布式训练工作流程。
- 添加了35个高阶函数，用于在 Spark SQL 中操作数组/map。
- 新增一个新的基于 Databricks 的 spark-avro 模块的原生 AVRO 数据源。
- PySpark 还为教学和可调试性的所有操作引入了热切的评估模式（eager evaluation mode）。
- Spark on K8S 支持 PySpark 和 R ，支持客户端模式（client-mode）。
- Structured Streaming 的各种增强功能。 例如，连续处理（continuous processing）中的有状态操作符。
- 内置数据源的各种性能改进。 例如，Parquet 嵌套模式修剪（schema pruning）。
- 支持 Scala 2.12。
点击 示说网 ，即可下载此PPT。
总结
以上所述是小编给大家介绍的2018即将推出的Apache Spark 2.4都有哪些新功能，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！
相关文章
perf是Linux下的一款性能分析工具,能够进行函数级与指令级的热点查找,它由一个叫“Performance counters“的内核子系统实现,基于事件采样原理,支持针对处理器相关性能指标与操作系统相关性能指标的性能剖析,本文介绍了Linux使用perf分析CPU占用情况的方法步骤2024-05-05
文章内容总结：本文详细介绍了在Linux服务器上安装Java的步骤,包括下载JDK、上传服务器、解压缩、配置环境变量等,并提供了一个简单的命令来验证安装是否成功,希望本文能为读者提供有用的参考2024-11-11
这篇文章主要介绍了linux中安装deb软件包实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-08-08
Nginx出现500 Internal Server Error 错误的解决方案
这篇文章主要介绍了Nginx出现500 Internal Server Error 错误的解决方案，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-11-11
用命令行挂载移动硬盘是Linux的基本操作之一，虽然目前有些Linux系统能自动加载移动硬盘，但有些时候（比如使用Ubuntu Server或其它Linux系统的时候）仍然需要手动操作，下面这篇文章主要介绍了linux系统下如何挂载NTFS移动硬盘,需要的朋友可以参考借鉴。2017-01-01
这篇文章主要介绍了ubuntu服务器环境下安装python的方法,简单分析了Ubuntu环境下安装Python的相关步骤、命令、与操作注意事项,需要的朋友可以参考下2018-03-03
本文总结了一些查看Linux系统信息的常用命令,使用这些命令可以看系统信息、资源使用情况、网络信息、磁盘使用状况、进程状态等,需要的朋友可以参考下2014-03-03
这篇文章主要介绍了Linux输入子系统框架原理解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-09-09
这篇文章主要介绍了使ApacheBench支持multi-url的方法,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-01-01
这篇文章主要介绍了在Linux系统上安装Spring boot应用，本文通过实例文字相结合的形式给大家介绍的非常详细，具有一定的参考借鉴价值 ,需要的朋友可以参考下2019-05-05
最新评论