2018即将推出的Apache Spark 2.4都有哪些新功能
更新时间：2018年09月29日 10:12:43 作者：青色的海牛
即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对Apache Spark 2.4 的主要功能和增强功能进行了概述,需要的朋友可以参考下
本文来自于2018年09月19日在 Adobe Systems Inc 举行的Apache Spark Meetup。
即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对Apache Spark 2.4 的主要功能和增强功能进行了概述。
- 新的调度模型（Barrier Scheduling），使用户能够将分布式深度学习训练恰当地嵌入到 Spark 的 stage 中，以简化分布式训练工作流程。
- 添加了35个高阶函数，用于在 Spark SQL 中操作数组/map。
- 新增一个新的基于 Databricks 的 spark-avro 模块的原生 AVRO 数据源。
- PySpark 还为教学和可调试性的所有操作引入了热切的评估模式（eager evaluation mode）。
- Spark on K8S 支持 PySpark 和 R ，支持客户端模式（client-mode）。
- Structured Streaming 的各种增强功能。 例如，连续处理（continuous processing）中的有状态操作符。
- 内置数据源的各种性能改进。 例如，Parquet 嵌套模式修剪（schema pruning）。
- 支持 Scala 2.12。
点击 示说网 ，即可下载此PPT。
总结
以上所述是小编给大家介绍的2018即将推出的Apache Spark 2.4都有哪些新功能，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！
相关文章
centos7.2搭建nginx的web服务器部署uniapp项目
这篇文章主要介绍了centos7.2搭建nginx的web服务器部署uniapp项目,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下2019-10-10
本篇文章给大家通过详细步骤介绍了Centos7软raid5的挂载的方法，有需要的读者们学习下吧。2018-02-02
在本篇文章里小编给大家整理了关于linux DMA接口知识点内容，需要的朋友们可以学习参考下。2020-02-02
这篇文章主要介绍了Linux cp命令参数简介,需要的朋友可以参考下2014-07-07
本篇文章主要介绍了CentOS 7.2搭建VNC远程桌面服务的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-03-03
这篇文章主要介绍了Centos7安装PHP及Nginx的教程详解,本文分步骤给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下2018-10-10
这篇文章主要为大家详细介绍了Linux守护进程的启动方法，本文介绍如何将一个 Web 应用，启动为守护进程，感兴趣的小伙伴们可以参考一下2016-02-02
这篇文章主要介绍了Linux中scp命令的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-12-12
这篇文章主要介绍了linux上安装zookeeper 启动和关闭的教程详解，首先zookeeper运行需要java环境所以必须先装JDK，具体操作步骤大家一起看看本文吧2018-08-08
linux系统中rsync+inotify实现服务器之间文件实时同步
这篇文章主要介绍了rsync+inotify实现服务器之间文件实时同步,需要的朋友可以参考下2014-11-11
最新评论