2018即将推出的Apache Spark 2.4都有哪些新功能

 更新时间:2018年09月29日 10:12:43   作者:青色的海牛  
即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对Apache Spark 2.4 的主要功能和增强功能进行了概述,需要的朋友可以参考下

本文来自于2018年09月19日在 Adobe Systems Inc 举行的Apache Spark Meetup。

即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对Apache Spark 2.4 的主要功能和增强功能进行了概述。

  • 新的调度模型(Barrier Scheduling),使用户能够将分布式深度学习训练恰当地嵌入到 Spark 的 stage 中,以简化分布式训练工作流程。
  • 添加了35个高阶函数,用于在 Spark SQL 中操作数组/map。
  • 新增一个新的基于 Databricks 的 spark-avro 模块的原生 AVRO 数据源。
  • PySpark 还为教学和可调试性的所有操作引入了热切的评估模式(eager evaluation mode)。
  • Spark on K8S 支持 PySpark 和 R ,支持客户端模式(client-mode)。
  • Structured Streaming 的各种增强功能。 例如,连续处理(continuous processing)中的有状态操作符。
  • 内置数据源的各种性能改进。 例如,Parquet 嵌套模式修剪(schema pruning)。
  • 支持 Scala 2.12。

点击 示说网 ,即可下载此PPT。

总结

以上所述是小编给大家介绍的2018即将推出的Apache Spark 2.4都有哪些新功能,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

相关文章

  • linux(centos)下SVN服务器如何搭建

    linux(centos)下SVN服务器如何搭建

    linux(centos)下SVN服务器如何搭建?说到SVN服务器,想必大家都知道,可以是在LINUX下如何搭建SVN服务器呢?那么今天给大家分享一下linux(centos)搭建SVN服务器的思路!
    2015-09-09
  • Memcached 分布式缓存实现原理简介

    Memcached 分布式缓存实现原理简介

    这篇文章主要介绍了Memcached 分布式缓存实现原理简介,具有参考价值,需要的朋友可以参考下。
    2016-06-06
  • Centos7 Mysql 5.6 多主一从 解决方案与详细配置

    Centos7 Mysql 5.6 多主一从 解决方案与详细配置

    这篇文章主要介绍了Centos7 Mysql 5.6 多主一从 解决方案与详细配置,需要的朋友可以参考下
    2016-04-04
  • Centos 6.8编译安装LNMP环境(Nginx+MySQL+PHP)教程

    Centos 6.8编译安装LNMP环境(Nginx+MySQL+PHP)教程

    这篇文章主要介绍了关于CentOS 6.8中编译安装LNMP环境的相关资料,LNMP即Linux,Nginx,MySQL,PHP,文中通过一步步的步骤介绍的非常详细,需要的朋友可以参考借鉴,下面来一起看看吧。
    2017-03-03
  • 详解如何在Ubuntu 16.04上增加Swap分区

    详解如何在Ubuntu 16.04上增加Swap分区

    本篇文章主要介绍了详解如何在Ubuntu 16.04上增加Swap分区,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-05-05
  • 详解Linux 服务管理两种方式service和systemctl

    详解Linux 服务管理两种方式service和systemctl

    systemd是Linux系统最新的初始化系统(init),作用是提高系统的启动速度,尽可能启动较少的进程,尽可能更多进程并发启动。这篇文章主要介绍了Linux 服务管理两种方式service和systemctl,需要的朋友可以参考下
    2019-09-09
  • linux中sed命令的使用与注意小结

    linux中sed命令的使用与注意小结

    sed本身也是一个管道命令,可以分析standard input的,sed可以将数据进行替换、删除、新增、选取特定行等。下面这篇文章主要介绍了linux中sed命令的用法和注意事项,需要的朋友可以参考借鉴,下面来一起看看吧。
    2017-02-02
  • .htaccess rewrite 规则详细说明

    .htaccess rewrite 规则详细说明

    用Apache虚拟主机的朋友很多,apache提供的.htaccess模块可以为每个虚拟主机设定rewrite规则,这对网站SEO优化相当有用,同时也改善了用户体验
    2016-04-04
  • Ubuntu基础设定:openssh-server的安装和使用介绍

    Ubuntu基础设定:openssh-server的安装和使用介绍

    今天小编就为大家分享一篇关于Ubuntu基础设定:openssh-server的安装和使用介绍,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-01-01
  • Linux inotify实时备份实现方法详解

    Linux inotify实时备份实现方法详解

    这篇文章主要介绍了Linux inotify实时备份实现方法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-07-07

最新评论