脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → linux shell → Spark-shell批量命令执行脚本

Spark-shell批量命令执行脚本的方法

 更新时间：2018年06月19日 16:34:58   作者：小蜗牛也有梦想  
今天小编就为大家分享一篇Spark-shell批量命令执行脚本的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

批量执行spark-shell命令，并指定提交参数

#!/bin/bash

source /etc/profile

exec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --executor-memory 8g --num-executors 8 --conf spark.cleaner.ttl=240000 <<!EOF
import org.apache.spark.sql.SaveMode
sql("set hive.exec.dynamic.partition=true")
sql("set hive.exec.dynamic.partition.mode=nonstrict")
sql("use hr")
sql("SELECT * FROM t_abc ").rdd.saveAsTextFile("/tmp/out") 
sql("SELECT * FROM t_abc").rdd.map(_.toString).intersection(sc.textFile("/user/hdfs/t2_abc").map(_.toString).distinct).count
!EOF

以上这篇Spark-shell批量命令执行脚本的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • Shell中if的基本语法和常见判断用法

    Shell中if的基本语法和常见判断用法

    这篇文章主要介绍了Shell中if的基本语法和常见判断用法,本文讲解了if的基本语法、对字符串的判断、对数字的判断、对文件属性的判断、逻辑判断等内容,需要的朋友可以参考下
    2015-06-06
  • Linux shell中如何获取当前目录

    Linux shell中如何获取当前目录

    这篇文章主要介绍了Linux shell中如何获取当前目录问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2023-07-07
  • 解决linux 所有命令无法使用的问题

    解决linux 所有命令无法使用的问题

    今天小编就为大家分享一篇解决linux 所有命令无法使用的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-06-06
  • shell检测某个文件/文件夹是否存在详细实例

    shell检测某个文件/文件夹是否存在详细实例

    shell是一个用 C 语言编写的程序,它是用户使用Linux的桥梁,下面这篇文章主要给大家介绍了关于shell检测某个文件/文件夹是否存在的相关资料,需要的朋友可以参考下
    2023-06-06
  • shell脚本检查域名证书是否过期的流程分析

    shell脚本检查域名证书是否过期的流程分析

    由于域名即将过期，所以最近打算替换相关网站证书为最新的，主要的流程就是读取文件中的域名，然后进行https访问获取到证书过期的时间，如果域名连接不上，则会直接跳过，具体详细过程跟随小编一起通过本文学习下吧
    2022-02-02
  • Linux base shell重定向详解

    Linux base shell重定向详解

    这篇文章主要介绍了Linux base shell重定向的相关资料,并用一个简明例子总结了常见用法（在第三节）,需要的朋友可以参考下
    2014-04-04
  • Shell脚本实现自动安装zookeeper

    Shell脚本实现自动安装zookeeper

    这篇文章主要介绍了Shell脚本实现自动安装zookeeper,本文直接给出实现代码,需要的朋友可以参考下
    2015-01-01
  • Linux shell中$(())、$()、``与${}的区别

    Linux shell中$(())、$()、``与${}的区别

    本文主要介绍了Linux shell中$(())、$()、``与${}的区别，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2023-06-06
  • Linux shell使用trap命令优雅进行处理程序中断

    Linux shell使用trap命令优雅进行处理程序中断

    这篇文章主要为大家详细介绍了Linux shell如何使用trap命令优雅进行处理程序中断,文中的示例代码简洁易懂,有需要的小伙伴可以参考一下
    2024-12-12
  • Linux系统诊断之内存基础深入详解

    Linux系统诊断之内存基础深入详解

    这篇文章主要介绍了Linux系统诊断之内存基础深入详解，虽然是基础但是列举的很详细，有感兴趣的同学可以研究下
    2021-03-03

最新评论