如何解决 shell 脚本重复执行的问题

 更新时间:2021年05月19日 08:26:12   作者:Linux开发那些事儿  
假如执行备份脚本消耗的时间远大于设置的备份间隔的话,系统会出现多个同时在执行脚本的Bash实例,会占用大量的系统资源,进而影响正常业务程序的运行,那如何解决上述shell脚本重复执行的问题呢,本文将要介绍的 flock 命令可以解决这个问题

简介

flock 是文件锁命令,它可以保证Linux系统上进程之间安全的访问临界资源,在shell脚本中,可以用来控制逻辑的互斥性

实例1

现有脚本 a.sh, 内容如下

#!/bin/bash

echo "[`date +'%Y-%m-%d %H:%M:%S'`] begin pid:$$..."

sleep 10

echo "[`date +'%Y-%m-%d %H:%M:%S'`] end pid:$$..."

在终端(记为终端1)中执行 flock -xn ./f.lock -c ./a.sh 命令,结果如下

[tt@ecs-centos-7 lock_test]$ flock -xn ./f.lock -c ./a.sh 
[2020-12-10 10:10:45] begin pid:5359...
[2020-12-10 10:10:55] end pid:5359...

在上述命令执行期间,打开另一个终端(记为终端2),执行同样的命令,结果如下

[tt@ecs-centos-7 lock_test]$ flock -xn ./f.lock -c ./a.sh 
[tt@ecs-centos-7 lock_test]$ 

上面的命令 flock -xn ./f.lock -c ./a.sh 中

  • -x 选项是排他锁,有时候也称为写锁,这是默认选项
  • -n 选项是非阻塞,如果无法获取锁,立即返回失败,而不是一直等待锁的释放
  • -c 选项后面是待执行的命令

终端1 中执行 flock -xn ./f.lock -c ./a.sh 命令,对 f.lock 文件加锁,同时执行 ./a.sh 命令,执行过程会持续10秒左右( sleep 10 语句 )

由于终端2 中 flock -xn ./f.lock -c ./a.sh 命令是在 终端1 命令执行期间执行的,此时终端1 还未释放 f.lock文件锁,再加上 -n选项是非阻塞的,所以终端2 不会阻塞等待 f.lock 文件锁,而是立即返回

终端2 如果执行 flock -x ./f.lock -c ./a.sh 命令,会一直阻塞等待,直到 终端1 释放 f.lock 文件锁,它才会获取到 f.lock 文件锁并开始执 ./a.sh 命令

实例2

实例1 中每次都需要执行 flock -xn 文件锁 -c ./a.sh 命令,而且每个不能重复执行的脚本都要分配一个文件锁,还得保证不同的脚本得使用不同名字的文件锁

有没有办法做到只要执行 ./a.sh 命令就可以实现 实例1 中的功能呢?

答案:有的

我们把 a.sh 稍微修改下,修改之后的内容如下

#!/bin/bash
   
   
echo "[`date +'%Y-%m-%d %H:%M:%S'`] 1111 pid:$$...MY_LOCK:${MY_LOCK}"
   
[ "${MY_LOCK}" != "$0" ] && exec env MY_LOCK="$0" flock -xn "$0" "$0" "$@"
   
echo "[`date +'%Y-%m-%d %H:%M:%S'`] begin pid:$$...MY_LOCK:${MY_LOCK}"
   
sleep 10
echo "[`date +'%Y-%m-%d %H:%M:%S'`] end pid:$$..."

终端1 执行 ./a.sh 命令,输出如下

[tt@ecs-centos-7 lock_test]$ ./a.sh
[2020-12-10 14:11:35] 1111 pid:5944...MY_LOCK:
[2020-12-10 14:11:35] 1111 pid:5946...MY_LOCK:./a.sh
[2020-12-10 14:11:35] begin pid:5946...MY_LOCK:./a.sh
[2020-12-10 14:11:45] end pid:5946...

在终端1 命令执行期间,终端2 执行 ./a.sh 命令,输出如下

[tt@ecs-centos-7 lock_test]$ ./a.sh
[2020-12-10 14:11:44] 1111 pid:5976...MY_LOCK:
[2020-12-10 14:11:44]

新的 a.sh 脚本相比原来新增了第 4、6 两行

第 4 行是日志打印

第 6 行说明

$0 是脚本名字,这里的值是 ./a.sh

$@ 是传入 a.sh 脚本的所有参数

exec 会在当前进程执行它后面紧接着的命令,当前脚本进程原来还未执行完的命令不会执行了

[ "${MY_LOCK}" != "$0" ] 是判断 MY_LOCK 环境变量是否和脚本名字( a.sh )
相同

如果不同,就执行 env MY_LOCK="$0" 命令 和 flock -xn "$0" "$0" "$@" 命令

env MY_LOCK="$0" 设置环境变量 MY_LOCK 的值为脚本名字

flock -xn "$0" "$0" "$@" 其实就是 flock -xn ./a.sh ./a.sh,它使用当前脚本名字作为文件锁

实例2 中,执行 ./a.sh 命令之后,当运行到第 6 行时,MY_LOCK 变量是空值,所以 [ "${MY_LOCK}" != "$0" ] 的结果为 true

exec 命令会忽略掉后面未执行的命令,也即在当前shell进程中 第 6 行之后的命令都不会执行了

紧接着, exec env MY_LOCK="$0" flock -xn "$0" "$0" "$@" 命令, 把 MY_LOCK 变量的值设置为当前脚本名字 ./a.sh ,同时执行 flock -xn "$0" "$0" "$@" 命令,此命令会在一个新的子shell中执行 ./a.sh ,所以脚本后续的输出中打印的进程ID和开始时不一样

同时,由于在 flock -xn "$0" "$0" "$@" 之前执行过 env MY_LOCK="$0",MY_LOCK 变量的值被设置为了 ./a.sh, 所以 flock -xn "$0" "$0" "$@" 命令重新执行 ./a.sh 命令时,
脚本第 6 行的 [ "${MY_LOCK}" != "$0" ] 的结果为 false, 第 6 行 exec 后面的命令不会执行,脚本接着从第 7 行一直执行到最后, 结果输出 8 和 12 行的日志也说明脚本执行完了

总结

实例1 和 实例2 提供了两种解决 脚本重复执行的 方式,主要都是利用 flock 命令设置文件锁来实现的,实例2 的方式更简单,只需要在脚本开头加上 [ "${MY_LOCK}" != "$0" ] && exec env MY_LOCK="$0" flock -xn "$0" "$0" "$@" 语句,调用脚本的命令保持不变

更多关于 flock 命令的选项及用法可以通过 man flock 自行查看

以上就是如何解决 shell 脚本重复执行的问题的详细内容,更多关于shell 脚本重复执行的问题的资料请关注脚本之家其它相关文章!

相关文章

  • Shell中的函数、函数定义、作用域问题介绍

    Shell中的函数、函数定义、作用域问题介绍

    这篇文章主要介绍了Shell中的函数、函数定义、作用域问题介绍,本文讲解了Shell中函数的定义、自定义函数的例子、作用域问题等内容,需要的朋友可以参考下
    2014-11-11
  • Linux Shell Map的用法详解

    Linux Shell Map的用法详解

    这篇文章主要介绍了Linux Shell Map的用法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-05-05
  • Linux 中批量提取文件夹下所有目录及文件名称

    Linux 中批量提取文件夹下所有目录及文件名称

    这篇文章主要介绍了Linux 中批量提取文件夹下所有目录及文件名称 ,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-05-05
  • 批量修改ssh配置的expect脚本

    批量修改ssh配置的expect脚本

    公司服务器一般通过ssh进行远程管理。以前大家登录的时候,都是随意选内外网IP进入。王总接手后,说这事隐患太大了,必须禁了外网ssh
    2013-03-03
  • Shell中创建序列和数组(list、array)的方法

    Shell中创建序列和数组(list、array)的方法

    这篇文章主要介绍了Shell中创建序列和数组(list、array)的方法,本文讲解了seq方法生成以及通过内部{begin..end}生成法,需要的朋友可以参考下
    2015-07-07
  • Shell编程中的特殊变量之进程状态变量介绍

    Shell编程中的特殊变量之进程状态变量介绍

    这篇文章主要介绍了Shell编程中的特殊变量之进程状态变量介绍,本文讲解了$$、$!、$?、$@、$_这些特殊变量,需要的朋友可以参考下
    2014-12-12
  • Shell逐行读取文件的4种方法

    Shell逐行读取文件的4种方法

    这篇文章主要介绍了Shell逐行读取文件的4种方法,本文介绍了while循环法、重定向法、管道法、文件描述符法等一些方法,需要的朋友可以参考下
    2014-12-12
  • 浅谈ubuntu 中sudo update与upgrade的作用及区别

    浅谈ubuntu 中sudo update与upgrade的作用及区别

    下面小编就为大家带来一篇浅谈ubuntu 中sudo update与upgrade的作用及区别。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-03-03
  • Shell脚本函数传递参数的实现方法

    Shell脚本函数传递参数的实现方法

    本文主要介绍了Shell脚本函数传递参数的实现方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-07-07
  • 把文件复制N份的2个Shell脚本代码

    把文件复制N份的2个Shell脚本代码

    这篇文章主要介绍了把文件复制N份的2个Shell脚本代码,一般用在需要大量文件测试时使用,需要的朋友可以参考下
    2014-07-07

最新评论