shell脚本实现文件锁功能

 更新时间:2014年12月20日 15:18:54   投稿:junjie  
这篇文章主要介绍了shell脚本实现文件锁功能,本文实现了一个排它锁,从而实现避免脚本重复执行,需要的朋友可以参考下

1.背景

当多个进程可能会对同样的数据执行操作时,这些进程需要保证其它进程没有在操作,以免损坏数据。通常,这样的进程会使用一个“锁文件”,也就是建立一个文件来告诉别的进程自己在运行,如果检测到那个文件存在则认为有操作同样数据的进程在工作。这样的问题是,进程不小心意外死亡了,没有清理掉那个锁文件,那么只能由用户手动来清理了。

2.关于flock

flock 是对于整个文件的建议性锁。也就是说,如果一个进程在一个文件(inode)上放了锁,那么其它进程是可以知道的。(建议性锁不强求进程遵守。)最棒的一点是,它的第一个参数是文件描述符,在此文件描述符关闭时,锁会自动释放。而当进程终止时,所有的文件描述符均会被关闭。

3. shell中实现flock系统调用的命令是flock,其使用格式有以下两种(man flock)


复制代码 代码如下:

flock [-sxon] [-w timeout] lockfile [-c] command...
flock [-sxun] [-w timeout] fd


选项和参数:


-s,--shared:获取一个共享锁,在定向为某文件的FD上设置共享锁而未释放锁的时间内,其他进程试图在定向为此文件的FD上设置独占锁的请求失败,而其他进程试图在定向为此文件的FD上设置共享锁的请求会成功。
-x,-e,--exclusive:获取一个排它锁,或者称为写入锁,为默认项
-u,--unlock:手动释放锁,一般情况不必须,当FD关闭时,系统会自动解锁,此参数用于脚本命令一部分需要异步执行,一部分可以同步执行的情况。
-n,--nb, --nonblock:非阻塞模式,当获取锁失败时,返回1而不是等待
-w, --wait, --timeout seconds:设置阻塞超时,当超过设置的秒数时,退出阻塞模式,返回1,并继续执行后面的语句
-o, --close:表示当执行command前关闭设置锁的FD,以使command的子进程不保持锁。
-c, --command command:在shell中执行其后的语句

4. shell中实现排它锁避免脚本重复执行

Linux中的例行性工作排程crontab会定时执行一些脚本,但脚本的执行时间往往无法控制,当脚本执行时间过长时,可能会导致上一次任务的脚本还没执行完,下一次任务的脚本又开始执行了。这种情况下可能会出现一些并发问题,严重时会导致出现脏数据/性能瓶颈的恶性循环。
通过使用flock建立排它锁可以规避这个问题,如果一个进程对某个加了排他锁,则其它进程无法加锁,可以选择等待超时或马上返回。测试实例如下:

4.1 创建执行脚本

复制代码 代码如下:

#cat /scripts/shell/file_lock.sh
#!/bin/bash
# Description: test for file flock
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
export PATH

echo ""
echo "----------------------------------"

echo "start at `date '+%Y-%m-%d %H:%M:%S'` ..."

sleep 140s

echo "finished at `date '+%Y-%m-%d %H:%M:%S'` ..."


4.2 创建定时任务:测试排它锁


复制代码 代码如下:

#crontab -e
* * * * * flock -xn /dev/shm/test.lock -c "sh /scripts/shell/file_lock.sh > /root/stdout.log"

每分钟执行一次该脚本,并将输出信息写入到stdout.log
 
查看输出日志如下:
复制代码 代码如下:

----------------------------------
start at 2014-04-10 10:23:01 ...            #获取锁
finish at 2014-04-10 10:25:21 ...           #释放锁
 
 
----------------------------------
start at 2014-04-10 10:26:01 ...            #10:27:00及10:28:00启动的定时任务由于无法获取锁,以失败而退出执行,直到10:26:00才获取到锁
finish at 2014-04-10 10:28:21 ...


4.3 测试排它锁,加上等待超时


复制代码 代码如下:

* * * * * flock -x -w 20 /dev/shm/test.lock -c "sh /scripts/shell/file_lock.sh > /root/stdout.log"

查看日志输出信息:
复制代码 代码如下:

----------------------------------
start at 2014-04-10 10:29:01 ...
finish at 2014-04-10 10:31:21 ...
 
----------------------------------
start at 2014-04-10 10:31:21 ...    #10:31:00启动的定时任务等待了20秒后,上一个任务释放了锁,所以此任务可以马上拿到锁,并继续执行
finish at 2014-04-10 10:33:41 ...

您可能感兴趣的文章:

相关文章

  • Shell脚本实现批量下载资源并保留原始路径

    Shell脚本实现批量下载资源并保留原始路径

    这篇文章主要介绍了Shell脚本实现批量下载资源并保留原始路径,本文直接给出实现代码和使用例子,需要的朋友可以参考下
    2015-02-02
  • linux命令行批量创建目录详解

    linux命令行批量创建目录详解

    这篇文章主要介绍了linux命令行批量创建目录详解的相关资料,需要的朋友可以参考下
    2017-04-04
  • Shell创建用户并生成随机密码脚本分享

    Shell创建用户并生成随机密码脚本分享

    这篇文章主要介绍了Shell创建用户并生成随机密码脚本分享,本文生成的随机密码会比较复杂和实用,需要的朋友可以参考下
    2014-12-12
  • shell命令返回值判断的方法实现

    shell命令返回值判断的方法实现

    本文主要介绍了shell命令返回值判断的方法实现,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-02-02
  • 在 Shell 提示符中显示 Git 分支名称的方法

    在 Shell 提示符中显示 Git 分支名称的方法

    这篇文章主要介绍了在 Shell 提示符中显示 Git 分支名称的方法,本文详细的讲解了解决这个需求的过程,需要的朋友可以参考下
    2015-04-04
  • linux shell之控制台打印各种颜色字体和背景的实现方法

    linux shell之控制台打印各种颜色字体和背景的实现方法

    今天小编就为大家分享一篇关于linux shell之控制台打印各种颜色字体和背景的实现方法,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-04-04
  • shell脚本实现监控shell脚本的执行流程及变量的值

    shell脚本实现监控shell脚本的执行流程及变量的值

    这篇文章主要介绍了shell脚本实现监控shell脚本的执行流程及变量的值本文使用shell完成对执行过程中条件语句中的变量的变化的监控和整个程序的执行流程的观察功能,需要的朋友可以参考下
    2015-03-03
  • 用shell脚本实现自动切换内网和外网实现高可用

    用shell脚本实现自动切换内网和外网实现高可用

    因为公司的服务器这段时间内网网卡老是出现问题,然后就导致了网站的各种问题,因为我们的数据库链接,redis还有sphinx链接都是走的内网,,所以就写了这个脚本,在线上也跑了一段时间了,,也没出过什么问题
    2013-06-06
  • Shell脚本制作的终端会话回放功能脚本分享

    Shell脚本制作的终端会话回放功能脚本分享

    这篇文章主要介绍了Shell脚本制作的终端会话回放功能脚本分享,本文分两个文件,Record.sh是用来记录你所执行的命令和屏幕的输出的,而Replay.sh是用来回放Record.sh所录制的内容的,需要的朋友可以参考下
    2014-11-11
  • Linux 打包压缩命令详解

    Linux 打包压缩命令详解

    在Linux系统中,有多种命令可以用于打包和压缩文件,这些命令可以帮助用户将多个文件或目录打包成一个文件,并可以选择不同的压缩算法来减小文件大小,下面给大家介绍Linux 打包压缩命令详解,感兴趣的朋友一起看看吧
    2023-09-09

最新评论