Shell中实现“多线程”执行脚本文件完美解决方案

 更新时间:2014年12月23日 10:25:21   投稿:junjie  
这篇文章主要介绍了Shell中实现“多线程”执行脚本文件完美解决方案,本文是针对一次调用执行多个脚本文件并分批执行的一个解决方法的测试和总结,需要的朋友可以参考下

即比如我有100个可执行文件,互相间没有特别的先后执行关系,如CODE:

复制代码 代码如下:

job_1
job_2
job_2
.....
job_100

想用csh/bash来多线程调用执行。

比如一次开5个线程,那么job_1,2,3,4,5一起先开始,那么其中任何一个线程如果先执行完成,则继续执行下一个没有初执行过的文件,如job_6,7,8....,这样一直以所指定的线程数来执行所有100个文件。

我本来想用 "&" 来放入后台,可是这样我一次可以指定5放入后台,但是无法知道其中任何一个程序何时执行完毕,所以也无法继续执行下一个程序啊!

完美解决方案:

复制代码 代码如下:

-(dearvoid@LinuxEden:Forum)-(~/tmp)-
[$$=6718 $?=0] ; cat job_1
#!/bin/bash
n=$((RANDOM % 5 + 1))
echo "$0 sleeping for $n seconds ..."
sleep $n
echo "$0 exiting ..."
-(dearvoid@LinuxEden:Forum)-(~/tmp)-
[$$=6718 $?=0] ; for ((i = 2; i <= 10; ++i)); do cp job_1 job_$i; done
-(dearvoid@LinuxEden:Forum)-(~/tmp)-
[$$=6718 $?=0] ; cat jobs.sh
#!/bin/bash
nParellel=5
nJobs=10
sJobPattern='./job_%d'
aJobs=()
sNextJob=
for ((iNextJob = 1; iNextJob <= nJobs; )); do
    for ((iJob = 0; iJob < nParellel; ++iJob)); do
        if [ $iNextJob -gt $nJobs ]; then
            break;
        fi
        if [ ! "${aJobs[iJob]}" ] || ! kill -0 ${aJobs[iJob]} 2> /dev/null; then
            printf -v sNextJob "$sJobPattern" $((iNextJob++))
            echo "$sNextJob starting ..."
            $sNextJob &
            aJobs[iJob]=$!
        fi
    done
    sleep .1
done
wait
-(dearvoid@LinuxEden:Forum)-(~/tmp)-
[$$=6718 $?=0] ; ./jobs.sh
./job_1 starting ...
./job_1 sleeping for 3 seconds ...
./job_2 starting ...
./job_2 sleeping for 2 seconds ...
./job_3 starting ...
./job_3 sleeping for 5 seconds ...
./job_4 starting ...
./job_5 starting ...
./job_4 sleeping for 4 seconds ...
./job_5 sleeping for 2 seconds ...
./job_2 exiting ...
./job_6 starting ...
./job_6 sleeping for 2 seconds ...
./job_5 exiting ...
./job_7 starting ...
./job_7 sleeping for 1 seconds ...
./job_1 exiting ...
./job_8 starting ...
./job_8 sleeping for 3 seconds ...
./job_7 exiting ...
./job_9 starting ...
./job_9 sleeping for 5 seconds ...
./job_4 exiting ...
./job_6 exiting ...
./job_10 starting ...
./job_10 sleeping for 5 seconds ...
./job_3 exiting ...
./job_8 exiting ...
./job_9 exiting ...
./job_10 exiting ...
-(dearvoid@LinuxEden:Forum)-(~/tmp)-
[$$=6718 $?=0] ; bye

相关文章

  • Linux ls命令操作详解

    Linux ls命令操作详解

    通过 ls 命令,我们可以查看指定目录下的文件和子目录,并结合不同的选项获取详细的文件信息,如权限、大小、修改时间等,这篇文章主要介绍了Linux ls命令详解,需要的朋友可以参考下
    2025-04-04
  • Shell 批量进程判断是否存在

    Shell 批量进程判断是否存在

    本文主要介绍了Shell 批量进程判断是否存在,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-09-09
  • 详解sed -i 命令入门教程

    详解sed -i 命令入门教程

    这篇文章主要介绍了sed -i 命令入门教程,sed 本身是一个非常复杂的工具,有专门的书籍讲解 sed 的具体用法,网上也有很多关于 sed 的教程,我也是抱着学习的心态来学习 sed 的常见的用法,并进行系统的总结,内容基本覆盖了 sed 的大部分的知识点
    2022-06-06
  • Linux中SELinux、Shell简介、touch命令的应用小结

    Linux中SELinux、Shell简介、touch命令的应用小结

    SELinux(Security-Enhanced Linux)是美国国家安全局(NSA)对于强制访问控制的实现,是Linux历史上最杰出的新安全子系统,这篇文章主要介绍了Linux中SELinux、Shell简介、touch命令的应用知识总结,需要的朋友可以参考下
    2023-02-02
  • 1 秒内启动Linux的方法

    1 秒内启动Linux的方法

    这篇文章主要介绍了 1 秒内启动linux的方法,需要的朋友可以参考下
    2015-12-12
  • shell中长命令的换行处理方法示例

    shell中长命令的换行处理方法示例

    这篇文章主要给大家介绍了关于shell中长命令的换行处理方法,文中通过示例代码介绍的非常详细,对大家学习或者使用shell具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-07-07
  • Linux实现彻底清理空文件夹的方法详解

    Linux实现彻底清理空文件夹的方法详解

    这篇文章主要介绍了Linux实现彻底删除指定路径下的所有空文件夹。这里的空文件夹的认定标准是:如果某个文件夹的子文件夹全是空文件夹,也认为该文件夹是空文件夹,需要的可以参考一下
    2022-10-10
  • 分享70个经典的 Shell 脚本面试题与答案

    分享70个经典的 Shell 脚本面试题与答案

    我们为你的面试准备选择了 70 个你可能遇到的 shell 脚本面试问题及解答。了解脚本或至少知道基础知识对系统管理员来说至关重要,它也有助于你在工作环境中自动完成很多任务
    2018-02-02
  • Shell脚本中的特殊字符(美元符、反斜杠、引号等)作用介绍

    Shell脚本中的特殊字符(美元符、反斜杠、引号等)作用介绍

    这篇文章主要介绍了Shell脚本中的特殊字符(美元符、反斜杠、引号等)作用介绍,还包括其它特殊字符,需要的朋友可以参考下
    2015-05-05
  • shell脚本引用外部变量的两种方法

    shell脚本引用外部变量的两种方法

    本文主要介绍了shell脚本引用外部变量的两种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-05-05

最新评论