Shell多线程操作及线程数控制实例

更新时间：2014年07月01日 14:14:47 投稿：junjie

这篇文章主要介绍了Shell多线程操作及线程数控制实例,文中从单线程实现一个需求开始,不断加入代码实现多线程以及线程数的控制功能,需要的朋友可以参考下

前言

在业务开发过程中，经常会在后台写一些shell脚本处理数据，但估计很多人不知道shell脚本也可以支持多线程，而且非常简单。本篇文章主要就是介绍shell实现多进程以及进程数量控制。

需求

为了更好的说明问题，我们结合例子讲解，假设需求就是扫描url.txt文件，然后判断里面的URL是否失效。url.txt文件的内容是一行一个URL，如：

复制代码代码如下:

http://www.baidu.com

http://www.google.com

https://www.jb51.net

单进程实现

那么shell脚本scanUrl.sh可以这样写：

复制代码代码如下:

#!/bin/bash
#判断是否有参数
if [ $# != 1 ] ;then
echo "The parameters you enter is not correct !";
exit -1;
fi

#循环读出URL并判断状态码
while read line
do
{
    isok=`curl -I -o /dev/null -s -w %{http_code} $line`
    if [ "$isok" = "200" ]; then
        echo $line "OK"
    else
        echo $line "no"
    fi
}
done < $1
echo "执行结束"

那么可以执行下面的命令扫描：

复制代码代码如下:

/bin/sh scanUrl.sh url.txt

但这样脚本执行非常慢，一万个URL几个小时都扫描不完。

多进程实现

改成多进程实现非常简单，只需要在do后面的大括号加 & 符号，在done后面加一个wait,表示父进程等待子进程退出后再退出

复制代码代码如下:

#!/bin/bash
#判断是否有参数
if [ $# != 1 ] ;then
echo "The parameters you enter is not correct !";
exit -1;
fi

#循环读出URL并判断状态码
while read line
do
{
    isok=`curl -I -o /dev/null -s -w %{http_code} $line`
    if [ "$isok" = "200" ]; then
        echo $line "OK"
    else
        echo $line "no"
    fi
    }
}&
done < $1
wait
echo "执行结束"

这样就能多进程并发执行了，但有个问题是进程会一下子非常多，几百上千，超过系统限制报错，下面我们就加上进程数控制。

多进程实现并控制进程数

复制代码代码如下:

#!/bin/bash
#允许的进程数
THREAD_NUM=200
#定义描述符为9的管道
mkfifo tmp
exec 9<>tmp
#预先写入指定数量的换行符，一个换行符代表一个进程
for ((i=0;i<$THREAD_NUM;i++))
do
echo -ne "\n" 1>&9
done

if [ $# != 1 ] ;then
echo "The parameters you enter is not correct !";
exit -1;
fi

while read line
do
{
    #进程控制
    read -u 9
    {
        #isok=`curl -I -o /dev/null -s -w %{http_code} $line`
        if [ "$isok" = "200" ]; then
            echo $line "OK"
        else
            echo $line "no"
        fi
        echo -ne "\n" 1>&9
    }&
}
done < $1
wait
echo "执行结束"
rm tmp

上面的代码就可以保证子进程在指定数量了，其进程控制原理是通过管道实现的，当管道无内容可读时就不会执行

复制代码代码如下:

{

    #isok=`curl -I -o /dev/null -s -w %{http_code} $line`

    if [ "$isok" = "200" ]; then

        echo $line "OK" 

    else

        echo $line "no" 

    fi

    #写入一个换行符

    echo -ne "\n" 1>&9

}&

而且每个进程执行完成后都会向管道写入一个换行符，从而保证进程数是指定的。

这样就能达到我们的目的了。

您可能感兴趣的文章:

Shell使用Epoch进行日期时间转换和计算的几个小函数
这篇文章主要介绍了当你遇到一个date命令不给力的系统时，可以试试这几个小函数,需要的朋友可以参考下
2016-12-12
shell进阶awk命令编排字段使用详解
这篇文章主要为大家介绍了shell进阶awk命令编排字段使用详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2023-09-09
linux shell中“.” 和 “./”执行的区别详解
这篇文章主要介绍了linux shell中“.” 和 “./”执行的区别详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-05-05
强制删除rpm包的方法
本文给大家介绍强制删除rpm包，对rpm包删除方法感兴趣的朋友可以一起学习
2015-11-11
linux下编译boost.python简单方法
下面小编就为大家带来一篇linux下编译boost.python简单方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2017-03-03
Shell脚本中计算字符串长度的5种方法
这篇文章主要介绍了Shell脚本中计算字符串长度的5种方法,来自于个人Shell脚本长期的开发经验,需要的朋友可以参考下
2014-06-06
Linux解压缩(打开)Gz文件的命令详解
GNU 的 Gzip 是一种流行的数据压缩程序,而 GZ 文件是由标准 Gzip 压缩的存档文件,本文给大家介绍了如何在Linux解压缩（打开）Gz 文件,文中有详细的代码示例供大家参考,需要的朋友可以参考下
2023-12-12
Git中需要熟记的命令小结
这篇文章总结了Git中必须记住的一些命令，,合理使用这些命令可以大大提升应用Git的效率。有需要的可以参考学习。
2016-08-08
shell脚本配合zabbix实现tomcat的故障自愈功能
这篇文章主要介绍了shell脚本配合zabbix实现tomcat的故障自愈,服务实现自愈的方式有通过shell脚本+定时任务的方式，蓝鲸Pass故障自愈平台，shell脚本+zabbix触发器动作，本文给大家详细介绍，需要的朋友可以参考下
2022-03-03
Linux创建用户的操作命令
useradd或adduser命令用来建立用户帐号和创建用户的起始目录，使用权限是超级用户。这篇文章给大家介绍了Linux创建用户的操作命令，感兴趣的朋友一起看看吧
2018-08-08