脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → linux shell → Shell多线程操作

Shell多线程操作及线程数控制实例

 更新时间：2014年07月01日 14:14:47   投稿：junjie  
这篇文章主要介绍了Shell多线程操作及线程数控制实例,文中从单线程实现一个需求开始,不断加入代码实现多线程以及线程数的控制功能,需要的朋友可以参考下

前言

在业务开发过程中，经常会在后台写一些shell脚本处理数据，但估计很多人不知道shell脚本也可以支持多线程，而且非常简单。本篇文章主要就是介绍shell实现多进程以及进程数量控制。

需求

为了更好的说明问题，我们结合例子讲解，假设需求就是扫描url.txt文件，然后判断里面的URL是否失效。url.txt文件的内容是一行一个URL，如：

复制代码 代码如下:

http://www.baidu.com

http://www.google.com


https://www.jb51.net

单进程实现

那么shell脚本scanUrl.sh可以这样写：

复制代码 代码如下:

#!/bin/bash
#判断是否有参数
if [ $# != 1 ] ;then
        echo "The parameters you enter is not correct !";
        exit -1;
fi

#循环读出URL并判断状态码
while read line
do
{
    isok=`curl -I -o /dev/null -s -w %{http_code} $line`
    if [ "$isok" = "200" ]; then
        echo $line "OK"
    else
        echo $line "no"
    fi
}
done < $1
echo "执行结束"


那么可以执行下面的命令扫描：
复制代码 代码如下:

/bin/sh scanUrl.sh url.txt

但这样脚本执行非常慢，一万个URL几个小时都扫描不完。

多进程实现


改成多进程实现非常简单，只需要在do后面的大括号加 & 符号，在done后面加一个wait,表示父进程等待子进程退出后再退出

复制代码 代码如下:

#!/bin/bash
#判断是否有参数
if [ $# != 1 ] ;then
        echo "The parameters you enter is not correct !";
        exit -1;
fi

#循环读出URL并判断状态码
while read line
do
{
    isok=`curl -I -o /dev/null -s -w %{http_code} $line`
    if [ "$isok" = "200" ]; then
        echo $line "OK"
    else
        echo $line "no"
    fi
    }
}&
done < $1
wait
echo "执行结束"


这样就能多进程并发执行了，但有个问题是进程会一下子非常多，几百上千，超过系统限制报错，下面我们就加上进程数控制。

多进程实现并控制进程数

复制代码 代码如下:

#!/bin/bash
#允许的进程数
THREAD_NUM=200
#定义描述符为9的管道
mkfifo tmp
exec 9<>tmp
#预先写入指定数量的换行符，一个换行符代表一个进程
for ((i=0;i<$THREAD_NUM;i++))
do
    echo -ne "\n" 1>&9
done

if [ $# != 1 ] ;then
        echo "The parameters you enter is not correct !";
        exit -1;
fi

while read line
do
{
    #进程控制
    read -u 9
    {
        #isok=`curl -I -o /dev/null -s -w %{http_code} $line`
        if [ "$isok" = "200" ]; then
            echo $line "OK"
        else
            echo $line "no"
        fi
        echo -ne "\n" 1>&9
    }&
}
done < $1
wait
echo "执行结束"
rm tmp


上面的代码就可以保证子进程在指定数量了，其进程控制原理是通过管道实现的，当管道无内容可读时就不会执行
复制代码 代码如下:

{
    #isok=`curl -I -o /dev/null -s -w %{http_code} $line`
    if [ "$isok" = "200" ]; then
        echo $line "OK"
    else
        echo $line "no"
    fi
    #写入一个换行符
    echo -ne "\n" 1>&9
}&

而且每个进程执行完成后都会向管道写入一个换行符，从而保证进程数是指定的。

这样就能达到我们的目的了。

您可能感兴趣的文章:

相关文章

  • 用shell脚本在mysql表中批量插入数据的方法

    用shell脚本在mysql表中批量插入数据的方法

    这篇文章主要介绍了用shell脚本在mysql表中批量插入数据的方法,需要的朋友可以参考下
    2014-03-03
  • 深入探究Linux shell的实现原理

    深入探究Linux shell的实现原理

    这篇文章主要介绍了Linux shell的实现原理,文中通过代码示例和图文介绍的非常详细,对大家探究Linux shell的实现原理有一定的帮助,需要的朋友可以参考下
    2024-02-02
  • 使用Bash脚本自动化清理Nacos日志文件的实现方法

    使用Bash脚本自动化清理Nacos日志文件的实现方法

    在现代的分布式系统中,Nacos作为服务发现、配置管理和动态服务管理的核心组件,其日志文件的管理显得尤为重要,随着系统的运行,日志文件会不断累积,占用大量磁盘空间,本文将介绍如何通过一个简单的 Bash 脚本自动化清理 Nacos 的日志文件,需要的朋友可以参考下
    2025-04-04
  • Linux Shell 如何获取参数的方法

    Linux Shell 如何获取参数的方法

    这篇文章主要介绍了Linux Shell 如何获取参数的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-10-10
  • Shell脚本对比两个文本文件找出不同行的2个方法分享

    Shell脚本对比两个文本文件找出不同行的2个方法分享

    这篇文章主要介绍了Shell脚本对比两个文本文件找出不同行的2个方法分享,本文分别使用comm命令法、grep命令法实现,需要的朋友可以参考下
    2014-12-12
  • Linux下自动删除过期备份和自动异地备份的脚本

    Linux下自动删除过期备份和自动异地备份的脚本

    这篇文章主要介绍了Linux下自动删除过期备份和自动异地备份,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2022-09-09
  • Linux下快速比较两个目录的不同（多种方法）

    Linux下快速比较两个目录的不同（多种方法）

    这篇文章主要介绍了Linux下快速比较两个目录的不同，本文给大家带来了多种方法，非常不错，具有一定的参考借鉴价值，感兴趣的朋友跟随脚本之家小编一起学习吧
    2018-05-05
  • Linux shell脚本的建立与执行

    Linux shell脚本的建立与执行

    今天小编就为大家分享一篇关于Linux shell脚本的建立与执行，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
    2019-02-02
  • Bash脚本中括号和反引号的使用

    Bash脚本中括号和反引号的使用

    我们经常需要引用变量或者命令的执行结果来作为文件的名字或者日志的输出，本文主要介绍了Bash脚本中括号和反引号的使用，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2021-10-10
  • Linux 深入理解进程权限

    Linux 深入理解进程权限

    这篇文章主要介绍了Linux 深入理解进程权限的相关资料,关于文件权限，大部分人接触比较多，也比较熟悉了解.但是对进程权限一般知之甚少。这里就总结一下linux系统下进程权限问题和现象,需要的朋友可以参考下
    2016-11-11

最新评论