shell脚本作为保证PHP脚本不挂掉的守护进程实例分享

 更新时间:2013年07月15日 08:55:46   作者:  
以下是对用shell脚本作为保证PHP脚本不挂掉的守护进程实例进行了分析介绍,需要的朋友可以参考下

前几天开始跑一份数据名单,名单需要提供用户名、是否有手机号、是否有邮箱,用户名单我轻易的获取到了,但是,用户名单有2000w之多,并且去检测用户是否有手机号、是否有邮箱必须得通过一个对外开放的安全接口一个一个用户去请求,然后分析返回值才能知道。

下面是我处理的方案:
1、将2000w名单保存到临时数据表
2、用PHP程序每次从该表获取500个用户,检测完后生成SQL update原纪录
3、为了防止PHP程序突然断掉,用shell脚本每隔1分钟检测,PHP挂掉了则重启
我使用shell脚本作为守护进程的原因是,手机与邮箱的检测接口速度慢,不可能在1~2天将2000w用户检测完。

方案详细:
1、临时保存用户名单表users,表结构如下:

复制代码 代码如下:

CREATE TABLE `users` (
  `account` varchar(50) COMMENT '用户名',
  `has_phone` tinyint(3) unsigned NOT NULL default '0' COMMENT '是否有手机号',
  `has_email` tinyint(3) unsigned NOT NULL default '0' COMMENT '是否有邮箱',
  `flag` tinyint(3) unsigned  NOT NULL default '0' COMMENT '标志位',
  PRIMARY KEY  (`account`),
  KEY `flag` (`flag`)
 ) ENGINE=InnoDB  DEFAULT CHARSET=utf8 COMMENT='名单表';

我先将2000多w用户名导入到这个临时表,has_phone与has_email这二个字段默认都是0(没有),标志位flag说明该用户是否已经检测完。
下面是一部分表数据:
9873aaa,0,0,0
adddwwwd876222,0,0,0
testalexlee,0,0,0
codejia.net,0,0,0
haohdouywaa21,0,0,0
 
2、PHP脚本check_users.php
将 用户名单导入到表之后,再写一个简单的PHP脚本,思路是这样的:每次循环从表取flag=0的500个用户,然后请求接口判断用户是否有手机号、邮箱, 生成一条SQL,保存到一个SQLS数组里,等500个用户全部检测完了之后,循环SQLS数组,更新表里这500个名单,并将flag标志位设置为1, 表示已经检测完,下次就不获取了。
由于PHP脚本代码较长,这里分享下简单的代码说明:
复制代码 代码如下:

<?php
class Users{
    private $data;
    private $sqls;
    private $nums;         //判断是否有500用户
    private $total_nums;   //当前已经检测完的用户数量

    //每次取500个用户
    private function getUsers(){...}

    //检测这500个用户并生成SQL
    private function checkUserInfo(){...}

    //更新这500个用户
    private function updateUserInfo(){...}

    //运行
    public function run(){
        $flag = true;
        while($flag){
             if($this->nums != 500){ $flag = false; }
             if($this->total_nums == 10000){ 
                exit(0); //跑完1w个用户就退出,由守护进程启动
             }
             $this->getUsers();
             $this->checkUserInfo();
             $this->updateUserInfo();
             sleep(1); //跑完500用户休息1秒,保护用户检测接口     
         }
    }
}

$user = new Users();
$user->run();
?>

上面是简洁版的PHP脚本,大概意思到了,刚开始的版本是没有$total_nums这个变量,是因为刚开始跑这个脚本的时候,发现只跑完了4w多条脚本就挂球了,后来一看,是因为连接数据库没连上,脚本一直挂在那里。加上这个变量也无法解决这个问题,只是在每次跑完1w个用户之后,PHP脚本退出,再由下面的shell脚本重新启动。

3、shell脚本作为守护进程
我把这个shell脚本加到了crontab里边,每隔1分钟执行一次,这个shell脚本很简单,检测check_users.php是否存在进程id,如果存在,则说明PHP脚本还在运行,shell脚本不做任何操作;如果不存在,则说明PHP脚本已经exit(0)跑完了1w用户退出了,那么shell脚本启动该脚本,进入下一个1w用户名单的检测。
上面我有讲到,如果PHP脚本在连接数据库的时候,无法连接上的时候,PHP会一直挂球在那里,无法退出了。我在shell脚本里加了一个时间检测,当PHP脚本进程存在的时候,计算已经存在了多长时间,如果超过了我预想的时间,则将PHP脚本kill掉,再重启。

开头的举例数据,结果类似如下:
testalexlee,1,0,1
codejia.net,0,0,1
haohdouywaa21,1,1,1
9873aaa,0,1,1
adddwwwd876222,1,0,1

说在最后:以上用户名单数据只是举个栗子,不要太认真,2000w数据,我估计要跑一段时间了,因为检测接口比较慢,接口在接到请求后还要连表,查表,再返回。其实,最好的方法还是直接从接口请求的表拉一份名单出来,再用shell命令处理下很快就有结果了,可是在公司就是这样,有些东西不开放的,你懂的~~~

相关文章

  • php连接mssql的一些相关经验及注意事项

    php连接mssql的一些相关经验及注意事项

    php连接mssql对于很多朋友或许已经是老生长谈,习以为常了,不过本文还是要唠叨一下,主要以分享连接数据库的相关经验,感兴趣的你可千万不要错过,或许本文对你有所帮助呢
    2013-02-02
  • PHP后门隐藏的一些技巧总结

    PHP后门隐藏的一些技巧总结

    这篇文章主要介绍了关于PHP后门隐藏的一些技巧,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-11-11
  • php 实现Hash表功能实例详解

    php 实现Hash表功能实例详解

    Hash算法我们多少会了解一点了,下面来介绍利用php实现Hash表的一个例子,希望这些例子可以给各位带来帮助,需要的朋友可以参考下
    2016-11-11
  • php UBB 解析实现代码

    php UBB 解析实现代码

    今天看thinkphp演示文档看到这个ubb的代码感觉还可以。
    2011-11-11
  • Php Mssql操作简单封装支持存储过程

    Php Mssql操作简单封装支持存储过程

    没有啥太多的功能,就是简单封装,也没有缓存,平时用ezSQL,但是ezSQL不支持存储过程,所以这里封装了存储过程,因为自己的需要,只是做一个标记在这里而已。
    2009-12-12
  • Godaddy空间Zend Optimizer升级方法

    Godaddy空间Zend Optimizer升级方法

    虽然购买了godaddy的空间,期间也遇到很多的问题,在慢慢的额摸索中,也有的一些解决的方法。
    2010-05-05
  • PHP定时执行计划任务的多种方法小结

    PHP定时执行计划任务的多种方法小结

    PHP不支持多线程,有时候处理问题不是那么爽,今天谈论一下PHP定时执行的方法
    2011-12-12
  • PHP mongodb操作类定义与用法示例【适合mongodb2.x和mongodb3.x】

    PHP mongodb操作类定义与用法示例【适合mongodb2.x和mongodb3.x】

    这篇文章主要介绍了PHP mongodb操作类定义与用法,结合实例形式分析了php封装的适合mongodb2.x和mongodb3.x版本MongoDB数据库连接、增删改查、错误处理等操作定义与使用方法,需要的朋友可以参考下
    2018-06-06
  • 再推荐十款免费的php开发工具

    再推荐十款免费的php开发工具

    这篇文章再向朋友们推荐十款免费的php开发工具,一个好的编辑器或开发工具,能够极大提高我们的开发效率,需要的朋友可以参考下
    2015-11-11
  • PHP使用JpGraph绘制折线图操作示例【附源码下载】

    PHP使用JpGraph绘制折线图操作示例【附源码下载】

    这篇文章主要介绍了PHP使用JpGraph绘制折线图操作,结合实例形式分析了php使用JpGraph的相关操作技巧与注意事项,并附带源码供读者下载参考,需要的朋友可以参考下
    2019-10-10

最新评论