脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 网络编程 → PHP编程 → php技巧 → PHP脚本执行卡住

记录一次排查PHP脚本执行卡住的问题

 更新时间：2016年12月27日 09:47:48   作者：tabalt  
最近通过监控发现服务器中的一台机器异常，通过排除发现可能是php执行脚本出现了问题，于是通过一步步排查，最终解决了这个问题，下面这篇文章主要是记录了一次排查PHP脚本执行卡住的问题,需要的朋友可以参考下。

发现问题

最近忽然从监控中发现，我们一个服务的一台机器负载比同机房的其他机器要高，而流入流出流量没有差别，进一步查看发现每个机房都有一台机器存在相同的现象，梳理后发现有问题的这些机器相比正常的机器多跑了一些PHP脚本，于是猜测是执行脚本出问题导致。

解决问题

登录机器后执行top命令，果然发现存在一个CPU占用较高的PHP进程，然后执行下列命令，发现存在一个由crontab启动的执行了很长时间的PHP脚本：

ps aux | grep 'php' | grep -v 'php-fpm'

由于之前也遇到过PHP脚本执行卡住的类似情况，当时的怀疑是跨机房的Mysql查询在网络抖动时导致Mysql连接卡住了，于是理所当然的将所有卡住的进程都kill掉了，再从负载上看机器马上就恢复正常了，于是心满意足的跑去干别的了。

过了一段时间，刷了下监控，发现问题又出现了，注释掉crontab并kill掉进程后，手动执行问题脚本，竟然能稳定复现问题！看来是把问题想得太简单了，尝试用strace命令看下卡住的进程当前究竟在干什么：

[tabalt@localhost ~] sudo strace -p 13793
Process 13793 attached - interrupt to quit

什么输出都没有！再用netstat看下这个进程是否打开了什么端口：

[tabalt@localhost ~] sudo netstat -tunpa | grep 13793
tcp  0  0 192.168.1.100:38019  192.168.1.101:3306  ESTABLISHED 13793/php
tcp  0  0 192.168.1.100:47107  192.168.1.102:6379  CLOSE_WAIT 13793/php

可以看到进程打开了两个端口，分别与Mysql和Redis建立了连接，并且处于连接建立（ESTABLISHED）和对方主动关闭连接（CLOSE_WAIT）的状态；初看确实像是和数据库的连接卡住了，但是因为吃过亏上过当，咱们使用tcpdump抓包看进程和数据库之间的交互：

tcpdump -i eth0 host 192.168.1.101 and port 3306 -w ~/mysql.cap

抓了好一会，~/mysql.cap 文件中却也没有任何输出，难道进程和Mysql之间已经没有任何交互了？那为什么连接建立没有关闭呢？看来只能从头追踪一下脚本的执行情况了：

首先为了能来得及strace到进程，在PHP脚本最开始的时候输出进程的pid并sleep 10s:

 echo getmypid(); sleep(10);

然后启动tcpdump准备抓包本机和Mysql的交互过程。

最后执行PHP脚本，并复制输出的pid后在新窗口中执行strace命令。

这下strace和tcpdump都有内容了！从strace结果看recvfrom之后不再有poll，但并没有看出来有什么不对：

//...
poll([{fd=4, events=POLLIN|POLLERR|POLLHUP}], 1, 1471228928) = 1 ([{fd=4, revents=POLLIN}])
recvfrom(4, "://xxx.com/\0\0\23jiadia"..., 271, MSG_DONTWAIT, NULL, NULL) = 271
poll([{fd=4, events=POLLIN|POLLERR|POLLHUP}], 1, 1471228928) = 1 ([{fd=4, revents=POLLIN}])
recvfrom(4, "_b?ie=UTF8&node=658390051\0\0008www."..., 271, MSG_DONTWAIT, NULL, NULL) = 206

再从抓包结果看，执行了两条SQL查询语句之后，进程没有再次发送查询请求的包，从程序记录SQL语句日志中，也发现确实只执行了两条：

select * from sites where type = 1 limit 50;
select * from sites where type = 2 limit 50;

但从这些现象中，仍然没有能看出任何端倪，只好祭出终极大法：输出调试！大概看了下代码，并在关键地方添加输出语句，于是代码看起来如下：

echo("start foreach\n");
foreach($types as $type)
{
 echo("foreach $type\n");
 $result[$type] = $this->getSites($type);
}
echo("end foreach\n");

执行后输出如下，查询type为2的网址时卡住了：

start foreach
foreach 1
foreach 2

开始怀疑调用的getSites()方法有问题，代码如下:

$sites = array(); // 省略从数据库查询的代码
$siteNum = 8;  // 省略从配置读的代码
$urlKeys = $result = array();
for($i = 0; $i < $siteNum; $i++)
{
 do {
  $site = array_shift($sites);
  $urlKey = md5($site['url']);
 } while(array_key_exists($urlKey, $urlKeys));

 $urlKeys[$urlKey] = 1;
 $result[] = $site;
}
return $result;

原来这里为了实现拿8个不重复的网址写了2个循环，如果结果中不重复的网址只有7个就会有一个空，少于7个就会有死循环！于是查了下type为2的网址个数，果然是只有6个！

总结

该问题从发现到解决花了大概1天时间，虽然最后证明是低级的代码BUG导致，但是整个排查过程还是挺有收获的，最开始的想当然证明是非常肤浅的，过程中tcpdump和strace的结果也已经很能说明问题了，对各个工具的应用应该要更加熟练，工具的结果也要深入分析。以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流。

您可能感兴趣的文章:

相关文章

  • php获取一个变量的名字的方法

    php获取一个变量的名字的方法

    将当前变量的值保存到一个临时变量中，然后再对原变量赋唯一值，以便查找出变量的名字，找到名字后，将临时变量的值重新赋值到原变量
    2014-09-09
  • php 二维数组时间排序实现代码

    php 二维数组时间排序实现代码

    这篇文章主要介绍了php 二维数组时间排序实现代码,需要的朋友可以参考下
    2016-11-11
  • Laravel Eloquent ORM高级部分解析

    Laravel Eloquent ORM高级部分解析

    这篇文章主要为大家介绍了Laravel Eloquent ORM高级部分解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2022-10-10
  • php curl 模拟登录并获取数据实例详解

    php curl 模拟登录并获取数据实例详解

    cURL 是一个功能强大的PHP库，使用PHP的cURL库可以简单和有效地抓取网页并采集内容，设置cookie完成模拟登录网页，curl提供了丰富的函数，开发者可以从PHP手册中获取更多关于cURL信息。本文以模拟登录开源中国(oschina)为例,需要的朋友可以参考下
    2016-12-12
  • 浅析PHP程序防止ddos,dns,集群服务器攻击的解决办法

    浅析PHP程序防止ddos,dns,集群服务器攻击的解决办法

    本篇文章是对PHP程序防止ddos,dns,集群服务器攻击的解决办法进行了详细的分析介绍，需要的朋友参考下
    2013-06-06
  • PHP中使用SimpleXML检查XML文件结构实例

    PHP中使用SimpleXML检查XML文件结构实例

    这篇文章主要介绍了PHP中使用SimpleXML检查XML文件结构实例,本文讲解使用SimpleXML来检查一个XML文件是否符合规范的方法,需要的朋友可以参考下
    2015-01-01
  • PHP session反序列化漏洞超详细讲解

    PHP session反序列化漏洞超详细讲解

    这篇文章主要介绍了PHP session反序列化漏洞，php session反序列化漏洞存在的原因是当序列化session和读取反序列化字符时采用的序列化选择器不一样时，处理的方法不一样
    2023-02-02
  • php 连接mysql连接被重置的解决方法

    php 连接mysql连接被重置的解决方法

    windows7下 php连接mysql的问题，php 连接mysql连接被重置的解决方法，需要的朋友可以参考下。
    2011-02-02
  • php,ajax实现分页

    php,ajax实现分页

    之前用php写好了个分页程序，今天试着结合ajax实现这个功能，成功了。哈哈，代码不难写，但写好之后测试发现出了，然后又调试了好段时间才正确。深感开发人员的时间大部分都是花在调试代码上的。
    2008-03-03
  • PHP基于cookie实现统计在线人数功能示例

    PHP基于cookie实现统计在线人数功能示例

    这篇文章主要介绍了PHP基于cookie实现统计在线人数功能,涉及php文件读写、cookie访问、计算等相关操作技巧,需要的朋友可以参考下
    2019-01-01

最新评论