linux php-cgi.exe占用cpu 100%的一次排障之旅

 更新时间:2016年09月19日 17:04:28   投稿:mdxy-dxy  
这篇文章主要介绍了linux php-cgi.exe占用cpu 100%的一次排障之旅,需要的朋友可以参考下

先说下我们网站的架构,由于目前网站访问量不是很大,但是由于最近公司网站要推广,所以将网站由单机切换成前端用nginx做负载均衡,带动两台web服务器,所有网页和静态文件都通过NFS共享调用,NFS服务装在其中的一个web服务器上,后端用mysql主从的方式,是很典型的架构。

切换成这个架构才2天,就收到nagios的报警,报警信息显示有一台web服务器负载很高,于是通过SecureCRT登录到服务器上,用top命令看了一下,发现有几个php-cgi进程占用了大量的CPU,如下:

13889 www    25  0 228m 14m 9344 S 100.4 0.1 14:51.22 php-cgi
13882 www    25  0 227m 13m 9284 S 100.1 0.1 10:53.18 php-cgi
13924 www    25  0 227m 9936 5732 S 100.1 0.1 23:20.80 php-cgi
13927 www    25  0 226m 5228 2064 R 100.1 0.0 24:44.24 php-cgi
13827 www    25  0 228m 15m 10m R 99.7 0.1 12:57.60 php-cgi
13900 www    25  0 228m 19m 13m R 99.7 0.1  9:03.09 php-cgi

由上面的截图我们可以看出那几个php-cgi进程不但占用了大量的CPU,而且运行时间非常长,本来php-cgi接到一个请求运行很快的,怎么这几个运行那么久还没释放?于是采用命令ls -l /proc/13827/fd/查看这个长时间的进程到底在干什么事情,结果如下:

lrwx------ 1 www www 64 Dec 11 12:03 0 -> socket:[68444030]
l-wx------ 1 www www 64 Dec 11 12:03 1 -> pipe:[68444057]
l-wx------ 1 www www 64 Dec 11 12:03 2 -> pipe:[68444058]
lrwx------ 1 www www 64 Dec 11 12:03 3 -> socket:[68468225]
lrwx------ 1 www www 64 Dec 11 12:03 4 -> socket:[68469788]
lrwx------ 1 www www 64 Dec 11 12:03 5 -> socket:[68457928]

看到里面没有打开文件或者写入文件,这个进程没干什么事情,比较奇怪,然后采用strace命令跟踪下看看这个进程在做什么东西呢?

strace -p 13827
poll([{fd=4, events=POLLIN}], 1, 0)   = 0 (Timeout)
select(5, [4], [4], [], {15, 0})    = 1 (out [4], left {15, 0})
poll([{fd=4, events=POLLIN}], 1, 0)   = 0 (Timeout)
select(5, [4], [4], [], {15, 0})    = 1 (out [4], left {15, 0})
poll([{fd=4, events=POLLIN}], 1, 0)   = 0 (Timeout)
select(5, [4], [4], [], {15, 0})    = 1 (out [4], left {15, 0})
poll([{fd=4, events=POLLIN}], 1, 0)   = 0 (Timeout)
select(5, [4], [4], [], {15, 0})    = 1 (out [4], left {15, 0})
poll([{fd=4, events=POLLIN}], 1, 0)   = 0 (Timeout)
select(5, [4], [4], [], {15, 0})    = 1 (out [4], left {15, 0})
poll([{fd=4, events=POLLIN}], 1, 0)   = 0 (Timeout)
select(5, [4], [4], [], {15, 0})    = 1 (out [4], left {15, 0})
poll([{fd=4, events=POLLIN}], 1, 0)   = 0 (Timeout) …….

可以看出,这个进程不断的超时,到底为何会超时呢???看来需要从php-cgi的日志中查找问题了,由于原来php-fpm.conf配置的超时时间为0,也就是不设置超时时间。于是先将php-fpm.conf的超时时间设置成5s,然后超过5s的php-cgi的请求就会记录到php的慢日志中,设置如下:

3s
logs/slow.log

设置完成,利用命令/usr/local/php/sbin/php-fpm restart重启php-fpm,过一会查看slow.log的内容发现很多如下内容:

script_filename = /data/htdocs/bbs.hrloo.com/apl.php
[0x00007fffb060fd70] file_get_contents() /data/htdocs/bbs.hrloo.com/apl.php:10

查看/data/htdocs/bbs.hrloo.com/apl.php第十行的内容如下:

echo file_get_contents('http://121.10.108.227:86/yh.asp');

网上查了一下发现了介绍php这个函数当里面网址响应很慢的时候就会出现CPU占用很高的情况,而且会一直卡住,不会超时,再看看这个链接,访问一下指向到了一个小说网站,是别人攻击后嵌入的,将这个文件还原后恢复正常。奇怪的是那个安装NFS的web服务器却不会出现那个问题,看来是由于本来那个站点又慢,通过NFS调用就更慢了,因此出现了这个故障。感谢这次故障,才发现了这个严重的问题。

故障修复了,但是问题还远远没有解决,重点要找到文件是如何被修改的,防止再出现类似的事故。看来下面还有很多事情要忙乎了。呵呵!

相关文章

  • Linux基础学习之利用tcpdump抓包实例代码

    Linux基础学习之利用tcpdump抓包实例代码

    tcpdump是Linux下面的一个开源的抓包工具,和Windows下面的wireshark抓包工具一样, 支持抓取指定网口、指定目的地址、指定源地址、指定端口、指定协议的数据。下面这篇文章主要给大家介绍了关于Linux基础学习之利用tcpdump抓包的相关资料,需要的朋友可以参考下。
    2017-12-12
  • linux安装php7的方法详解

    linux安装php7的方法详解

    在本篇文章里小编给大家整理了一篇关于linux安装php7的方法以及步骤,需要的朋友们可以学习下。
    2019-10-10
  • 修改linux文件权限命令:chmod命令详解

    修改linux文件权限命令:chmod命令详解

    本篇文章主要介绍了修改linux文件权限命令:chmod,Linux系统中的每个文件和目录都有访问许可权限,用它来确定谁可以通过何种方式对文件和目录进行访问和操作。
    2016-12-12
  • Linux删除目录下的文件的10种方法小结

    Linux删除目录下的文件的10种方法小结

    本文是脚本之家小编给大家收藏整理的Linux删除目录下的文件的10种方法,文中还给大家提到了Linux 删除文件夹和文件的命令,具体内容详情大家参考下本文
    2018-04-04
  • 浅谈Linux下通过find命令进行rm文件删除的小技巧

    浅谈Linux下通过find命令进行rm文件删除的小技巧

    下面小编就为大家带来一篇浅谈Linux下通过find命令进行rm文件删除的小技巧。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2016-12-12
  • linux远程登录ssh免密码配置方法

    linux远程登录ssh免密码配置方法

    这篇文章主要介绍了linux远程登录ssh免密码配置方法,需要的朋友可以参考下
    2015-10-10
  • 配置iptables,把80端口转到8080的简单方法

    配置iptables,把80端口转到8080的简单方法

    下面小编就为大家带来一篇配置iptables,把80端口转到8080的简单方法。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧,祝大家游戏愉快哦
    2016-12-12
  • Apache的status相关问题解决办法

    Apache的status相关问题解决办法

    这篇文章主要介绍了Apache的status相关问题解决办法,文中环境为Linux系统,需要的朋友可以参考下
    2015-07-07
  • 如何在Linux命令行与其他用户通信

    如何在Linux命令行与其他用户通信

    这篇文章主要介绍了如何在Linux命令行与其他用户通信,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-09-09
  • 查看linux文件的命令详解

    查看linux文件的命令详解

    在本篇文章里小编给大家整理的是关于查看linux文件的命令总结内容,有需要的朋友们可以学习下。
    2020-02-02

最新评论