linux php-cgi.exe占用cpu 100%的一次排障之旅
先说下我们网站的架构,由于目前网站访问量不是很大，但是由于最近公司网站要推广，所以将网站由单机切换成前端用nginx做负载均衡，带动两台web服务器，所有网页和静态文件都通过NFS共享调用，NFS服务装在其中的一个web服务器上，后端用mysql主从的方式，是很典型的架构。
切换成这个架构才2天，就收到nagios的报警，报警信息显示有一台web服务器负载很高，于是通过SecureCRT登录到服务器上，用top命令看了一下，发现有几个php-cgi进程占用了大量的CPU，如下：
13889 www 25 0 228m 14m 9344 S 100.4 0.1 14:51.22 php-cgi 13882 www 25 0 227m 13m 9284 S 100.1 0.1 10:53.18 php-cgi 13924 www 25 0 227m 9936 5732 S 100.1 0.1 23:20.80 php-cgi 13927 www 25 0 226m 5228 2064 R 100.1 0.0 24:44.24 php-cgi 13827 www 25 0 228m 15m 10m R 99.7 0.1 12:57.60 php-cgi 13900 www 25 0 228m 19m 13m R 99.7 0.1 9:03.09 php-cgi
由上面的截图我们可以看出那几个php-cgi进程不但占用了大量的CPU，而且运行时间非常长，本来php-cgi接到一个请求运行很快的，怎么这几个运行那么久还没释放？于是采用命令ls -l /proc/13827/fd/查看这个长时间的进程到底在干什么事情，结果如下：
lrwx------ 1 www www 64 Dec 11 12:03 0 -> socket:[68444030] l-wx------ 1 www www 64 Dec 11 12:03 1 -> pipe:[68444057] l-wx------ 1 www www 64 Dec 11 12:03 2 -> pipe:[68444058] lrwx------ 1 www www 64 Dec 11 12:03 3 -> socket:[68468225] lrwx------ 1 www www 64 Dec 11 12:03 4 -> socket:[68469788] lrwx------ 1 www www 64 Dec 11 12:03 5 -> socket:[68457928]
看到里面没有打开文件或者写入文件，这个进程没干什么事情，比较奇怪，然后采用strace命令跟踪下看看这个进程在做什么东西呢？
strace -p 13827
poll([{fd=4, events=POLLIN}], 1, 0) = 0 (Timeout)
select(5, [4], [4], [], {15, 0}) = 1 (out [4], left {15, 0})
poll([{fd=4, events=POLLIN}], 1, 0) = 0 (Timeout)
select(5, [4], [4], [], {15, 0}) = 1 (out [4], left {15, 0})
poll([{fd=4, events=POLLIN}], 1, 0) = 0 (Timeout)
select(5, [4], [4], [], {15, 0}) = 1 (out [4], left {15, 0})
poll([{fd=4, events=POLLIN}], 1, 0) = 0 (Timeout)
select(5, [4], [4], [], {15, 0}) = 1 (out [4], left {15, 0})
poll([{fd=4, events=POLLIN}], 1, 0) = 0 (Timeout)
select(5, [4], [4], [], {15, 0}) = 1 (out [4], left {15, 0})
poll([{fd=4, events=POLLIN}], 1, 0) = 0 (Timeout)
select(5, [4], [4], [], {15, 0}) = 1 (out [4], left {15, 0})
poll([{fd=4, events=POLLIN}], 1, 0) = 0 (Timeout) …….
可以看出，这个进程不断的超时，到底为何会超时呢？？？看来需要从php-cgi的日志中查找问题了，由于原来php-fpm.conf配置的超时时间为0，也就是不设置超时时间。于是先将php-fpm.conf的超时时间设置成5s，然后超过5s的php-cgi的请求就会记录到php的慢日志中，设置如下：
3s
logs/slow.log
设置完成，利用命令/usr/local/php/sbin/php-fpm restart重启php-fpm，过一会查看slow.log的内容发现很多如下内容：
script_filename = /data/htdocs/bbs.hrloo.com/apl.php
[0x00007fffb060fd70] file_get_contents() /data/htdocs/bbs.hrloo.com/apl.php:10
查看/data/htdocs/bbs.hrloo.com/apl.php第十行的内容如下：
echo file_get_contents('http://121.10.108.227:86/yh.asp');
网上查了一下发现了介绍php这个函数当里面网址响应很慢的时候就会出现CPU占用很高的情况，而且会一直卡住，不会超时，再看看这个链接，访问一下指向到了一个小说网站，是别人攻击后嵌入的，将这个文件还原后恢复正常。奇怪的是那个安装NFS的web服务器却不会出现那个问题，看来是由于本来那个站点又慢，通过NFS调用就更慢了，因此出现了这个故障。感谢这次故障，才发现了这个严重的问题。
故障修复了，但是问题还远远没有解决，重点要找到文件是如何被修改的，防止再出现类似的事故。看来下面还有很多事情要忙乎了。呵呵！
相关文章
这篇文章主要给大家介绍了关于在linux服务器上安装jdk的两种方法，分别是利用yum安装和从官网下载包安装，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起看看吧2018-05-05
这篇文章主要介绍了Linux 重命名命令自制详细介绍的相关资料,需要的朋友可以参考下2017-01-01
尽管为服务器设计软件的软件工程师们想方设法提高系统的安全性，然而由于系统管理员的水平参差不齐或安全意识底下，往往给黑客提供了入侵的机会。2008-05-05
大家好，本篇文章主要讲的是在linux系统下部署selenium爬虫程序介绍，感兴趣的同学速来围观哦，记得收藏本篇文章方便下次浏览2021-11-11
一个应用程序调用动态库, 而这个动态库其中的函数调用某静态库时,如何生成应用程序呢?看下面的代码就明白了2013-12-12
今天在调整VPS的时候发现自己的/分区的空间用光了.但是还剩下一个分区hda3没动.于是乎.想调整到根下面去.但是由于本人新手一个.又不太了解linux的分区机制.2010-06-06
CentOS服务器平台搭建mysql主从复制与读写分离的方法
这篇文章主要介绍了CentOS服务器平台搭建mysql主从复制与读写分离的方法,结合实例形式较为详细的分析了CentOS平台搭建mysql主从复制与读写分离的步骤、设置方法、相关操作技巧与注意事项,需要的朋友可以参考下2018-04-04
linux采用scp命令拷贝文件到本地,拷贝本地文件到远程服务器的方法
今天小编就为大家分享一篇linux采用scp命令拷贝文件到本地,拷贝本地文件到远程服务器的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-07-07
这篇文章主要介绍了Ubuntu16.04 静态IP地址设置（NAT方式），详细的介绍了为VMware虚拟机内安装的Ubuntu 16.04设置静态IP地址NAT方式，有兴趣的可以了解一下。2017-02-02
这篇文章主要给大家介绍了Vim中宏命令使用的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧。2017-11-11
最新评论