phpQuery占用内存过多的处理方法
更新时间：2013年11月13日 10:30:04 作者：
本文解决phpQuery占用内存过多的问题
phpQuery是一个用php实现的类似jQuery的开源项目，可以在服务器端以jQuery的语法形式解析网页元素。 相对于正则或其它方式匹配网页方式，phpQuery使用起来要方便的多。
在使用phpQuery采集网页时，遇到一个问题：在处理大量网页之后，phpQuery占用的内存数量非常惊人（很快就超过了1G)，
比如这段代码：
while (true) {
phpQuery::newDocumentFile($htmlFile);
// 处理网页元素...
echo memory_get_usage() . "\n";
}
谨慎运行上面这段代码，它会很快用光你的内存。
经过查看phpQuery的源代码终于发现了问题所在，phpQuery在每处理一个网页就会产生一个DOMDocumentWrapper 对象，而每个DOMDocumentWrapper 对象会被保存在静态成员$documents中（phpQuery::createDocumentWrapper中），这个变量是一个数组，每解析一个网页数组元素就增加一个。
phpQuery::$documents[$wrapper->id] = $wrapper;
找到问题后，解决就很容易了，每次解析完一个网页，把phpQuery::$documents置空即可。
while (true) {
phpQuery::newDocumentFile($htmlFile);
// 处理网页元素...
phpQuery::$documents = array();
echo memory_get_usage() . "\n";
}
内存占用稳定了。
在使用phpQuery采集网页时，遇到一个问题：在处理大量网页之后，phpQuery占用的内存数量非常惊人（很快就超过了1G)，
比如这段代码：
复制代码 代码如下:
while (true) {
phpQuery::newDocumentFile($htmlFile);
// 处理网页元素...
echo memory_get_usage() . "\n";
}
谨慎运行上面这段代码，它会很快用光你的内存。
经过查看phpQuery的源代码终于发现了问题所在，phpQuery在每处理一个网页就会产生一个DOMDocumentWrapper 对象，而每个DOMDocumentWrapper 对象会被保存在静态成员$documents中（phpQuery::createDocumentWrapper中），这个变量是一个数组，每解析一个网页数组元素就增加一个。
phpQuery::$documents[$wrapper->id] = $wrapper;
找到问题后，解决就很容易了，每次解析完一个网页，把phpQuery::$documents置空即可。
复制代码 代码如下:
while (true) {
phpQuery::newDocumentFile($htmlFile);
// 处理网页元素...
phpQuery::$documents = array();
echo memory_get_usage() . "\n";
}
内存占用稳定了。
您可能感兴趣的文章:
相关文章
这篇文章主要介绍了php+MySQL判断update语句是否执行成功的方法,可以通过mysql_affected_rows方法加以实现,需要的朋友可以参考下2014-08-08
刚才说到，我们可以用php来开发Shell程序。有的同学可能会问啦：php不是用来做网页的么？。是的，php可以用来做动态网页，并且当初php就是为做动态网页而开发的语言，但是理论上php可以用来做任何的程序，甚至是桌面程序2013-06-06
以下是对php中的foreach函数进行了详细的分析介绍，需要的朋友可以过来参考下2013-08-08
这篇文章主要介绍了PHP编程中尝试程序并发的几种方式总结,这里举了借助yield的异步以及swoole_process的进程创建等例子,PHP本身并不支持多线程并发,需要的朋友可以参考下2016-03-03
这篇文章主要介绍了2款PHP无限级分类实例代码，需要的朋友可以参考下2015-11-11
这篇文章主要介绍了PHP使用XMLWriter读写xml文件操作,结合实例形式分析了php基于XMLWriter针对xml文件进行读写操作相关实现技巧,并附带相关源码供读者下载参考,需要的朋友可以参考下2018-07-07
很让人受教的 提高php代码质量36计,需要的朋友可以参考下2012-09-09
新版本PHP引入了许多新的语法和语言功能,以及更严格的类型检查,需要进行一些代码修改和调整,对于使用PHP5开发的项目,升级到PHP8可能需要花费一些时间和精力,此外,由于PHP对一些旧有函数和方法进行了废弃和删除,可能还需要进行一些代码重构2024-02-02
这篇文章主要介绍了PHP设计模式之状态模式定义与用法,结合实例形式分析了php状态模式的概念、原理、定义、使用方法及相关注意事项,需要的朋友可以参考下2018-04-04
这篇文章主要介绍了PHP简单实现合并2个数字键数组值的方法,涉及php针对数组的遍历、判断、转换等相关操作技巧,需要的朋友可以参考下2017-05-05
最新评论