用Laravel轻松处理千万级数据的方法实现
更新时间：2020年12月25日 09:59:53 作者：Jeremy_Zhong
这篇文章主要介绍了用Laravel轻松处理千万级数据的方法实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
在Laravel中使用cursor来查询并处理数据 (轻松处理千万级的数据)
事发现场
最近在项目中遇到内存不足的问题, 测试环境中的PHP内存只有64M,在导出的时候, 数据量比较大,这个时候会出现内存溢出的错误;
如何解决
目前想到两种方法:
- 调整php.ini文件中memory_limit配置项; 或者在调用方法中调整内存大小ini_set('memory_limit', "").
- 使用Laravel的Lazy Collection.
考虑到修改配置文件的影响范围过大, 以及对导出的实时性要求不是很高, 所以我们选择了第二种方法.
Lazy Collection
如何使用Lazy Collection? 很简单, 将查询构建器链末尾的get()更改为cursor()就好了 !
cursor ( )
cursor的原理
cursor的实现使用了 yield 关键字, yield关键字是生成器函数的核心, 它的调用形式跟return很像, 不同之处在于return会返回值并且终止函数执行, 而yield会返回值给循环调用生成器的代码并且只是暂停生成器函数.
cursor()的代码如下
/**
*
Get a generator for the given query.
*
* @return Generator
*/
public function cursor() {
foreach ($this->applyScopes()->query->cursor() as $record) {
yield $this->newModelInstance()->newFromBuilder($record);
}
}
由于使用了yield关键字, 在循环cursor生成器的时候,可以渐进式的处理数据,即使在内存很小的情况下,也可以轻松处理千万级的数据! 真的是非常方便哦!
到此这篇关于用Laravel轻松处理千万级数据的方法实现的文章就介绍到这了,更多相关Laravel 处理千万级数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了Symfony2创建页面的方法,结合实例形式分析了Symfony页面创建的具体步骤与相关实现技巧,需要的朋友可以参考下2016-03-03
这篇文章主要介绍了ThinkPHP整合百度Ueditor的方法，图文并茂，非常的详细，希望对大家能有所帮助2014-10-10
这篇文章主要介绍了php使用递归计算文件夹大小，代码很简洁使用，这里推荐给大家。2014-12-12
今天小编就为大家分享一篇Laravel ORM 数据model操作教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-10-10
这篇文章主要介绍了PHP框架结合实现WebSocket在线聊天通讯系统,非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下2019-11-11
这篇文章主要介绍了PHP实现一个轻量级容器的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-01-01
这篇文章主要介绍了Ubuntu彻底删除PHP7.0的方法,非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下2018-07-07
php获取字符串前几位的实例(substr返回字符串的子串用法)
下面小编就为大家带来一篇php获取字符串前几位的实例(substr返回字符串的子串用法)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-03-03
很多时候我们在用smarty时，并不希望缓存整个页面，例如天气、股票等这类即时更新的信息。那么我们可以让其不缓存，这篇文章主要介绍了Smarty局部缓存方法,需要的朋友可以参考下2014-06-06
这篇文章主要介绍了Codeigniter中集成smarty和adodb的方法,结合实例形式分析了Codeigniter库的使用技巧,需要的朋友可以参考下2016-03-03
最新评论