PHP实现实时生成并下载超大数据量的EXCEL文件详解

 更新时间:2017年10月23日 09:21:19   作者:KevinYan  
EXCEL文件的处理是我们在日常工作中经常会遇到的,这篇文章主要给大家介绍了关于利用PHP如何实现实时生成并下载超大数据量的EXCEL文件,通过文中介绍的这个方法对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考借鉴,下面来一起看看吧。

前言

最近在工作中接到一个需求,通过选择的时间段导出对应的用户访问日志到excel中, 由于用户量较大,经常会有导出50万加数据的情况。而常用的PHPexcel包需要把所有数据拿到后才能生成excel, 在面对生成超大数据量的excel文件时这显然是会造成内存溢出的,所以考虑使用让PHP边写入输出流边让浏览器下载的形式来完成需求。

我们通过如下的方式写入PHP输出流

$fp = fopen('php://output', 'a');
fputs($fp, 'strings');
....
....
fclose($fp)

php://output是一个可写的输出流,允许程序像操作文件一样将输出写入到输出流中,PHP会把输出流中的内容发送给web服务器并返回给发起请求的浏览器

另外由于excel数据是从数据库里逐步读出然后写入输出流的所以需要将PHP的执行时间设长一点(默认30秒)set_time_limit(0)不对PHP执行时间做限制。

注:以下代码只是阐明生成大数据量EXCEL的思路和步骤,并且在去掉项目业务代码后程序有语法错误不能拿来直接运行,请根据自己的需求填充对应的业务代码!

 /**
  * 文章访问日志
  * 下载的日志文件通常很大, 所以先设置csv相关的Header头, 然后打开
  * PHP output流, 渐进式的往output流中写入数据, 写到一定量后将系统缓冲冲刷到响应中
  * 避免缓冲溢出
  */
 public function articleAccessLog($timeStart, $timeEnd)
 {
  set_time_limit(0);
  $columns = [
   '文章ID', '文章标题', ......
  ];
  $csvFileName = '用户日志' . $timeStart .'_'. $timeEnd . '.xlsx';
  //设置好告诉浏览器要下载excel文件的headers
  header('Content-Description: File Transfer');
  header('Content-Type: application/vnd.ms-excel');
  header('Content-Disposition: attachment; filename="'. $fileName .'"');
  header('Expires: 0');
  header('Cache-Control: must-revalidate');
  header('Pragma: public');
  $fp = fopen('php://output', 'a');//打开output流
  mb_convert_variables('GBK', 'UTF-8', $columns);
  fputcsv($fp, $columns);//将数据格式化为CSV格式并写入到output流中
  $accessNum = '1000000'//从数据库获取总量,假设是一百万
  $perSize = 1000;//每次查询的条数
  $pages = ceil($accessNum / $perSize);
  $lastId = 0;
  for($i = 1; $i <= $pages; $i++) {
   $accessLog = $logService->getArticleAccessLog($timeStart, $timeEnd, $lastId, $perSize);
   foreach($accessLog as $access) {
    $rowData = [
     ......//每一行的数据
    ];
    mb_convert_variables('GBK', 'UTF-8', $rowData);
    fputcsv($fp, $rowData);
    $lastId = $access->id;
   }
   unset($accessLog);//释放变量的内存
   //刷新输出缓冲到浏览器
   ob_flush();
   flush();//必须同时使用 ob_flush() 和flush() 函数来刷新输出缓冲。
  }
  fclose($fp);
  exit();
 }

好了, 其实很简单,就是用逐步写入输出流并发送到浏览器让浏览器去逐步下载整个文件,由于是逐步写入的无法获取文件的总体size所以就没办法通过设置header("Content-Length: $size");在下载前告诉浏览器这个文件有多大了。不过不影响整体的效果这里的核心问题是解决大文件的实时生成和下载。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对脚本之家的支持。

相关文章

  • php实现的通用图片处理类

    php实现的通用图片处理类

    这篇文章主要介绍了php实现的通用图片处理类,可实现针对图片的缩放、剪切、相框、水印、锐化、旋转、翻转、透明度、反色等功能,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-03-03
  • PHP的博客ping服务代码

    PHP的博客ping服务代码

    今天发一下能够直接用的ping函数,希望对大家有所帮助,还需要说明的一点是现在的ping并不是像以前那么管用了
    2012-02-02
  • ecshop 订单确认中显示省市地址信息的方法

    ecshop 订单确认中显示省市地址信息的方法

    ecshop的购物流程中最后的订单确认信息,其中关于用户订单配送地址信息,没有包含用户选择的省市县区信息。
    2010-03-03
  • js+php实现静态页面实时调用用户登陆状态的方法

    js+php实现静态页面实时调用用户登陆状态的方法

    这篇文章主要介绍了js+php实现静态页面实时调用用户登陆状态的方法,采用在静态页面中使用js调用php页面从而实现用户登录状态的实时调用功能,需要的朋友可以参考下
    2015-01-01
  • PHP实现的消息实时推送功能【基于反ajax推送】

    PHP实现的消息实时推送功能【基于反ajax推送】

    这篇文章主要介绍了PHP实现的消息实时推送功能,结合实例形式分析了php基于反ajax推送实现的消息实时推送前台ajax提交、后台数据处理等相关操作技巧,需要的朋友可以参考下
    2018-03-03
  • PHP DB 数据库连接类定义与用法示例

    PHP DB 数据库连接类定义与用法示例

    这篇文章主要介绍了PHP DB 数据库连接类定义与用法,涉及php基于mysqli针对数据库的连接、增删改查等常见操作封装与使用技巧,需要的朋友可以参考下
    2019-03-03
  • php中Y2K38的漏洞解决方法实例分析

    php中Y2K38的漏洞解决方法实例分析

    这篇文章主要介绍了php中Y2K38的漏洞解决方法,以实例形式对php中Y2K38的漏洞的原理及相应的解决方法进行了较为深入的分析,需要的朋友可以参考下
    2014-09-09
  • php数组随机排序实现方法

    php数组随机排序实现方法

    这篇文章主要介绍了php数组随机排序实现方法,涉及php数组随机排序函数shuffle的相关使用技巧,需要的朋友可以参考下
    2015-06-06
  • php修改指定文件后缀的方法

    php修改指定文件后缀的方法

    这篇文章主要介绍了php修改指定文件后缀的方法,文中的函数foreachDir可实现文件目录的检测、读取、打开及文件后缀替换等功能,是非常实用的技巧,需要的朋友可以参考下
    2014-09-09
  • PHP中func_get_args(),func_get_arg(),func_num_args()的区别

    PHP中func_get_args(),func_get_arg(),func_num_args()的区别

    我们再看一下PHP的这三个函数[unc_get_arg(),func_get_args(),func_num_args()]的区别,我们先看一下,下面的实例代码
    2013-09-09

最新评论