php使用file函数、fseek函数读取大文件效率对比分析

 更新时间:2016年11月04日 11:55:27   投稿:lijiao  
这篇文章主要对比分析了php使用file函数、fseek函数读取大文件的效率,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

php读取大文件可以使用file函数和fseek函数,但是二者之间效率可能存在差异,本文章向大家介绍php file函数与fseek函数实现大文件读取效率对比分析,需要的朋友可以参考一下。

1. 直接采用file函数来操作

由于 file函数是一次性将所有内容读入内存,而PHP为了防止一些写的比较糟糕的程序占用太多的内存而导致系统内存不足,使服务器出现宕机,所以默认情况下限制只能最大使用内存16M,这是通过php.ini里的 memory_limit = 16M 来进行设置,这个值如果设置-1,则内存使用量不受限制。

下面是一段用file来取出这具文件最后一行的代码:

<?php
  ini_set('memory_limit', '-1');
  $file = 'access.log';
  $data = file($file);
  $line = $data[count($data) - 1];
  echo $line;
  ?>

整个代码执行完成耗时 116.9613 (s)。

我机器是2个G的内存,当按下F5运行时,系统直接变灰,差不多20分钟后才恢复过来,可见将这么大的文件全部直接读入内存,后果是多少严重,所以不在万 不得以,memory_limit这东西不能调得太高,否则只有打电话给机房,让reset机器了。 

2.直接使用PHP的 fseek 来进行文件操作

这种方式是最为普遍的方式,它不需要将文件的内容全部读入内容,而是直接通过指针来操作,所以效率是相当高效的。在使用fseek来对文件进行操作时,也有多种不同的方法,效率可能也是略有差别的,下面是常用的两种方法:

方法一

首先通过fseek找到文件的最后一位EOF,然后找最后一行的起始位置,取这一行的数据,再找次一行的起始位置, 再取这一行的位置,依次类推,直到找到了$num行。

实现代码如下


<?php
  $fp = fopen($file, "r");
  $line = 10;
  $pos = -2;
  $t = " ";
  $data = "";
  while ($line > 0)
  {
    while ($t != "\n")
    {
      fseek($fp, $pos, SEEK_END);
      $t = fgetc($fp);
      $pos--;
    }// http://www.manongjc.com
    $t = " ";
    $data .= fgets($fp);
    $line--;
  }
  fclose($fp);
  echo $data
  ?>

整个代码执行完成耗时 0.0095 (s) 

方法二

还是采用fseek的方式从文件最后开始读,但这时不是一位一位的读,而是一块一块的读,每读一块数据时,就将读取后的数据放在一个buf里,然后通过换 行符(\n)的个数来判断是否已经读完最后$num行数据。

实现代码如下

<?php
  $fp = fopen($file, "r");
  $num = 10;
  $chunk = 4096;
  $fs = sprintf("%u", filesize($file));
  $max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file);
  for ($len = 0; $len < $max; $len += $chunk)
  {
    $seekSize = ($max - $len > $chunk) ? $chunk : $max - $len;
    fseek($fp, ($len + $seekSize) * -1, SEEK_END);
    $readData = fread($fp, $seekSize) . $readData;
    if (substr_count($readData, "\n") >= $num + 1)
    {
      // 作者:码农教程  http://www.manongjc.com
      preg_match("!(.*?\n){" . ($num) . "}$!", $readData, $match);
      $data = $match[0];
      break;
    }
  }
  fclose($fp);
  echo $data;
  ?>

整个代码执行完成耗时 0.0009(s)。 

方法三

<?php
  function tail($fp, $n, $base = 5)
  {
    assert($n > 0);
    $pos = $n + 1;
    $lines = array();
    while (count($lines) <= $n)
    {
      try
      {
        fseek($fp, -$pos, SEEK_END);
      }
      catch (Exception $e)
      {
        fseek(0);
        break;
      }
      $pos *= $base;
      while (!feof($fp))
      {
        array_unshift($lines, fgets($fp));
      }
    }
  
    return array_slice($lines, 0, $n);
  }
  
  var_dump(tail(fopen("access.log", "r+"), 10));
  ?>

整个代码执行完成耗时 0.0003(s)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • php 基础函数

    php 基础函数

    本文主要介绍了php的基础函数。具有很好的参考价值,下面跟着小编一起来看下吧
    2017-02-02
  • php常用文件操作函数汇总

    php常用文件操作函数汇总

    这篇文章主要介绍了php常用文件操作函数,以实例形式汇总了常用的文件操作函数,包括文件的打开、写入、读取等常用操作,是非常实用的技巧,需要的朋友可以参考下
    2014-11-11
  • PHP解耦的三重境界(浅谈服务容器)

    PHP解耦的三重境界(浅谈服务容器)

    本文主要介绍了PHP解耦的三重境界(浅谈服务容器)的相关知识。具有很好的参考价值。下面跟着小编一起来看下吧
    2017-03-03
  • php5.6不能扩展redis.so的解决方法

    php5.6不能扩展redis.so的解决方法

    这篇文章主要为大家介绍了php5.6不能扩展redis.so的解决方法详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-05-05
  • 通过实例解析PHP数据类型转换方法

    通过实例解析PHP数据类型转换方法

    这篇文章主要介绍了通过实例解析PHP数据类型转换方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-07-07
  • PHP中使用OpenSSL生成证书及加密解密

    PHP中使用OpenSSL生成证书及加密解密

    这篇文章主要介绍了PHP中使用OpenSSL生成证书及加密解密,需要的朋友可以参考下
    2017-02-02
  • PHP 创建标签云函数代码

    PHP 创建标签云函数代码

    PHP创建标签云函数代码,使用此函数创建标签云。
    2010-05-05
  • PHP安装memcache扩展的步骤讲解

    PHP安装memcache扩展的步骤讲解

    今天小编就为大家分享一篇关于PHP安装memcache扩展的步骤讲解,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-02-02
  • PHP简单实现文本计数器的方法

    PHP简单实现文本计数器的方法

    这篇文章主要介绍了PHP简单实现文本计数器的方法,涉及PHP针对文本文件的简单判断,读取及写入等操作技巧,需要的朋友可以参考下
    2016-04-04
  • PHP连接MSSQL时nvarchar字段长度被截断为255的解决方法

    PHP连接MSSQL时nvarchar字段长度被截断为255的解决方法

    这篇文章主要介绍了PHP连接MSSQL时nvarchar字段长度被截断为255的解决方法,可通过CAST数据类型转换来解决,是非常实用的技巧,需要的朋友可以参考下
    2014-12-12

最新评论