php笔记之：有规律大文件的读取与写入的分析
这几天在做一个东西.研究PHP读取行数较多的文件(大概上百万行).考虑到效率问题.进行了简单的研究.总结如下
第一条.file()函数的效率问题.
file()函数的效率很底下 如果是有规律的文件.比如每行一条相应数据.那么尽量不要是用file()函数
可以使用file_get_contents()然后用explode切割.这样效率会快三分之一
举个例子:
文件样式如下:
11111\n
22222\n
33333\n
44444\n
55555\n
.....\n
nnnnnnnnnnn\n
如果用file($file)读入的话.耗时很长.
可以用如下方法explode("\n",file_get_contents($file));效率会快很多.
第二条,数组的遍历方式.
数据已经被读入数组了.下面就是遍历了.
我所需要的是确定数组中有无一个值的存在,比如说44444是否在数组中.首先想到的是in_array()
不过实验了下发现效率很低下.于是参考别人的代码想到一个办法.把数组翻转过来.变成所有值都为1.原来的值变成了索引.那么只要我在if里写($arr[索引]==1)去判断.果然效率高出很多.
在数组的遍历过程中.如果数组个头非常大,并且数组中的数据并不是全能用到的话,最好把用来遍历的数组抽出来.这样会提高很多效率.
第三条,数组的存储.
把计算过后的数据保存起来.存在一个文件中.考虑了三种方法.一种是直接写成php文件.一种是serialize,一种是json串.
第一种方式
直接写入文件<?php 连接var_export($var)连接";"连接?>保存成PHP
需要的时候直接require进来.
第二种方式.把变量serialize然后file_put_contents()进入文件.使用的时候unserialize就ok.
第三种方式和第二种类似.只不过写成了json串.
经过测试.发现第二种效率最高.第三种其次.和第二种效率不相上下.第一种最慢.和我预想的差距很大.真是大跌眼镜.
相关文章
在Web开发中,我们经常需要动态生成HTML页面,为了提高开发效率和代码可维护性,使用模板引擎是一个非常普遍的方案,本文将介绍如何使用PHP实现一个简单的HTML模板引擎,满足变量绑定输出和if判断的需求,需要的朋友可以参考下2023-08-08
这篇文章主要给大家汇总介绍了一些帝国cms常用标签以及使用小技巧，非常的实用，这里推荐给大家。2015-07-07
主页是index.php；传递的值是id(数据库的主键)；文章的数据库是article，其中文章标题的列是title2012-09-09
今天小编就为大家分享一篇Laravel 添加多语言提示信息的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-09-09
这篇文章主要介绍了Thinkphp中数据按分类嵌套循环实现方法,适用于嵌套循环具有关联性的情况,是比较实用的技巧,需要的朋友可以参考下2014-10-10
这篇文章主要介绍了thinkphp中字符截取函数msubstr()用法,结合实例形式较为详细的分析了thinkPHP中字符截取函数msubstr()的功能、定义使用技巧与注意事项,需要的朋友可以参考下2016-01-01
这篇文章主要介绍了thinkphp多层MVC用法,结合实例分析了thinkPHP中多层MVC的具体原理与相关使用技巧,需要的朋友可以参考下2015-12-12
这篇文章主要介绍了Laravel 自动转换长整型雪花 ID 为字符串的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-10-10
本文给大家分享五个PHP7性能优化提升技巧，对php7性能提升相关知识感兴趣的朋友一起学习吧2015-12-12
这篇文章主要介绍了php设计模式之正面模式,结合星际争霸游戏案例形式分析了php正面模式相关原理、使用技巧与操作注意事项,需要的朋友可以参考下2020-03-03
最新评论