PHP读取CSV大文件导入数据库的实例
更新时间：2017年07月24日 09:59:21 投稿：jingxian
下面小编就为大家带来一篇PHP读取CSV大文件导入数据库的实例。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
PHP如何对CSV大文件进行读取并导入数据库？
对于数百万条数据量的CSV文件，文件大小可能达到数百M，如果简单读取的话很可能出现超时或者卡死的现象。
为了成功将CSV文件里的数据导入数据库，分批处理是非常必要的。
下面这个函数是读取CSV文件中指定的某几行数据：
/**
* csv_get_lines 读取CSV文件中的某几行数据
* @param $csvfile csv文件路径
* @param $lines 读取行数
* @param $offset 起始行数
* @return array
* */
function csv_get_lines($csvfile, $lines, $offset = 0) {
if(!$fp = fopen($csvfile, 'r')) {
return false;
}
$i = $j = 0;
while (false !== ($line = fgets($fp))) {
if($i++ < $offset) {
continue;
}
break;
}
$data = array();
while(($j++ < $lines) && !feof($fp)) {
$data[] = fgetcsv($fp);
}
fclose($fp);
return $data;
}
调用方法：
$data = csv_get_lines('path/bigfile.csv', 10, 2000000);
print_r($data);
函数主要采用行定位的思路，通过跳过起始行数来实现文件指针定位。
至于数据如何入库本文不再详细讲述。
上述函数对500M以内的文件进行过测试，运行通畅，对于更大的文件未做测试，请斟酌使用或加以改进。
这篇PHP读取CSV大文件导入数据库的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
小偷PHP+Html+缓存...2006-12-12
PHP中Fatal error session_start()错误解决步骤
这篇文章主要介绍了PHP中Fatal error session_start()错误解决步骤,着重于错误的排除步骤,一步一步排查下去,肯定可以解决这个错误,需要的朋友可以参考下2014-08-08
主页是index.php；传递的值是id(数据库的主键)；文章的数据库是article，其中文章标题的列是title2012-09-09
不同之处在于 没有实现分页的系统， 默认全部查出来 现在就要不能动后台的基础上进行操作 可以采用 相应的 如下 代码2012-08-08
这篇文章主要给大家介绍了关于如何利用PHP获取汉字首字母并且分组排序的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用php具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧。2017-10-10
PHP用身份证号获取星座和生肖，实用的PHP函数2013-11-11
这篇文章主要介绍了laravel下trait的使用代码实例详解，使用trait可以提高代码的复用性，有感兴趣的同学可以学习下2021-03-03
最近一段弄微信网页扫码支付，看官方文档是晕头转向。其实扫码支付很简单，只是让官网指来指去变的很麻烦，我想如果有个实例，会容易很多。下面就把实例分享给大家2017-03-03
jQuery EasyUI是一组基于jQuery的UI插件集合，而jQuery EasyUI的目标就是帮助web开发者更轻松的打造出功能丰富并且美观的UI界面。下面说一下tabs update的正确用法2014-03-03
这篇文章主要介绍了thinkPHP中volist标签用法,结合实例形式分析了thinkPHP中volist标签的功能、属性及相关使用技巧,需要的朋友可以参考下2016-12-12
最新评论