完美解决java读取大文件内存溢出的问题
更新时间：2017年08月10日 08:32:12 投稿：jingxian
下面小编就为大家带来一篇完美解决java读取大文件内存溢出的问题。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
1. 传统方式：在内存中读取文件内容
读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法：
Files.readLines(new File(path), Charsets.UTF_8); FileUtils.readLines(new File(path));
实际上是使用BufferedReader或者其子类LineNumberReader来读取的。
传统方式的问题： 是文件的所有行都被存放在内存中，当文件足够大时很快就会导致程序抛出OutOfMemoryError 异常。
问题思考：我们通常不需要把文件的所有行一次性地放入内存中，相反，我们只需要遍历文件的每一行，然后做相应的处理，处理完之后把它扔掉。所以我们可 以通过行迭代方式来读取，而不是把所有行都放在内存中。
2. 大文件读取处理方式
不重复读取与不耗尽内存的情况下处理大文件：
（1）文件流方式：使用java.util.Scanner类扫描文件的内容，一行一行连续地读取
FileInputStream inputStream = null;
Scanner sc = null;
try {
inputStream = new FileInputStream(path);
sc = new Scanner(inputStream, UTF-8);
while (sc.hasNextLine()) {
String line = sc.nextLine();
// System.out.println(line);
}
}catch(IOException e){
logger.error(e);
}finally {
if (inputStream != null) {
inputStream.close();
}
if (sc != null) {
sc.close();
}
}
该方案将会遍历文件中的所有行，允许对每一行进行处理，而不保持对它的引用。总之没有把它们存放在内存中！
（2）Apache Commons IO流：使用Commons IO库实现，利用该库提供的自定义LineIterator
LineIterator it = FileUtils.lineIterator(theFile, UTF-8);
try {
while (it.hasNext()) {
String line = it.nextLine();
// do something with line
}
} finally {
LineIterator.closeQuietly(it);
}
该方案由于整个文件不是全部存放在内存中，这也就导致相当保守的内存消耗。
以上这篇完美解决java读取大文件内存溢出的问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
使用Spring的StopWatch实现代码性能监控的方法详解
在开发过程中,偶尔还是需要分析代码的执行时间,Spring 框架提供了一个方便的工具类 StopWatch,本文将介绍 StopWatch 的基本用法,并通过示例演示如何在项目中使用 StopWatch 进行代码性能监控2023-12-12
这篇文章主要为大家详细介绍了Java获取指定字符串出现次数的方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-12-12
使用java web 在jsp文件及Class中连接MySQL和SQLserver 的驱动方法
这篇文章主要介绍了使用java web 在jsp文件及Class中连接MySQL和SQLserver的驱动方法的相关资料,本文介绍的非常详细，具有参考借鉴价值，需要的朋友可以参考下2016-10-10
SpringBoot项目启动时会在控制台打印一个默认的启动图案，这个图案就是我们要讲的banner，这篇文章主要介绍了SpringBoot基础之banner玩法解析，感兴趣的小伙伴们可以参考一下2019-04-04
这篇文章主要为大家详细介绍了Servlet实现代理文件下载功能，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-12-12
mapper.xml是我们配置操作数据库的sql语句的地方.这篇文章主要介绍了MyBatis输入映射和输出映射实例详解,需要的朋友可以参考下2017-02-02
Java中的split方法可以将一个字符串按照指定的分隔符进行分割,返回一个字符串数组,这篇文章主要给大家介绍了关于Java split()方法中的特殊符号的相关资料,需要的朋友可以参考下2023-07-07
在本文中，我们来学习如何用Zip4j库创建受密码保护的压缩文件并将其解压，文中的示例代码讲解详细，具有一定的借鉴价值，需要的可以参考一下2022-09-09
这篇文章主要介绍了如何在Mac下配置多个Java版本以及需要注意的点详细说明，需要的朋友参考下步骤吧。2018-02-02
这篇文章主要介绍了spring springMVC中常用注解,本文给大家介绍的非常详细，需要的朋友可以参考下2018-05-05
最新评论