脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → java → java 内存映射文件

Java中用内存映射处理大文件的实现代码

 更新时间：2016年06月07日 09:47:33   投稿：jingxian  
下面小编就为大家带来一篇Java中用内存映射处理大文件的实现代码。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧

在处理大文件时，如果利用普通的FileInputStream 或者FileOutputStream 抑或RandomAccessFile 来进行频繁的读写操作，都将导致进程因频繁读写外存而降低速度.如下为一个对比实验。

package test; 
 
import java.io.BufferedInputStream; 
import java.io.FileInputStream; 
import java.io.FileNotFoundException; 
import java.io.IOException; 
import java.io.RandomAccessFile; 
import java.nio.MappedByteBuffer; 
import java.nio.channels.FileChannel; 
 
public class Test { 
 
   
  public static void main(String[] args) { 
    try { 
      FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt"); 
      int sum=0; 
      int n; 
      long t1=System.currentTimeMillis(); 
      try { 
        while((n=fis.read())>=0){ 
          sum+=n; 
        } 
      } catch (IOException e) { 
        // TODO Auto-generated catch block 
        e.printStackTrace(); 
      } 
      long t=System.currentTimeMillis()-t1; 
      System.out.println("sum:"+sum+" time:"+t); 
    } catch (FileNotFoundException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
    } 
     
    try { 
      FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt"); 
      BufferedInputStream bis=new BufferedInputStream(fis); 
      int sum=0; 
      int n; 
      long t1=System.currentTimeMillis(); 
      try { 
        while((n=bis.read())>=0){ 
          sum+=n; 
        } 
      } catch (IOException e) { 
        // TODO Auto-generated catch block 
        e.printStackTrace(); 
      } 
      long t=System.currentTimeMillis()-t1; 
      System.out.println("sum:"+sum+" time:"+t); 
    } catch (FileNotFoundException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
    } 
     
    MappedByteBuffer buffer=null; 
    try { 
      buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1253244); 
      int sum=0; 
      int n; 
      long t1=System.currentTimeMillis(); 
      for(int i=0;i<1253244;i++){ 
        n=0x000000ff&buffer.get(i); 
        sum+=n; 
      } 
      long t=System.currentTimeMillis()-t1; 
      System.out.println("sum:"+sum+" time:"+t); 
    } catch (FileNotFoundException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
    } catch (IOException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
    } 
 
  } 
 
}

测试文件为一个大小为1253244字节的文件。测试结果：

sum:220152087  time:1464

sum:220152087  time:72

sum:220152087  time:25

说明读数据无误。删去其中的数据处理部分。

package test; 
 
import java.io.BufferedInputStream; 
import java.io.FileInputStream; 
import java.io.FileNotFoundException; 
import java.io.IOException; 
import java.io.RandomAccessFile; 
import java.nio.MappedByteBuffer; 
import java.nio.channels.FileChannel; 
 
public class Test { 
 
   
  public static void main(String[] args) { 
    try { 
      FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt"); 
      int sum=0; 
      int n; 
      long t1=System.currentTimeMillis(); 
      try { 
        while((n=fis.read())>=0){ 
          //sum+=n; 
        } 
      } catch (IOException e) { 
        // TODO Auto-generated catch block 
        e.printStackTrace(); 
      } 
      long t=System.currentTimeMillis()-t1; 
      System.out.println("sum:"+sum+" time:"+t); 
    } catch (FileNotFoundException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
    } 
     
    try { 
      FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt"); 
      BufferedInputStream bis=new BufferedInputStream(fis); 
      int sum=0; 
      int n; 
      long t1=System.currentTimeMillis(); 
      try { 
        while((n=bis.read())>=0){ 
          //sum+=n; 
        } 
      } catch (IOException e) { 
        // TODO Auto-generated catch block 
        e.printStackTrace(); 
      } 
      long t=System.currentTimeMillis()-t1; 
      System.out.println("sum:"+sum+" time:"+t); 
    } catch (FileNotFoundException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
    } 
     
    MappedByteBuffer buffer=null; 
    try { 
      buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1253244); 
      int sum=0; 
      int n; 
      long t1=System.currentTimeMillis(); 
      for(int i=0;i<1253244;i++){ 
        //n=0x000000ff&buffer.get(i); 
        //sum+=n; 
      } 
      long t=System.currentTimeMillis()-t1; 
      System.out.println("sum:"+sum+" time:"+t); 
    } catch (FileNotFoundException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
    } catch (IOException e) { 
      // TODO Auto-generated catch block 
      e.printStackTrace(); 
    } 
 
  } 
 
}

测试结果：

sum:0  time:1458

sum:0  time:67

sum:0  time:8

由此可见，将文件部分或者全部映射到内存后进行读写，速度将提高很多。

这是因为内存映射文件首先将外存上的文件映射到内存中的一块连续区域，被当成一个字节数组进行处理，读写操作直接对内存进行操作，而后再将内存区域重新映射到外存文件，这就节省了中间频繁的对外存进行读写的时间，大大降低了读写时间。

以上这篇Java中用内存映射处理大文件的实现代码就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • SpringBoot 整合 Spring-Session 实现分布式会话项目实战

    SpringBoot 整合 Spring-Session 实现分布式会话项目实战

    本文主要介绍了SpringBoot 整合 Spring-Session 实现分布式会话项目实战，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2022-07-07
  • Java通过值查找对应的枚举的实现

    Java通过值查找对应的枚举的实现

    本文主要介绍了Java通过值查找对应的枚举的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2022-02-02
  • Java 数据类型及类型转换的互相转换实例代码

    Java 数据类型及类型转换的互相转换实例代码

    这篇文章主要介绍了Java 数据类型及类型转换的互相转换实例代码,需要的朋友可以参考下
    2020-10-10
  • Java 并发编程中如何创建线程

    Java 并发编程中如何创建线程

    这篇文章主要介绍了Java 并发编程中如何创建线程，帮助大家更好的理解和学习使用Java，感兴趣的朋友可以了解下
    2021-03-03
  • RocketMQ生产者如何规避故障Broker方式详解

    RocketMQ生产者如何规避故障Broker方式详解

    这篇文章主要为大家介绍了RocketMQ生产者如何规避故障Broker方式详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2022-11-11
  • MyBatis动态SQL如何实现前端指定返回字段

    MyBatis动态SQL如何实现前端指定返回字段

    这篇文章主要介绍了MyBatis动态SQL如何实现前端指定返回字段，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2022-01-01
  • Java RocksDB安装与应用

    Java RocksDB安装与应用

    本篇文章主要给大家介绍了JAVA中RocksDB的安装与应用，有需要到的朋友一起学习参考下。
    2017-12-12
  • SpringDataRedis简单使用示例代码

    SpringDataRedis简单使用示例代码

    这篇文章主要介绍了SpringDataRedis简单使用,本文通过示例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2023-02-02
  • java 使用简单的demo实例告诉你优化算法的强大

    java 使用简单的demo实例告诉你优化算法的强大

    本篇文章介绍了，在java中使用简单的demo实例告诉你优化算法的强大。需要的朋友参考下
    2013-05-05
  • Jmeter入门教程

    Jmeter入门教程

    jmeter是一款优秀的开源性能测试工具，目前最新版本3.0版本，本文给大家介绍Jmeter入门教程，文中通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友参考下吧
    2021-11-11

最新评论