Java实现较大二进制文件的读、写方法

 更新时间:2017年02月21日 14:06:39   作者:琐碎之人  
本篇文章主要介绍了Java实现较大二进制文件的读、写方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧

由于项目需要,需要对二进制文件进行读写、转换。

文件说明:由其他程序得到的二进制文件,文件内容为:包含23543个三角形、13270个顶点的三角网所对应的721组流速矢量(u、v)文件,通俗些说,一条数据包含两个双精度型的数值,每组数组包含23543条数据,如果以一个双精度数值为单位,则总共有23543 * 721 * 2 =33,949,006条数据。由Fortran程序以每 8 Byte存储一个数值的二进制文件存储,最终文件大小为下图所示:

              

测试:从该文件读出数据之后,转换为十进制,存储到另一个文件中。

/**
 * 针对大文件存储,请依次调用beginSave、AddSave、endSave。
 * 
 * @author CK
 *
 */
public class DataUtil {

  DataOutputStream BinaryOut=null;
  BufferedWriter TextOut=null;
  String FilePath=null;
  enum SaveFileType{Text,Binary};
  SaveFileType SaveFileType;

  /**
   * double转byte[]
   * 
   * @param d
   * @return
   */
  public static byte[] double2Bytes(double d) {
    long value = Double.doubleToRawLongBits(d);
    byte[] byteRet = new byte[8];
    for (int i = 0; i < 8; i++) {
      byteRet[i] = (byte) ((value >> 8 * i) & 0xff);
    }
    return byteRet;
  }

  /**
   * byte[]转double
   * 
   * @param arr
   * @return
   */
  public static double bytes2Double(byte[] arr) {
    long value = 0;
    for (int i = 0; i < 8; i++) {
      value |= ((long) (arr[i] & 0xff)) << (8 * i);
    }
    return Double.longBitsToDouble(value);
  }
  /**
   * 大型数据存储之开始存储
   * @param FilePath 文件路径
   * @param saveFileType 保存的文件类型,文本文件、双精度所存的二进制文件
   * @return
   * @throws IOException
   */
  public boolean BeginSave(String FilePath,SaveFileType saveFileType) throws IOException {
    if (FilePath == "" || FilePath == null) {
      System.out.println("the SavePath is null.");
      return false;
    }
    this.FilePath=FilePath;
    this.SaveFileType=saveFileType;
    File dataFile = new File(FilePath);
    if (!dataFile.getParentFile().exists()) {
      dataFile.getParentFile().mkdirs();
    }
    if (dataFile.exists()) {
      dataFile.delete();
    }
    dataFile.createNewFile();
    switch(this.SaveFileType){
    case Text:
      TextOut= new BufferedWriter(new FileWriter(dataFile,true));
      break;
    case Binary:
      BinaryOut = new DataOutputStream(new FileOutputStream(dataFile,true));
      break;
    default:
      break;
      
    }    
    return true;
  }
/**
 * 大型文件存储之追加存储
 * @param DataStr 若是文本存储则无要求,若是双精度的二进制文件,以若干空格隔开
 * @return
 * @throws IOException
 */
  public boolean AddSave(String DataStr) throws IOException{
    switch(this.SaveFileType){
    case Text:
      this.TextOut.append(DataStr);
      break;
    case Binary:
      DataStr=DataStr.trim();
      String[] dataArray=DataStr.split("\\s+");
      for(int i=0;i<dataArray.length;i++){
        this.BinaryOut.write(double2Bytes(Double.parseDouble(dataArray[i])));
      }          
      break;
    default:
      break;
    
    }
    
    return true;
  }
  /**
   * 大型文件存储之结束保存,清空缓存、关闭文件。
   * @return
   * @throws IOException
   */
  public boolean EndSave() throws IOException{
    switch(this.SaveFileType){
    case Text:
      this.TextOut.flush();
      this.TextOut.close();
      break;
    case Binary:
      this.BinaryOut.flush();
      this.BinaryOut.close();
      break;
    default:
      break;    
    }
    
    return true;
  }
 /**
   * 将字符串保存为文本文件(一次完成)
   * 
   * @param DataStr
   *      文件内容
   * @param SavePath
   *      文件路径,包含文件名、后缀
   * @return
   * @throws IOException
   */
  public boolean saveTextFile(String DataStr, String SavePath)
      throws IOException {
    if (DataStr == "" || DataStr == null) {
      System.out.println("the dataStr is null.");
      return false;
    }
    if (SavePath == "" || SavePath == null) {
      System.out.println("the SavePath is null.");
      return false;
    }
    File dataFile = new File(SavePath);
    if (!dataFile.getParentFile().exists()) {
      dataFile.getParentFile().mkdirs();
    }
    if (dataFile.exists()) {
      dataFile.delete();
    }
    dataFile.createNewFile();
    BufferedWriter out;

    out = new BufferedWriter(new FileWriter(dataFile));

    out.append(DataStr);
    out.flush();
    out.close();

    return true;
  }

  /**
   * 双精度存为二进制数据(一次存储)
   * 
   * @param DataStr 双精度数据组成的字符串,以若干空格隔开
   * @param OutputPath
   * @return
   * @throws IOException
   */
  public boolean saveBinaryFile(String DataStr, String OutputPath) throws IOException {

    if (DataStr == "" || DataStr == null) {
      System.out.println("the dataStr is null.");
      return false;
    }
    if (OutputPath == "" || OutputPath == null) {
      System.out.println("the OutputPath is null.");
      return false;
    }
    File dataFile = new File(OutputPath);

    if (!dataFile.getParentFile().exists()) {
      dataFile.getParentFile().mkdirs();
    }
    if (dataFile.exists()) {
      dataFile.delete();
    }
    dataFile.createNewFile();
    DataOutputStream out;
    out = new DataOutputStream(new FileOutputStream(dataFile));
    // 数据处理
    DataStr=DataStr.trim();
    String[] dataArray=DataStr.split("\\s+");
    for(int i=0;i<dataArray.length;i++){
      out.write(double2Bytes(Double.parseDouble(dataArray[i])));
    }    
    out.flush();
    out.close();
    return true;

  }
}

代码说明:其中byte[]与double互转为在互联网上查到的方法,具体是哪位大神的我忘记了,在这里为了记录就贴出来啦,上述代码包含了处理小型文件时,将所有内容存在缓存中,之后再一次性写入文本文件、二进制文件中的方法,还包含了对较大型文件的读写方法,下面是自己的一个读写测试。

/**
 * 测试二进制大文件读写(200M左右)
 * @author ck
 *
 */
public class FileTest {
  static String inputFilePath=""; //输入文件路径,包含文件名后缀
  static String outputFilePath=""; //输出文件名,包含文件名后缀
  
  public static void file2file() throws IOException{
    DataUtil dataUtil=new DataUtil(); 
     DataInputStream br=new DataInputStream( 
         new BufferedInputStream( 
         new FileInputStream(inputFilePath))); 
        dataUtil.BeginSave(outputFilePath, SaveFileType.Text); //初始化,创建文件,采用文件追加存储的思路
         byte[] oneData=new byte[8];
         int i=0,count =0 ;
        while(br.read(oneData, 0, 8)!=-1){  
          i=i+1;
          dataUtil.AddSave(String.valueOf(DataUtil.bytes2Double(oneData)));          
          if(i/23543==0){
            count++;
            System.out.println(count+"\n");

          }
        }
        dataUtil.EndSave();    //将还在缓存中的数据写入到文件中,关闭文件。 
  }
}

 此次测试代码很快就run完了,但是输出文件的生成大概用了近半分钟(刻意秒表计时了一次),尝试用一次性读写的办法,卡很久,也没有出结果。所得的十进制文本文件,大小为这么多:

我想,原来Fortran程序作者的初衷应该是觉得二进制存储比十进制节省空间吧,事实上也确实节省了一半多的空间。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • JavaFX 监听窗口关闭事件实例详解

    JavaFX 监听窗口关闭事件实例详解

    这篇文章主要介绍了JavaFX 监听窗口关闭事件实例详解的相关资料,需要的朋友可以参考下
    2017-05-05
  • SpringBoot项目在启动后自动关闭的实现

    SpringBoot项目在启动后自动关闭的实现

    我们在写spring boot web项目时,有时会遇到启动后立即关闭的情况, 本文主要介绍了SpringBoot项目在启动后自动关闭的实现,具有一定的参考价值,感兴趣的可以了解一下
    2024-01-01
  • java正则表达式匹配规则超详细总结

    java正则表达式匹配规则超详细总结

    正则表达式并不仅限于某一种语言,但是在每种语言中有细微的差别,下面这篇文章主要给大家介绍了关于java正则表达式匹配规则的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-10-10
  • Java中BigDecimal类的简单用法

    Java中BigDecimal类的简单用法

    这篇文章主要介绍了Java中BigDecimal类的简单用法,是Java应用程序开发中非常实用的技巧,本文以实例形式对此进行了简单的分析,需要的朋友可以参考下
    2014-09-09
  • 基于java文本复制的7种方式总结

    基于java文本复制的7种方式总结

    下面小编就为大家分享一篇基于java文本复制的7种方式总结,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-01-01
  • Java实现按权重随机数

    Java实现按权重随机数

    这篇文章主要介绍了Java实现按权重随机数,本文给出了提出问题、分析问题、解决问题三个步骤,需要的朋友可以参考下
    2015-04-04
  • 浅谈 java中ArrayList、Vector、LinkedList的区别联系

    浅谈 java中ArrayList、Vector、LinkedList的区别联系

    ArrayList,Vector底层是由数组实现,LinkedList底层是由双线链表实现,从底层的实现可以得出性能问题ArrayList,Vector插入速度较慢,查询速度较快,而LinkedList插入速度较快,而查询速度较慢。再者由于Vevtor使用了线程安全锁,所以ArrayList的运行效率高于Vector
    2015-11-11
  • JavaMail与Spring整合过程解析

    JavaMail与Spring整合过程解析

    这篇文章主要介绍了JavaMail与Spring整合过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-11-11
  • Spring Boot整合Spring Security的示例代码

    Spring Boot整合Spring Security的示例代码

    这篇文章主要介绍了Spring Boot整合Spring Security的示例代码,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-04-04
  • java开发微信公众号支付

    java开发微信公众号支付

    这篇文章主要给大家结合微信支付接口开发的实践,从获取用户授权到各主要接口的使用方法等方面介绍微信支付的关键点技术,有需要的小伙伴可以参考下
    2015-08-08

最新评论