java IO流将一个文件拆分为多个子文件代码示例

 更新时间:2017年12月22日 13:58:45   作者:人圭先生  
这篇文章主要介绍了java IO流将一个文件拆分为多个子文件代码示例,具有一定借鉴价值,需要的朋友可以参考下。

文件分割与合并是一个常见需求,比如:上传大文件时,可以先分割成小块,传到服务器后,再进行合并。很多高大上的分布式文件系统(比如:google的GFS、taobao的TFS)里,也是按block为单位,对文件进行分割或合并。

看下基本思路:

如果有一个大文件,指定分割大小后(比如:按1M切割)

step 1:

先根据原始文件大小、分割大小,算出最终分割的小文件数N

step 2:

在磁盘上创建这N个小文件

step 3:

开多个线程(线程数=分割文件数),每个线程里,利用RandomAccessFile的seek功能,将读取指针定位到原文件里每一段的段首位置,然后向后读取指定大小(即:分割块大小),最终写入对应的分割文件,因为多线程并行处理,各写各的小文件,速度相对还是比较快的。

下面代码是将一个文件拆分为多个子文件,每个大小是100K

package testIO;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.util.Arrays;
public class subStream {
	public static void main(String[] args) {
		//先将源文件读取到内存中 
		int eachSize=100*1024;
		File srcFile =new File("F:/test/test.txt");
		//创建一个文件对象 
		splitFile(srcFile,eachSize);
	}
	public static void splitFile(File srcFile,int eachSize){
		//判断文件是否符合拆分要求 
		if(srcFile.length()==0){
			throw new RuntimeException("文件不符合拆分要求");
		}
		byte[] fileContent= new byte[(int) srcFile.length()];
		try {
			//将文件内容读取到内存中 
			FileInputStream fis=new FileInputStream(srcFile);
			fis.read(fileContent);
			fis.close();
		}
		catch (Exception e) {
			e.printStackTrace();
		}
		//计算要次要拆分为多少份 
		int fileNumber;
		if(fileContent.length%eachSize==0){
			fileNumber = fileContent.length/eachSize;
		} else{
			fileNumber = fileContent.length/eachSize+1;
		}
		for (int i=0;i<fileNumber;i++){
			String fileName = srcFile.getName()+"-"+i+".txt";
			File fi = new File(srcFile.getParent(), fileName);
			//在当前文件路径下创建拆分的文件 
			byte[] eachContent;
			//将源文件内容复制到拆分的文件中 
			if(i!=fileNumber-1){
				eachContent = Arrays.copyOfRange(fileContent, eachSize*i, eachSize*(i+1));
			} else{
				eachContent = Arrays.copyOfRange(fileContent, eachSize*i, fileContent.length);
			}
			try {
				FileOutputStream fos = new FileOutputStream(fi);
				fos.write(eachContent);
				fos.close();
				System.out.printf("输出子文件 %s,其大小是 %d,每个的大小是%d\n",fi.getAbsoluteFile(),fi.length(),eachContent.length);
			}
			catch (Exception e) {
				// TODO: handle exception 
				e.printStackTrace();
			}
		}
	}
}

总结

以上就是本文关于java IO流将一个文件拆分为多个子文件代码示例的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

相关文章

  • Java求解两个非负整数最大公约数算法【循环法与递归法】

    Java求解两个非负整数最大公约数算法【循环法与递归法】

    这篇文章主要介绍了Java求解两个非负整数最大公约数算法,结合实例形式分析了java求解最大公约数的实现方法,并附带了循环法与递归法算法思路,需要的朋友可以参考下
    2018-03-03
  • Java 找不到或无法加载主类的修复方法

    Java 找不到或无法加载主类的修复方法

    这篇文章主要介绍了Java 找不到或无法加载主类的修复方法,帮助大家更好的理解和使用Java,感兴趣的朋友可以了解下
    2021-02-02
  • 基于Jackson实现API接口数据脱敏的示例详解

    基于Jackson实现API接口数据脱敏的示例详解

    用户的一些敏感数据,例如手机号、邮箱、身份证等信息,在数据库以明文存储,但在接口返回数据给浏览器(或三方客户端)时,希望对这些敏感数据进行脱敏,所以本文就给大家介绍以恶如何利用Jackson实现API接口数据脱敏,需要的朋友可以参考下
    2023-08-08
  • try-with-resource优雅关闭io流的方法

    try-with-resource优雅关闭io流的方法

    这篇文章主要给大家介绍了关于try-with-resource优雅关闭io流的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-01-01
  • Spring核心思想之浅谈IoC容器与依赖倒置(DI)

    Spring核心思想之浅谈IoC容器与依赖倒置(DI)

    文章介绍了Spring的IoC和DI机制,以及MyBatis的动态代理,通过注解和反射,Spring能够自动管理对象的创建和依赖注入,而MyBatis则通过动态代理实现了接口方法到数据库操作的映射,文章详细解释了Spring和MyBatis的工作原理,并通过示例代码展示了它们的结合使用方式
    2025-01-01
  • 如何使用ActiveMQ中间件方式发送邮件

    如何使用ActiveMQ中间件方式发送邮件

    这篇文章主要介绍了如何使用ActiveMQ中间件方式发送邮件的操作,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-07-07
  • Java Swing中的文本框(JTextField)与文本区(JTextArea)使用实例

    Java Swing中的文本框(JTextField)与文本区(JTextArea)使用实例

    这篇文章主要介绍了Java Swing中的文本框(JTextField)与文本区(JTextArea)使用实例,Swing是一个用于开发Java应用程序用户界面的开发工具包,需要的朋友可以参考下
    2014-10-10
  • 使用Jackson实现Map与Bean互转方式

    使用Jackson实现Map与Bean互转方式

    这篇文章主要介绍了使用Jackson实现Map与Bean互转方式,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-08-08
  • Java以命令模式设计模式

    Java以命令模式设计模式

    这篇文章主要详细的介绍Java以命令的模式设计模式,是用场景、优缺点等都作有详细介绍,需要的朋友请具体参考下面文章内容
    2021-09-09
  • Java内存模型详解

    Java内存模型详解

    JMM全称Java Memory Model, 中文翻译Java内存模型,一种符合内存模型规范的,屏蔽了各种硬件和操作系统的访问差异的,本详细介绍了Java内存模型,感兴趣的同学可以参考一下
    2023-04-04

最新评论