Java计算文件MD5值几种实现方式(支持大文件)

 更新时间:2025年09月03日 10:49:57   作者:ecexy78041  
MD5是由Ron Rivest设计的一种加密哈希函数,它能够生成一个唯一的128位(16字节)哈希值,这篇文章主要介绍了Java计算文件MD5值几种实现方式(支持大文件)的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下

在 Java 中计算文件的 MD5 值,特别是对于大文件,需要使用流式处理以避免内存溢出。以下是几种实现方式:

方法1:使用 MessageDigest 和 FileInputStream(标准方式)

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;

public class FileMD5Calculator {
    
    public static String calculateMD5(File file) throws IOException, NoSuchAlgorithmException {
        MessageDigest md = MessageDigest.getInstance("MD5");
        try (FileInputStream fis = new FileInputStream(file)) {
            byte[] buffer = new byte[8192]; // 8KB缓冲区
            int length;
            while ((length = fis.read(buffer)) != -1) {
                md.update(buffer, 0, length);
            }
        }
        return bytesToHex(md.digest());
    }

    private static String bytesToHex(byte[] bytes) {
        StringBuilder hexString = new StringBuilder();
        for (byte b : bytes) {
            String hex = Integer.toHexString(0xff & b);
            if (hex.length() == 1) {
                hexString.append('0');
            }
            hexString.append(hex);
        }
        return hexString.toString();
    }

    public static void main(String[] args) {
        try {
            File file = new File("large_file.zip");
            String md5 = calculateMD5(file);
            System.out.println("MD5: " + md5);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

方法2:使用 Apache Commons Codec(简化版)

如果你项目中已经使用了 Apache Commons Codec,可以使用更简洁的方式:

import org.apache.commons.codec.digest.DigestUtils;

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;

public class FileMD5Calculator {
    
    public static String calculateMD5(File file) throws IOException {
        try (FileInputStream fis = new FileInputStream(file)) {
            return DigestUtils.md5Hex(fis);
        }
    }

    public static void main(String[] args) {
        try {
            File file = new File("large_file.zip");
            String md5 = calculateMD5(file);
            System.out.println("MD5: " + md5);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

方法3:使用 Java NIO(高性能版)

import java.io.IOException;
import java.nio.ByteBuffer;
import java.nio.channels.FileChannel;
import java.nio.file.Path;
import java.nio.file.StandardOpenOption;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;

public class FileMD5Calculator {
    
    public static String calculateMD5(Path path) throws IOException, NoSuchAlgorithmException {
        MessageDigest md = MessageDigest.getInstance("MD5");
        try (FileChannel channel = FileChannel.open(path, StandardOpenOption.READ)) {
            ByteBuffer buffer = ByteBuffer.allocateDirect(8192); // 直接缓冲区
            while (channel.read(buffer) != -1) {
                buffer.flip();
                md.update(buffer);
                buffer.clear();
            }
        }
        return bytesToHex(md.digest());
    }

    private static String bytesToHex(byte[] bytes) {
        StringBuilder hexString = new StringBuilder();
        for (byte b : bytes) {
            String hex = Integer.toHexString(0xff & b);
            if (hex.length() == 1) {
                hexString.append('0');
            }
            hexString.append(hex);
        }
        return hexString.toString();
    }

    public static void main(String[] args) {
        try {
            Path path = Path.of("large_file.zip");
            String md5 = calculateMD5(path);
            System.out.println("MD5: " + md5);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

方法4:使用 Guava 库

如果你使用 Google Guava 库:

import com.google.common.hash.Hashing;
import com.google.common.io.Files;

import java.io.File;
import java.io.IOException;

public class FileMD5Calculator {
    
    public static String calculateMD5(File file) throws IOException {
        return Files.hash(file, Hashing.md5()).toString();
    }

    public static void main(String[] args) {
        try {
            File file = new File("large_file.zip");
            String md5 = calculateMD5(file);
            System.out.println("MD5: " + md5);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

性能比较

  • 标准方式(方法1):适用于大多数场景,性能良好

  • Apache Commons Codec(方法2):代码最简洁,性能稍逊于标准方式

  • NIO 方式(方法3):处理大文件性能最佳,但代码稍复杂

  • Guava 方式(方法4):简洁但需要引入额外依赖

注意事项

  • 缓冲区大小:8KB(8192字节)是一个经验值,可以根据实际情况调整

  • 大文件处理:所有方法都支持大文件,因为它们都是流式处理

  • 异常处理:需要处理 IOException 和 NoSuchAlgorithmException

  • 文件锁定:计算过程中文件会被锁定,无法被其他程序修改

  • MD5 安全性:MD5 已不推荐用于安全敏感场景,仅适用于校验文件完整性

选择哪种方法取决于你的项目环境和需求。如果项目已经使用了 Apache Commons Codec 或 Guava,使用相应的方法会更方便;否则,标准方式或 NIO 方式都是不错的选择。

总结

到此这篇关于Java计算文件MD5值几种实现方式(支持大文件)的文章就介绍到这了,更多相关Java计算文件MD5值内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 基于Spring Web Jackson对RequestBody反序列化失败的解决

    基于Spring Web Jackson对RequestBody反序列化失败的解决

    这篇文章主要介绍了基于Spring Web Jackson对RequestBody反序列化失败的解决,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-09-09
  • Java实例化类详解

    Java实例化类详解

    学习JAVA这门面向对象的语言,实质就是不断地创建类,并把类实例化为对象并调用方法。对于初学JAVA的人总搞清楚对象是如何实例化的,假如类之间存在继承关系,那就更糊涂了。下面我们通过两个例题来说明对象的实例化过程。
    2016-03-03
  • JDBC插入数据返回数据主键代码实例

    JDBC插入数据返回数据主键代码实例

    这篇文章主要介绍了JDBC插入数据返回数据主键代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-11-11
  • Java Web学习之Cookie和Session的深入理解

    Java Web学习之Cookie和Session的深入理解

    这篇文章主要给大家介绍了关于Java Web学习之Cookie和Session的相关资料,需要的朋友可以参考下
    2018-04-04
  • Java中NIO的三大核心组件详细解析

    Java中NIO的三大核心组件详细解析

    这篇文章主要介绍了Java中NIO的三大核心组件详细解析,NIO的Buffer类是一个抽象类,位于java.nio包中,提供了一组更加有效的方法,用来进行写入和读取的交替访问,本质上是一个内存块,既可以写入数据,也可以从中读取数据,需要的朋友可以参考下
    2023-12-12
  • SpringBoot中实现分布式的Session共享的详细教程

    SpringBoot中实现分布式的Session共享的详细教程

    这篇文章主要介绍了SpringBoot中实现分布式的Session共享,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-06-06
  • Java getParameter()获取数据为空的问题

    Java getParameter()获取数据为空的问题

    这篇文章主要介绍了Java getParameter()获取数据为空的问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-03-03
  • 关于Java8 parallelStream并发安全的深入讲解

    关于Java8 parallelStream并发安全的深入讲解

    这篇文章主要给大家介绍了关于Java8 parallelStream并发安全的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2018-10-10
  • 使用Spring自身提供的地址匹配工具匹配URL操作

    使用Spring自身提供的地址匹配工具匹配URL操作

    这篇文章主要介绍了使用Spring自身提供的地址匹配工具匹配URL操作,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-09-09
  • 23种设计模式(18)java备忘录模式

    23种设计模式(18)java备忘录模式

    这篇文章主要为大家详细介绍了23种设计模式之java备忘录模式,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-01-01

最新评论