Java计算文件MD5值几种实现方式(支持大文件)

 更新时间:2025年09月03日 10:49:57   作者:ecexy78041  
MD5是由Ron Rivest设计的一种加密哈希函数,它能够生成一个唯一的128位(16字节)哈希值,这篇文章主要介绍了Java计算文件MD5值几种实现方式(支持大文件)的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下

在 Java 中计算文件的 MD5 值,特别是对于大文件,需要使用流式处理以避免内存溢出。以下是几种实现方式:

方法1:使用 MessageDigest 和 FileInputStream(标准方式)

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;

public class FileMD5Calculator {
    
    public static String calculateMD5(File file) throws IOException, NoSuchAlgorithmException {
        MessageDigest md = MessageDigest.getInstance("MD5");
        try (FileInputStream fis = new FileInputStream(file)) {
            byte[] buffer = new byte[8192]; // 8KB缓冲区
            int length;
            while ((length = fis.read(buffer)) != -1) {
                md.update(buffer, 0, length);
            }
        }
        return bytesToHex(md.digest());
    }

    private static String bytesToHex(byte[] bytes) {
        StringBuilder hexString = new StringBuilder();
        for (byte b : bytes) {
            String hex = Integer.toHexString(0xff & b);
            if (hex.length() == 1) {
                hexString.append('0');
            }
            hexString.append(hex);
        }
        return hexString.toString();
    }

    public static void main(String[] args) {
        try {
            File file = new File("large_file.zip");
            String md5 = calculateMD5(file);
            System.out.println("MD5: " + md5);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

方法2:使用 Apache Commons Codec(简化版)

如果你项目中已经使用了 Apache Commons Codec,可以使用更简洁的方式:

import org.apache.commons.codec.digest.DigestUtils;

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;

public class FileMD5Calculator {
    
    public static String calculateMD5(File file) throws IOException {
        try (FileInputStream fis = new FileInputStream(file)) {
            return DigestUtils.md5Hex(fis);
        }
    }

    public static void main(String[] args) {
        try {
            File file = new File("large_file.zip");
            String md5 = calculateMD5(file);
            System.out.println("MD5: " + md5);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

方法3:使用 Java NIO(高性能版)

import java.io.IOException;
import java.nio.ByteBuffer;
import java.nio.channels.FileChannel;
import java.nio.file.Path;
import java.nio.file.StandardOpenOption;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;

public class FileMD5Calculator {
    
    public static String calculateMD5(Path path) throws IOException, NoSuchAlgorithmException {
        MessageDigest md = MessageDigest.getInstance("MD5");
        try (FileChannel channel = FileChannel.open(path, StandardOpenOption.READ)) {
            ByteBuffer buffer = ByteBuffer.allocateDirect(8192); // 直接缓冲区
            while (channel.read(buffer) != -1) {
                buffer.flip();
                md.update(buffer);
                buffer.clear();
            }
        }
        return bytesToHex(md.digest());
    }

    private static String bytesToHex(byte[] bytes) {
        StringBuilder hexString = new StringBuilder();
        for (byte b : bytes) {
            String hex = Integer.toHexString(0xff & b);
            if (hex.length() == 1) {
                hexString.append('0');
            }
            hexString.append(hex);
        }
        return hexString.toString();
    }

    public static void main(String[] args) {
        try {
            Path path = Path.of("large_file.zip");
            String md5 = calculateMD5(path);
            System.out.println("MD5: " + md5);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

方法4:使用 Guava 库

如果你使用 Google Guava 库:

import com.google.common.hash.Hashing;
import com.google.common.io.Files;

import java.io.File;
import java.io.IOException;

public class FileMD5Calculator {
    
    public static String calculateMD5(File file) throws IOException {
        return Files.hash(file, Hashing.md5()).toString();
    }

    public static void main(String[] args) {
        try {
            File file = new File("large_file.zip");
            String md5 = calculateMD5(file);
            System.out.println("MD5: " + md5);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

性能比较

  • 标准方式(方法1):适用于大多数场景,性能良好

  • Apache Commons Codec(方法2):代码最简洁,性能稍逊于标准方式

  • NIO 方式(方法3):处理大文件性能最佳,但代码稍复杂

  • Guava 方式(方法4):简洁但需要引入额外依赖

注意事项

  • 缓冲区大小:8KB(8192字节)是一个经验值,可以根据实际情况调整

  • 大文件处理:所有方法都支持大文件,因为它们都是流式处理

  • 异常处理:需要处理 IOException 和 NoSuchAlgorithmException

  • 文件锁定:计算过程中文件会被锁定,无法被其他程序修改

  • MD5 安全性:MD5 已不推荐用于安全敏感场景,仅适用于校验文件完整性

选择哪种方法取决于你的项目环境和需求。如果项目已经使用了 Apache Commons Codec 或 Guava,使用相应的方法会更方便;否则,标准方式或 NIO 方式都是不错的选择。

总结

到此这篇关于Java计算文件MD5值几种实现方式(支持大文件)的文章就介绍到这了,更多相关Java计算文件MD5值内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 在Map中实现key唯一不重复操作

    在Map中实现key唯一不重复操作

    这篇文章主要介绍了在Map中实现key唯一不重复操作,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-08-08
  • 如何修改logback.xml配置文件在resource以外的位置

    如何修改logback.xml配置文件在resource以外的位置

    这篇文章主要介绍了如何修改logback.xml配置文件在resource以外的位置,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-02-02
  • 如何在 Spring Boot 中配置和使用 CSRF 保护

    如何在 Spring Boot 中配置和使用 CSRF 保护

    CSRF是一种网络攻击,它利用已认证用户的身份来执行未经用户同意的操作,Spring Boot 提供了内置的 CSRF 保护机制,可以帮助您防止这种类型的攻击,这篇文章主要介绍了Spring Boot 中的 CSRF 保护配置的使用方法,需要的朋友可以参考下
    2023-09-09
  • SWT(JFace) 体验之FontRegistry

    SWT(JFace) 体验之FontRegistry

    测试代码如下:
    2009-06-06
  • Maven环境安装配置和新建项目介绍

    Maven环境安装配置和新建项目介绍

    这篇文章介绍了Maven环境安装配置和新建项目介绍,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-12-12
  • Java中JDBC事务与JTA分布式事务总结与区别

    Java中JDBC事务与JTA分布式事务总结与区别

    Java事务的类型有三种:JDBC事务、JTA(Java Transaction API)事务、容器事务,本文详细介绍了JDBC事务与JTA分布式事务,有需要的可以了解一下。
    2016-11-11
  • Springboot+Mybatis-plus不使用SQL语句进行多表添加操作及问题小结

    Springboot+Mybatis-plus不使用SQL语句进行多表添加操作及问题小结

    这篇文章主要介绍了在Springboot+Mybatis-plus不使用SQL语句进行多表添加操作,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2023-04-04
  • java中addMouseListener()方法的使用

    java中addMouseListener()方法的使用

    这篇文章主要介绍了java中addMouseListener()方法的使用,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-12-12
  • 使用webmagic实现爬虫程序示例分享

    使用webmagic实现爬虫程序示例分享

    这篇文章主要介绍了使用webmagic实现爬虫程序示例,需要的朋友可以参考下
    2014-04-04
  • Java synchronized最细讲解

    Java synchronized最细讲解

    synchronized是Java语言的关键字,当它用来修饰一个方法或者一个代码块的时候,能够保证在同一时刻最多只有一个线程执行该段代码。本文给大家介绍java中 synchronized的用法,对本文感兴趣的朋友一起看看吧
    2021-09-09

最新评论