Java GZip 基于内存实现压缩和解压的方法

 更新时间:2020年08月22日 14:35:31   作者:超哥说码  
这篇文章主要介绍了Java GZip 基于内存实现压缩和解压的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

  GZip是常用的无损压缩算法实现,在Linux中较为常见,像我们在Linux安装软件时,基本都是.tar.gz格式。.tar.gz格式文件需要先对目录内文件进行tar压缩,然后使用GZip进行压缩。

  本文针对基于磁盘的压缩和解压进行演示,演示只针对一层目录结构进行,多层目录只需递归操作进行即可。

  Maven依赖

  org.apache.commons: commons-compress: 1.19: 此依赖封装了很多压缩算法相关的工具类,提供的API还是相对比较底层,我们今天在它的基础上做进一步封装。

<dependency>
	<groupId>org.apache.commons</groupId>
	<artifactId>commons-compress</artifactId>
	<version>1.19</version>
</dependency>
<dependency>
 <groupId>log4j</groupId>
 <artifactId>log4j</artifactId>
 <version>1.2.17</version>
</dependency>

  工具类

  在实际应用中,对应不同需求,可能需要生成若干文件,然后将其压缩。在某些应用中,文件较小、文件数量较少且较为固定,频繁与磁盘操作,会带来不必要的效率影响。

  工具类针对.tar.gz格式提供了compressByTar、decompressByTar、compressByGZip、decompressByGZip四个方法,用于处理.tar.gz格式压缩文件,代码如下:

package com.arhorchin.securitit.compress.gzip;

import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

import org.apache.commons.compress.archivers.tar.TarArchiveEntry;
import org.apache.commons.compress.archivers.tar.TarArchiveInputStream;
import org.apache.commons.compress.archivers.tar.TarArchiveOutputStream;
import org.apache.commons.compress.compressors.gzip.GzipCompressorInputStream;
import org.apache.commons.compress.compressors.gzip.GzipCompressorOutputStream;
import org.apache.commons.io.IOUtils;

/**
 * @author Securitit.
 * @note 基于内存以ZIP算法进行压缩和解压工具类.
 */
public class GZipRamUtil {

 /**
 * 使用TAR算法进行压缩.
 * @param sourceFileBytesMap 待压缩文件的Map集合.
 * @return 压缩后的TAR文件字节数组.
 * @throws Exception 压缩过程中可能发生的异常,若发生异常,则返回的字节数组长度为0.
 */
 public static byte[] compressByTar(Map<String, byte[]> tarFileBytesMap) throws Exception {
 // 变量定义.
 ByteArrayOutputStream tarBaos = null;
 TarArchiveOutputStream tarTaos = null;
 TarArchiveEntry tarTae = null;

 try {
  // 压缩变量初始化.
  tarBaos = new ByteArrayOutputStream();
  tarTaos = new TarArchiveOutputStream(tarBaos);
  // // 将文件添加到TAR条目中.
  for (Map.Entry<String, byte[]> fileEntry : tarFileBytesMap.entrySet()) {
  tarTae = new TarArchiveEntry(fileEntry.getKey());
  tarTae.setName(fileEntry.getKey());
  tarTae.setSize(fileEntry.getValue().length);
  tarTaos.putArchiveEntry(tarTae);
  tarTaos.write(fileEntry.getValue());
  tarTaos.closeArchiveEntry();
  }
 } finally {
  if (tarTaos != null) {
  tarTaos.close();
  }
  if (null == tarBaos) {
  tarBaos = new ByteArrayOutputStream();
  }
 }
 return tarBaos.toByteArray();
 }

 /**
 * 使用TAR算法进行解压.
 * @param sourceZipFileBytes TAR文件字节数组.
 * @return 解压后的文件Map集合.
 * @throws Exception 解压过程中可能发生的异常,若发生异常,返回Map集合长度为0.
 */
 public static Map<String, byte[]> decompressByTar(byte[] sourceTarFileBytes) throws Exception {
 // 变量定义.
 TarArchiveEntry sourceTarTae = null;
 ByteArrayInputStream sourceTarBais = null;
 TarArchiveInputStream sourceTarTais = null;
 Map<String, byte[]> targetFilesFolderMap = null;

 try {
  // 解压变量初始化.
  targetFilesFolderMap = new HashMap<String, byte[]>();
  sourceTarBais = new ByteArrayInputStream(sourceTarFileBytes);
  sourceTarTais = new TarArchiveInputStream(sourceTarBais);
  // 条目解压缩至Map中.
  while ((sourceTarTae = sourceTarTais.getNextTarEntry()) != null) {
  targetFilesFolderMap.put(sourceTarTae.getName(), IOUtils.toByteArray(sourceTarTais));
  }
 } finally {
  if (sourceTarTais != null)
  sourceTarTais.close();
 }
 return targetFilesFolderMap;
 }

 /**
 * 使用GZIP算法进行压缩.
 * @param sourceFileBytesMap 待压缩文件的Map集合.
 * @return 压缩后的GZIP文件字节数组.
 * @throws Exception 压缩过程中可能发生的异常,若发生异常,则返回的字节数组长度为0.
 */
 public static byte[] compressByGZip(byte[] sourceFileBytes) throws IOException {
 // 变量定义.
 ByteArrayOutputStream gzipBaos = null;
 GzipCompressorOutputStream gzipGcos = null;

 try {
  // 压缩变量初始化.
  gzipBaos = new ByteArrayOutputStream();
  gzipGcos = new GzipCompressorOutputStream(gzipBaos);
  // 采用commons-compress提供的方式进行压缩.
  gzipGcos.write(sourceFileBytes);
 } finally {
  if (gzipGcos != null) {
  gzipGcos.close();
  }
  if (null == gzipBaos) {
  gzipBaos = new ByteArrayOutputStream();
  }
 }
 return gzipBaos.toByteArray();
 }

 /**
 * 使用GZIP算法进行解压.
 * @param sourceGZipFileBytes GZIP文件字节数组.
 * @return 解压后的文件Map集合.
 * @throws Exception 解压过程中可能发生的异常,若发生异常,则返回的字节数组长度为0.
 */
 public static byte[] decompressByGZip(byte[] sourceGZipFileBytes) throws IOException {
 // 变量定义.
 ByteArrayOutputStream gzipBaos = null;
 ByteArrayInputStream sourceGZipBais = null;
 GzipCompressorInputStream sourceGZipGcis = null;

 try {
  // 解压变量初始化.
  gzipBaos = new ByteArrayOutputStream();
  sourceGZipBais = new ByteArrayInputStream(sourceGZipFileBytes);
  sourceGZipGcis = new GzipCompressorInputStream(sourceGZipBais);
  // 采用commons-compress提供的方式进行解压.
  gzipBaos.write(IOUtils.toByteArray(sourceGZipGcis));
 } finally {
  if (sourceGZipGcis != null)
  sourceGZipGcis.close();
 }
 return gzipBaos.toByteArray();
 }

}

工具类测试

  在Maven依赖引入正确的情况下,复制上面的代码到项目中,修改package,可以直接使用,下面我们对工具类进行简单测试。测试类代码如下:

package com.arhorchin.securitit.compress.gzip;

import java.io.File;
import java.util.HashMap;
import java.util.Map;

import org.apache.commons.io.FileUtils;

import com.arhorchin.securitit.compress.gzip.GZipRamUtil;

/**
 * @author Securitit.
 * @note GZipRamUtil工具类测试.
 */
public class GZipRamUtilTester {

 public static void main(String[] args) throws Exception {
 Map<String, byte[]> fileBytesMap = null;

 fileBytesMap = new HashMap<String, byte[]>();
 // 设置文件列表.
 File dirFile = new File("C:/Users/Administrator/Downloads/个人文件/2020-07-13/files");
 for (File file : dirFile.listFiles()) {
  fileBytesMap.put(file.getName(), FileUtils.readFileToByteArray(file));
 }

 byte[] ramBytes = GZipRamUtil.compressByTar(fileBytesMap);
 ramBytes = GZipRamUtil.compressByGZip(ramBytes);
 FileUtils.writeByteArrayToFile(new File("C:/Users/Administrator/Downloads/个人文件/2020-07-13/ram.tar.gz"), ramBytes);
 
 ramBytes = GZipRamUtil.decompressByGZip(ramBytes);
 fileBytesMap = GZipRamUtil.decompressByTar(ramBytes);
 System.out.println(fileBytesMap.size());
 }

}

  运行测试后,通过查看ram.tar.gz和控制台输出解压后文件数量,可以确认工具类运行结果无误。

  总结

  1) 在小文件、文件数量较小且较为固定时,提倡使用内存压缩和解压方式。使用内存换时间,减少频繁的磁盘操作。

  2) 在大文件、文件数量较大时,提倡使用磁盘压缩和解压方式。过大文件对服务会造成过度的负载,磁盘压缩和解压可以缓解这种压力。《Java GZip 基于磁盘实现压缩和解压

到此这篇关于Java GZip 基于内存实现压缩和解压的文章就介绍到这了,更多相关Java GZip 实现压缩和解压内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • ReentrantLock从源码解析Java多线程同步学习

    ReentrantLock从源码解析Java多线程同步学习

    这篇文章主要为大家介绍了ReentrantLock从源码解析Java多线程同步学习,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-04-04
  • idea中maven项目模块变成灰色原因及解决方案

    idea中maven项目模块变成灰色原因及解决方案

    这篇文章主要介绍了idea中maven项目模块变成灰色原因及解决方案,文中通过图文结合的方式给大家讲解的非常详细,对大家的学习或工作有一定的帮助,需要的朋友可以参考下
    2024-03-03
  • Spring的构造器注入全过程

    Spring的构造器注入全过程

    这篇文章主要介绍了Spring的构造器注入全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-09-09
  • 解决Mybatis-Plus操作分页后数据失效问题

    解决Mybatis-Plus操作分页后数据失效问题

    这篇文章主要介绍了解决Mybatis-Plus操作分页后数据失效问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-11-11
  • Java构建对象常用3种方法解析

    Java构建对象常用3种方法解析

    这篇文章主要介绍了Java构建对象常用3种方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-09-09
  • Spring Boot启动时调用自己的非web逻辑

    Spring Boot启动时调用自己的非web逻辑

    在spring Boot中,有些代码是WEB功能,例如API等,但是有些逻辑是非WEB,启动时就要调用并持续运行的,该如何加载自己的非WEB逻辑呢,下面通过实例代码给大家讲解,一起看看吧
    2017-07-07
  • 关于bigDecimal类的精度保留方法

    关于bigDecimal类的精度保留方法

    这篇文章主要介绍了关于bigDecimal类的精度保留方法,计算机存储的浮点数受存储bit位数影响,只能保证一定范围内精准,超过bit范围的只能取近似值,Java使用java.math.BigDecimal专门处理小数精度,需要的朋友可以参考下
    2023-07-07
  • Java基础之打印万年历的简单实现(案例)

    Java基础之打印万年历的简单实现(案例)

    下面小编就为大家带来一篇Java基础之打印万年历的简单实现(案例)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2016-07-07
  • springboot自动配置原理解析

    springboot自动配置原理解析

    这篇文章主要介绍了springboot自动配置原理解析,帮助大家更好的理解和学习使用springboot,感兴趣的朋友可以了解下
    2021-04-04
  • MyBatis中动态SQL语句@Provider的用法

    MyBatis中动态SQL语句@Provider的用法

    本文主要介绍了MyBatis中动态SQL语句@Provider的用法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-06-06

最新评论