基于Go语言实现压缩文件处理

 更新时间:2024年11月29日 08:53:55   作者:熬了夜的程序员  
在现代的应用开发中,处理压缩文件(如 .zip 格式)是常见的需求,本文将介绍如何使用 Go 语言封装一个 ziputil 包,来处理文件的压缩和解压操作,需要的可以了解下

Go 语言压缩文件处理

在现代的应用开发中,处理压缩文件(如 .zip 格式)是常见的需求。Go 语言提供了内置的 archive/zip 包来处理 .zip 文件的读写,但有时我们需要封装一些常用操作,使得代码更加简洁、易用。本文将介绍如何使用 Go 语言封装一个 ziputil 包,来处理文件的压缩和解压操作。

1. 压缩文件:Zip函数

在 Go 语言中,压缩文件通常需要使用 archive/zip 包。我们将对文件夹或文件进行遍历,创建一个新的 .zip 文件,并将文件或文件夹逐个添加到压缩包中。

package ziputil

import (
	"archive/zip"
	"go-admin/app/brush/utils"
	"sync"
	"io"
	"os"
	"path/filepath"
	log "github.com/go-admin-team/go-admin-core/logger"
)

// Zip 将指定的文件夹或文件压缩为 .zip 文件
func Zip(source, zipFile string) error {
	// 创建一个新的 zip 文件
	zipFileWriter, err := os.Create(zipFile)
	if err != nil {
		return err
	}
	defer func(zipFileWriter *os.File) {
		err := zipFileWriter.Close()
		if err != nil {
			log.Errorf("关闭 zip 文件失败: %s", err)
		}
	}(zipFileWriter)

	// 创建 zip 写入器
	zipWriter := zip.NewWriter(zipFileWriter)
	defer func(zipWriter *zip.Writer) {
		err := zipWriter.Close()
		if err != nil {
			log.Errorf("关闭 zip 写入器失败: %s", err)
		}
	}(zipWriter)

	// 获取源文件的绝对路径
	absSource, err := filepath.Abs(source)
	if err != nil {
		return err
	}

	// 遍历文件夹并添加到 zip 文件中
	return filepath.Walk(absSource, func(path string, info os.FileInfo, err error) error {
		if err != nil {
			return err
		}

		// 计算文件相对路径
		relPath, err := filepath.Rel(absSource, path)
		if err != nil {
			return err
		}

		// 如果是目录,则在 zip 文件中创建一个目录项
		if info.IsDir() {
			if relPath != "." {
				_, err := zipWriter.Create(relPath + "/")
				if err != nil {
					return err
				}
			}
			return nil
		}

		// 否则将文件添加到 zip 文件
		return addFileToZip(zipWriter, path, relPath)
	})
}

// addFileToZip 将单个文件添加到 zip 写入器
func addFileToZip(zipWriter *zip.Writer, file string, relPath string) error {
	f, err := os.Open(file)
	if err != nil {
		return err
	}
	defer func(f *os.File) {
		err := f.Close()
		if err != nil {
			log.Errorf("关闭文件失败: %s", err)
		}
	}(f)

	// 在 zip 文件中创建该文件
	writer, err := zipWriter.Create(relPath)
	if err != nil {
		return err
	}

	// 将文件内容写入 zip
	_, err = io.Copy(writer, f)
	if err != nil {
		return err
	}

	return nil
}

2. 解压文件:UnZip 函数

解压 .zip 文件时,我们需要将 .zip 文件中的每个文件提取到指定的目录中。UnZip 函数不仅能够提取文件,还能够处理文件夹结构,保证提取后的目录结构不丢失。

// UnZip 解压 zip 文件到目标目录
func UnZip(zipFile, destDir string) error {
	log.Debugf("解压文件: %s 到 %s", zipFile, destDir)
	r, err := zip.OpenReader(zipFile)
	if err != nil {
		return err
	}

	defer func(r *zip.ReadCloser) {
		err := r.Close()
		if err != nil {
			log.Errorf("关闭 zip 文件失败: %s", err)
		}
	}(r)

	log.Debugf("总共 %d 个文件", len(r.File))

	// 并发解压每个文件
	wg := sync.WaitGroup{}
	for _, f := range r.File {
		wg.Add(1)
		go func(rf *zip.File, w *sync.WaitGroup) {
			defer w.Done()
			if err := unzipFile(rf, destDir); err != nil {
				log.Errorf("解压文件 [%s] 失败: %v", rf.Name, err)
			}
		}(f, &wg)
	}

	wg.Wait()

	return nil
}

// unzipFile 解压单个文件到目标目录
func unzipFile(f *zip.File, destDir string) error {
	// 将文件名转换为 UTF-8
	filename := utils.ConvertToUTF8([]byte(f.Name))
	filePath := filepath.Join(destDir, filename)

	// 创建文件夹
	if f.FileInfo().IsDir() {
		return os.MkdirAll(filePath, os.ModePerm)
	}

	// 创建文件的父目录
	if err := os.MkdirAll(filepath.Dir(filePath), os.ModePerm); err != nil {
		log.Errorf("创建目录 [%s] 失败: %v", filepath.Dir(filePath), err)
		return err
	}

	// 打开文件
	file, err := f.Open()
	if err != nil {
		log.Errorf("打开文件 [%s] 失败: %v", filePath, err)
		return err
	}

	defer func(file io.ReadCloser) {
		err := file.Close()
		if err != nil {
			log.Errorf("关闭文件 [%s] 失败: %v", filePath, err)
		}
	}(file)

	// 创建文件
	outFile, err := os.OpenFile(filePath, os.O_WRONLY|os.O_CREATE|os.O_TRUNC, f.Mode())
	if err != nil {
		log.Errorf("创建文件 [%s] 失败: %v", filePath, err)
		return err
	}

	defer func(outFile *os.File) {
		err := outFile.Close()
		if err != nil {
			log.Errorf("关闭文件 [%s] 失败: %v", filePath, err)
		}
	}(outFile)

	// 将文件内容写入
	_, err = io.Copy(outFile, file)
	if err != nil {
		log.Errorf("复制文件 [%s] 失败: %v", filePath, err)
		return err
	}

	return nil
}

3. 小结

通过 ziputil 包,我们可以方便地进行文件和文件夹的压缩和解压操作。该包使用了 Go 内置的 archive/zip 包来处理 .zip 文件,并通过 sync.WaitGroup 实现了解压过程的并发处理,提高了解压效率。对于较大的压缩文件或包含大量文件的压缩包,使用并发处理可以显著提升性能。

到此这篇关于基于Go语言实现压缩文件处理的文章就介绍到这了,更多相关Go压缩文件内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Go可变参数函数的实现

    Go可变参数函数的实现

    可变参数函数是指函数参数的某个参数可有可无,即这个参数的个数可以为0会多个,可变参数函数参数在日常编程中大量使用,本文主要介绍了Go可变参数函数的实现,感兴趣的可以了解一下
    2023-12-12
  • 详解go 动态数组 二维动态数组

    详解go 动态数组 二维动态数组

    这篇文章主要介绍了go 动态数组 二维动态数组,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-07-07
  • 详解Go中Set的实现方式

    详解Go中Set的实现方式

    这篇文章主要介绍了详解Go中Set的实现方式,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-09-09
  • 一文带大家搞懂Go语言中的迭代器

    一文带大家搞懂Go语言中的迭代器

    迭代器是使用户可在容器对象上遍访的对象,设计人员使用此接口无需关心容器对象的内存分配的实现细节,本文主要为大家详细介绍一下Go语言中的迭代器的实现,需要的可以了解下
    2025-02-02
  • Golang环境变量设置和查看工具go env详解

    Golang环境变量设置和查看工具go env详解

    go env 是 Go 工具链中的一个命令,用于设置和查看当前 Golang 环境的相关信息,对于理解、编译和运行 Golang 程序非常有用,本文就给大家简单的介绍一下Golang环境变量设置和查看工具go env,需要的朋友可以参考下
    2023-07-07
  • 深入浅出Golang中的sync.Pool

    深入浅出Golang中的sync.Pool

    sync.Pool是可伸缩的,也是并发安全的,其大小仅受限于内存大小。本文主要为大家介绍一下Golang中sync.Pool的原理与使用,感兴趣的小伙伴可以了解一下
    2023-03-03
  • Go语言中sync.Cond使用详解

    Go语言中sync.Cond使用详解

    本文主要介绍了Go语言中sync.Cond使用详解,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-09-09
  • Go语言中使用gorm小结

    Go语言中使用gorm小结

    这篇文章主要给大家介绍了Go语言中如何使用gorm,文中介绍的很详细,有需要的朋友们可以参考借鉴,下面来一起看看吧。
    2016-12-12
  • go中值传递和指针传递的使用

    go中值传递和指针传递的使用

    在Go语言中,使用&和*可以分别取得变量的地址和值,解引用未初始化或为nil的指针会引发空指针异常,正确的做法是先进行nil检查,此外,nil在Go中用于多种类型的空值表示,值传递和指针传递各有适用场景,通常小型数据结构优先考虑值传递以减少解引用开销
    2024-10-10
  • Go Gin框架中的binding验证器使用小结

    Go Gin框架中的binding验证器使用小结

    Gin框架中的binding验证器为我们提供了简便的数据绑定和验证功能,通过合理使用binding和validate标签,我们可以确保API接口的数据合法性和完整性,这篇文章主要介绍了Go Gin框架中的binding验证器使用指南,需要的朋友可以参考下
    2024-07-07

最新评论