python实现zip分卷压缩的详细方法

 更新时间:2024年02月22日 09:08:24   作者:阿风小子  
WinHex 开始16进制一个一个文件对比 WinRar 创建的分卷压缩和单个 zip 文件的差异,这篇文章主要介绍了python实现zip分卷压缩的详细方法,需要的朋友可以参考下

1. python实现zip分卷压缩

WinHex 开始16进制一个一个文件对比 WinRar 创建的分卷压缩和单个 zip 文件的差异。

如果想把单个大文件 test.zip -> 分卷文件 test.z01test.z02test.zip

首先,在创建的第一个分卷文件 test.z01的前面加上 \x50\x4b\x07\x08 这个是分卷压缩的文件头(header),占4个字节。其实单个压缩文件本身 header 就有这个了,而分卷压缩的需要两个emmm。之后便是从单个大压缩文件文件test.zip中读取 "一个分卷大小 -4 个字节"的数据,写入test.z01中,如何接着读取一个分卷大小的数据,写入test.z02,以此类推,最后一个分卷文件名也是test.zip

1.1 代码如下:

import os
import zipfile
def zip_by_volume(file_path, block_size):
    """zip文件分卷压缩"""
    file_size = os.path.getsize(file_path)  # 文件字节数
    path, file_name = os.path.split(file_path)  # 除去文件名以外的path,文件名
    suffix = file_name.split('.')[-1]  # 文件后缀名
    # 添加到临时压缩文件
    zip_file = file_path + '.zip'
    with zipfile.ZipFile(zip_file, 'w') as zf:
        zf.write(file_path, arcname=file_name)
    # 小于分卷尺寸则直接返回压缩文件路径
    if file_size <= block_size:
        return zip_file
    else:
        fp = open(zip_file, 'rb')
        count = file_size // block_size + 1
        # 创建分卷压缩文件的保存路径
        save_dir = path + os.sep + file_name + '_split'
        if os.path.exists(save_dir):
            from shutil import rmtree
            rmtree(save_dir)
        os.mkdir(save_dir)
        # 拆分压缩包为分卷文件
        for i in range(1, count + 1):
            _suffix = 'z{:0>2}'.format(i) if i != count else 'zip'
            name = save_dir + os.sep + file_name.replace(str(suffix), _suffix)
            f = open(name, 'wb+')
            if i == 1:
                f.write(b'\x50\x4b\x07\x08')  # 添加分卷压缩header(4字节)
                f.write(fp.read(block_size - 4))
            else:
                f.write(fp.read(block_size))
        fp.close()
        os.remove(zip_file)     # 删除临时的 zip 文件   
        return save_dir
if __name__ == '__main__':
    file = r"D:\Downloads\1.mp4"        # 原始文件
    volume_size = 1024 * 1024 * 100  # 分卷大小 100MB
    path = zip_by_volume(file, volume_size)
    print(path)     # 输出分卷压缩文件的路径

 1.2 缺点:

该方法创建分卷压缩的时候,需要先在磁盘创建一个临时压缩包,然后将其拆分,实际上会对磁盘写入两次,这就浪费了时间。

当然,使用 ByteIO 进行字节流的压缩,但是这种方式需要先把文件读入内存,对于超级大的文件,这是不现实的,分分钟内存爆炸

到此这篇关于python实现zip分卷压缩的文章就介绍到这了,更多相关python zip分卷压缩内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

您可能感兴趣的文章:

相关文章

  • 探索Python定时任务实现高效时间管理

    探索Python定时任务实现高效时间管理

    这篇文章主要为大家介绍了探索Python定时任务高效实现高效时间管理,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2024-01-01
  • python Django框架快速入门教程(后台管理)

    python Django框架快速入门教程(后台管理)

    Django 是一个开放源代码的 Web 应用框架,由 Python 写成,今天通过本文给大家介绍python Django框架快速入门教程,适用后台管理,感兴趣的朋友跟随小编一起看看吧
    2021-07-07
  • matplotlib之Font family [‘sans-serif‘] not found的问题解决

    matplotlib之Font family [‘sans-serif‘] not&nbs

    本文主要介绍了matplotlib之Font family [‘sans-serif‘] not found的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-03-03
  • python Matplotlib基础--如何添加文本和标注

    python Matplotlib基础--如何添加文本和标注

    这篇文章主要介绍了python Matplotlib基础--如何添加文本和标注,帮助大家更好的利用Matplotlib绘制图表,感兴趣的朋友可以了解下
    2021-01-01
  • PyQt5的安装配置过程,将ui文件转为py文件后显示窗口的实例

    PyQt5的安装配置过程,将ui文件转为py文件后显示窗口的实例

    今天小编就为大家分享一篇PyQt5的安装配置过程,将ui文件转为py文件后显示窗口的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-06-06
  • Python使用add_subplot与subplot画子图操作示例

    Python使用add_subplot与subplot画子图操作示例

    这篇文章主要介绍了Python使用add_subplot与subplot画子图操作,涉及Python使用matplotlib模块进行图形绘制的相关操作技巧,需要的朋友可以参考下
    2018-06-06
  • Numpy实现矩阵运算及线性代数应用

    Numpy实现矩阵运算及线性代数应用

    这篇文章主要介绍了Numpy实现矩阵运算及线性代数应用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-03-03
  • python用opencv 图像傅里叶变换

    python用opencv 图像傅里叶变换

    这篇文章主要介绍了python用opencv 图像傅里叶变换的方法,帮助大家更好的利用python处理图片,感兴趣的朋友可以了解下
    2021-01-01
  • Python实现画箱线图展示数据分布情况

    Python实现画箱线图展示数据分布情况

    这篇文章主要介绍了Python实现画箱线图展示数据分布情况,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-07-07
  • python绘制雪景图

    python绘制雪景图

    这篇文章主要为大家详细介绍了python绘制雪景图,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-12-12

最新评论