让gzip压缩速度加快的解决方案:使用支持多核CPU多线程并发压缩的pigz
发布时间:2014-07-23 09:42:46 作者:佚名
我要评论
这篇文章主要介绍了让gzip压缩速度加快的解决方案:使用支持多核CPU多线程并发压缩的pigz,需要的朋友可以参考下
pig是个啥东东?
官网:http://zlib.net/pigz
一句话简介:
复制代码
代码如下:A parallel implementation of gzip for modernmulti-processor, multi-core machines。
简单的说,就是支持并行的gzip。废话不多说,开始测试。
pig默认用当前逻辑cpu个数来并发压缩,无法检测个数的话,则并发8个线程。
一、测试压缩包文件1
复制代码
代码如下:压缩前
-rw-r--r-- 1 root root 2474772480 Dec 3 19:54 dbs.tar</p> <p>1、gzip测试
压缩耗时,CPU最高:101.6%
real 2m18.042s
user 2m10.204s
sys 0m6.876s</p> <p>解压缩耗时,CPU最高:101.6%
real 0m26.756s
user 0m20.175s
sys 0m6.580s</p> <p>压缩后
-rw-r--r-- 1 root root 2349563863 Dec 3 19:54 dbs.tar.gz</p> <p>2、pigz测试
并发8线程(默认):
压缩耗时,CPU最高:832%
real 0m21.710s
user 2m31.229s
sys 0m9.101s</p> <p>解压缩耗时,CPU最高:199%
real 0m13.239s
user 0m11.791s
sys 0m12.426s</p> <p>并发4线程:
压缩耗时,CPU最高:427.6%
real 0m38.299s
user 2m30.701s
sys 0m8.369s</p> <p>解压缩耗时,CPU最高:202%
real 0m13.294s
user 0m12.154s
sys 0m11.862s</p> <p>压缩后
-rw-r--r-- 1 root root 2350161547 Dec 3 19:54 dbs.tar.gz</p> <p>二、测试压缩包文件2
压缩前
-rw-r--r-- 1 root root 5248890880 Dec 3 20:26 mysql-5.5.28-linux2.6-x86_64.tar</p> <p>1、gzip测试
压缩耗时,CPU最高:101%
real 6m20.524s
user 6m2.466s
sys 0m7.410s</p> <p>解压缩耗时,CPU最高: 101%
real 0m58.893s
user 0m46.258s
sys 0m11.944s</p> <p>压缩后
-rw-r--r-- 1 root root 1410045513 Dec 3 20:26 mysql-5.5.28-linux2.6-x86_64.tar.gz</p> <p>2、pigz测试
并发8线程(默认):
压缩耗时,CPU最高: 799%
real 1m11.908s
user 6m36.717s
sys 0m9.860s</p> <p>解压缩耗时,CPU最高:179%
real 0m33.188s
user 0m38.069s
sys 0m16.728s</p> <p>并发4线程:
压缩耗时,CPU最高: 418%
real 1m41.547s
user 6m36.782s
sys 0m9.806s</p> <p>解压缩耗时,CPU最高: 179%
real 0m33.120s
user 0m37.500s
sys 0m16.956s</p> <p>压缩后
-rw-r--r-- 1 root root 1406061442 Dec 3 20:26 mysql-5.5.28-linux2.6-x86_64.tar.gz
结论:
1、pigz默认用法(默认并发线程是逻辑cpu个数)可比gzip快5.3倍,CPU消耗则是gzip的8倍,压缩比则相当;
2、并发8线程对比4线程提升:41.2%,16线程对比8线程提升:27.9%,32线程对比16线程提升:3%;
3、在对压缩效率要求较高、但对短时间内CPU消耗较高不受影响的场景,使用pigz非常合适。
相关文章

Fedora Linux 42 稳定版发布: 带来大量新功能和软件更新
Fedora 42昨日发布,这是 Red Hat 赞助开发的杰出前沿 Linux 发行版的最新版,包含大量新功能和软件更新,使其成为 2025 年上半年发布的一款出色的 Linux 操作系统之一,内2025-04-16
如何在Linux查看硬盘信息? 查看Linux硬盘大小类型和硬件信息的5种方法
使用Linux系统的过程中,查看和了解硬盘信息是非常重要的工作,尤其是对于系统管理员而言,那么在Linux系统中如何查看硬盘信息?以下是具体内容介绍2025-03-12
如何在 Linux 中查看 CPU 详细信息? 3招轻松查看CPU型号、核心数和温度
在日常运维工作中,获取 CPU 信息是系统运维管理员常见的工作内容,无论是为了性能调优、硬件升级还是仅仅满足好奇心2025-03-11
什么是 Arch Linux? 独树一帜的Arch Linux发行版分析
Arch Linux是为简化,优化,现代化,实用主义,用户中心和多功能性而创建Linux发行版,究竟是什么让 Arch 与众不同?下面我们就来简要解读2025-02-19
一直用的linux办公,想要将笔记本电脑从 Linux 系统切换回 Windows 11,我们可以制作一个win11装机u盘,详细如下2025-02-17
Rsnapshot怎么用? 基于Rsync的强大Linux备份工具使用指南
Rsnapshot 不仅可以备份本地文件,还能通过 SSH 备份远程文件,接下来详细介绍如何安装、配置和使用 Rsnapshot,包括创建每小时、每天、每周和每月的本地备份,以及如何进2025-02-06
Linux Kernel 6.13发布:附更新内容及新特性解读
Linux 内核 6.13 正式发布,新版本引入了惰性抢占支持,简化内核抢占逻辑,通过减少与调度器相关的调用次数,让内核在运行时表现更优,从而提高效率2025-01-23
五大特性引领创新! 深度操作系统 deepin 25 Preview预览版发布
今日,深度操作系统正式推出deepin 25 Preview版本,该版本集成了五大核心特性:磐石系统、全新DDE、Treeland窗口合成器、AI For OS以及Distrobox子系统2025-01-18
Linux Mint Xia 22.1重磅发布: 重要更新一览
Beta 版 Linux Mint“Xia” 22.1 发布,新版本基于 Ubuntu 24.04,内核版本为 Linux 6.8,这次更新带来了诸多优化和改进,进一步巩固了 Mint 在 Linux 桌面操作系统领域的2025-01-16
LinuxMint怎么安装? Linux Mint22下载安装图文教程
Linux Mint22发布以后,有很多新功能,很多朋友想要下载并安装,该怎么操作呢?下面我们就来看看详细安装指南2025-01-16









最新评论