tar --use-compress-program=pigz -h -cvpf Homo_sapiens.GRCh38.dna.toplevel.tar.gz *
tar多线程压缩解压
tar -czvf a.tar.gz ./*
测试每分钟压缩包a.tar.gz增长大约300M
安装多线程程序
yum -y install pigz
实测,4核的机器,2G文件用了不到1分钟
tar --use-compress-program=pigz -cvpf b.tar.gz ./*
top看到系统CPU使用率是390%+
解压测试:41G 的文件,4核的机器,内存16G
tar --use-compress-program=pigz -xvpf hs_sale_1126.tar.gz
top命令看到CPU使用率没有压缩的时候那么高,在50% - 80%之间
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
18241 root 20 0 38676 724 576 S 84.3 0.0 3:34.92 pigz
遇到单个大文件的时候,CPU使用率会比较高一点
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
18241 root 20 0 38676 724 576 R 126.2 0.0 6:47.93 pigz
最后发现只用了40分钟就解压完,之前用了超过2个半小时
如果觉得我的文章对您有用,请随意打赏。你的支持将鼓励我继续创作!