语境
我正在压缩 ~1.3 GB 文件夹,每个文件夹都包含 1440 个 JSON 文件,发现在 macOS 或Raspbian 10 (Buster)上使用tar
命令和 Python 的内置库之间存在 15 倍的差异tarfile
最小的工作示例
此脚本比较两种方法:
#!/usr/bin/env python3
from pathlib import Path
from subprocess import call
import tarfile
fullpath = Path("/Users/user/Desktop/temp/tar/2021-03-11")
zsh_out = Path(fullpath.parent, "zsh-archive.tar.xz")
py_out = Path(fullpath.parent, "py-archive.tar.xz")
# tar using terminal
# tar cJf zsh-archive.tar.xz folderpath
call(["tar", "cJf", zsh_out, fullpath])
# tar using tarfile library
with tarfile.open(py_out, "w:xz") as tar:
tar.add(fullpath, arcname=fullpath.stem)
# Print filesizes
print(f"zsh tar filesize: {round(Path(zsh_out).stat().st_size/(1024*1024), 2)} MB")
print(f"py tar filesize: {round(Path(py_out).stat().st_size/(1024*1024), 2)} MB")
输出是:
zsh tar filesize: 23.7 MB
py tar filesize: 1.49 MB
我使用的版本如下:
tar
在 macOS 上:bsdtar 3.3.2 - libarchive 3.3.2 zlib/1.2.11 liblzma/5.0.5 bz2lib/1.0.6
tar
在 Raspbian 10 上:xz (XZ Utils) 5.2.4 liblzma 5.2.4
tarfile
Python库:0.9.0
我尝试过的事情
压缩后,我提取了两个档案并将生成的文件夹与:
diff -r py-archive-expanded zsh-archive-expanded
没有区别。
如果我直接比较两个 tar 档案,它们似乎不同:
➜ diff zsh-archive.tar.xz py-archive.tar.xz
Binary files zsh-archive.tar.xz and py-archive.tar.xz differ
如果我使用 Quicklook(和 Betterzip 插件)检查档案,我会发现档案中的文件以不同的方式排序:
左边是zsh-archive.tar.xz
,右边是py-archive.tar.xz
:
zsh 存档使用未知顺序,Python 存档按修改日期对文件进行排序。我不确定这是否重要。
问题
到底是怎么回事?使用 Python 库压缩数据是否会丢失一些东西?15 倍的大小差异是否表明存在某些问题?或者我可以安全地继续使用高效的 Python 实现吗?