主页 / unix / 问题 / 679753
Accepted
manifestor
Asked: 2021-12-02 03:54:57 +0800 CST

到 xz 的焦油管道导致管道损坏

  • 772

我有一个运行以下命令的备份脚本：

tar -c dir1 dir2 | xz -9 -T0 | gpg -c --batch --passphrase xxx | aws s3 ...

返回值始终相同：tar失败并返回141( broken pipeerror) 并xz返回137（没有其他错误消息，即使在详细模式下也是如此）。

该脚本已经过测试，可以root在其他服务器上运行并且运行良好。最初我认为我正在备份的数据可能已损坏并删除了备份目录（这是一个rsnapshot文件夹）中的一些套接字文件，但这也没有帮助。

有谁知道问题可能是什么？

编辑：如果我xz从管道中移除它就可以了。

pipe tar

2 个回答

  1. Best Answer

    TL;DR：试试

    xz -9 -T{number of CPU cores - 1} --memlimit={reasonable amount of RAM}

    或替换xz -T0为zstd以更高的速度获得相似的压缩率，甚至无需使用多个内核。

    这里发生的情况很可能是您xz被操作系统的内存不足杀手杀死，以便其余的可以生存。这当然会破坏管道。（这仍然有点令人惊讶；通常，xz -9最多需要大约 700 MB 的 RAM，每个内核并没有那么多）。您可以尝试--memlimit=1000MiB将 RAM 使用量限制为 1000 MiB（或其他）。但是，如果这样解决了问题，那就意味着你的“合理的CPU数量”不能满足你的-9压缩设置的需要，xz不得不选择一个较低的。因此，您的问题可能是-9每个 CPU 内核的 RAM 和线程太少，除了减少任何一个之外，没有什么可以解决这个问题。

    -T0意味着“使用与 CPU 内核一样多的线程”，这是适得其反的，因为您获取结果数据，并将其通过 GPG（它本身并不太高效，并且很可能需要大约一个 CPU 内核），并通过该aws命令，该命令本身将对连接进行 TLS 加密（并且很可能尝试使用 DEFLATE 本身减少数据量但未成功）。

    因此，在极端情况下，-T最多应与您拥有的 CPU 内核数减一一起使用。

    一般来说，也许一开始就不要使用xz。当然，它是一款出色的压缩器，但速度非常慢。我知道您可能按每 GB 存储付费，但是：
    zstd以更低的资源使用率/更高的吞吐量实现类似的结果。

    例如，根据我的经验，xz -T0 -6在混合图片/源代码/二进制备份上替换zstd -15产生了 5% 大的文件，但压缩速度大约快了 2 倍，尽管我没有使用 zstd 的多线程（在 8 核机器上）。

    如果您愿意/需要，您仍然可以启用多线程，但看到您也在为 AWS 传输执行 gpg 和 TLS，您可能不会（见上文）。

    • 2

  2. 我建议删除-T0或放一个除 0 以外的数字（比如可能是你的 CPU 的一半或更少）。xz 几乎可以肯定内存不足并被OOM杀死。使用-9也会增加内存使用。

    • 0

相关问题