主页 / server / 问题 / 1036286
Accepted
liori
Asked: 2020-10-04 12:55:06 +0800 CST

以节省空间的方式归档日志的最佳方式？

  • 772

已经确定journald日志是巨大的。在这个特定系统上，日志每周增长约 3GB。出于审计目的，我希望将系统日志保存的时间比我可以舒适地存储在该系统上的时间更长；这只是“以防万一”的存储，不必快速检索。以节省空间的方式归档这些日志的最佳方式是什么？

我正在考虑定期做一些事情journalctl | xz >>/var/log/old-logs.txt.xz，但这在 CPU 使用方面会非常浪费，一次又一次地重新归档数据的相同部分，如果它们被 journalctl 删除，可能会丢失日志，所以也许有更好的方法?

disk-space-utilization archive journald

2 个回答

  1. Best Answer

    journald 会旋转它自己的文件，因此可以安全地将旧文件（@文件名中总是有一个）复制到其他地方，压缩它们，或者对它们做任何你想做的事情。如果有必要查看它们，journalctl可以使用--file命令行选项指向特定的日志文件。

    您还应该看到journald.conf限制 journald 磁盘使用的选项。

    • 3

  2. 确实，xz 压缩可能会为您提供最佳压缩级别。

    然而 xz 压缩的日志不能用 journalctl 查询。

    另一种方法是使用文件系统压缩。我为此使用 btrfs 和 zstd 压缩，它使我的空间使用减少了大约 10 倍，并且日志仍然可用于通过 journalctl 进行交互。我不建议对 /var/log/journal 使用 btrfs 卷，因为 journalctl 一直用No_COW属性（请参阅参考资料lsattr）标记它的目录，这会阻止压缩。可以像我在设置中所做的那样克服这个问题，但它更加脆弱和复杂。另一种方法是将旧日志文件移动到单独的压缩目录。像这样的东西：

    mkfs.btrfs "$BLOCK_DEVICE_PATH"
mkdir /var/log/journal_archive

# With my data zstd compression level gives best compression/speed ratio.
# Your mileage may vary.
#Default level 3 is quite good so you might just stick with the default
mount -o compress=zstd:8 "$BLOCK_DEVICE_PATH" /var/log/journal

# To archive old logs (older than a week):
find /var/log/journal/$MACHINEID/ -name '*@*.journal' -mtime +7 -exec mv -v {} /var/log/journal_archive \;

# To query old logs
journalctl --directory=/var/log/journal_archive

# Cleanup archive to keep 20GB of uncompressed files
journalctl --vacuum-size=20G --directory /var/log/journal_archive
    • 1

相关问题