主页 / server / 问题 / 55979
Accepted
markdrayton
Asked: 2009-08-20 00:25:51 +0800 CST

连接 gzip 的 Apache 日志

  • 772

我们每天轮换和压缩我们的 Apache 日志，但很明显这还不够频繁。一个未压缩的日志大约有 6G，快要填满我们的日志分区了（是的，我们以后会把它做得更大！），而且每天要花费大量的时间和 CPU 来压缩。我们必须为我们的统计处理每天生成一个压缩日志。显然我们可以将我们的日志移动到一个有更多空间的分区，但我也想把压缩开销分散到一整天。

使用 Apache 的rotatelogs，我们可以更频繁地旋转和压缩日志——比如每小时一次——但是我怎样才能将所有每小时压缩的日志连接到当天正在运行的压缩日志中，而无需解压缩以前的日志呢？我不想解压缩 24 小时的数据并重新压缩它，因为这具有我们当前解决方案的所有缺点。

Gzip 似乎没有提供任何附加或连接选项，但也许我错过了一些明显的东西。这个问题表明直接的外壳连接“有效”，因为可以解压缩存档，但这gzip -l不起作用似乎有点狡猾。

或者，也许这仍然是一种糟糕的做事方式。欢迎提出其他建议——我们唯一的限制是我们相对较小的日志分区以及需要提供每日压缩日志。

apache-2.2 log-files compression

4 个回答

  1. Best Answer

    gzip 手册页应该有你想要的，但你可以直接连接它们：

    cat file1.gz >> file2.gz
gzip -c file1 >> file2.gz

    压缩不如仅压缩一个文件，但您可以通过以下方式恢复：

    zcat old.gz | gzip > new.gz
    • 7

  2. gzip 不在乎。您可以连接 gzip 压缩的文件，就像您连接它们然后 gzip 压缩它们一样。

    $ echo foo |gzip >/tmp/log.gz
$ echo bar |gzip >>/tmp/log.gz
$ zcat /tmp/log.gz
foo
bar
    • 1

  3. 只需将 gzip 压缩的文件一起 tar。它实际上是一个连接，并使它们在逻辑上组合在一起。执行此操作与一起解压缩/重新压缩它们之间的文件大小差异几乎为零。

    与非平凡的日志文件一样，将 24 个 gzip 压缩的日志文件一起 tar 将生成一个文件，该文件的大小几乎与所有 24 个原始文件的单个 gzip 压缩存档相同。

    • 0

  4. 该CustomLog指令允许您指定将日志通过管道传输到的命令，而不是通常的日志文件。

    例如，您可以编写一个 shell 脚本，将它在 stdin 上获得的所有内容简单地压缩到您指定为参数的文件中：

    #!/bin/sh
gzip -c >> $1

    将它与 结合起来可能不是一个好主意rotatelogs，因为这可能会损坏存档，但您可以相对轻松地模拟它的行为。

    然后你像这样配置Apache：

    Customlog "|/usr/local/bin/gzip_log.sh /var/log/apache/access.log" combined

    测试这个！gzip 的缓冲可能是个问题。

    • 0

相关问题