取消连接 gzip 文件

碰巧的是，ingzip -c file1 file2 > result确实gzip为每个文件创建了两个单独的压缩流，甚至存储了文件名和文件的修改时间。

它不允许您在解压缩时使用该信息，但您可以使用perl'IO::Uncompress::Gunzip模块来代替。例如：

#! /usr/bin/perl
use IO::Uncompress::Gunzip;

$z = IO::Uncompress::Gunzip->new("-");

do {
  $h = $z->getHeaderInfo() or die "can't get headerinfo";
  open $out, ">", $h->{Name} or die "can't open $h->{Name} for writing";
  print $out $buf while $z->read($buf) > 0;
  close $out;
  utime(undef, $h->{Time}, $h->{Name}) or warn "can't update $h->{Name}'s mtime";
} while $z->nextStream;

并将该脚本称为that-script < exlogs.gz，它将使用其原始名称和修改时间（不包括未存储的亚秒部分gzip）在当前工作目录中恢复文件。

将文件 gzip 压缩到单个文件时，gzip会创建一个包含多个 gzip 流的文件，就像您首先单独压缩文件然后将它们连接起来一样。

手册页中简要提到了此行为。

-c --stdout --to-stdout

在标准输出上写输出；保持原始文件不变。如果有多个输入文件，则输出由一系列独立压缩的成员组成。

这意味着每个源文件都有一个单独的 gzip 标头（其中包含原始文件名）。所以原则上它们可以在解压时分开。

不幸的是，gzip开发人员选择不支持这一点gunzip：

如果您希望创建具有多个成员的单个存档文件，以便以后可以独立提取成员，请使用 tar 或 zip 等存档程序。[…] gzip 被设计为 tar 的补充，而不是替代。

取消连接文件并非易事，因为 gzip 标头和页脚都不包含压缩数据流的长度。这意味着，为了可靠地找到第二个流的开始，您需要对整个 deflate 数据流进行解码，这是解压缩整个数据流的一半。

据我所知，目前还没有工具可以只浏览数据流以找出它的结束位置，即使该领域有一些研究支持对 gzip 压缩文件内容的准随机访问。

幸运的是，一些编程库可用于单独解压缩 gzip 流，例如 Perl 的IO::Uncompress::Gunzip，如 Stéphane Chazelas 在他的回答中提到的，或者 Rust 的flate2。

最后，作为解决方案，我编写了工具gunzip-split。它单独解压缩每个文件，也可以解连接文件。对于后者，它解压缩每个文件，记录 gzip 流开始的偏移量，同时丢弃结果。这可以进一步优化，但即使对于千兆字节大小的文件也可以相当快地工作。

$ ./gunzip-split --help
gunzip-split 0.1.1
Uncompress concatenated gzip files back into separate files.

USAGE:
    gunzip-split [OPTIONS] <FILE>

ARGS:
    <FILE>    concatenated gzip input file

OPTIONS:
    -d, --decompress                      Decompressing all files (default)
    -f, --force                           Overwrite existing files
    -h, --help                            Print help information
    -l, --list-only                       List all contained files instead of decompressing
    -o, --output-directory <DIRECTORY>    Output directory for deconcatenated files
    -s, --split-only                      Split into multiple .gz files instead of decompressing
    -V, --version                         Print version information

$ ./gunzip-split -s -o ./out/ combined.gz
file_1: OK.
file_2: OK.

$ ls ./out
file_1.gz file_2.gz

这有点复杂，但在使用以下要求时有效：

• merged.gz是清晰的 ASCII 数据和 gzip 文件的混合
• 它来自类似的操作cat log0 log1.gz log2.gz log3 log4.gz > merged.gz
• 明文 ASCII 文件中的行仅来自可打印字符
• gzip 压缩文件的魔术字节是完整的（十六进制1F 8B）

大多数程序应该可用，sponge可以moreutils通过手动写入临时文件来避免。

做了什么：

1. 将具有排他可打印字符的行放入每个连续块的文件中。请注意，如果您连续合并了两个清晰的 ASCII 文件，这不会将它们分开（在这种情况下使用日志的时间戳来分隔文件）并且原始文件名会丢失
2. 将其他行放入中间gz_only.gz文件
3. 使用魔术字节来分隔文件

最后一点使用csplit，只有在还有换行符的情况下才能拆分 - 所以这是在拆分之前引入并在之后删除。目前假设合并系统中的 gzip 压缩文件不超过 1000 个。

#!/bin/bash

#lines with printable characters go to separate files for each consecutive block
awk '{ if ($0 ~ /^[[:print:]]+$/) { print > "file_"i+0}
       else {if (oldi==i) {i++}}}' merged.gz

#get lines with non-printables to other merged file
grep -av '^[[:print:]]$' merged.gz > gz_only.gz

#split into files and remember their count
#sed introduces newline before magic bytes
#csplit splits on occurrence of magic bytes and returns info on file lengths
nfiles=$( sed "s/$(printf '\x1f\x8b')/\n&/g" gz_only.gz |
          csplit - -z "/$(printf '\x1f\x8b')/" '{*}' -b'%03d.gz' |
          wc -l )

#first file is empty, due to introduced newline
rm -fv xx000.gz

#for all other remove newline
#note: the above grep introduced a newline to the last file
#if splitting is done for a file only concatenated from
#gz-files (no previous grep), the last file would have to
#be excluded from this operation.
for (( i=1 ; i<nfiles ; i++ )) ; do
    name=xx$(printf '%03d.gz' $i)
    head -c -1 $name | sponge $name
done

#retrieve original file name
for f in xx*gz ; do
    #this is ready for simple filenames like the suggested logs,
    #e.g. no " as file name character
    mv $f "$(file $f | awk -F'"' '{print $2}').gz"
done

#unzip files
find -name '*gz' ! -name gz_only.gz ! -name merged.gz -exec gunzip {} +

我有点觉得 ASCII 和非 ASCII 的分离以及拆分可能会更优雅地完成perl，但我不熟悉。