我想将大量数据（数百个原始 pcap 文件，每个 1Gb）上传到 AWS。我为此使用了 aws s3 sync。pcap 数据具有高度可压缩性，但我不想在第一步进行压缩，等待压缩，然后再上传。相反，我希望文件在“运行中”进行压缩，就在 aws cli 第一次请求/读取它们时进行压缩。
是否有一些 Linux/posix 文件系统魔法可以实现这样的功能？这种方法似乎很新颖，因为它将压缩文件“隐藏”为普通文件，因此任何可以处理文件的现有工具都可以从中受益。
我查看了 mkfifo，但无法找到合适的解决方案。
原因是什么？我们的目标是实现更高的网络上传带宽，并降低 S3 上的存储成本。