Quero fazer upload de muitos dados (centenas de arquivos pcap brutos, cada um com 1 Gb) para a AWS. Estou usando o aws s3 sync para isso. Os dados pcap são altamente compactáveis, mas não quero fazer a compactação em uma primeira etapa, esperar por ela e depois fazer o upload. Em vez disso, gostaria que os arquivos fossem compactados "on the fly", apenas quando forem solicitados/lidos pelo aws cli pela primeira vez.
Existe alguma mágica de sistema de arquivos Linux/Posix que poderia fazer algo assim? A abordagem parece nova na forma como "esconde" os arquivos compactados como apenas um arquivo normal, então qualquer ferramenta existente que possa manipular arquivos se beneficiaria disso.
Dei uma olhada no mkfifo, mas não consegui encontrar uma solução adequada.
Por quê? O objetivo é atingir uma largura de banda de upload de rede maior e custos de armazenamento reduzidos no S3.