É possível pesquisar em um arquivo .tar.gz em largura?

tarescreve um cabeçalho de arquivo, então o conteúdo do arquivo, então o próximo cabeçalho do arquivo, o próximo conteúdo do arquivo e assim por diante.

Não há ordem associada às entradas e a única otimização que você pode fazer é pular o conteúdo de um arquivo, para chegar ao próximo cabeçalho, buscando-o diretamente. Para isso, você precisa ter um arquivo pesquisável.

Mas o seu .gzestá compactado, então você não tem uma maneira confiável de pular para a próxima entrada, o que significa que você terá que ler (baixar) o arquivo inteiro para obter o conteúdo. Essa é a resposta: não, você não pode evitar ler/baixar o arquivo inteiro.

Então, já que você terá que baixá-lo completamente de qualquer maneira, você pode fazer isso uma vez e depois resolver tudo no sistema de arquivos local.

porque o comando tar pesquisa em profundidade e recursivamente ...

Bem, na verdade não. Ele não pesquisa e, em vez disso, apenas lê o arquivo, examinando todos os arquivos que encontra para ver se eles correspondem ao que deseja. (Você obtém o comportamento de profundidade, já que essa é a ordem natural para percorrer uma árvore de diretórios e, portanto, a ordem em que os arquivos foram adicionados ao arquivo.)

Isso ocorre porque os arquivos tar não têm índices, eles não são pesquisáveis. O nome "tar" significa "arquivo de fita", e o modo usual de usar fitas é apenas ler ou escrever um único fluxo, sem procurar. O formato foi feito para esse contexto e pode não ser o melhor para o seu caso de uso.

Não consigo encontrar uma boa citação sobre isso, mas é mencionado em algumas respostas no site e na Wikipedia .

Toda vez que você estava executando wget, você estava tentando baixar o arquivo tar inteiro! Você já deve ter baixado o "conteúdo inicial" várias vezes e o descartado enviando a saída para stdout!

Em vez disso, a maneira "mais rápida" seria baixá-lo uma vez para ./MegaDepth_v1.tar.gz em seu diretório atual e descompactá-lo lá.

wget -q -O MegaDepth_v1.tar.gz  https://www.cs.cornell.edu/projects/megadepth/dataset/Megadepth_v1/MegaDepth_v1.tar.gz  
tar -xz -f MegaDepth_v1.tar.gz phoenix/S6/zl548/MegaDepth_v1/0000  

Depois de ter os arquivos necessários, você pode excluir o arquivo tar baixado.

ATUALIZAÇÃO: O arquivo original parece ter cerca de 200 GB de tamanho. O download em si ocupará muito tempo e espaço. A extração levará então mais tempo. Nenhuma vitória , neste caso!
Você pode ter que entrar em contato com a equipe do MegaDepth e pedir que eles forneçam acesso individual ao diretório, caso contrário, será sempre lento.

Aqui, wgetnão pode pular conteúdo indesejado e sempre baixará todo o arquivo tar do começo ao fim. Além disso, (como mencionado na resposta pelo usuário ilkkach ) tarnão pode pular (ou procurar) o fluxo stdout.

Análise

Concordo com outras respostas dizendo que não há como tarbuscar o arquivo compactado. Para encontrar o(s) arquivo(s) que você procura, a ferramenta precisa processar o arquivo desde o início e não pular nada.

No entanto, com o GNU tar, você não precisa necessariamente processá-lo até o fim. Considere este cenário ao criar um arquivo:

Supondo que você altere o arquivo bluese, em seguida, anexe a versão alterada ao collection.tar. […], o original bluesestá no arquivo collection.tar. Se você alterar o arquivo e anexar a nova versão do arquivo ao arquivo, haverá duas cópias no arquivo. Ao extrair o arquivo, a versão mais antiga do arquivo será extraída primeiro e, em seguida, substituída pela versão mais recente quando for extraída.

^{( fonte )}

Isso significa que, ao extrair um arquivo específico, tarcontinua processando o arquivo mesmo depois de extrair o arquivo, pois talvez outra cópia esteja posteriormente no arquivo.

Mas então:

Se você deseja extrair a primeira ocorrência do arquivo bluesdo arquivo, use a --occurrenceopção

^(ibid.)

Se você tiver certeza de que o arquivo que você está procurando ocorre exatamente uma vez no arquivo, use tar --occurrencee tarparará depois de extrair o arquivo. Então você wgetvai abortar devido a SIGPIPE, não vai baixar o resto do arquivo em vão.

Utilidade limitada

Observe que isso não é realmente útil no seu caso exato porque phoenix/S6/zl548/MegaDepth_v1/0000é um diretório (certo?). Ao extrair o diretório com --occurrence, tarnão parará mais cedo, a menos que encontre outra entrada para o próprio diretório . A razão é: sempre pode haver um único phoenix/S6/zl548/MegaDepth_v1/0000/foono final do arquivo. Antes tarde chegar ao fim, não se pode ter certeza de que o diretório com todo o seu conteúdo está completo.

Ainda assim, se você estivesse atrás de um ou poucos não-diretórios , se conhecesse o(s) caminho(s) e se soubesse que há exatamente uma instância de cada um no arquivo, --occurrencepermitiria baixar o mínimo necessário do arquivo. Se você tiver sorte e os arquivos estiverem próximos do início do arquivo, --occurrenceisso fará uma diferença significativa.

Provavelmente esta resposta não vai te ajudar muito. É para usuários que podem fornecer uma lista de não diretórios .

A não ser que…

Se você salvou a saída de wget -qO- … | tar -tz(quando você provavelmente baixou e processou todo o arquivo e o jogou fora), agora você poderá fornecer uma lista de não-diretórios (possivelmente usando --files-from=ou --verbatim-files-from; especialmente útil se a lista for muito longa para uma única linha de comando). Neste caso --occurrencepode funcionar para você. Além disso, a saída salva de tar -tpermitiria que você confirmasse que cada não-diretório que você procura ocorre exatamente uma vez no arquivo, para que você saiba --occurrenceque não perderá uma versão atualizada.

O acima assume MegaDepth_v1.tar.gzno servidor não muda. Em geral (se o arquivo pode ter mudado) sua saída salva tar -tpode não ser mais válida.

Vamos supor que você possa criar uma lista de não-diretórios para extrair. A lista não deve especificar nenhum diretório explicitamente, caso contrário --occurrencenão o ajudará. Ainda tarcriará diretórios necessários, mas apenas com o objetivo de colocar não diretórios neles, não porque realmente extrairá os diretórios do arquivo. Em outras palavras: os membros do arquivo para os próprios diretórios não importam. Isso significa que os diretórios serão criados, mas opções como --preserve-permissionsnão se aplicarão a eles.

Prova de conceito

Eu usei seu primeiro comando (aquele com tar -t) e descobri que phoenix/S6/zl548/MegaDepth_v1/0162/dense0/depths/16384199365_2b34b42cf4_b.h5é um não-diretório próximo ao início do arquivo. Este encanamento:

wget -qO- https://www.cs.cornell.edu/projects/megadepth/dataset/Megadepth_v1/MegaDepth_v1.tar.gz \
| tar -xvz phoenix/S6/zl548/MegaDepth_v1/0162/dense0/depths/16384199365_2b34b42cf4_b.h5

extrai o arquivo e continua (posso Ctrl+ c); mas este:

wget -qO- https://www.cs.cornell.edu/projects/megadepth/dataset/Megadepth_v1/MegaDepth_v1.tar.gz \
| tar --occurrence -xvz phoenix/S6/zl548/MegaDepth_v1/0162/dense0/depths/16384199365_2b34b42cf4_b.h5

extrai o arquivo e termina automaticamente.