Início / unix / Perguntas / 452011
Accepted
Pratik Mayekar
Asked: 2018-06-27 04:43:47 +0800 CST

leia a primeira linha do arquivo compactado .gz sem descompactar o arquivo inteiro

  • 772

Eu tenho um arquivo de log enorme compactado no formato .gz e quero apenas ler a primeira linha dele sem descompactá-lo para apenas verificar a data do log mais antigo no arquivo.

Os logs são do formato:

YYYY-MM-DD Log content asnsenfvwen eaifnesinrng
YYYY-MM-DD Log content asnsenfvwen eaifnesinrng
YYYY-MM-DD Log content asnsenfvwen eaifnesinrng

Eu só quero ler a data na primeira linha que eu faria assim para um arquivo descompactado:

read logdate otherstuff < logfile.gz
echo $logdate

Usar o zcat está demorando muito.

shell-script logs

4 respostas

  1. Best Answer

    zcatA saída de Piping para head -n 1descompactará uma pequena quantidade de dados, com garantia de ser suficiente para mostrar a primeira linha, mas normalmente não mais do que alguns buffers cheios (96 KiB em meus experimentos):

    zcat logfile.gz | head -n 1

    Depois headde terminar de ler uma linha, ele fecha sua entrada, o que fecha o pipe, e zcatpara depois de receber um SIGPIPE(o que acontece quando ele tenta escrever no pipe fechado). Você pode ver isso executando

    (zcat logfile.gz; echo $? >&2) | head -n 1

    Isso mostrará que zcatsai com o código 141, o que indica que parou por causa de um SIGPIPE(13 + 128).

    Você pode adicionar mais pós-processamento, por exemplo , com AWK, para extrair apenas a data:

    zcat logfile.gz | awk '{ print $1; exit }'

    (No macOS, talvez seja necessário usar gzcatem vez de zcatmanipular arquivos compactados com gzip.)

    • 45

  2. Você pode limitar a quantidade de dados para os quais alimenta zcat(ou gzip -dc) e solicitar a primeira linha:

    head -c 1000 logfile.gz | zcat 2>/dev/null | head -1 | read logdate otherstuff

    Ajuste o 1000se isso não capturar dados suficientes para obter toda a primeira linha.

    • 5

  3. Para corresponder apenas a uma data da 1ª linha de um arquivo compactado - zgrepsolução:

    zgrep -m1 -o '^[^[:space:]]*' logfile.gz

    Isso produzirá o primeiro YYYY-MM-DDpara você.

    • 4

  4. Se você quiser apenas a primeira linha sem descompactar o arquivo:

    gunzip -c logfile.gz | awk 'NR==1 {print; exit}'

    Isso enviará os dados compactados para a saída padrão sem descompactá-los e awkimprimirá apenas a primeira linha.

    • 1

relate perguntas