Início / unix / Perguntas / 760448
Accepted
kjo
Asked: 2023-11-02 23:05:24 +0800 CST

Como obter o número de bytes e o sha1sum com passagem única?

  • 772

Quero obter o número de bytes e o sha1sum da saída de um comando.

Em princípio, sempre se pode fazer algo como:

BYTES="$( somecommand | wc -c )"
DIGEST="$( somecommand | sha1sum | sed 's/ .*//' )"

... mas, para o caso de uso no qual estou interessado, somecommandconsome bastante tempo e produz uma grande quantidade de resultados, então prefiro chamá-lo apenas uma vez.

Uma maneira que vem à mente seria algo como

evil() {
  {
    somecommand | \
      tee >( wc -c | sed 's/^/BYTES=/' ) | \
      sha1sum | \
      sed 's/ .*//; s/^/DIGEST=/'
  } 2>&1
}

eval "$( evil )"

...o que parece funcionar, mas me faz morrer um pouco por dentro.

Gostaria de saber se existe uma maneira melhor (mais robusta, mais geral) de capturar a saída de diferentes segmentos de um pipeline em variáveis ​​separadas.

EDIT: O problema no qual estou trabalhando no momento é em bash, então estou mais interessado em soluções para esse shell, mas também faço muita zshprogramação, então também tenho algum interesse nessas soluções.

EDIT2: Tentei portar a solução de Stéphane Chazelas para bash, mas não funcionou:

#!/bin/bash

cmd() {
    printf -- '%1000s'
}

bytes_and_checksum() {
    local IFS
    cmd | tee >(sha1sum > $1) | wc -c | read bytes || return
    read checksum rest_ignored < $1 || return
}

set -o pipefail
unset bytes checksum
bytes_and_checksum "$(mktemp)"
printf -- 'bytes=%s\n' $bytes
printf -- 'checksum=%s\n' $checksum

Quando executo o script acima, a saída que recebo é

bytes=
checksum=96d89030c1473585f16ec7a52050b410e44dd332

O valor de checksumestá correto. Não consigo entender por que o valor de bytesnão está definido.

EDIT3: OK, graças à dica do @muru, resolvi o problema:

#!/bin/bash

cmd() {
    printf -- '%1000s'
}

bytes_and_checksum() {
    local IFS
    read bytes < <( cmd | tee >(sha1sum > $1) | wc -c ) || return
    read checksum rest_ignored < $1 || return
}

set -o pipefail
unset bytes checksum
bytes_and_checksum "$(mktemp)"
printf -- 'bytes=%s\n' $bytes
printf -- 'checksum=%s\n' $checksum

Agora:

bytes=1000
checksum=96d89030c1473585f16ec7a52050b410e44dd332

INFELIZMENTE ...

... minha bytes_and_checksumfunção para (impasse?) quando cmdproduz muito mais saída do que no meu exemplo de brinquedo acima.

De volta à prancheta...

bash

2 respostas

  1. Best Answer

    Seria mais fácil usar arquivos temporários. Em zsh:

    (){set -o localoptions -o pipefail; local IFS
  {cmd} > >(sha1sum > $1) | wc -c | read bytes || return
  read checksum rest_ignored < $1 || return
} =()

    Cuidado, muitas wcimplementações incluem espaços em branco ao redor do número gerado. readcom o valor padrão de $IFSremovê-los.

    Observe que o status de saída sha1sumestá perdido.

    Cria =()o arquivo temporário sem saída de nada. Esse arquivo temporário é removido automaticamente quando o comando ao qual é fornecido (aqui uma função anônima) retorna.

    Em cmd > file | other-cmd, cmda saída de é teed internamente, zshpois é redirecionada duas vezes, então aqui tanto para sha1sumquanto para wc. Envolvemos para garantir que o zsh aguarde a conclusão dos redirecionamentos do processo cmd.{...}

    Aqui, como a saída de ambos sha1sume wcé garantido que não será maior do que alguns bytes, eles também podem ser enviados para pipes, e você não precisaria ler esses pipes simultaneamente (o que o zsh pode fazer, pois tem uma interface para select()/ poll()mas não bash). Isso poderia ser feito sequencialmente sem causar conflitos, por isso é uma versão fácil de tee em diferentes variáveis .

    Em sistemas baseados em Linux (onde /dev/fd/xquando xum fd para um pipe se comporta como um pipe nomeado):

    {
  IFS=$' \t' read bytes < <(cmd 3<&- | tee >(sha1sum > /dev/fd/3) | wc -c)
  IFS=$' \t' read sum rest <&3
} 3< <(:)

    (até funcionaria no bash).

    Para obter detalhes sobre os impasses que você encontraria com saídas maiores, consulte também tee + cat: use uma saída várias vezes e depois concatene results .

    • 7

  2. Estou usando um script bash de backup que possui as seguintes funções auxiliares "intermediárias" que usam um "suposto nome de arquivo" como argumento (veja o exemplo tar.gz abaixo):

    function pipesum
{
  tee >(sha1sum | awk --assign F="${1##*/}" '$2=F' > "${1?}.sha1")
}
function pipelen
{
  tee >(wc -c > "${1?}.len")
}
function pipesumlen
{
  tee >(sha1sum | awk --assign F="${1##*/}" '$2=F' > "${1?}.sha1") >(wc -c > "${1?}.len")
}
function pipechecksum
{
  tee >(sha1sum --quiet -c <(awk '$2="-"' "${1?}") >&2)
}

    Exemplo:

    $ echo 123 | pipesumlen filename
123
$ ls filename*
filename.len  filename.sha1
$ cat filename*
4
a8fdc205a9f19cc1c7507a60c4f01b13d11d7fd0 filename
$ echo 123 | pipechecksum filename.sha1
123
$ echo 1234 | pipechecksum filename.sha1
1234
-: FAILED
sha1sum: WARNING: 1 computed checksum did NOT match

    Estou usando-o em um script que consome muito tempo, CPU e IO, algo assim:

    tar | 
  pipesumlen mybackup.tar | 
  gzip > mybackup.tar.gz
<mybackup.tar.gz gunzip | 
  pipechecksum mybackup.tar.sha1 | 
  xz > mybackup.tar.xz

    Assim, verifiquei meu backup em relação a inversões aleatórias de bits de memória/disco. Ele cria o arquivo "mybackup.tar.sha1" como se "mybackup.tar" tivesse sido realmente criado e verificado, embora na verdade neste exemplo os dados descompactados nunca sejam gravados no disco.

    Advertência: o pipechecksumscript não termina o script em caso de erro, mesmo com set -euo pipefail. A alternativa pipechecksumque retorna diferente de zero na incompatibilidade de soma de verificação:

    function pipechecksum
{
  { tee /dev/fd/$N | sha1sum --quiet -c <(awk '$2="-"' filename.sha1) >&2; } {N}>&1
}

    Parece bom, mas cheguei com isso hoje e não posso considerá-lo comprovado.

    • 2

relate perguntas