Início / unix / Perguntas / 518219
Accepted
pLumo
Asked: 2019-05-11 04:11:36 +0800 CST

find -exec e incrementa o contador/progresso

  • 772

TL;DR:

P: Como manter um contador em find -execloop?

Meu caso de uso:

Eu preciso mover muitos diretórios que estão espalhados pelo local, então eu faço

find . -type d -name "prefix_*" \
    -exec sh -c '
        new_path="/new/path/$(basedir "$1")";
        [ -d "$new_path" ] || mv "$1" "$new_path";
    ' find_sh {} \;

(O comando real é mais complexo, pois li alguns metadados para a constituição do /new/path. De qualquer forma, não quero discutir sobre o comando em si, não faz parte da questão, apenas o caso de uso).

Funciona muito bem, mas demora um pouco e eu quero acompanhar o progresso.

Então eu adicionei um contador de escrita em um arquivo:

i=$(cat ~/find_increment || echo 0);
echo $((i+1)) | tee ~/find_increment;

Isso também funciona bem, mas parece uma péssima ideia ter cerca de 100.000 operações de leitura e gravação de disco.

Pensei em escrever em ramdiskvez de disco, mas não tenho essa opção no ambiente que preciso para realizar essa tarefa.

Existe uma maneira melhor de manter um contador entre as -execcorridas?

find command-line

2 respostas

  1. Best Answer

    findEm vez de usar um comando puro , você pode combinar findcom um while readloop ou GNU parallel. Ambos provavelmente serão mais rápidos do que find's , -execjá que você não inicia um novo shell para cada caminho encontrado por find.

    Solução usando GNU Parallel

    GNU paralleltem os seguintes benefícios em comparação com while read:

    • Mais fácil de acertar. Não IFS=e -rnecessário.
    • Variável de número de trabalho embutida {#}.
      Para strings de substituição mais úteis, dê uma olhada no tutorial .
    • Fácil de paralelizar, se necessário.
      Remova o -j1e você terá tantos trabalhadores quanto núcleos por padrão.
    script='
    echo Processing job number {#}
    new_path="/new/path/$(basedir {})"
    [ -d "$new_path" ] || mv {} "$new_path"
'
find … -print0 | parallel -0 -j1 "$script"

    O {}é substituído pela parallelentrada citada corretamente lida de stdin. Não cite {}novamente.

    parallelexecuta o script com o mesmo shell do qual você o iniciou. Se você começou parallel, bashpode usar bashrecursos no script.

    Solução usando durante a leitura

    find … -print0 |
while IFS= read -r -d '' old_path; do
    echo Processing job number "$((++job))"
    new_path="/new/path/$(basedir "$old_path")"
    [ -d "$new_path" ] || mv "$old_path" "$new_path"
done
    • 3

  2. Se disponível, armazene o contador /dev/shm/para evitar gravações em disco.

    => Use /dev/shm/find_incrementem vez de ~/find_increment.

    • 0

relate perguntas