Início / unix / Perguntas / 458212
Accepted
user3647558
Asked: 2018-07-25 10:53:29 +0800 CST

GNU paralelo com loop for?

  • 772

Encontrei respostas próximas a isso, mas não consigo entender como usá-las no meu caso (sou bastante novo no Bash) ... com Imagemagick e gostaria de usar GNU Parallel para acelerar as coisas.

Este é o código que eu uso (processando 100 quadros por vez para evitar ficar sem memória ram):

calcmethod1=mean;
allframes=(*.png)
cd out1

for (( i=0; i < "${#allframes[@]}" ; i+=100 )); do 
    convert "${allframes[@]:i:100}" -evaluate-sequence "$calcmethod1" \
        -channel RGB -normalize ../out2/"${allframes[i]}"
done

como eu 'paralelizar' isso? A maioria das soluções que encontrei funciona sem usar um loop, mas uma tubulação - mas, ao fazer isso, me deparei com o problema de que meu script quebraria por causa da minha lista de argumentos ficar muito longa ...

Eu acho que o que eu gostaria de fazer é paralleldividir a carga como entregar os primeiros 100 quadros ao núcleo 1, quadros 100-199 ao núcleo 2 etc.?

bash imagemagick

3 respostas

  1. A solução correta é imprimir os nomes dos arquivos usando um shell embutido como printf '%s\0' *.pngo qual não é vulnerável à limitação ARG_MAX no comprimento do argumento da linha de comando e, em seguida, canalizá-lo para o parallel --nullqual lerá esses nomes de arquivos e agrupará os trabalhos da maneira que desejar.

    Algumas funcionalidades parallelque iremos utilizar:

    • --nullé necessário para dividir nomes de arquivos de forma sensata em caracteres nulos para evitar problemas estranhos com nomes de arquivos estranhos
    • -n 100irá, assim como xargs, lidar com 100 arquivos para cada chamada
    • {}contém esses 100 nomes de arquivos
    • ../out2/{1}contém apenas o primeiro

    Então, isso se tornaria:

    calcmethod1=mean
printf '%s\0' *.png | parallel --null -n 100 convert {} -evaluate-sequence $calcmethod1 -channel RGB -normalize {} ../out2/{1}

    Por que você acha que a tubulação não funcionaria? A tubulação funciona bem, são apenas comandos bifurcados externamente que não são lidos de um tubo, que têm problemas com o comprimento do argumento . A tubulação é de fato todo o propósito do parallel.

    • 3
  2. Best Answer

    Ordem

    Seu programa de exemplo não parecia se importar com a ordem do *.pngarray allframesque você estava construindo, mas seus comentários me levaram a acreditar que a ordem importaria.

    Eu acho que o que eu gostaria de fazer é ter uma divisão paralela da carga, como entregar os primeiros 100 quadros ao núcleo 1, quadros 100-199 ao núcleo 2, etc.?

    festança

    Portanto, eu começaria com uma modificação no seu script assim, alterando a construção do allframesarray para que os arquivos sejam armazenados em ordem numérica.

    allframes=($(printf "%s\n" *.png | sort -V | tr '\n' ' '))

    Isso pode ser simplificado ainda mais usando sort -zV:

    allframes=($(printf "%s\0" *.png | sort -zV | tr '\0' ' '))

    Isso tem o efeito de construir seus convert ...comandos para que fiquem assim agora:

    $ convert "0.png 1.png 2.png 3.png 4.png 5.png 6.png 7.png 8.png 9.png \
          10.png 11.png 12.png 13.png 14.png 15.png 16.png 17.png 18.png \
          19.png 20.png 21.png 22.png 23.png 24.png 25.png 26.png 27.png \
          28.png 29.png 30.png 31.png 32.png 33.png 34.png 35.png 36.png \
          37.png 38.png 39.png 40.png 41.png 42.png 43.png 44.png 45.png \
          46.png 47.png 48.png 49.png 50.png 51.png 52.png 53.png 54.png \
          55.png 56.png 57.png 58.png 59.png 60.png 61.png 62.png 63.png \
          64.png 65.png 66.png 67.png 68.png 69.png 70.png 71.png 72.png \
          73.png 74.png 75.png 76.png 77.png 78.png 79.png 80.png 81.png \
          82.png 83.png 84.png 85.png 86.png 87.png 88.png 89.png 90.png \
          91.png 92.png 93.png 94.png 95.png 96.png 97.png 98.png 99.png" \
          -evaluate-sequence "mean" -channel RGB -normalize ../out2/0.png

    Paralelos

    Com base no exemplo de eschwartz, montei um parallelexemplo da seguinte forma:

    $ printf '%s\n' *.png | sort -V | parallel -n100 --dryrun convert {} \
   -evaluate-sequence 'mean' -channel RGB -normalize ../out2/{1}

    novamente, mais simplesmente usando sort -zV:

    $ printf '%s\0' *.png | sort -zV | parallel -0 -n100 --dryrun "convert {} \
   -evaluate-sequence 'mean' -channel RGB -normalize ../out2/{1}

    NOTA: O acima tem um eco "..." como a parallelação para iniciar. Fazer desta forma ajuda a visualizar o que está acontecendo:

    $ convert 0.png 1.png 2.png 3.png 4.png 5.png 6.png 7.png 8.png 9.png 10.png \
         11.png 12.png 13.png 14.png 15.png 16.png 17.png 18.png 19.png \
         20.png 21.png 22.png 23.png 24.png 25.png 26.png 27.png 28.png \
         29.png 30.png 31.png 32.png 33.png 34.png 35.png 36.png 37.png \
         38.png 39.png 40.png 41.png 42.png 43.png 44.png 45.png 46.png \
         47.png 48.png 49.png 50.png 51.png 52.png 53.png 54.png 55.png \ 
         56.png 57.png 58.png 59.png 60.png 61.png 62.png 63.png 64.png \ 
         65.png 66.png 67.png 68.png 69.png 70.png 71.png 72.png 73.png \ 
         74.png 75.png 76.png 77.png 78.png 79.png 80.png 81.png 82.png \
         83.png 84.png 85.png 86.png 87.png 88.png 89.png 90.png 91.png \
         92.png 93.png 94.png 95.png 96.png 97.png 98.png 99.png \
         -evaluate-sequence mean -channel RGB -normalize ../out2/0.png

    Se você estiver satisfeito com esta saída, simplesmente remova a --dryrunopção para parallele execute-a novamente.

    $ printf '%s\0' *.png | sort -zV | parallel -0 -n100 convert {} \ 
    -evaluate-sequence 'mean' -channel RGB -normalize

    Referências

    • 3

  3. É possível executar cada convertprocesso em seu próprio subshell:

    #!/bin/bash

for (( i=1; i<=1000; i++ )) do
(
command --options ) &
disown
done

exit 0

    Para ver como funciona, tente este script:

    #!/bin/bash

echo "Hi!"

for (( i=1; i<=1000; i++ )) do
(
sleep 30
echo "Bye, "$i"!" ) &
disown
done

exit 0

    Atribua ao nome do script par.she verifique os processos posteriormente:

    ps aux | grep par.sh

    Podemos supor que o balanceador de carga de CPU Linux nativo deve distribuir os processos entre os núcleos de CPU uniformemente, pois cada subshell possui um pid separado. De qualquer forma, algo como cpusetestá sempre disponível para ser usado.

    • 2

relate perguntas