Início / unix / Perguntas / 784411
Accepted
user447274
Asked: 2024-10-03 03:41:38 +0800 CST

como processar uma sequência de itens N por vez

  • 772

Quero executar um comando N vezes em paralelo usando bash e xargs em um sistema Linux. O comando é:

for i in `seq 1 $(howmany.txt)`; do aprogramm --file file$i.dat ; done

O arquivo howmany.txtcontém o valor 100e ntimes.txtcontém o valor 5.

Os arquivos file1existem file100, em sequência de 1 a 100, e eu quero processá-los 5 de cada vez em paralelo. Como faço isso com xargs?

bash

5 respostas

  1. Há alguns problemas com o que você mostra. Primeiro, $(howmany.txt)tentará executar howmany.txt. Se for um script executável, armazenado em seu PATH, que imprime um número, então pode funcionar, mas se for apenas um arquivo de texto com um número, você vai querer $(cat howmany.txt). Segundo, é melhor (mais claro e permite comandos aninhados) usar $( command )em vez de `seq`command.

    Dito isto, para fazer isso com xargs, você vai querer algo como:

    seq 1 $(< howmany.txt) | xargs -I {} -n1 -P $(< ntimes.txt) aprogramm --file file{}.dat

    Mas, na verdade, esse é um trabalho para o GNU parallel :

    parallel -j ntimes.txt aprogramm --file file{} < howmany.txt

    Ou, se todos os seus arquivos forem nomeados fileNe você quiser processar todos fileN(então você realmente não precisa do howmany.txt), então você pode fazer:

    parallel -j ntimes.txt aprogramm --file {} ::: file*

    Uma das muitas vantagens parallelé xargsque você pode alterar o número howmany.txtenquanto ele estiver em execução, para poder aumentar ou diminuir o número de trabalhos em execução.

    • 6

  2. Em vez de escrever um script para executar os comandos, escreva um script que ecoe os comandos:

    for i in `seq 1 $(howmany.txt)`
  do echo "aprogramm --file file$i.dat"
done

    Cada linha dessa saída deve ser uma sintaxe de comando válida para qualquer shell que você usar.

    Quando a saída estiver boa, canalize-a para parallel(1) com a -j5opção de executar 5 tarefas em paralelo:

    for i in `seq 1 $(howmany.txt)`
  do echo "aprogramm --file file$i.dat"
done | parallel -j5
    • 5
  3. Best Answer

    Para processar os arquivos em lotes, use xargs -n. Se um único arquivo for processado por lote, use 1:

    echo file*.dat | xargs -n1

    Para processá-los em paralelo, use -P.

    echo file*.dat | xargs -n1 -P$(< ntimes.txt) aprogramm --file
    • 4

  4. Suposições:

    • arquivos howmany.txte ntimes.txtsão garantidos para conter um único inteiro e nada mais
    • pode haver outros arquivos no diretório que não queremos processar (por exemplo, um simples find . -name 'file*.dat'pode retornar mais arquivos do que o desejado)

    Para fins de demonstração:

    $ cat aprogram
#!/bin/bash

echo "input: $@"
sleep 3

$ cat howmany.txt
10

$ cat ntimes.txt
4

    Uma ideia usando o método de Jim para imprimir uma lista de nomes de arquivos canalizados para xargs`:

    read -r max   < howmany.txt
read -r count < ntimes.txt

for ((i=1; i<=max; i++))
do
    echo "file$i.dat"
done | xargs -r -n1 -P "$count" ./aprogram --file

    Isso gera:

    input: --file file1.dat        # 4 invocations in quick succession
input: --file file2.dat
input: --file file3.dat
input: --file file4.dat
                               # 3 sec delay
input: --file file5.dat        # 4 invocations in quick succession
input: --file file6.dat
input: --file file7.dat
input: --file file8.dat
                               # 3 sec delay
input: --file file9.dat        # last 2 invocations in quick succession
input: --file file10.dat
                               # 3 sec delay
    • 4

  5. Recentemente tive que resolver isso sem usar xargs/parallel....

    NUM_THREADS=5

for i in $( sequence_generation ) ; do
    while [ "$NUM_THREADS" -le "$( jobs  | grep 'Running' | wc -l)" ]; do
        sleep 1
    done
    {
        slow_thing $i 
    } &
done
while [ 1 -le "$( jobs  | grep 'Running' | wc -l)" ]; do
   sleep 1
done
    • 1

relate perguntas