Início / computer / Perguntas / 1518572
Accepted
GoingMyWay
Asked: 2020-01-20 20:16:43 +0800 CST

Paralelo sequencial com espera

  • 772

Eu quero executar uma tarefa multiparalela em um arquivo bash como o código de exemplo abaixo,

for i in 1 2 3 4 5 6 7 8; do
        setsid python /tmp/t.py ${i} 1>>/tmp/1.log 2>&1 &
done
wait  # first wait

echo "next wait"
for i in 9 10 11 12 13 14 15 16; do
        setsid python /tmp/t.py ${i} 1>>/tmp/1.log 2>&1 &
done
wait  # second wait

Como você pode ver, é waitpossível fazer isso? Eu quero executar as primeiras 8 tarefas e, em seguida, waittodas as tarefas para terminar e, em seguida, gerar as próximas 8 tarefas porque a RAM é limitada, não posso executar todas as 16 tarefas em uma rodada.

bash parallel-processing

3 respostas

  1. Best Answer

    Use a opção -wou --waitpara setsidque o comando setsid espere até que o processo python termine antes de terminar. Isso significa que o comando shell waitagora tem processos filhos para aguardar.

    • 2

  2. Algo assim:

    set -a pids
for i in {1..8}
do
  python /tmp/t.py ${i} 1>>/tmp/1.log 2>&1 &
  pids[${#pids[*]}]=$!  # Remember pid of child
done

# Wait for each child. This loops exits when all children are finished
for pid in ${pids[*]} 
do
  wait $pid
  printf "Sensed end of %d\n" $pid
done

### Continue processing here
    • 2

  3. Com o GNU Parallel, fica assim:

    parallel -j8 setsid python /tmp/t.py {} ::: {1..16} > log
    • 1

relate perguntas