主页 / computer / 问题 / 1518572
Accepted
GoingMyWay
Asked: 2020-01-20 20:16:43 +0800 CST

带等待的顺序并行

  • 772

我想在一个 bash 文件中运行一个多并行任务，如下面的示例代码，

for i in 1 2 3 4 5 6 7 8; do
        setsid python /tmp/t.py ${i} 1>>/tmp/1.log 2>&1 &
done
wait  # first wait

echo "next wait"
for i in 9 10 11 12 13 14 15 16; do
        setsid python /tmp/t.py ${i} 1>>/tmp/1.log 2>&1 &
done
wait  # second wait

如您所见，wait可以这样做吗？我想运行前 8 个任务，然后wait完成所有任务，然后生成接下来的 8 个任务，因为 RAM 有限，我无法在一轮中运行所有 16 个任务。

bash parallel-processing

3 个回答

  1. Best Answer

    使用 option-w或--waittosetsid以便 setsid 命令等到 python 进程结束后再结束。这意味着 shellwait命令现在有子进程等待。

    • 2

  2. 像这样的东西：

    set -a pids
for i in {1..8}
do
  python /tmp/t.py ${i} 1>>/tmp/1.log 2>&1 &
  pids[${#pids[*]}]=$!  # Remember pid of child
done

# Wait for each child. This loops exits when all children are finished
for pid in ${pids[*]} 
do
  wait $pid
  printf "Sensed end of %d\n" $pid
done

### Continue processing here
    • 2

  3. 使用 GNU Parallel，它看起来像这样：

    parallel -j8 setsid python /tmp/t.py {} ::: {1..16} > log
    • 1

相关问题