主页 / server / 问题 / 1036002
Accepted
Denis Argentin
Asked: 2020-10-02 06:31:20 +0800 CST

如何在不陷入无限循环的情况下同时运行 bash 备份脚本？

  • 772

我为运行多个模式的 postgresql pg_dump 编写了这个脚本。由于完成所有操作需要很长时间，因此我通过同时运行转储来改进它：

for SCHEMA in $SCH
do
while [ $(jobs | wc -l | xargs) -ge $PROC ]; do  sleep 5; done
/usr/pgsql-$PGVER/bin/pg_dump -h $PGHOST -p $PORT -U postgres -d $DB -n $SCHEMA -Fc -Z 1 2> $LOGDIR/$SCHEMA'-'$DATA'.log' | $ENCCMD $DUMPDIR/$SCHEMA'-'$DATA.bkp.enc $ENCKEY &
done
wait

所以基本上这样做是让作业的数量运行，如果大于或等于 5，它会等到进程数量减少，保持至少 5 个转储同时运行，直到完成所有模式。

问题是：有时它会卡在“while 循环”中，“jobs | wc -l”总是返回数字 5，并且检查 linux 进程没有运行任何转储

linux postgresql shell-scripting pg-dump

1 个回答

  1. Best Answer

    两件事情。

    1. 您可能最好使用directory格式 in pg_dump，它并行转储（每个表 1 个线程）。所以像pg_dump -d $DB -Fd -j 5 -f $output_directory.
    2. 更通用的答案。xargs完全支持您想要的-P：
    for SCHEMA in $SCH; do
  echo $SCHEMA
done | xargs -L 1 -P 5 bash -c "/usr/pgsql-$PGVER/bin/pg_dump -h $PGHOST -p $PORT -U postgres -d $DB -n "'$0'" -Z 1 | $ENCCMD $DUMPDIR/$SCHEMA'-'$DATA.bkp.enc $ENCKEY"

    上面我用来bash包裹你的管道进行加密。xargs将一个 arg (-L 1) 放在行尾，afterbash和它的代码，bash 使用它 as ，这就是在这个例子中$0它被转义的原因 。一次运行 5 个这样的命令，当一个命令结束时，只要它的标准输入上有行，它就会开始下一个命令。'xargs

    • 0

相关问题