主页 / unix / 问题 / 458212
Accepted
user3647558
Asked: 2018-07-25 10:53:29 +0800 CST

GNU 与 for 循环并行？

  • 772

我找到了接近这个的答案，但不明白如何在我的情况下使用它们（我对 Bash 很陌生）......所以，我正在尝试处理一个包含大图像序列的文件夹（100k + 文件）使用 Imagemagick 并希望使用 GNU Parallel 来加快速度。

这是我使用的代码（一次处理 100 帧以避免内存不足）：

calcmethod1=mean;
allframes=(*.png)
cd out1

for (( i=0; i < "${#allframes[@]}" ; i+=100 )); do 
    convert "${allframes[@]:i:100}" -evaluate-sequence "$calcmethod1" \
        -channel RGB -normalize ../out2/"${allframes[i]}"
done

我将如何“并行化”这个？我发现大多数解决方案不使用循环而是使用管道 - 但是这样做我遇到了我的脚本会因为我的参数列表太长而中断的问题......

我想我想要做的是parallel拆分负载，例如将前 100 帧交给核心 1，将 100-199 帧交给核心 2 等等？

bash imagemagick

3 个回答

  1. 正确的解决方案是使用内置的 shell 打印文件名，这样printf '%s\0' *.png不会受到命令行参数长度的 ARG_MAX 限制的影响，然后通过管道将parallel --null其读取这些文件名并根据需要批处理作业。

    parallel我们将使用的一些功能：

    • --null需要在空字符上合理拆分文件名，以防止奇怪的文件名出现奇怪的问题
    • -n 100就像 xargs 一样，每次调用都会处理 100 个文件
    • {}包含这 100 个文件名
    • ../out2/{1}仅包含第一个

    所以，这将变成：

    calcmethod1=mean
printf '%s\0' *.png | parallel --null -n 100 convert {} -evaluate-sequence $calcmethod1 -channel RGB -normalize {} ../out2/{1}

    为什么你认为管道不起作用？管道工作正常，只有不从管道读取的外部分叉命令存在参数长度问题。管道实际上是parallel.

    • 3
  2. Best Answer

    命令

    您的示例程序似乎并不关心您正在构建*.png的allframes数组的顺序，但您的评论让我相信顺序很重要。

    我想我想做的是并行拆分负载，例如将前 100 帧交给核心 1，将第 100-199 帧交给核心 2 等等？

    重击

    因此，我将从像这样修改您的脚本开始，更改allframes数组的结构，以便文件按数字顺序存储。

    allframes=($(printf "%s\n" *.png | sort -V | tr '\n' ' '))

    这可以进一步简化为sort -zV：

    allframes=($(printf "%s\0" *.png | sort -zV | tr '\0' ' '))

    这对构建您的convert ...命令有影响，因此它们现在看起来像这样：

    $ convert "0.png 1.png 2.png 3.png 4.png 5.png 6.png 7.png 8.png 9.png \
          10.png 11.png 12.png 13.png 14.png 15.png 16.png 17.png 18.png \
          19.png 20.png 21.png 22.png 23.png 24.png 25.png 26.png 27.png \
          28.png 29.png 30.png 31.png 32.png 33.png 34.png 35.png 36.png \
          37.png 38.png 39.png 40.png 41.png 42.png 43.png 44.png 45.png \
          46.png 47.png 48.png 49.png 50.png 51.png 52.png 53.png 54.png \
          55.png 56.png 57.png 58.png 59.png 60.png 61.png 62.png 63.png \
          64.png 65.png 66.png 67.png 68.png 69.png 70.png 71.png 72.png \
          73.png 74.png 75.png 76.png 77.png 78.png 79.png 80.png 81.png \
          82.png 83.png 84.png 85.png 86.png 87.png 88.png 89.png 90.png \
          91.png 92.png 93.png 94.png 95.png 96.png 97.png 98.png 99.png" \
          -evaluate-sequence "mean" -channel RGB -normalize ../out2/0.png

    平行线

    基于 eschwartz 的示例，我整理了一个parallel示例，如下所示：

    $ printf '%s\n' *.png | sort -V | parallel -n100 --dryrun convert {} \
   -evaluate-sequence 'mean' -channel RGB -normalize ../out2/{1}

    再次，更简单地使用sort -zV：

    $ printf '%s\0' *.png | sort -zV | parallel -0 -n100 --dryrun "convert {} \
   -evaluate-sequence 'mean' -channel RGB -normalize ../out2/{1}

    注意：上面有一个 echo "..." 作为parallel开始的动作。这样做有助于可视化正在发生的事情：

    $ convert 0.png 1.png 2.png 3.png 4.png 5.png 6.png 7.png 8.png 9.png 10.png \
         11.png 12.png 13.png 14.png 15.png 16.png 17.png 18.png 19.png \
         20.png 21.png 22.png 23.png 24.png 25.png 26.png 27.png 28.png \
         29.png 30.png 31.png 32.png 33.png 34.png 35.png 36.png 37.png \
         38.png 39.png 40.png 41.png 42.png 43.png 44.png 45.png 46.png \
         47.png 48.png 49.png 50.png 51.png 52.png 53.png 54.png 55.png \ 
         56.png 57.png 58.png 59.png 60.png 61.png 62.png 63.png 64.png \ 
         65.png 66.png 67.png 68.png 69.png 70.png 71.png 72.png 73.png \ 
         74.png 75.png 76.png 77.png 78.png 79.png 80.png 81.png 82.png \
         83.png 84.png 85.png 86.png 87.png 88.png 89.png 90.png 91.png \
         92.png 93.png 94.png 95.png 96.png 97.png 98.png 99.png \
         -evaluate-sequence mean -channel RGB -normalize ../out2/0.png

    如果您对此输出感到满意，只需将--dryrun开关移至parallel，然后重新运行即可。

    $ printf '%s\0' *.png | sort -zV | parallel -0 -n100 convert {} \ 
    -evaluate-sequence 'mean' -channel RGB -normalize

    参考

    • 3

  3. convert可以在自己的子 shell 中运行每个进程：

    #!/bin/bash

for (( i=1; i<=1000; i++ )) do
(
command --options ) &
disown
done

exit 0

    要查看它是如何工作的，请尝试以下脚本：

    #!/bin/bash

echo "Hi!"

for (( i=1; i<=1000; i++ )) do
(
sleep 30
echo "Bye, "$i"!" ) &
disown
done

exit 0

    分配给脚本名称par.sh并随后检查进程：

    ps aux | grep par.sh

    我们可以假设本机 Linux CPU 负载平衡器应该在 CPU 内核之间均匀分布进程，因为每个子 shell 都有一个单独的 pid。cpuset无论如何，总是可以使用类似的东西。

    • 2

相关问题