主页 / unix / 问题 / 794193
Accepted
JSQuareD
Asked: 2025-04-26 12:25:40 +0800 CST

如何使 GNU 并行以适合在终端外使用的方式报告进度？

  • 772

我想在 Github CI 工作流（在 Ubuntu 运行器上）中对一组文件并行运行一个命令，以加快 CI 作业的速度。我还希望并行命令能够报告其进度。

目前我的命令看起来像这样：

# ci/clang-tidy-parallel.sh
find src \
  ! -path "path/to/exclude/*" \
  -type f \( -name "*.cpp" -o -name "*.h" \) \
  | parallel --progress "clang-tidy-19 {}"

当从我自己的机器上的 shell 运行时，它工作得很好：作业并行执行，并且显示一行输出，其中显示正在进行的作业数以及已经完成的作业数。

然而，当作为 Github 工作流的一部分运行时，输出有点令人讨厌：

  1. sh: 1: cannot open /dev/tty: No such device or address它会多次打印该错误。
  2. 它打印的进度输出远远超出了实际需要。大约有 1700 行进度报告，而实际要运行的作业只有大约 80 个。这些行大部分都是重复的。例如，前几行是：
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s

如果我在本地运行该命令并将 stderr 重定向到文件，我会观察到类似的行为

ci/clang-tidy-parallel.sh 2>log

命令完成后，日志文件包含数百行输出。（虽然没有关于缺少 /dev/tty 的错误。）

另一方面，如果没有该--progress选项，作业就只是停留在那里，没有可见的输出，直到完成为止，这也是不可取的。

有没有办法配置 GNU Parallel，让它以一种对非终端环境友好的方式报告进度？具体来说，我希望它只在并行作业的状态发生变化时打印一行输出（如果一切顺利，这意味着每个作业只打印一行）。

感谢 Ole Tange 为我指明了方向。基于他的解决方案和一些 AI 辅助编码，我设计出了这个怪异的方案：

file_list=$(find src \
  ! -path "path/to/exclude/*" \
  -type f \( -name "*.cpp" -o -name "*.h" \))

length=$(wc -w <<< "$file_list")
echo Running clang-tidy on $length files

echo "$file_list" |
  parallel --bar "clang-tidy-19 {}" \
  2> >(
    perl -pe 'BEGIN{$/="\r";$|=1};s/\r/\n/g' |
    grep '%' |
    perl -pe 'BEGIN{$|=1}s/\e\[[0-9;]*[a-zA-Z]//g' |
    perl -pe "BEGIN{\$length=$length;$|=1} s|(\d+)% (\d+):\d+=[\ds]+ (\S+).*|\$1% (\$2/\$length) -- \$3|" |
    perl -ne '$s{$_}++ or print')

原始输出--bar看起来像这样：

#   0 sec src/tuner/Utilities.h                                                                                                                                         
3.65853658536585
[7m3% 3:7[0m9=0s src/tuner/Utilities.h                                                                                                                                        [0m

（使用转义序列来打印进度条。）

输出的连续命令处理执行以下转换：

  • 将回车符转换为换行符。
  • 查找包含百分比输出的行。
  • 删除转义序列。
  • 执行正则表达式替换，提取并格式化已处理的文件数量、完成百分比以及正在处理的文件的名称。它还包含通过 shell 变量需要处理的文件总数。
  • 打印独特的线条。

除了最后一次 perl 调用之外，所有BEGIN{$|=1}调用都是必要的，以确保输出立即被刷新。

该p选项将在输入的每一行上运行 perl 并打印结果。该n选项在输入的每一行上运行 put 不会自动打印结果。该e选项将脚本作为 CLI 参数提供。

它生成类似如下的输出：

Running clang-tidy on 82 files
1% (1/82) -- src/tuner/LoadPositions.h
2% (2/82) -- src/tuner/Main.cpp
2% (2/82) -- src/tuner/Utilities.h
3% (3/82) -- src/tuner/Utilities.h
...

我确信有更好的方法来执行这些 perl 脚本（而不是写 4 个）。但是这个方法可行，而且我的 perl-foo 很弱。

gnu-parallel

1 个回答

  1. Best Answer

    您正在寻找--bar：

    seq 1000 |
  parallel --bar  sleep .{} 2> >(perl -pe 'BEGIN{$/="\r";$|=1};s/\r/\n/g' |
  grep '#' | perl -ne '$s{$_}++ or print')

    --bar它看上去好像只是生成了一个条形图。但它同时也生成了以下输入zenity：

    seq 1000 | parallel -j10 --bar '(echo -n {};sleep 0.1)' 2> >(perl -pe 'BEGIN{$/="\r";$|=1};s/\r/\n/g' |
     zenity --progress --auto-kill)

    以“#”开头的行是 中显示的文本zenity。带有小数的行是完成百分比。

    或者也许您正在寻找--joblog：

    seq 1000 | parallel --joblog my.log sleep 1.{} &
sleep 10
cat my.log
    • 1

相关问题