AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / unix / Perguntas / 794193
Accepted
JSQuareD
JSQuareD
Asked: 2025-04-26 12:25:40 +0800 CST2025-04-26 12:25:40 +0800 CST 2025-04-26 12:25:40 +0800 CST

Como fazer com que o relatório paralelo do GNU progrida de uma forma adequada para uso fora de um terminal?

  • 772

Quero executar um comando em paralelo em vários arquivos como parte de um fluxo de trabalho de CI do Github (em um executor Ubuntu) para acelerar o trabalho de CI. Também gostaria que o comando paralelo relatasse seu progresso.

Atualmente meu comando se parece com isso:

# ci/clang-tidy-parallel.sh
find src \
  ! -path "path/to/exclude/*" \
  -type f \( -name "*.cpp" -o -name "*.h" \) \
  | parallel --progress "clang-tidy-19 {}"

Isso funciona muito bem quando executado a partir de um shell na minha própria máquina: os trabalhos são executados em paralelo e uma única linha de saída é mostrada com quantos trabalhos estão em andamento e quantos já foram concluídos.

Entretanto, quando executado como parte do fluxo de trabalho do Github, a saída é meio desagradável:

  1. Ele imprime o erro sh: 1: cannot open /dev/tty: No such device or addressvárias vezes.
  2. Ele imprime muito mais resultados de progresso do que o necessário. Algo como 1700 linhas de relatórios de progresso, enquanto há apenas cerca de 80 tarefas para executar. A maioria dessas linhas são duplicadas. Por exemplo, as primeiras linhas são:
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 
local:4/0/100%/0.0s 

Se eu executar o comando localmente e redirecionar o stderr para um arquivo, observo um comportamento semelhante

ci/clang-tidy-parallel.sh 2>log

Quando o comando for concluído, o arquivo de log conterá centenas de linhas de saída. (Embora não haja erros sobre /dev/tty ausente.)

Por outro lado, sem a --progressopção, o trabalho fica parado, sem saída visível, até ser concluído, o que também não é desejável.

Existe uma maneira de configurar o GNU Parallel para que ele relate o progresso de uma forma amigável a ambientes não terminais? Em particular, eu gostaria que ele imprimisse apenas uma linha de saída quando o status de uma tarefa paralela fosse alterado (o que significaria receber uma linha por tarefa se tudo correr bem).


Agradeço ao Ole Tange por me apontar o caminho certo. Com base na solução dele e em alguma codificação assistida por IA, criei esta monstruosidade:

file_list=$(find src \
  ! -path "path/to/exclude/*" \
  -type f \( -name "*.cpp" -o -name "*.h" \))

length=$(wc -w <<< "$file_list")
echo Running clang-tidy on $length files

echo "$file_list" |
  parallel --bar "clang-tidy-19 {}" \
  2> >(
    perl -pe 'BEGIN{$/="\r";$|=1};s/\r/\n/g' |
    grep '%' |
    perl -pe 'BEGIN{$|=1}s/\e\[[0-9;]*[a-zA-Z]//g' |
    perl -pe "BEGIN{\$length=$length;$|=1} s|(\d+)% (\d+):\d+=[\ds]+ (\S+).*|\$1% (\$2/\$length) -- \$3|" |
    perl -ne '$s{$_}++ or print')

A saída bruta --barse parece com isso:

#   0 sec src/tuner/Utilities.h                                                                                                                                         
3.65853658536585
[7m3% 3:7[0m9=0s src/tuner/Utilities.h                                                                                                                                        [0m

(Com sequências de escape para imprimir a barra de progresso.)

Os comandos sucessivos que processam essa saída realizam as seguintes transformações:

  • Transforme retornos de carro em novas linhas.
  • Encontre linhas contendo porcentagem de saída.
  • Retire as sequências de escape.
  • Execute uma substituição de regex para extrair e formatar o número de arquivos processados, a porcentagem de conclusão e o nome do arquivo que está sendo processado. Também inclui o número total de arquivos a serem processados ​​por meio de uma variável de shell.
  • Imprima linhas exclusivas.

Todas BEGIN{$|=1}as invocações do Perl, exceto a última, são necessárias para garantir que a saída seja liberada imediatamente.

A popção executará o perl em cada linha de entrada e imprimirá o resultado. A nopção "executa em cada linha de entrada" put não imprime automaticamente. A eopção fornece o script como um argumento CLI.

Ele gera uma saída semelhante a esta:

Running clang-tidy on 82 files
1% (1/82) -- src/tuner/LoadPositions.h
2% (2/82) -- src/tuner/Main.cpp
2% (2/82) -- src/tuner/Utilities.h
3% (3/82) -- src/tuner/Utilities.h
...

Tenho certeza de que existe uma maneira melhor de criar esses scripts Perl (e não ter quatro deles). Mas isso funciona, e meu perl-foo é muito fraco.

gnu-parallel
  • 1 1 respostas
  • 21 Views

1 respostas

  • Voted
  1. Best Answer
    Ole Tange
    2025-04-28T03:21:21+08:002025-04-28T03:21:21+08:00

    Você está procurando por --bar:

    seq 1000 |
      parallel --bar  sleep .{} 2> >(perl -pe 'BEGIN{$/="\r";$|=1};s/\r/\n/g' |
      grep '#' | perl -ne '$s{$_}++ or print')
    

    --barenganosamente parece que apenas gera uma barra. Mas também gera entrada para zenity:

    seq 1000 | parallel -j10 --bar '(echo -n {};sleep 0.1)' 2> >(perl -pe 'BEGIN{$/="\r";$|=1};s/\r/\n/g' |
         zenity --progress --auto-kill)
    

    A linha que começa com '#' é o texto mostrado em zenity. A linha com o número decimal é o pct concluído.

    Ou talvez você esteja procurando por --joblog:

    seq 1000 | parallel --joblog my.log sleep 1.{} &
    sleep 10
    cat my.log
    
    • 1

relate perguntas

  • argumento de par paralelo gnu com argumentos de entrada de arquivo

  • Mantendo os diretórios em ordem com o GNU Parallel

  • Por que parallel --nice não está definindo a gentileza?

  • Calcula md5sum para cada linha em um arquivo

  • Posso puxar simultaneamente meus repositórios git sem paralelo gnu?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Possível firmware ausente /lib/firmware/i915/* para o módulo i915

    • 3 respostas
  • Marko Smith

    Falha ao buscar o repositório de backports jessie

    • 4 respostas
  • Marko Smith

    Como exportar uma chave privada GPG e uma chave pública para um arquivo

    • 4 respostas
  • Marko Smith

    Como podemos executar um comando armazenado em uma variável?

    • 5 respostas
  • Marko Smith

    Como configurar o systemd-resolved e o systemd-networkd para usar o servidor DNS local para resolver domínios locais e o servidor DNS remoto para domínios remotos?

    • 3 respostas
  • Marko Smith

    apt-get update error no Kali Linux após a atualização do dist [duplicado]

    • 2 respostas
  • Marko Smith

    Como ver as últimas linhas x do log de serviço systemctl

    • 5 respostas
  • Marko Smith

    Nano - pule para o final do arquivo

    • 8 respostas
  • Marko Smith

    erro grub: você precisa carregar o kernel primeiro

    • 4 respostas
  • Marko Smith

    Como baixar o pacote não instalá-lo com o comando apt-get?

    • 7 respostas
  • Martin Hope
    user12345 Falha ao buscar o repositório de backports jessie 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl Por que a maioria dos exemplos do systemd contém WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky Como exportar uma chave privada GPG e uma chave pública para um arquivo 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll status systemctl mostra: "Estado: degradado" 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim Como podemos executar um comando armazenado em uma variável? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S Por que /dev/null é um arquivo? Por que sua função não é implementada como um programa simples? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 Como ver as últimas linhas x do log de serviço systemctl 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - pule para o final do arquivo 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla Por que verdadeiro e falso são tão grandes? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis Substitua a string em um arquivo de texto enorme (70 GB), uma linha 2017-12-30 06:58:33 +0800 CST

Hot tag

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve