Início / unix / Perguntas / 768231
Accepted
pmor
Asked: 2024-02-01 20:45:34 +0800 CST

Paralelo GNU: por que a saída de diagnóstico parece uma execução sequencial em vez de uma execução paralela?

  • 772

Cenário:

$ cat libs.txt
lib.a
lib1.a

$ cat t1a.sh
f1()
{
        local lib=$1
        stdbuf -o0 printf "job for $lib started\n"
        sleep 2
        stdbuf -o0 printf "job for $lib done\n"
}
export -f f1
cat libs.txt | SHELL=$(type -p bash) parallel --jobs 2 f1

Invocação e saída:

$ time bash t1a.sh
job for lib.a started
job for lib.a done
job for lib1.a started
job for lib1.a done

real    0m2.129s
user    0m0.117s
sys     0m0.033s

Aqui vemos que a execução de f1foi de fato em paralelo ( real 0m2.129s).

No entanto, a saída de diagnóstico parece que a execução foi sequencial.

Eu esperava a seguinte saída de diagnóstico:

job for lib.a started
job for lib1.a started
job for lib.a done
job for lib1.a done

Por que a saída de diagnóstico parece uma execução sequencial em vez de uma execução paralela?

Como corrigir a saída de diagnóstico para que pareça uma execução paralela?

io

1 respostas

  1. Best Answer

    Nas páginas de manual do GNUparallel :

    --group

    Saída do grupo.

    A saída de cada trabalho é agrupada e impressa somente quando o comando é concluído. Stdout (saída padrão) primeiro seguido por stderr (erro padrão).

    Isso leva cerca de 0,5 ms de tempo de CPU por trabalho e depende da velocidade do seu disco para uma saída maior.

    --groupé o padrão.

    Veja também:--line-buffer --ungroup --tag

    [...]

    --line-buffer

    --lb

    Saída do buffer on-line.

    --groupmanterá a saída unida durante todo o trabalho. --ungrouppermite que a saída seja misturada com meia linha proveniente de um trabalho e meia linha proveniente de outro trabalho. --line-bufferse ajusta entre esses dois: GNU paralelo imprimirá uma linha completa, mas permitirá misturar linhas de trabalhos diferentes.

    Portanto, você deve adicionar ou --line-bufferao --ungroupseu parallelcomando (de acordo com seu comportamento preferido):

    $ grep parallel t1a.sh 
cat libs.txt | SHELL=$(type -p bash) parallel --line-buffer --jobs 2 f1

$ bash t1a.sh 
job for lib.a started
job for lib1.a started
job for lib.a done
job for lib1.a done
    • 1

relate perguntas