Início / unix / Perguntas / 409827
Accepted
Weijun Zhou
Asked: 2017-12-09 13:31:11 +0800 CST

Pipeline como comando paralelo

  • 772

Normalmente, os pipelines no Unix são usados ​​para conectar dois comandos e usar a saída do primeiro comando como entrada do segundo comando. No entanto, recentemente tive a ideia (que pode não ser nova, mas não encontrei muito pesquisando no Google) de usar o pipeline para executar vários comandos em paralelo, como este:

command1 | command2

Isso invocará command1e command2em paralelo se command2não ler da entrada padrão e command1não gravar na saída padrão . Um exemplo mínimo para ilustrar isso é (execute-o em um shell interativo)

ls . -R 1>&2|ls . -R

Minha pergunta é: há alguma desvantagem em usar o pipeline para paralelizar a execução de dois comandos dessa maneira? Existe alguma coisa que eu perdi nessa ideia?

Muito obrigado antecipadamente.

bash parallelism

2 respostas

  1. Best Answer

    Os pipelines de comando já são executados em paralelo. Com o comando:

    command1 | command2

    Ambos command1e command2são iniciados. Se command2estiver agendado e o pipe estiver vazio, ele bloqueia esperando para ler. Se command1tentar escrever no pipe e ele estiver cheio, command1bloqueie até que haja espaço para escrever. Caso contrário, ambos command1e command2executam em paralelo, gravando e lendo do pipe.

    • 9

  2. Existem pontos negativos...

    1. você não pode ver a saída decommand1
    2. se command2não ler a saída de command1, o último travará depois de gravar uma certa quantidade de saída (eu vi 4K, mas experimentalmente o limite é de cerca de 58K, pelo menos para um processo python, veja abaixo). Isso pode depender do tempo de execução usado pelo command1.
    3. se command2parar antes command1e command1gravar em seu stdout, ele obterá[Errno 32] Broken pipe

    Experimentar:

    cmd1 
    #! /usr/bin/python3

import sys,time
for i in range(64):
    print ("*"*1023,file=sys.stdout)
    print ("cmd1 here (%d)" % i,file=sys.stderr)
    time.sleep(.1)
print ("cmd1 exiting",file=sys.stderr)
    cmd2 
    #! /usr/bin/python3

import sys,time
for i in range(16):
    print ("cmd2 here (%d)" % i,file=sys.stderr)
    time.sleep(1)
print ("cmd2 exiting",file=sys.stderr)

    Corre:

    ./cmd1 | ./cmd2

    Você verá:

    • cmd1parando na iteração 58 (porque o cmd2 nunca lê nada de sua saída)
    • cmd1falhando (tubo quebrado) quando o cmd2 sai

    Então sim, talvez possa funcionar. E talvez não.

    • 0

relate perguntas