Início / unix / Perguntas / 472117
Accepted
Josh
Asked: 2018-09-29 08:38:44 +0800 CST

Como posso executar vários comandos pv em paralelo?

  • 772

Eu quero executar uma sequência de pipelines de comando pvem cada um. Aqui está um exemplo:

for p in 1 2 3
do
  cat /dev/zero | pv -N $p | dd of=/dev/null &
done

Os comandos reais no pipe não importam ( cat/ ddsão apenas um exemplo)...

O objetivo é 4 pipelines em execução simultânea, cada um com sua própria pvsaída. No entanto, quando tento fazer os comandos em segundo plano como este, pvpara e tudo o que recebo são 4 trabalhos parados. Eu tentei com {...|pv|...}&, bash -c "...|pv|..." &todos com o mesmo resultado.

Como posso executar vários pvpipelines de comando simultaneamente?

shell parallelism

2 respostas

  1. Best Answer

    Descobri que posso fazer isso com xargse a -Popção:

    josh@subdivisions:/# seq 1 10 | xargs -P 4 -I {} bash -c "dd if=/dev/zero bs=1024 count=10000000 | pv -c -N {} | dd of=/dev/null"
        3: 7.35GiB 0:00:29 [ 280MiB/s] [                                                                                         <=>                                                                 ]
        1: 7.88GiB 0:00:29 [ 312MiB/s] [                                                                                         <=>                                                                 ]
        4: 7.83GiB 0:00:29 [ 258MiB/s] [                                                                                         <=>                                                                 ]
        2: 6.55GiB 0:00:29 [ 238MiB/s] [                                                                                         <=>                                                                 ]

    Envie a saída da matriz para iterar em stdin de xargs; Para executar todos os comandos simultaneamente, use-P 0

    • 7

  2. pvnão pode ser iniciado em segundo plano.

    Como você pode ver no src/main/main.carquivo do pvcódigo-fonte do , eles estão definindo o TOSTOPsinalizador no terminal com tcsetattr()(no c.c_lflagda termiosestrutura). Eles estão fazendo isso para receber um SIGTTOUao tentar escrever no terminal quando não estiver em primeiro plano, pegá-lo com um manipulador de sinal e redirecionar a saída para /dev/nullnão "estragar" o terminal.

    /*
 * Set terminal option TOSTOP so we get signal SIGTTOU if we try to
 * write to the terminal while backgrounded.
 *
 * Also, save the current terminal attributes for later restoration.
 */
memset(&t, 0, sizeof(t));
tcgetattr(STDERR_FILENO, &t);
t_save = t;
t.c_lflag |= TOSTOP;
tcsetattr(STDERR_FILENO, TCSANOW, &t);

    Obviamente, isso é nojento, porque não define esse sinalizador apenas para si, mas para todos os programas que usam o terminal.

    Mas isso não é tudo. Conforme explicado no manual da glibc :

    Função: int tcsetattr (int fieldes, int when, const struct termios *termios-p)

    Se esta função for chamada a partir de um processo em segundo plano em seu terminal de controle, normalmente todos os processos do grupo de processos recebem um sinal SIGTTOU, da mesma forma como se o processo estivesse tentando escrever no terminal. A exceção é se o próprio processo de chamada estiver ignorando ou bloqueando os sinais SIGTTOU, caso em que a operação é executada e nenhum sinal é enviado. Consulte Controle de Trabalho.

    Eles não estão bloqueando ou ignorando o SIGTTOU. E eles também não estão verificando o valor de retorno de tcsetattr()(que retornaria -1 e definido errnocomo EINTR se eles tivessem definido o SIGTTOUmanipulador de sinal antes).

    Assim, o processo é interrompido. Se receber um SIGCONT(a partir do bgcomando), ele irá parar novamente ao tentar completar o tcsetattr().

    Então eu acho que você deve considerá-lo um recurso ;-)

    • 4

relate perguntas