主页 / unix / 问题 / 409827
Accepted
Weijun Zhou
Asked: 2017-12-09 13:31:11 +0800 CST

管道作为并行命令

  • 772

通常，Unix 中的管道用于连接两个命令，并将第一个命令的输出用作第二个命令的输入。但是，我最近提出了使用管道并行运行多个命令的想法（这可能不是新的，但我没有找到太多谷歌搜索），如下所示：

command1 | command2

如果不从标准输入读取并且不写入标准输出，这将并行调用command1和。说明这一点的最小示例是（请在交互式 shell 中运行它）command2command2command1

ls . -R 1>&2|ls . -R

我的问题是，使用管道以这种方式并行执行两个命令有什么缺点吗？这个想法有什么我遗漏的吗？

非常感谢您提前。

bash parallelism

2 个回答

  1. Best Answer

    命令管道已经并行运行。使用命令：

    command1 | command2

    两者command1都command2启动。如果command2已调度且管道为空，则会阻塞等待读取。如果command1尝试写入管道并且它已满，command1则阻塞直到有写入空间。否则，两者command1和command2并行执行，写入和读取管道。

    • 9

  2. 有缺点...

    1. 你看不到的输出command1
    2. 如果command2不读取 的输出command1，后者将在写入一定数量的输出后挂起（我见过 4K，但实验上，对于 python 进程来说，限制至少在 58K 左右，见下文）。这可能取决于command1.
    3. 如果command2之前停止command1并command1写入其标准输出，它将得到[Errno 32] Broken pipe

    实验：

    cmd1 
    #! /usr/bin/python3

import sys,time
for i in range(64):
    print ("*"*1023,file=sys.stdout)
    print ("cmd1 here (%d)" % i,file=sys.stderr)
    time.sleep(.1)
print ("cmd1 exiting",file=sys.stderr)
    命令2 
    #! /usr/bin/python3

import sys,time
for i in range(16):
    print ("cmd2 here (%d)" % i,file=sys.stderr)
    time.sleep(1)
print ("cmd2 exiting",file=sys.stderr)

    跑：

    ./cmd1 | ./cmd2

    你会看见：

    • cmd1在迭代 58 处停止（因为 cmd2 从不从其输出中读取任何内容）
    • cmd1cmd2 退出时崩溃（管道损坏）

    所以是的，也许它可以工作。也许不是。

    • 0

相关问题