主页 / unix / 问题 / 415358
Accepted
user001
Asked: 2018-01-08 03:46:16 +0800 CST

通过进程替换同时运行的独立进程的非确定性输出

  • 772

在bash v4.1.2(2)上，以下简单语句仅作为演示问题的最小示例而选择，给出看似随机的输出：

$ for n in {0..1000}; do echo "$n"; done | 
  tee >(head -n2) >(sort -grk1,1 | head -n3) >/dev/null

而以下给出一致的输出：

$ seq 0 10000 | tee >(head -n2) >(sort -grk1,1 | head -n3) >/dev/null

具体来说，对于第一条语句，该sort命令选择明显随机的连续三元组（例如，226,225,224；52,51,50；174,173,172 等）。要了解输出的异质性，可以多次运行有问题的命令，然后列出不同可能性的数量：

$ seq -w 0 2000 | while read x; do for n in {0..1000}; do echo "$n"; done | 
  tee >(head -n2) >(sort -grk1,1 | head -n3) >/dev/null | cat > "file_${x}"; done

计算各种输出的出现次数：

$ for f in file_*; do sort -g "$f" | tail -n3 | paste -sd, ; done  | 
  sort | uniq -c | sort -gk1,1 -k2,2
   1 7,8,9
   1 17,18,19
   1 40,41,42
   1 43,44,45
   1 47,48,49
   1 50,51,52
   1 54,55,56
   1 58,59,60
   1 59,60,61
   1 66,67,68
   1 71,72,73
   1 78,79,80
   1 103,104,105
   1 104,105,106
   1 106,107,108
   1 110,111,112
   1 111,112,113
   1 121,122,123
   1 125,126,127
   1 129,130,131
   1 134,135,136
   1 136,137,138
   1 142,143,144
   1 143,144,145
   1 148,149,150
   1 150,151,152
   1 156,157,158
   1 157,158,159
   1 165,166,167
   1 171,172,173
   1 173,174,175
   1 174,175,176
   1 177,178,179
   1 179,180,181
   1 181,182,183
   1 183,184,185
   1 185,186,187
   1 186,187,188
   1 191,192,193
   1 194,195,196
   1 198,199,200
   1 200,201,202
   1 206,207,208
   1 208,209,210
   1 209,210,211
   1 210,211,212
   1 216,217,218
   1 217,218,219
   1 233,234,235
   1 236,237,238
   1 237,238,239
   1 238,239,240
   1 242,243,244
   1 245,246,247
   1 246,247,248
   1 254,255,256
   1 256,257,258
   1 267,268,269
   1 270,271,272
   1 273,274,275
   1 277,278,279
   1 279,280,281
   1 287,288,289
   1 288,289,290
   1 305,306,307
   1 306,307,308
   1 307,308,309
   1 326,327,328
   1 337,338,339
   1 339,340,341
   1 340,341,342
   1 351,352,353
   1 357,358,359
   1 359,360,361
   1 365,366,367
   1 368,369,370
   1 370,371,372
   1 376,377,378
   1 377,378,379
   1 383,384,385
   1 386,387,388
   1 388,389,390
   1 401,402,403
   1 408,409,410
   1 409,410,411
   1 415,416,417
   1 419,420,421
   1 424,425,426
   1 426,427,428
   1 432,433,434
   1 454,455,456
   1 462,463,464
   1 466,467,468
   1 475,476,477
   1 482,483,484
   1 487,488,489
   1 504,505,506
   1 508,509,510
   1 511,512,513
   1 532,533,534
   1 538,539,540
   1 544,545,546
   1 548,549,550
   1 558,559,560
   1 603,604,605
   1 604,605,606
   1 608,609,610
   1 659,660,661
   1 660,661,662
   1 663,664,665
   1 668,669,670
   1 692,693,694
   1 699,700,701
   1 717,718,719
   1 738,739,740
   1 740,741,742
   1 750,751,752
   1 771,772,773
   1 784,785,786
   1 796,797,798
   1 799,800,801
   1 806,807,808
   1 814,815,816
   1 832,833,834
   1 848,849,850
   1 858,859,860
   1 869,870,871
   1 922,923,924
   1 952,953,954
   1 961,962,963
   1 985,986,987
   2 64,65,66
   2 127,128,129
   2 141,142,143
   2 169,170,171
   2 170,171,172
   2 172,173,174
   2 187,188,189
   2 221,222,223
   2 234,235,236
   2 252,253,254
   2 292,293,294
   2 350,351,352
   2 364,365,366
   2 375,376,377
   2 622,623,624
   2 666,667,668
   3 70,71,72
   3 102,103,104
   3 137,138,139
   3 155,156,157
1826 998,999,1000

表明结果在约 91% 的时间内是正确的。从语句中省略>(head -n2)进程替换tee会导致输出 100% 正确。我不明白为什么竞争条件与解释问题有关，因为这只会影响tee语句中每个进程替换的输出的相对顺序（即，>(head -n2)可能首先完成或>(sort -grk1,1 | head -n3)可能这样做，但这应该只影响输出顺序，而不是结果本身；如果两个命令的输出是随机交错的，这甚至是可以理解的）。由于应该将循环的tee相同副本分配给每个循环的副本，并且由于两个进程替换都在单独的子shell中运行（stdoutstdin>()https://unix.stackexchange.com/a/331199/14960），任何一个都不应该影响另一个，但它们显然相互作用。如何解释相互作用？此外，如何将for/while循环的输出bash分配给多个独立进程tee？

bash tee

1 个回答

  1. Best Answer

    head -n2阅读两行后将退出。然后tee将在下一次写入管道时（SIGPIPE）死亡head，然后sort将看到 eof ，因为tee它自己管道的另一端也消失了，并对它到目前为止收到的行进行排序。

    你看到它是循环而不是 seq 的原因是循环write()在管道上做了几个 s to tee，并且根据时间，这可能会导致tee做几个短读。虽然seq会一口气写出整个输出，所以tee只会做一个read()。如果您执行 a seq 1000000，您可能还会看到随机行为。

    要解决此问题，您需要一个head在输出前 2 行后继续阅读的版本。例如，您可以使用 sed '3,$d'代替head -n2or sed 2q。

    或使用：

    ... | (
 trap '' PIPE
 exec tee >(trap - PIPE; exec head -n2) >(trap - PIPE; sort -rn | head -n2)
) > /dev/null

    （tee仅）忽略 SIGPIPE，但在某些实现中，由于管道tee失败，您会看到一些错误消息。write()

    tee: /proc/self/fd/13: I/O error

    请注意，虽然排序后的输出可能会排在未排序的输出之后，但不能保证。更一般地说，你不能真正保证并发运行的程序的输出顺序，除非有协调它们的东西。

    • 4

相关问题