AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / unix / 问题 / 464943
Accepted
Arch Stanton
Arch Stanton
Asked: 2018-08-27 09:21:49 +0800 CST2018-08-27 09:21:49 +0800 CST 2018-08-27 09:21:49 +0800 CST

对 tee 不可预测行为的解释

  • 772

在测试对程序重复执行的输出求和的脚本时,我遇到了一种我不理解的行为。要重现它,请创建文本文件out,它代表我的程序的输出,并且sum该文件保存了先前执行返回的值的总和,并且开始时是 的副本out,

cat > out << EOF
2 20
5 50
EOF
cp out sum

跑步时发生奇怪的事情

paste out sum | awk '{$1 += $3; $2 += $4; NF = 2; print}' | tee sum

几次(可能需要 15-20 次)。每次运行时,此命令都应将sum相应值中的值添加到 中out,并将结果写回sum. 我得到的是它工作了不可预测的次数,然后又sum恢复到

2 20
5 50

后来我了解到我无法将输出重定向或发送到我正在处理的同一个文件,并使用临时文件解决了这个问题,但这种行为仍然让我感到困惑:

  • 为什么根本不… | tee sum工作(即使只是有限次数的迭代),而… > sum从不覆盖sum?

  • 为什么它不能按可预测的次数工作?

bash io-redirection
  • 1 1 个回答
  • 351 Views

1 个回答

  • Voted
  1. Best Answer
    ilkkachu
    2018-08-27T10:52:31+08:002018-08-27T10:52:31+08:00

    这个,

    paste out sum | awk ... | tee sum
    

    有竞争条件。paste打开sum阅读它,tee打开它进行写作,截断它。shell 几乎同时启动,因此由哪一个先打开文件取决于机会。

    当然在实践中,shell 必须以某种特定的顺序一次启动一个实用程序。它可能从左到右执行此操作,因此paste可能有更好的机会先行,但这是一个实现细节,无论如何操作系统调度程序决定什么时候运行。

    如果paste先走,它会打开数据仍然完好无损的文件,并且可能也有足够的时间来读取数据。如果在读取tee文件之前打开文件paste,则会paste看到一个空文件。

    这里,

    paste out sum | awk ... > sum
    

    外壳打开sum用于写入,截断它。它可能与启动并行执行此操作paste,但由于截断sum不涉及启动另一个实用程序,因此它可能首先发生。(我不确定是否有关于处理重定向和在这样的管道中启动命令的顺序的规则,但我不会指望它。)

    有一个工具sponge可以解决这个问题(以及关于它的十几个问题)。它收集它获得的输入,并且仅在输入关闭后才写入。这应该sum始终正确更新:

    paste out sum | awk ... | sponge sum
    
    • 7

相关问题

  • 通过命令的标准输出以编程方式导出环境变量[重复]

  • 从文本文件传递变量的奇怪问题

  • 虽然行读取保持转义空间?

  • `tee` 和 `bash` 进程替换顺序

  • 运行一个非常慢的脚本直到它成功

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    如何将 GPG 私钥和公钥导出到文件

    • 4 个回答
  • Marko Smith

    ssh 无法协商:“找不到匹配的密码”,正在拒绝 cbc

    • 4 个回答
  • Marko Smith

    我们如何运行存储在变量中的命令?

    • 5 个回答
  • Marko Smith

    如何配置 systemd-resolved 和 systemd-networkd 以使用本地 DNS 服务器来解析本地域和远程 DNS 服务器来解析远程域?

    • 3 个回答
  • Marko Smith

    如何卸载内核模块“nvidia-drm”?

    • 13 个回答
  • Marko Smith

    dist-upgrade 后 Kali Linux 中的 apt-get update 错误 [重复]

    • 2 个回答
  • Marko Smith

    如何从 systemctl 服务日志中查看最新的 x 行

    • 5 个回答
  • Marko Smith

    Nano - 跳转到文件末尾

    • 8 个回答
  • Marko Smith

    grub 错误:你需要先加载内核

    • 4 个回答
  • Marko Smith

    如何下载软件包而不是使用 apt-get 命令安装它?

    • 7 个回答
  • Martin Hope
    rocky 如何将 GPG 私钥和公钥导出到文件 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Wong Jia Hau ssh-add 返回:“连接代理时出错:没有这样的文件或目录” 2018-08-24 23:28:13 +0800 CST
  • Martin Hope
    Evan Carroll systemctl 状态显示:“状态:降级” 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim 我们如何运行存储在变量中的命令? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S 为什么 /dev/null 是一个文件?为什么它的功能不作为一个简单的程序来实现? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 如何从 systemctl 服务日志中查看最新的 x 行 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - 跳转到文件末尾 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla 为什么真假这么大? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis 在一个巨大的(70GB)、一行、文本文件中替换字符串 2017-12-30 06:58:33 +0800 CST
  • Martin Hope
    Bagas Sanjaya 为什么 Linux 使用 LF 作为换行符? 2017-12-20 05:48:21 +0800 CST

热门标签

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve