kjo's questions

我想获取命令输出的字节数和 sha1sum。

原则上，人们总是可以做这样的事情：

BYTES="$( somecommand | wc -c )"
DIGEST="$( somecommand | sha1sum | sed 's/ .*//' )"

...但是，对于我感兴趣的用例，somecommand相当耗时，并且会产生大量输出，所以我宁愿只调用它一次。

我想到的一种方法是这样的

evil() {
  {
    somecommand | \
      tee >( wc -c | sed 's/^/BYTES=/' ) | \
      sha1sum | \
      sed 's/ .*//; s/^/DIGEST=/'
  } 2>&1
}

eval "$( evil )"

...这似乎有效，但让我内心有点死了。

我想知道是否有更好（更稳健、更通用）的方法来将管道不同段的输出捕获到单独的变量中。

编辑：我目前正在解决的问题是bash，所以我最感兴趣的是这个 shell 的解决方案，但我也做了很多zsh编程，所以我对这些解决方案也有一些兴趣。

EDIT2：我尝试将 Stéphane Chazelas 的解决方案移植到bash，但它不太有效：

#!/bin/bash

cmd() {
    printf -- '%1000s'
}

bytes_and_checksum() {
    local IFS
    cmd | tee >(sha1sum > $1) | wc -c | read bytes || return
    read checksum rest_ignored < $1 || return
}

set -o pipefail
unset bytes checksum
bytes_and_checksum "$(mktemp)"
printf -- 'bytes=%s\n' $bytes
printf -- 'checksum=%s\n' $checksum

当我运行上面的脚本时，我得到的输出是

bytes=
checksum=96d89030c1473585f16ec7a52050b410e44dd332

的值checksum是正确的。bytes我不明白为什么没有设置的值。

EDIT3：好的，感谢@muru 的提示，我解决了问题：

#!/bin/bash

cmd() {
    printf -- '%1000s'
}

bytes_and_checksum() {
    local IFS
    read bytes < <( cmd | tee >(sha1sum > $1) | wc -c ) || return
    read checksum rest_ignored < $1 || return
}

set -o pipefail
unset bytes checksum
bytes_and_checksum "$(mktemp)"
printf -- 'bytes=%s\n' $bytes
printf -- 'checksum=%s\n' $checksum

现在：

bytes=1000
checksum=96d89030c1473585f16ec7a52050b410e44dd332

不幸的是...

...当产生的输出比上面的玩具示例中的情况多得多时，我的bytes_and_checksum函数就会停止（死锁？） 。cmd

回到绘图板...

我经常发现自己编写的 shell 函数或 shell 脚本旨在包装其他命令。

我也经常希望这样的包装器支持一些标志/选项。这个想法是，包装器应该从命令行参数中剔除它支持的所有标志/选项（以及它们的参数，如果适用），并将剩余的参数作为参数传递给包装的命令。

现在，包装命令通常还支持其自己的标志和选项。这意味着，根据上述方案，包装器必须能够处理命令行参数，其中包括其自己的标志/选项以及包装命令支持的标志/选项。

实现这种包装器的一种方法是在调用 GNU 时指定包装器和包装命令的选项，getopt然后将所有后者以及任何非选项参数收集在某个 array 中WRAPPED_COMMAND_ARGUMENTS。"${WRAPPED_COMMAND_ARGUMENTS[@]}"然后，在稍后的某个时间，包装的命令将作为其命令行参数被调用。

这种方法对我来说相当有效，但是当包装的命令有很多选项时，它就会变得异常费力。

相反，我想在这篇文章的标题中找到我所说的“GNU 的宽容替代方案getopt”。我指的是这样一个工具，它getopt可以帮助我解析我明确告诉它的选项，并平等地对待所有其他剩余参数，即不根据前导连字符的存在与否进行区分。

有这样的事吗？

bash无异议地评估以下表达式：

declare -A SPANISH=( [rojo]=red [verde]=green [azul]=blue )

...但它一点也不喜欢这个：

declare -A SPANISH=( $( echo "[rojo]=red [verde]=green [azul]=blue" ) )
bash: SPANISH: $( echo "[rojo]=red [verde]=green [azul]=blue" ): must use subscript when assigning associative array

我尝试了多种变体，但结果总是出现must use subscript when assigning associative array上述错误的一个或多个实例。

当然，这个例子很愚蠢。它的唯一目的是说明使用命令替换初始化bash关联数组的问题。

这可以做到吗？

具体来说，继续上面那个愚蠢的例子，<COMMAND>这样的命令是什么

declare -A SPANISH=( $( <COMMAND> ) )

...产生与产生的结果相同的最终结果

declare -A SPANISH=( [rojo]=red [verde]=green [azul]=blue )

多于？

顺便说一句，zsh处理这种情况没有任何问题：

$ declare -A SPANISH=( $( echo "rojo red verde green azul blue" ) )
$ echo "${SPANISH[azul]}"
blue

线程的标题几乎说明了一切。

当我用谷歌搜索这个问题时，我发现提到了一个程序untic，据说它可以做我想做的事情，但这个程序似乎在我的发行版 (Debian) 的任何官方软件包中都不可用。

从（编译的）terminfo 到 termcap 有其他方法吗？

我刚买了一个 5TB 的外置 USB 驱动器。

这是lsblk它的显示：

% lsblk --output=NAME,FSTYPE,LABEL,SIZE /dev/sdd
NAME   FSTYPE LABEL                   SIZE
sdd                                   4.6T
├─sdd1                                128M
└─sdd2 ntfs   Seagate Portable Drive  4.6T

我知道下面那个 128M 的小分区/dev/sdd1是一个“Microsoft Reserved”（MSR）分区，像我这样的 Linux 系统不需要它。

我想将磁盘的所有可用空间都放在一个分区中。

有没有一种简单的方法，可以从 Unix 命令行将两个分区合并为一个分区？

（如果这样做需要重新格式化，那么我可以补充一点，我不喜欢 ntfs；我更喜欢 ext4。）

我最近遇到了以下声明（来源；强调添加）：

对于 shell 脚本，使用制表符不是偏好或风格的问题；这就是语言的定义方式。

我试图理解这种说法。当然，它的措辞有点松散¹，但我想知道它是否有任何道理。

特别是，我想知道 bash 或 zsh（我经常为其编写脚本的两个 shell）的官方文档是否有任何接近授权或建议使用制表符缩进源代码的内容。（我希望明确引用本文档中的支持段落。）

（FWIW，让我指出，我知道，在实践中，bash 和 zsh 都容易解释不是专门用制表符缩进的脚本。因此，我不希望任何一个 shell 的文档走得更远如果他们提到这件事，而不是强烈的建议。）

^{1一方面，它同时指代“shell 脚本”和“语言”，这与当前使用的多个 shell 的事实相矛盾，每个 shell 都定义自己的语言。}

为了这个问题，假设 glob/a/b/c/*不产生匹配项。

这意味着以下测试应该失败（换句话说，它应该产生一个非零$?）：

[[ -n /a/b/c/*(#qN) ]]

如果我直接在 (zsh) 命令行上运行测试，实际上就是这种情况。但是，如果我在脚本中粘贴完全相同的测试，它会成功，这不是预期的行为。

如果我使用标志运行相同的脚本-x，则生成的跟踪将测试显示为

[[ -n '/a/b/c/*(#qN)' ]]

我不明白为什么单引号出现在 test 的参数周围；在脚本的源代码中根本没有引号。

如果 zsh 自动插入这些单引号，这就解释了为什么文本会成功。

问题：

1. 为什么此表达式的命令行版本和脚本版本之间存在差异？
2. 我需要做什么才能使测试（正确）在脚本中失败？

我想构建一些软件的版本，该版本比当前作为稳定版本 Debian 软件包可用的版本更新。

但是，要做到这一点，除了使用更新版本的源代码之外，我想尽可能地遵循在稳定版本中为该软件构建 Debian 软件包的构建过程。

至少，我想在构建期间为相关环境变量指定相同的配置标志和相同的值，就像为本软件的稳定版本 Debian 软件包所做的那样。

问：如何找到特定（稳定版本）Debian 软件包的构建过程？

下面片段中的关键语句（即除了用于打印标签和空白行的那些，用于间距）成对出现。在每一对中，第一个和第二个语句的形式分别为tty...和。echo $(tty...)

echo stdin:
tty
echo $(tty)

echo

echo stdout:
tty <&1
echo $(tty <&1)

echo

echo stderr:
tty <&2
echo $(tty <&2)

如果我获取包含此片段的文件（例如，在一个zsh或bash会话中），我会得到以下输出¹（我随后添加了行号，以供参考）：

 1    stdin:
 2    /dev/pts/8
 3    /dev/pts/8
 4    
 5    stdout:
 6    /dev/pts/8
 7    not a tty
 8    
 9    stderr:
10    /dev/pts/8
11    /dev/pts/8

在此输出中，由echo $(tty <&1)（第 7 行）生成的行显着突出，原因有两个：

1. 它是- 生成的echo $(tty ...)行（即，第 3、7 和 11 行）中唯一与其tty ...前面的 - 生成的对应物（第 2、6 和 10 行）不同的行；和
2. 它不同于形式上类似的输出（第 11 行）echo $(tty <&2)。

问：如何解释这两个差异？

作为记录，我试图在 的手册页中找到这些明显异常的解释tty，但是，据我所知，该页面根本没有解决这些问题²；当然不是明确的³。

这个问题是由一些代码激发的，这是我早期问题的一个很好的答案。

^{1当然，/dev/pts/如果我更换终端后实际数字会有所不同，如果您尝试相同的事情，您可能会有所不同。}

^{2事实上，tty我系统上可用的手册页的整个说明部分仅包含一句话：“打印连接到标准输入的终端的文件名。”。}

^{3在这里，我保留一个可能性，即比我拥有更多背景知识的人可能能够从's 简洁的手册页中推断tty出上述行为。}

我想实现一个zsh行为不同的脚本，具体取决于它是否直接在 shell 的 CLI 上调用。

起初我以为脚本可以通过查找i的值来做到这一点$-，但我错了。

事实上，当我从命令行运行下面的脚本时

#!/bin/zsh
printf -- '%s\n' "$-"

...我得到的输出不包括i¹。

我的 shell 脚本还有其他方法可以找出这些信息吗？

注意：虽然我zsh目前正在编写脚本，但我也想知道bash脚本的答案是什么。如果答案取决于OS，我主要对 Linux 和 Darwin 感兴趣。

^{1569X如果有人想知道的话，脚本的输出是。}

据我所知，该命令生成的某些输出/usr/bin/modulecmd既不会发送到 stdout 也不会发送到 stderr，如下例所示：

% /usr/bin/modulecmd bash help null >/dev/null 2>&1
        This module does absolutely nothing.
        It's meant simply as a place holder in your
        dot file initialization.

        Version 3.2.9

有什么方法可以调用命令（例如 /usr/bin/modulecmd），使其所有输出都发送到 stdout 或 stderr？或者，是否有某种方法可以调用代码/usr/bin/modulecmd来捕获它通常会发送到终端的所有输出？

是否可以限制特定用户的进程始终以至少 15 的友好度运行，比如说？

据我所知，在我工作的共享集群中，新帐户的环境设置不包括提示设置。特别PS1是没有设置。然而，当一个人登录一个新帐户时，会得到一个相当漂亮的提示，其中包含用户名和当前目录的基本名称。

我想在ORIGINAL_PS1用我喜欢的提示替换它之前保存这个提示（例如在一个环境变量中），以便我以后可以在需要时恢复它¹。

如何从当前提示中提取提示定义？

我主要对这个问题的答案感兴趣bash，但如果有类似的东西zsh，请告诉我。

^{1我更喜欢默认提示，但对于日常使用，我更喜欢使用“ git-aware”提示。也就是说，虽然我发现后者在 99.999% 的情况下都非常有用，但偶尔我cd会使用一个git非常混乱的 repo，它会导致提示的生成变得无法接受地缓慢。对于那些罕见的情况，我希望能够运行export PS1=$ORIGINAL_PS1.}

下面的测试脚本^1的目的是启动一个“外部”协同进程（正在运行），在 -loop 中从此协同进程中读取，并且对于读取的每一行，打印一行标识外部循环的当前迭代，启动一个“ inner" 协进程（也在运行，带有新参数），在嵌套的 while 循环中从这个内部协进程中读取，然后清理这个内部协进程。嵌套的 while 循环为它从内部协进程读取的每一行打印一些输出。seq 3whileseq

#!/bin/bash
# filename: coproctest.sh
PATH=/bin:/usr/bin

coproc OUTER { seq 3; }
SAVED_OUTER_PID="${OUTER_PID}"

exec {OUTER_READER}<&"${OUTER[0]}"
while IFS= read -r -u "${OUTER_READER}" OUTER_INDEX; do

    printf -- '%d\n' "${OUTER_INDEX}"

    START=$(( OUTER_INDEX * 1000000 ))
    FINISH=$(( START + OUTER_INDEX ))

    # (
      coproc INNER { seq "${START}" "${FINISH}"; }
      SAVED_INNER_PID="${INNER_PID}"
      exec {INNER_READER}<&"{INNER[0]}"

      while IFS= read -r -u "${INNER_READER}" INNER_INDEX; do
          printf -- '    %d\n' "${INNER_INDEX}"
      done

      exec {INNER_READER}<&-

      wait "${SAVED_INNER_PID}"
    # )

done
exec {OUTER_READER}<&-
wait "${SAVED_OUTER_PID}"

当我运行这个脚本时，这是我得到的输出：

% ./coproctest.sh
1
./coproctest.sh: line 30: warning: execute_coproc: coproc [12523:OUTER] still exists
./coproctest.sh: line 19: INNER_READER: ambiguous redirect
./coproctest.sh: line 21: read: : invalid file descriptor specification
./coproctest.sh: line 25: INNER_READER: ambiguous redirect
2
./coproctest.sh: line 19: INNER_READER: ambiguous redirect
./coproctest.sh: line 21: read: : invalid file descriptor specification
./coproctest.sh: line 25: INNER_READER: ambiguous redirect
3
./coproctest.sh: line 19: INNER_READER: ambiguous redirect
./coproctest.sh: line 21: read: : invalid file descriptor specification
./coproctest.sh: line 25: INNER_READER: ambiguous redirect

如果我取消注释两条注释行，我会得到几乎相同的输出。

Q1：是否可以同时运行多个协同进程？

Q2：如果是这样，应该如何修改上面的脚本以实现所需的输出？

^{1我最近才开始使用协同进程，还有很多我不明白的地方。因此，该脚本几乎肯定包含不正确、笨拙或不必要的代码。请随时评论和/或修复您的回复中的这些弱点。}

例如，如果我分配

TWO=2

...以下失败（带有date: invalid date '2'）：

date >> logfile $TWO>&1

当然，我总能做到

eval "date >> logfile $TWO>&1"

这是运行包含流重定向的表达式的唯一方法，其中至少一些文件描述符显示为变量？

我zsh可以这样做来删除所有别名：

% unalias $( alias + )

我正在寻找bash.

Environment Modules ¹包的module功能通过修改当前shell 进程的各种环境变量来完成它的工作。

不幸的是，无论成功与否，这个函数都会返回 0 ²，这使得客户端脚本很难对失败做出适当的响应。

我想实现一个函数包装器mymodule，module它将所有参数直接传递给，如果失败module，则正确返回一个非零值。module

mymodule可以检测是否module失败的唯一方法是检查输出module函数写入 stderr（如果有）。

问题是我无法想出一个合理的方法mymodule来获得这个输出而不使module' 的动作无效。更具体地说，我能想到的几乎所有将module'stderr 捕获到变量中的方法都需要module在子进程中运行，从而阻止它完成它的工作（这需要修改当前的 shell）。

上述的一个例外是将module's stderr 重定向到一个临时文件，但我讨厌每次module函数运行时都创建一个文件的想法。

有没有办法在当前环境mymodule中调用module，同时在变量中捕获它的标准错误？

我对 和 的答案都很zsh感兴趣bash。

^{1不要与Lmod 环境模块包混淆，后者具有非常相似的界面。}

^{2至少对于我必须使用的古老版本 3.2.9 来说是这样。我无法控制这一点。}

下面的脚本是该问题的最小（尽管是人为的）说明。

## demo.sh

exitfn () {
    printf -- 'exitfn PID: %d\n' "$$" >&2
    exit 1
}

printf -- 'script PID: %d\n' "$$" >&2

exitfn | :

printf -- 'SHOULD NEVER SEE THIS (0)\n' >&2

exitfn

printf -- 'SHOULD NEVER SEE THIS (1)\n' >&2

在此示例脚本中，exitfn代表一个函数，其工作需要终止当前进程¹。

不幸的是，作为实施，exitfn并不能可靠地完成这个任务。

如果运行此脚本，输出如下所示：

% bash ./demo.sh
script PID: 26731
exitfn PID: 26731
SHOULD NEVER SEE THIS (0)
exitfn PID: 26731

（当然，每次调用显示的 PID 值都会不同。）

这里的关键点是，在第一次调用该exitfn函数时，exit 1其主体中的命令无法终止封闭脚本printf的执行（紧随其后的第一个命令的执行证明了这一点）。相反，在第二次调用 时exitfn，此命令确实使脚本的执行结束（如第二个命令未执行exit 1的事实所证明的）。printf

两次调用之间的唯一区别exitfn是第一个调用作为双组件管道的第一个组件出现，而第二个调用是“独立”调用。

我对此感到困惑。我曾预计这exit会导致终止当前进程（即具有由 给出的 PID 的进程$$）。显然，这并不总是正确的。

尽管如此，有没有一种方法可以exitfn让它退出周围的脚本，即使在管道中调用时也是如此？

顺便说一句，上面的脚本也是一个有效的 zsh 脚本，并产生相同的结果：

% zsh ./demo.sh
script PID: 26799
exitfn PID: 26799
SHOULD NEVER SEE THIS (0)
exitfn PID: 26799

我也对 zsh 的这个问题的答案感兴趣。

最后，我应该指出，exitfn像这样实现根本行不通：

exitfn () {
    printf -- 'exitfn PID: %d\n' "$$" >&2
    exit 1
    kill -9 "$$"
}

...因为在任何情况下，该exit 1命令始终是该函数执行的最后一行。（替换 exit 1为kill -9 $$是不可接受的：我想控制脚本的退出状态，以及它到 stderr 的输出。）

^{1实际上，这样的功能会在终止当前进程之前执行其他任务，例如诊断日志记录或清理操作。}

这个问题是关于在 bash 下的匹配表达式中编写正则表达式文字的正确方法。

在 zsh 中，正如我所料，下面的匹配成功了：

% [[ ' 123 ' =~ '^ [0-9]+ $' ]]; echo $?
0

在 bash 中并非如此：

$ [[ ' 123 ' =~ '^ [0-9]+ $' ]]; echo $?
1

我知道这场比赛在 bash 中成功

$ ( regexp='^ [0-9]+ $'; [[ ' 123 ' =~ $regexp ]]; echo $? )
0

...但它需要将正则表达式分配给中间变量。

我的问题是：如何在 bash 下的匹配表达式中编写任意正则表达式文字？

命令序列

mkdir -p BASE/a/b/c && cp -a --target-directory=BASE/a/b/c /a/b/c/d

a/b/c在 下创建一个子目录BASE，然后将目录树复制/a/b/c/d到BASE/a/b/c。

它的一个问题是它需要大量重复，这会导致错误。

我可以滚动一个封装这个操作的shell函数；例如，这是一个没有任何错误检查/处理的草图：

copytwig () {
    local source=$1
    local base=$2
    local target=$base/$( dirname $source )

    mkdir -p $target && cp -a --target-directory=$target $source
}

...但我想知道这是否已经可以使用“标准”Unix 实用程序来完成（我使用“标准”作为“可能在 Unix 系统中找到，或者至少可能在Linux 系统”）。