terdon's questions

在回答另一个网站上的问题时，我在尝试从此 URL 获取时遇到了奇怪的差异：curlhttps : //www.uniprot.org/uniprot/A2Z669.fastawget

由于某种原因，curl只是默默地无法下载，而wget正确地获取文件A2Z669.fasta：

$ ls -la
total 300
drwxr-xr-x   2 terdon terdon 266240 Dec 11 12:22 .
drwxr-xr-x 202 terdon terdon  32768 Dec 10 17:31 ..

$ curl https://www.uniprot.org/uniprot/A2Z669.fasta
$ ls -la
total 300
drwxr-xr-x   2 terdon terdon 266240 Dec 11 12:22 .
drwxr-xr-x 202 terdon terdon  32768 Dec 10 17:31 ..

显式设置输出文件没有帮助，只会创建一个空文件：

$ curl -o file "https://www.uniprot.org/uniprot/A2Z669.fasta"
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0

$ ls -la
total 300
drwxr-xr-x   2 terdon terdon 266240 Dec 11 12:25 .
drwxr-xr-x 202 terdon terdon  32768 Dec 10 17:31 ..
-rw-r--r--   1 terdon terdon      0 Dec 11 12:25 file
$ cat file
$ 

然而，wget工作得很好：

$ wget https://www.uniprot.org/uniprot/A2Z669.fasta
--2023-12-11 12:24:42--  https://www.uniprot.org/uniprot/A2Z669.fasta
Loaded CA certificate '/etc/ssl/certs/ca-certificates.crt'
Resolving www.uniprot.org (www.uniprot.org)... 193.62.193.81
Connecting to www.uniprot.org (www.uniprot.org)|193.62.193.81|:443... connected.
HTTP request sent, awaiting response... 301 Moved Permanently
Location: https://rest.uniprot.org/uniprot/A2Z669.fasta [following]
--2023-12-11 12:24:42--  https://rest.uniprot.org/uniprot/A2Z669.fasta
Resolving rest.uniprot.org (rest.uniprot.org)... 193.62.193.81
Connecting to rest.uniprot.org (rest.uniprot.org)|193.62.193.81|:443... connected.
HTTP request sent, awaiting response... 301 Moved Permanently
Location: https://rest.uniprot.org/uniprotkb/A2Z669.fasta [following]
--2023-12-11 12:24:43--  https://rest.uniprot.org/uniprotkb/A2Z669.fasta
Reusing existing connection to rest.uniprot.org:443.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/plain]
Saving to: ‘A2Z669.fasta’

A2Z669.fasta            [ <=>               ]     314  --.-KB/s    in 0s      

2023-12-11 12:24:43 (6.65 MB/s) - ‘A2Z669.fasta’ saved [314]

$ ls -la
total 304
drwxr-xr-x   2 terdon terdon 266240 Dec 11 12:24 .
drwxr-xr-x 202 terdon terdon  32768 Dec 10 17:31 ..
-rw-r--r--   1 terdon terdon    314 Dec 11 12:24 A2Z669.fasta

它似乎也不特定于该特定文件。我尝试了来自同一 REST API ( https://www.uniprot.org/uniprot/P05067.fasta ) 的另一个 URL，并得到了相同的行为。

我在 Arch 系统上运行它：

$ wget --version | head -n1
GNU Wget 1.21.4 built on linux-gnu.

$ curl --version | head -n1
curl 8.4.0 (x86_64-pc-linux-gnu) libcurl/8.4.0 OpenSSL/3.1.4 zlib/1.3 brotli/1.1.0 zstd/1.5.5 libidn2/2.3.4 libpsl/0.21.2 (+libidn2/2.3.4) libssh2/1.11.0 nghttp2/1.58.0

这里发生了什么？wget当失败时什么会起作用curl？

过去几十年来公认的观点是，解析ls( [1] , [2] ) 的输出从来都不是一个好主意。例如，如果我想将文件的修改日期及其名称保存到 shell 变量中，则这不是正确的方法：

$ ls -l file
-rw-r--r-- 1 terdon terdon 0 Aug 15 19:16 file
$ foo=$(ls -l file | awk '{print $9,$6,$7,$8}')
$ echo "$foo"
file Aug 15 19:16

只要文件名稍有不同，该方法就会失败：

$ ls -l file*
-rw-r--r-- 1 terdon terdon 0 Aug 15 19:16 'file with spaces'
$ foo=$(ls -l file* | awk '{print $9,$6,$7,$8}')
$ echo "$foo"
file Aug 15 19:16

如果文件的修改日期与今天不接近，情况会变得更糟，因为这可能会更改时间格式：

$ ls -l
total 0
-rw-r--r-- 1 terdon terdon 0 Aug 15 19:21  file
-rw-r--r-- 1 terdon terdon 0 Aug 15  2018 'file with spaces'

然而，较新版本的 GNU coreutilsls有两个选项，可以组合起来设置特定的时间格式并生成 NULL 界定的输出：

      --time-style=TIME_STYLE
              time/date format with -l; see TIME_STYLE below
[...]
     --zero end each output line with NUL, not newline
[...]
       The TIME_STYLE argument can be full-iso,  long-iso,  iso,  locale,  or
       +FORMAT.   FORMAT  is  interpreted like in date(1).  If FORMAT is FOR‐
       MAT1<newline>FORMAT2, then FORMAT1 applies  to  non-recent  files  and
       FORMAT2  to recent files.  TIME_STYLE prefixed with 'posix-' takes ef‐
       fect only outside the POSIX locale.  Also the  TIME_STYLE  environment
       variable sets the default style to use.

这里再次是设置了这些选项的文件（每行输出末尾的零被替换为#换行符，以稍微提高可读性）：

$ ls -l --zero --time-style=long-iso -- *
-rw-r--r--+ 1 terdon terdon 0 2023-08-16 21:35 a file with a
newline#
-rw-r--r--+ 1 terdon terdon 0 2023-08-15 19:16 file#
-rw-r--r--+ 1 terdon terdon 0 2018-08-15 12:00 file with spaces#

ls有了这些可用的选项，我可以做许多传统上有害的事情。例如：

1. 将最近修改的文件名放入变量中：

   $ touch 'a file with a'$'\n''newline'
   $ last=$(ls -tr --zero | tail -z -n1)
   bash: warning: command substitution: ignored null byte in input
   $ printf -- 'LAST: "%s"\n' "$last"
   LAST: "a file with a 
   newline"
   

2. 引发这个问题的例子。另一个问题，在 Ask Ubuntu 上，OP 想要打印文件名和修改日期。有人使用和 一个巧妙的技巧发布了答案，如果我们添加到，它似乎非常强大：lsawk--zerols

   $ output=$(ls -l --zero --time-style=long-iso -- * | 
              awk 'BEGIN{RS="\0"}{ t=index($0,$7); print substr($0,t+6), $6 }')
   $ printf 'Output: "%s"\n' "$output"
   Output: "a file with a
   newline 2023-08-16"
   

我找不到一个可以打破这两个例子的名字。所以，我的问题是：

1. 是否存在上述两个示例之一会失败的情况？也许有一些奇怪的地方？
2. 如果不是，这是否意味着现代版本的 GNUls实际上可以安全地使用任意文件名？

我最近买了一台新笔记本电脑，我想尽可能少地迁移到它。我不想重新安装，因为我已经对我当前的设置进行了各种调整，例如从我的 NAS 自动安装远程驱动器、配置网络等，我不想重做。

我目前的想法是，我可以将硬盘驱动器的内容转储到一个文件中，然后cat将该文件转储到新驱动器上。总体思路是：

1. 在旧计算机上，将驱动器放入外部 USB 磁盘上的文件并（以 root 身份）：

   # cat /dev/sda > /mnt/externalUsb/sda.img
   

2. 然后我启动到新计算机上的实时系统，连接外部驱动器并（以 root 身份）：

   # cat /mnt/externalUsb/sda.img | sudo tee /dev/sda
   

3. 关闭实时会话，重新启动机器，我希望自己处于一个工作系统中，它是我旧机器的完美克隆。

或者，也许更现实的是，类似：

1. 在新机器上创建我想要的分区，确保它们比我旧机器上的同等分区大。

2. 在旧计算机上，将分区转换为外部 USB 磁盘上的文件（以 root 身份）：

   for i in 5 6; do cat /dev/sda"$i" > /mnt/externalUsb/sda"$i".img; done
   

3. 在新机器上，确保数字相同或相应地修改命令后：

   for i in 5 6; do cat /mnt/externalUsb/sda"$i".img; > /dev/sda"$i"; done
   

一些相关说明：

• 由于我将从ThinkPad T460P 转移到ThinkPad P14s Gen 2 ，因此新旧机器的硬件相对相似。
• 新机1TB硬盘，旧机只有512G。
• 我正在使用 Arch，双启动与 Windows 10。我并不特别担心保持 Windows 安装。

我当前机器的磁盘设置：

$ sudo parted -l
Model: ATA SAMSUNG MZ7LN512 (scsi)
Disk /dev/sda: 512GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags: 

Number  Start   End     Size    File system     Name                          Flags
 1      1049kB  274MB   273MB   fat32           EFI system partition          boot, hidden, esp
 2      274MB   290MB   16.8MB                  Microsoft reserved partition  msftres
 3      290MB   86.4GB  86.1GB  ntfs            Basic data partition          msftdata
 5      86.4GB  136GB   50.0GB  ext4
 6      136GB   437GB   301GB   ext4
 9      437GB   485GB   47.3GB  ntfs                                          msftdata
 8      485GB   495GB   10.5GB  ext4
 7      495GB   511GB   16.1GB  linux-swap(v1)                                swap
 4      511GB   512GB   1049MB  ntfs            Basic data partition          hidden, diag

我期望内核在第一次启动时检测到新的/不同的硬件并自动为我整理出来。我在这里遗漏了一些明显的东西吗？我可能遇到的任何具体问题？新驱动器更大，所以这应该不是问题，对吧？我有一个 ecryptfs 加密的目录（实际上是其中两个），我是否正确地假设这不会成为问题？我是否需要做一些特别的事情来处理 EFI 系统分区？

我接受了 MC68020 的有用答案，但我最终采取了不同的方法：我启动了一个实时系统，创建了根目录和/home分区，然后按照 Arch Wiki 中的描述rsync复制了我所有的文件。

我设法启动了“新”系统，但它仍然需要一些调整，尤其是图形驱动程序。如果您不熟悉 Linux 并且喜欢修修补补，那么这不是一种可以采用的方法。当然，如果你不喜欢它，你不太可能会使用 Arch。

我最近发布了一个关于我在bash,fish和shell 中观察到的奇怪行为的问题，而, ,或shellzsh没有表现出这种行为。事实证明，该行为是由库的默认设置更改引起的，我通过将其添加到我的.tcshcshkshdashreadlineset enable-bracketed-paste Off~/.inputc

这让我感到疑惑。为什么这只影响我系统上特定的 shell 子集？不是所有的贝壳都用readline吗？有什么一般规则吗？为什么bash,zsh并fish改变了他们的行为而其他 shell 没有？

几个月前，系统更新导致我的 shell 不再将尾随换行符解释为enter将命令粘贴到终端时。例如，如果我ls在提示符下写，然后使用鼠标选择ls直到行尾，我希望我可以单击鼠标中键粘贴到 shell 中并ls执行命令。这是我多年来一直使用的标准行为。

但是，我的系统不再这样做了。我可以粘贴ls，并且我可以看到换行符也被粘贴了，因为我的光标移动到下一行，但尽管如此，命令在我按下之前不会执行 enter（我把它放在剧透中，因为它是一个动画 gif并且可能会分散注意力）：

在上面的动画中，你可以看到我选择了ls已经写入的行，然后清除ls并中键粘贴。请注意光标是如何移动到下一行的，但此时ls并没有执行该命令，而是在我按下我的enter键之后才执行该命令。

对我来说，真正奇怪的是，这不是我的终端仿真器 ( terminator) 的问题。如果我 ssh 到另一台机器（但如果我 ssh 到 localhost），同一个终端将按预期解释换行符。所以它必须是我本地shell中的某种设置。

此外，它在一种情况下确实可以按预期工作：read内置。在这里，如果我选择包含尾随换行符的行，我可以将其粘贴到等待read提示符中，并将尾随换行符作为 EOL 字符，read返回。那么为什么它在特定的环境之外不起作用呢？

所有这些都在 Arch Linux 系统上，使用GNU bash, version 5.1.16(1)-release (x86_64-pc-linux-gnu)inemacs模式。更令人困惑的是，我在使用bash, zshor时遇到了这个问题fish，但在使用ksh, dash, tcshor时没有csh。在后四个 shell 中，我有我想要的行为，粘贴的行会立即执行。这可能与readline?

我怎样才能恢复我想要的行为并解释粘贴到我的 shell 中的任何换行符？

efetch尝试在 while 循环中使用特定工具（来自 NCBI E-utilities 套件）时，我遇到了一个非常奇怪的情况。这是我的输入文件，一个字符串列表，每行一个：

$ cat transcripts.list 
NR_169596.1
NR_169595.1
NR_169594.1

我想efetch使用这些字符串中的每一个作为参数来运行命令，所以我这样做：

$ while read -r line; do echo "Line: $line"; esearch -db nucleotide -query "$line"; done <  transcripts.list 
Line: NR_169596.1
<ENTREZ_DIRECT>
  <Db>nucleotide</Db>
  <WebEnv>MCID_61bb689d20b59b3e2e2d405d</WebEnv>
  <QueryKey>1</QueryKey>
  <Count>1</Count>
  <Step>1</Step>
</ENTREZ_DIRECT>

这是一个结果，而不是三个，正如您从echo运行的单个结果中看到的那样。但是，如果我使用错误的练习 for循环，同样的事情也有效：

$ for line in $(cat transcripts.list); do echo "Line: $line"; esearch -db nucleotide -query "$line"; done
Line: NR_169596.1
<ENTREZ_DIRECT>
  <Db>nucleotide</Db>
  <WebEnv>MCID_61bb68cabbe98560233344a7</WebEnv>
  <QueryKey>1</QueryKey>
  <Count>1</Count>
  <Step>1</Step>
</ENTREZ_DIRECT>
Line: NR_169595.1
<ENTREZ_DIRECT>
  <Db>nucleotide</Db>
  <WebEnv>MCID_61bb68cad05f5825d75e3ace</WebEnv>
  <QueryKey>1</QueryKey>
  <Count>1</Count>
  <Step>1</Step>
</ENTREZ_DIRECT>
Line: NR_169594.1
<ENTREZ_DIRECT>
  <Db>nucleotide</Db>
  <WebEnv>MCID_61bb68cb6bdec5435b5a41cb</WebEnv>
  <QueryKey>1</QueryKey>
  <Count>1</Count>
  <Step>1</Step>
</ENTREZ_DIRECT>

问：这怎么可能？即使特定程序中存在某种错误esearch，也不应该影响循环，那么为什么shell在第一次迭代后退出？for工作和while失败怎么可能？他们在这里有什么不同？

更多细节。

1. 在 esearch 命令前添加一个echo使循环按预期运行，因此这必须与特定esearch命令相关（但如何打破 shell 循环？）：

   $ while read -r line; do echo esearch -db nucleotide -query "$line"; done <  transcripts.list 
   esearch -db nucleotide -query NR_169596.1
   esearch -db nucleotide -query NR_169595.1
   esearch -db nucleotide -query NR_169594.1
   

2. 列表本身没有什么奇怪的，我可以用不同的列表重现它，并且没有隐藏字符：

   $ od -c transcripts.list 
   0000000   N   R   _   1   6   9   5   9   6   .   1  \n   N   R   _   1
   0000020   6   9   5   9   5   .   1  \n   N   R   _   1   6   9   5   9
   0000040   4   .   1  \n
   0000044
   

3. 我在 bash 和 dash 中得到了相同的行为，因此它与 PIPEFAIL 或类似的东西无关。在任何情况下，命令的退出状态都是 0：

    while read -r line; do esearch -db nucleotide -query "$line"; echo "EXIT: $?"; done <  transcripts.list 
   <ENTREZ_DIRECT>
     <Db>nucleotide</Db>
     <WebEnv>MCID_61bb69e71191d1185543b24a</WebEnv>
     <QueryKey>1</QueryKey>
     <Count>1</Count>
     <Step>1</Step>
   </ENTREZ_DIRECT>
   

4. 这发生在运行 Ubuntu、bash、版本 4.4.20(1)-release 的系统上。如果您想尝试一下，可以使用 安装该efetch工具。sudo apt install ncbi-entrez-direct

5. 使用不同的语言在循环中按预期工作。例如，在perl：

   $ perl -ne 'chomp;system("esearch -db nucleotide -query \"$_\"")' transcripts.list 
   <ENTREZ_DIRECT>
     <Db>nucleotide</Db>
     <WebEnv>MCID_61bb6c68d8f66e4bb03f00e8</WebEnv>
     <QueryKey>1</QueryKey>
     <Count>1</Count>
     <Step>1</Step>
   </ENTREZ_DIRECT>
   <ENTREZ_DIRECT>
     <Db>nucleotide</Db>
     <WebEnv>MCID_61bb6c69947ca95fce4d4f0f</WebEnv>
     <QueryKey>1</QueryKey>
     <Count>1</Count>
     <Step>1</Step>
   </ENTREZ_DIRECT>
   <ENTREZ_DIRECT>
     <Db>nucleotide</Db>
     <WebEnv>MCID_61bb6c6a85c14642940393f9</WebEnv>
     <QueryKey>1</QueryKey>
     <Count>1</Count>
     <Step>1</Step>
   </ENTREZ_DIRECT>
   

我有两台服务器，server1并且server2，我可以通过以下方式server2连接server1：

localUser@localMachine $ ssh user1@server1
user1@server1 $ ssh user2@server2
user2@server2 $

我可以使用以下方法一步完成：

localUser@localMachine $ ssh -t user1@server1 ssh user2@server2
user2@server2 $

我希望能够简单地ssh server2从我的本地机器运行并直接连接。我可以将上面的命令设置为别名，但我更愿意通过~/.ssh/config. 问题是我需要在连接到 server2 时使用 server1 上存在的 ssh 凭据，并且我不想将它们复制到我的本地计算机上。这意味着我通过将以下内容添加到我的 local 来设置它的“正常”方式~/.ssh/config失败：

Host server1
    Hostname  server1.example.com
    User      user1

Host server2
    Hostname  server2.example.com
    User      user2
    ProxyJump server1

如果我现在尝试连接，我会得到：

$ ssh server2
[email protected]: Permission denied (publickey).

这是因为我需要使用~/.ssh/id_rsa_pub密钥，server1而不是我本地机器上的密钥。那么，如何设置我的本地~/.ssh/config以便它连接到server2、通过server1和使用中存在的凭据server1？

所有机器都是 Linux 机器，遥控器运行 Ubuntu Server 18.04.4，我的本地机器运行 Arch Linux。

我尝试了 Hauke's answer 中给出的解决方案，并将以下内容添加到我的~/.ssh/config：

Host server1server2
    Hostname server1
    User     user1
    RemoteCommand ssh [email protected]

这几乎可以工作！我现在可以连接到server2using ssh server1server2，但没有收到提示：

localUser@localMachine $ ssh server1server2 
Pseudo-terminal will not be allocated because stdin is not a terminal.

hostname
server2

正如您在上面看到的，我已连接到server2甚至可以在那里运行命令，但我没有得到提示。然后我尝试在配置文件中添加-t -t命令ssh：

Host server1server2
    Hostname server1
    User     user1
    RemoteCommand ssh -t -t [email protected]

这给了我一个提示，但是我的 shell 的初始化文件没有被读取，并且按Ctrl+C会终止ssh连接。ssh user2@server1我需要它的行为方式与我已经完成然后从 server1完全相同ssh user2@server2。这意味着应该读取我的正常 shell 初始化文件并且 Ctrl+C 不应该终止会话。

我在另一个建议的网站上找到了答案grep -oP '^\w+|$。我指出这|$在 PCRE 中是没有意义的，因为它只是意味着“或行尾”，因此对于常规行总是如此。但是，grep当与-o. 考虑以下：

$ printf 'ab\na\nc\n\n' | perl -ne 'print if /ab|$/'
ab
a
c

$

（我包括第二个提示符 ( $) 以显示空行包含在结果中）。

正如预期的那样，在 Perl 中，这将匹配每一行。要么是因为它包含一个，要么是ab因为$匹配了行尾。没有标志的GNUgrep的行为方式相同：-o

$ printf 'ab\na\nc\n\n' | grep -P 'ab|$'
ab
a
c

$

但是，-o改变了行为：

$ printf 'ab\na\nc\n\n' | grep -oP 'ab|$'
ab
$

这与简单地 grepping for 相同ab。第二部分，“或行尾”似乎被忽略了。-o没有标志，它确实可以按预期工作：

这是怎么回事？是否 -o忽略 0 长度匹配？这是一个错误还是预期的？

几年来，除非使用该选项调用 GNU 实用程序，否则它rm不会删除。然而，该命令长期以来一直被集体潜意识视为危险，人们仍然经常将其称为“可怕”的命令。/--no-preserve-rootrm -rf /

我想知道这个rm不能删除的规则是什么时候/出现的。我检查了 POSIX 规范，我可以看到虽然POSIX:2008包含此安全功能，但POSIX:2001没有。由于POSIX规范的在线版本不时更新，随着每个新的子发布，我也检查了回程机器，找到了2010年的POSIX：2008的相关页面，并且能够确认rm无法删除的规则/那时已经上市了。

所以，我的问题是：

• rm无法删除的规则何时/添加到 POSIX 规范中？它是在最初的 2008 年版 Single UNIX Specification 第 4 版中还是在修订版中添加的？
• 这个限制是什么时候添加到 GNU 的rm？我很确定它是在它被添加到 POSIX 之前，但它是什么时候发生的？