问题[io](unix)

设想：

$ cat libs.txt
lib.a
lib1.a

$ cat t1a.sh
f1()
{
        local lib=$1
        stdbuf -o0 printf "job for $lib started\n"
        sleep 2
        stdbuf -o0 printf "job for $lib done\n"
}
export -f f1
cat libs.txt | SHELL=$(type -p bash) parallel --jobs 2 f1

调用及输出：

$ time bash t1a.sh
job for lib.a started
job for lib.a done
job for lib1.a started
job for lib1.a done

real    0m2.129s
user    0m0.117s
sys     0m0.033s

这里我们看到 的执行f1确实是并行的 ( real 0m2.129s)。

但是，诊断输出看起来执行是连续的。

我期望得到以下诊断输出：

job for lib.a started
job for lib1.a started
job for lib.a done
job for lib1.a done

为什么诊断输出看起来像顺序执行而不是并行执行？

如何修复诊断输出，使其看起来像并行执行？

太长了；

硬盘似乎已损坏。无法格式化分区（mkfs.ext4I/O 错误），即使使用新创建的 GPT 表也是如此。SMART 测试显示一些错误。我正想把光盘扔掉。在此之前，出于好奇，我进行了全面的badblocks测试。大惊喜：它没有检测到任何坏块！回到GParted，创建了一个GPT表+几个分区。现在一切正常！做了什么badblocks？

完整的故事

我试图弄清楚刚刚发生的事情：我正打算扔掉 HDD，因为我无法在其上创建分区，并且 SMART 显示了一些错误。在扔掉磁盘之前，我只是想玩一下badblocks，然后...大惊喜：badblocks似乎已经修复了我的磁盘！我什至不知道它可以做到这一点！所以我现在很高兴，我确实可以使用我的磁盘，它工作正常，但我仍在试图弄清楚刚刚发生了什么！

这是我已经好几年没用过的 4TB 希捷硬盘了。我将其插入 SATA ↔ USB 适配器（适配器工作正常，我将它与其他几个 HDD 一起使用）。Wirh GParted 我创建了一个新的 GPT 分区表，然后创建了一个分区。无法进行到底，出现mkfs.ext4I/O 错误：

(...)
Allocating group tables: done
Writing inode tables: done
Creating journal (131072 blocks): done
Writing superblocks and filesystem accounting information: 0/895
mke2fs 1.46.2 (28-Feb-2021)
mkfs.ext4: Input/output error while writing out and closing file system

我尝试了几次，使用不同的 USB 适配器、不同的 USB 电缆、不同的 USB 端口。从来没有工作过。

然后我做了一个 SMART 简短测试：

# smartctl -t short -C /dev/sde
(...)

# smartctl -a /dev/sde
(...)
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short captive       Completed: read failure       90%       528         191105024
(...)

显然硬盘似乎有缺陷，对吧？所以我本来打算扔掉它，但badblocks之前做了一个测试：

# badblocks -wvs -t random -b 4096 /dev/sde
Checking for bad blocks in read-write mode
From block 0 to 976754645
Testing with random pattern: done                                                 
Reading and comparing: done                                                 
Pass completed, 0 bad blocks found. (0/0/0 errors)

测试持续了大约19个小时（4TB磁盘），没有出现任何错误。我很惊讶 ！

回到GParted，创建了一个新的GPT表，一些分区，一切都很顺利。

我最终做了一些我习惯做的复制测试，以检查磁盘的性能，一切看起来都很正常（复制大文件时为 155MB/s R/W）。

还做了另一个 SMART 简短测试，completed without error这次是：

# smartctl -t short -C /dev/sde
(...)

# smartctl -a /dev/sde
(...)
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short captive       Completed without error       00%       549         -
# 2  Short captive       Completed: read failure       90%       528         191105024
(...)

有人能理解吗？就好像运行badblocks以某种方式修复了我的硬盘一样。这怎么可能？甚至应该badblocks这样做吗？

注意：如果需要，可以提供更多信息（完整的 SMART 输出和完整的 GParted 结果）

我正在尝试限制服务（或进程/命令）的 IO 使用。（硬件设备上的 IO 读/写限制，不适用于网络。）

我从 systemd 找到了 IOAccounting：

systemd-run --scope --user -p "IOReadBandwidthMax=/dev/zero 1M" -p "IOAccounting=true" \
    time dd if=/dev/zero count=1 bs=100M of=/tmp/foo conv=fdatasync

systemd-run --scope --user -p "IOWriteBandwidthMax=/dev/sdd 1M" -p "IOAccounting=true" \
    time dd if=/dev/zero count=1 bs=100M of=/tmp/foo conv=fdatasync

该命令快速结束并报告 200/300 MB/s。当我运行命令时，结果完全相同，没有 systemd-run 包装器。

我还尝试编写没有 systemd-run 的 systemd 服务：IO 带宽限制不起作用。

你有什么建议吗？

我找不到一种方法来捕获htop有关 IO_RATE IO_READ_RATE IO_WRITE_RATE 的单个进程的输出。

我需要它（最后几秒钟的 IO（或仅 1 秒），而不是整体累积的 IO）来确定进程是否无法正常运行以自动重启它。

我不能使用iotop它，因为它需要 root，这会使我的工作流程复杂化，主要是因为它显然是不必要的。

我尽我所能，/proc/$PID/...但没有发现我可以使用的关于 IO 的字节数。不是它不在那里，只是我找不到它。

因此，一种通过管道获取htop输出的方法也可以作为一种解决方法，但这不是我要问的。

我已经可以获取top大约 %CPU 的输出，但这还不够，我在top.

下面，其他地方的每个答案都是关于 iotop（否）或 htop（无法捕获输出）或其他没有帮助的应用程序，所以我决定问这个问题：
monitor IO of a running user's executable file read/write
https:// stackoverflow.com/questions/469159/an-htop-like-tool-to-display-disk-activity-in-linux（如果atop可以，我仍然不明白如何......）

我正在寻找一种能够以恒定的目标吞吐量（例如 3Mb/s）读写数据的工具，而不是将 I/O 系统推到极限。然后，我打算在这种相当稳定的 I/O 活动发生时监控各种指标。我看过类似的工具stress，fio但似乎它们更倾向于最大吞吐量。对于可以执行此类操作的工具的任何建议将不胜感激。谢谢。

当我这样做my_script < filename.txt > filename.txt时，文件将被覆盖并截断。

在 Unix 命令行上是否有某种方法可以指定重定向不是同时进行的，即在输入完成之前输出不会开始？

我正在尝试编写一个读取文件的实用程序，并根据命令行选项重新生成并覆盖它。我意识到我可以在程序中添加不使用标准输入/标准输出的支持，但我喜欢重定向的灵活性和便利性。

说明：

当我运行 dist-upgrade 时，我遇到了以下详细信息的问题

1 not fully installed or removed.
After this operation, 0 B of additional disk space will be used.
perl: warning: Setting locale failed.
perl: warning: Please check that your locale settings:
    LANGUAGE = "en_US:",
    LC_ALL = (unset),
    LC_CTYPE = "UTF-8",
    LC_TERMINAL = "iTerm2",
    LANG = "en_US.UTF-8"
    are supported and installed on your system.
perl: warning: Falling back to a fallback locale ("en_US.UTF-8").
locale: Cannot set LC_CTYPE to default locale: No such file or directory
locale: Cannot set LC_ALL to default locale: No such file or directory
Setting up initramfs-tools (0.136ubuntu6.6) ...
update-initramfs: deferring update (trigger activated)
Processing triggers for initramfs-tools (0.136ubuntu6.6) ...
update-initramfs: Generating /boot/initrd.img-4.15.0-112-generic
W: Possible missing firmware /lib/firmware/ast_dp501_fw.bin for module ast
Error 24 : Write error : cannot write compressed block
E: mkinitramfs failure lz4 -9 -l 24
update-initramfs: failed for /boot/initrd.img-4.15.0-112-generic with 1.
dpkg: error processing package initramfs-tools (--configure):
 installed initramfs-tools package post-installation script subprocess returned error exit status 1
Errors were encountered while processing:
 initramfs-tools
E: Sub-process /usr/bin/dpkg returned an error code (1)

任何人都可以解决这个问题吗？

据我所知，当进程写入文件时，它会启动系统调用。在所需的信息中，它需要一个指向用户空间缓冲区的指针，其中填充了要写入的数据。

考虑一个场景，其中有一个进程产生两个线程。一个线程执行系统调用以写入 10MB。另一个线程执行触发分段错误的无效内存访问，而操作系统正在处理 IO 请求。在这种情况下写请求会发生什么？特别是，我保证写操作不会发生或在进程内存释放之前完成？如果 io 请求只是一个 64 位整数，答案会改变吗？

从终端运行时，hexdump不会对行首的单个做出反应^D，就像cat, od,bc等一样，除非还没有输入：

prompt% hexdump -C
<control-D>
prompt% hexdump -C
hello
<control-D><control-D> # a single ^D won't do
00000000  68 65 6c 6c 6f 0a                                 |hello.|
00000006

我可以在 fedora 28 和 debian 9 上重现它。尽管hexdump由bsdmainutilsDebian 提供，但在 bsd 上不会发生这种情况。

这只是一个错误吗？是否有任何其他已知的程序表现出这种行为？

对于额外的上下文，我之前问过这个问题，并认为我理解了一些事情，但现在不明白了。

我知道echo忽略stdin. 我知道stdin，stderr并且stdout存在，并且在这种情况下，我不知道除了这些之外的“事物”存在。

那么，如果echoignores stdin，它从哪里获得输入呢？似乎stdin，stdout并stderr没有讲述整个故事。