问题[performance](unix)

我的主目录位于 EXT4 分区上。不久前，访问此分区开始延迟（磁盘休眠），现在已经变得很麻烦

这似乎与日志记录有关，因为jbd2/sdb2-9在这些无响应期间，以下进程进入磁盘睡眠状态。

我已多次检查驱动器的 SMART 状态，其状态良好。

我还在 fstab 中的驱动器上设置了 noatime、nodiratime 标志，但没有什么区别。

进一步的信息，该分区已加密。

有人知道发生了什么事以及如何解决这个问题吗？或者即使 SMART 报告良好，HD 也会失败吗？

以下是一些错误消息sudo dmesg

[    2.662286] ata2.00: exception Emask 0x50 SAct 0xf0000 SErr 0x280901 action 0x6 frozen
[    2.662305] ata2.00: irq_stat 0x08000000, interface fatal error
[    2.662310] ata2: SError: { RecovData UnrecovData HostInt 10B8B BadCRC }
[    2.662336] ata2.00: failed command: READ FPDMA QUEUED
[    2.662342] ata2.00: cmd 60/10:80:28:00:00/00:00:00:00:00/40 tag 16 ncq dma 8192 in
                        res 40/00:9c:08:01:00/00:00:00:00:00/40 Emask 0x50 (ATA bus error)
[    2.662363] ata2.00: status: { DRDY }

[    2.983602] I/O error, dev sdb, sector 40 op 0x0:(READ) flags 0x80700 phys_seg 1 prio class 2

我有一个 LUKS 加密文件，里面有大约 160 GB 的数据，我经常使用这些数据。为了安全起见，我创建了 400 GB 的文件。当然，这浪费了很多空间。所以我切换到稀疏文件，基本上遵循了这里的建议，只需使用 seek 选项创建文件即可：

dd if=/dev/zero of= <文件> bs=1G count=0 seek=400

但后来我想：如果文件开始碎片化会发生什么？通常这不是问题，因为我没有很大的文件，而且如果有的话，它们通常是不会改变的媒体文件。但我经常使用的加密文件可能很快就会碎片化……

所以我的问题是：在我的情况下使用稀疏文件而不是固定大小的文件是否真的有什么缺点？碎片化真的是个问题吗？你还有其他建议吗？

我有一个 Debian 盒子，我正在其中使用 ddrescue 在 sata ssd 上进行一些数据恢复。该进程已经运行了 24 小时，而且无论如何还剩 24 小时（至少），PC 拥有 16GB 内存和 10GB 交换空间。由于某种原因，使用了 8GB 交换空间，并使用了 2GB RAM。这似乎是对资源的低效利用。我希望将来避免这种行为。为什么要以这种方式使用存储设备？

今后如何避免此类操作呢？

到目前为止，我曾经使用tarLZMA 压缩选项之一（--lzma、--xz或--lzip）来备份数据

我最近注意到 7-Zip 已于 2021 年移植到 Linux（https://www.xda-developers.com/7-zip-linux-official-release/）。我不是在谈论旧的 P7Zip ( https://p7zip.sourceforge.net/ )，它似乎不再被维护，而是在谈论官方的 7-Zip。

因此，我对其进行了测试，并且非常惊讶地发现，对于相同的压缩比，它比所有其他 Linux LZMA 实现要快得多。

以下是我的测试（Debian 11）。请注意，我在每次测试之间清空了 RAM 缓存 ( sync && echo 3 > /proc/sys/vm/drop_caches)

我正在处理一个163M的文件夹，包含几种类型的文件，PDF，文本，开放办公室等等......

$ du -hs TEST/
163M    TEST/

使用 7-Zip，它可以在 15 秒内压缩成 127M 的文件：

$ time tar c -hp TEST/ | 7zz a -si test.tar.7z
real    0m14,565s
(...)

$ ll test.tar.7z
(...) 127M (...) test.tar.7z

而对于 LZMA 的所有其他实现，对于相同的存档大小，它花费的时间几乎是 5 倍（大约 1'13"）！

$ time tar -chp --lzma -f test.tar.lzma TEST/
real    1m13,159s

$ time tar -chp --xz -f test.tar.xz TEST/
real    1m12,889s

$ time tar -chp --lzip -f test.tar.lz TEST/
real    1m12,525s

$ ll test.tar.{7z,lz*,xz}
(...) 127M (...) test.tar.7z
(...) 127M (...) test.tar.lz
(...) 127M (...) test.tar.lzma
(...) 127M (...) test.tar.xz

为了确保 没有任何问题tar，我做了相同的测试，但tar将 的输出通过管道传输到lzma|xz|lzip, 而不是使用--lzma,--xz和--lzip开关。结果相同。

所以，基本上，7-Zip 的 Linux 版本让所有其他 LZMA 实现看起来相当黯淡。我认为 7-Zip 不支持 Linux 所有者和权限，但这在压缩文件时无关紧要.tar。

那么，有人知道为什么 7-Zip 的 Linux 版本比其他 LZMA 实现快得多吗？

遗憾的是，这里报告并描述了该问题：有害的 USB 记忆棒停顿问题。恢复解决方法修复？“写回限制”是否是“USB 记忆棒停顿问题”的解决方案？尽管 2023 年 2 月发布的 Linux 6.2 中引入了BDI 接口，但截至 2024 年，该问题在现代 Linux 发行版中仍未得到解决。

这可以通过调用脚本的简单udev规则来解决，该脚本为 USB 大容量存储设备设置合理的回写缓存值。

我需要计算 linux 需要多长时间才能关机。我在 ARM i.MX7 上运行嵌入式busybox linux。我看了看，/var/volatile/log/messages但那只显示了最后一次启动。我需要知道系统需要多长时间才能关闭，例如shutdown -h -P now。

我怎样才能得到一个相当精确的测量值？

当我需要使用 捕获一些数据包tcpdump时，我使用如下命令：

tcpdump -i eth0 "dst host 192.168.1.0"

我一直认为dst 主机 192.168.1.0部分称为 BPF，Berkeley Packet Filter。对我来说，这是一种过滤网络数据包的简单语言。但是今天我的室友告诉我，BPF 可以用来捕获性能信息。根据他的描述，它就像perfmonWindows上的工具。这是真的吗？它与我在问题开头提到的 BPF 相同吗？

我对这个问题的看法来自开发者方面。我编写的代码放置在作为企业系统中众多虚拟机之一运行的 RHEL 虚拟机上。正在使用的文件系统是一个远程的、网络连接的存储设备。

在批处理过程中，我们对简单命令有一些高度可变性。所以我们设置了一个测试来获取更多信息，但现在我不知道我们发现了什么。

我们每 30 分钟运行一次以下命令并记录输出。它是一个 6 GB 文件的副本。我看到的是当系统忙于运行大量作业并且此测试命令获得低 CPU 时间时，经过的时间从 11 秒跃升至 190 秒。

我可以看到的是，当 CPU 较低时，“I”列（文件系统输入）会被填充，但在 CPU 较高时则不会。“w”列（非自愿掉期）也高得多。

我的问题是，当 CPU 时间下降时，这个作业/命令发生了什么迫使它运行这么长时间？换入/换出是否将所有数据存储在其他速度慢得多的设备上？通常，在换入/换出期间会发生什么？

正在运行的命令：

/usr/bin/time -a -o filename.txt cp file.txt fileCopy.txt

/usr/bin/time 手册页中的列描述

e   Elapsed real time (in seconds).
S   Total number of CPU-seconds that the process spent in kernel mode.
U   Total number of CPU-seconds that the process spent in user mode.
P   Percentage of the CPU that this job got, computed as (%U + %S) / %E.
c   Number of times the process was context-switched involuntarily (because the time slice expired).
w   Number of waits: times that the program was context-switched voluntarily, for instance while waiting for an I/O operation to complete.
I   Number of filesystem inputs by the process.
O   Number of filesystem outputs by the process.

我注意到find <dir> -depth第一次在目录上使用时，它消耗了很多时间，但下一次即使搜索不同的模式，它似乎也很快。

为什么会这样，甚至可以进一步使用这种行为来获得更好的性能吗？

当磁盘在使用时，例如：做fio测试（随机写入），同时移除PCIe SSD。

由于系统支持热插拔，我是否应该期望没有任何 I/O 错误？