我有一个 Debian 盒子,我正在其中使用 ddrescue 在 sata ssd 上进行一些数据恢复。该进程已经运行了 24 小时,而且无论如何还剩 24 小时(至少),PC 拥有 16GB 内存和 10GB 交换空间。由于某种原因,使用了 8GB 交换空间,并使用了 2GB RAM。这似乎是对资源的低效利用。我希望将来避免这种行为。为什么要以这种方式使用存储设备?
今后如何避免此类操作呢?
我有一个 Debian 盒子,我正在其中使用 ddrescue 在 sata ssd 上进行一些数据恢复。该进程已经运行了 24 小时,而且无论如何还剩 24 小时(至少),PC 拥有 16GB 内存和 10GB 交换空间。由于某种原因,使用了 8GB 交换空间,并使用了 2GB RAM。这似乎是对资源的低效利用。我希望将来避免这种行为。为什么要以这种方式使用存储设备?
今后如何避免此类操作呢?
到目前为止,我曾经使用tar
LZMA 压缩选项之一(--lzma
、--xz
或--lzip
)来备份数据
我最近注意到 7-Zip 已于 2021 年移植到 Linux(https://www.xda-developers.com/7-zip-linux-official-release/)。我不是在谈论旧的 P7Zip ( https://p7zip.sourceforge.net/ ),它似乎不再被维护,而是在谈论官方的 7-Zip。
因此,我对其进行了测试,并且非常惊讶地发现,对于相同的压缩比,它比所有其他 Linux LZMA 实现要快得多。
以下是我的测试(Debian 11)。请注意,我在每次测试之间清空了 RAM 缓存 ( sync && echo 3 > /proc/sys/vm/drop_caches
)
我正在处理一个163M的文件夹,包含几种类型的文件,PDF,文本,开放办公室等等......
$ du -hs TEST/
163M TEST/
使用 7-Zip,它可以在 15 秒内压缩成 127M 的文件:
$ time tar c -hp TEST/ | 7zz a -si test.tar.7z
real 0m14,565s
(...)
$ ll test.tar.7z
(...) 127M (...) test.tar.7z
而对于 LZMA 的所有其他实现,对于相同的存档大小,它花费的时间几乎是 5 倍(大约 1'13")!
$ time tar -chp --lzma -f test.tar.lzma TEST/
real 1m13,159s
$ time tar -chp --xz -f test.tar.xz TEST/
real 1m12,889s
$ time tar -chp --lzip -f test.tar.lz TEST/
real 1m12,525s
$ ll test.tar.{7z,lz*,xz}
(...) 127M (...) test.tar.7z
(...) 127M (...) test.tar.lz
(...) 127M (...) test.tar.lzma
(...) 127M (...) test.tar.xz
为了确保 没有任何问题tar
,我做了相同的测试,但tar
将 的输出通过管道传输到lzma|xz|lzip
, 而不是使用--lzma
,--xz
和--lzip
开关。结果相同。
所以,基本上,7-Zip 的 Linux 版本让所有其他 LZMA 实现看起来相当黯淡。我认为 7-Zip 不支持 Linux 所有者和权限,但这在压缩文件时无关紧要.tar
。
那么,有人知道为什么 7-Zip 的 Linux 版本比其他 LZMA 实现快得多吗?
遗憾的是,这里报告并描述了该问题:有害的 USB 记忆棒停顿问题。恢复解决方法修复?“写回限制”是否是“USB 记忆棒停顿问题”的解决方案?尽管 2023 年 2 月发布的 Linux 6.2 中引入了BDI 接口,但截至 2024 年,该问题在现代 Linux 发行版中仍未得到解决。
这可以通过调用脚本的简单udev
规则来解决,该脚本为 USB 大容量存储设备设置合理的回写缓存值。
我需要计算 linux 需要多长时间才能关机。我在 ARM i.MX7 上运行嵌入式busybox linux。我看了看,/var/volatile/log/messages
但那只显示了最后一次启动。我需要知道系统需要多长时间才能关闭,例如shutdown -h -P now
。
我怎样才能得到一个相当精确的测量值?
当我需要使用 捕获一些数据包tcpdump
时,我使用如下命令:
tcpdump -i eth0 "dst host 192.168.1.0"
我一直认为dst 主机 192.168.1.0部分称为 BPF,Berkeley Packet Filter。对我来说,这是一种过滤网络数据包的简单语言。但是今天我的室友告诉我,BPF 可以用来捕获性能信息。根据他的描述,它就像perfmon
Windows上的工具。这是真的吗?它与我在问题开头提到的 BPF 相同吗?
我对这个问题的看法来自开发者方面。我编写的代码放置在作为企业系统中众多虚拟机之一运行的 RHEL 虚拟机上。正在使用的文件系统是一个远程的、网络连接的存储设备。
在批处理过程中,我们对简单命令有一些高度可变性。所以我们设置了一个测试来获取更多信息,但现在我不知道我们发现了什么。
我们每 30 分钟运行一次以下命令并记录输出。它是一个 6 GB 文件的副本。我看到的是当系统忙于运行大量作业并且此测试命令获得低 CPU 时间时,经过的时间从 11 秒跃升至 190 秒。
我可以看到的是,当 CPU 较低时,“I”列(文件系统输入)会被填充,但在 CPU 较高时则不会。“w”列(非自愿掉期)也高得多。
我的问题是,当 CPU 时间下降时,这个作业/命令发生了什么迫使它运行这么长时间?换入/换出是否将所有数据存储在其他速度慢得多的设备上?通常,在换入/换出期间会发生什么?
正在运行的命令:
/usr/bin/time -a -o filename.txt cp file.txt fileCopy.txt
日期 | 时间 | e | 小号 | ü | 磷 | C | w | 我 | ○ |
---|---|---|---|---|---|---|---|---|---|
2022 年 3 月 14 日 | 5:19:02 | 64.9 | 16.23 | 1.03 | 26% | 3005 | 29210 | 12000016 | 1200万 |
2022 年 3 月 14 日 | 5:49:02 | 12.7 | 11.63 | 0.79 | 97% | 2069 | 76 | 0 | 1200万 |
2022 年 3 月 14 日 | 6:19:02 | 100.39 | 14.74 | 0.78 | 15% | 1034 | 29925 | 12000136 | 1200万 |
2022 年 3 月 14 日 | 6:49:24 | 191.32 | 18.86 | 0.94 | 10% | 3374 | 36164 | 12001024 | 1200万 |
2022 年 3 月 14 日 | 7:19:02 | 71.61 | 15.61 | 0.88 | 23% | 1610 | 30316 | 12000296 | 1200万 |
2022 年 3 月 14 日 | 7:49:02 | 70.73 | 17.5 | 0.91 | 26% | 1408 | 29540 | 12000072 | 1200万 |
2022 年 3 月 14 日 | 8:19:02 | 10.95 | 9.89 | 0.7 | 96% | 1709 | 75 | 0 | 1200万 |
2022 年 3 月 14 日 | 8:49:02 | 11.01 | 10.22 | 0.73 | 99% | 239 | 85 | 0 | 1200万 |
/usr/bin/time 手册页中的列描述
e Elapsed real time (in seconds).
S Total number of CPU-seconds that the process spent in kernel mode.
U Total number of CPU-seconds that the process spent in user mode.
P Percentage of the CPU that this job got, computed as (%U + %S) / %E.
c Number of times the process was context-switched involuntarily (because the time slice expired).
w Number of waits: times that the program was context-switched voluntarily, for instance while waiting for an I/O operation to complete.
I Number of filesystem inputs by the process.
O Number of filesystem outputs by the process.
我注意到find <dir> -depth
第一次在目录上使用时,它消耗了很多时间,但下一次即使搜索不同的模式,它似乎也很快。
为什么会这样,甚至可以进一步使用这种行为来获得更好的性能吗?
当磁盘在使用时,例如:做fio测试(随机写入),同时移除PCIe SSD。
由于系统支持热插拔,我是否应该期望没有任何 I/O 错误?
该tr
命令的参数之一是:
-u
保证任何输出都是无缓冲的。
在什么情况下不缓冲输出是个好主意?
例如,-u
如果我希望每行都超长,我应该使用吗?
例如,-u
如果我的内存受限,我应该使用吗?
例如,如果我将它输入awk
(逐行处理文件),那么这是否意味着使用缓冲输出更好?
在 bash 中,.bashrc
(和各种其他脚本)可以在 shell 启动时加载到内存中。这些可以是 10 行长,但可以是数百行(如果不是数千行)。每次导出都会消耗少量内存,每个函数和每个别名也会占用少量内存资源。另一个考虑因素是我们不能只看.bashrc
和其他脚本的大小,因为它们可能有很多不消耗内存的注释。
我想删除所有启动脚本,启动系统,等待几分钟让事情稳定下来,然后采取某种基线,然后将启动脚本放回原处,重新启动系统并执行相同的练习来尝试获得某种资源/性能差异。
您能否建议哪些工具可能有助于确定这一点?我有一组相对较大的启动脚本,大约 15k,定义了许多函数和别名,所以我真的很好奇有什么影响(如果有的话,作为一个具有 16 GB 内存和快速现代 Core i5 的现代系统,效果可能可以忽略不计)这对系统消耗的资源有影响吗?即使我的启动脚本的影响很小,我仍然希望能够采用基线,然后进行“负载测试”,以评估系统如何处理运行给定的一组应用程序。