主页 / unix / 问题 / 718912
Accepted
Dor
Asked: 2022-09-28 08:59:22 +0800 CST

dd: `iflag=nocache` 第一次使用无效

  • 772

iflag=nocache的标志dd似乎只在第二次以后才生效。
我不明白为什么。
我在想也许它与预读缓存有关，但它没有解释下表中的结果：

Results - Effect of iflag=nocache: from big SATA SSD file to /dev/null:
Test_Name                dd_flags       Time[s]  time/dd exit status
w/ iflag=nocache         iflag=nocache  6.95     0
again w/ iflag=nocache   iflag=nocache  6.94     0
first w/o iflag=nocache  -              6.94     0
2nd w/o iflag=nocache    -              2.60     0
3nd w/o iflag=nocache    -              2.49     0
first w/ iflag=nocache   iflag=nocache  2.71     0
2nd w/ iflag=nocache     iflag=nocache  6.94     0
3rd w/ iflag=nocache     iflag=nocache  6.94     0

关于底部的 3 个测试/行：

  • 第一次iflag=nocache使用，然后仍然使用缓存（由于它花费的时间很快）。
  • 最后两次尝试iflag=nocache花费了很长时间（即没有缓存），这意味着他们可能没有使用预读缓存，所以预读缓存可能不是这里的问题。
  • 该iflag=nocache标志似乎有效，因为随后使用它的尝试要慢得多，这意味着没有使用缓存。

笔记：

  • 上表中的列dd_flags显示了提供给 的所有标志dd，除了两个标志if和of。对于具有列的行-，dd_flags这意味着dd没有额外的标志（除了ifand of）
  • 输入文件dd是一个大文件（3.8GB），存储在 SATA SSD 中（最大吞吐量约 500MB）。
  • 的输出文件dd是 /dev/null。
  • 上表中的Time[s]列是实时，它是timeBash 保留字的结果。
  • 我不执行同步，因为不需要 - 文件是在 PC 启动之前写入的。
  • 我不清空操作系统页面缓存（使用echo 1 >|/proc/sys/vm/drop_caches），因为我想避免完全缓存失效。

我尝试删除整个文件的缓存，如所示info dd- 似乎有效：

Results - Effect of iflag=nocache: from big SATA SSD file to /dev/null:
Test_Name                  dd_flags               Time[s]  time/dd exit status
w/ iflag=nocache           iflag=nocache          6.95     0
again w/ iflag=nocache     iflag=nocache          6.95     0
first w/o iflag=nocache    -                      6.94     0
2nd w/o iflag=nocache      -                      2.60     0
3nd w/o iflag=nocache      -                      2.49     0
Drop cache for whole file  iflag=nocache,count=0  0.14     0
first w/ iflag=nocache     iflag=nocache          6.94     0
2nd w/ iflag=nocache       iflag=nocache          6.94     0
3rd w/ iflag=nocache       iflag=nocache          6.94     0

版本：

$ dd --version | head -1
dd (coreutils) 8.32

没有解决我的问题的相关阅读：

dd“直接”与“nocache”

https://www.gnu.org/software/coreutils/manual/html_node/dd-invocation.html#dd-invocation

dd

1 个回答

  1. Best Answer

    那是因为iflag=nocache删除缓存......在它被读取之后，而不是之前。

    如果您使用 strace，您可以看到这一点：

    # strace dd iflag=nocache … |& grep -Pi 'read|dontneed'
[…]
read(0, "\0"..., 65536) = 65536
read(0, "\0"..., 65536) = 65536
fadvise64(0, 393216, 131072, POSIX_FADV_DONTNEED) = 0
read(0, "\0"..., 65536) = 65536
read(0, "\0"..., 65536) = 65536
fadvise64(0, 524288, 131072, POSIX_FADV_DONTNEED) = 0
read(0, "\0"..., 65536) = 65536
read(0, "\0"..., 65536) = 65536
fadvise64(0, 655360, 131072, POSIX_FADV_DONTNEED) = 0
[…]

    每次读取都带有一个POSIX_FADV_DONTNEED范围，该范围涵盖了先前已读取的内容。

    它与读取不完全匹配，因为 POSIX_FADV_DONTNEED 需要与 dd 使用的块大小不同的对齐方式。但最终它仍然会丢弃先前读取的块的缓存。

    因此，如果您的意图是读取未缓存的数据，此 iflag 将无济于事。(*)

    相反，目的是不缓存已读取的内容，也不替换之前已缓存的其他内容。这是一种在不过多干扰现有缓存的情况下复制或流式传输大文件的方法。

    man 2 posix_fadvise这样描述它：

    POSIX_FADV_DONTNEED
    指定数据近期不会被访问。

    POSIX_FADV_DONTNEED尝试释放与指定区域关联的缓存页面。例如，在流式传输大文件时，这很有用。程序可能会周期性地请求内核释放已被使用的缓存数据，这样更有用的缓存页面不会被丢弃。

    丢弃部分页面的请求将被忽略。最好保留需要的数据而不是丢弃不需要的数据。如果应用程序要求考虑丢弃数据，则 offset 和 len 必须是页面对齐的。

    所以它是针对已经使用（已经被dd读取）但不保存在缓存中的数据，以免丢弃更多有用的东西。

    (*)

    info dd将此示例列为一种无需读取即可删除整个文件的缓存的方法：

    dd if=ifile iflag=nocache count=0

    nocache 标志的描述也比联机帮助页更详细，因此可能值得一读。

    • 1

相关问题