主页 / unix / 问题 / 563203
Accepted
ceving
Asked: 2020-01-22 05:03:49 +0800 CST

dd 的 bs 参数的最大值是多少？

  • 772

我想写一个 CGI，它必须从 STDIN 读取指定数量的字节。我的想法是这样做：

dd bs=$CONTENT_LENGTH count=1

但我想知道，块大小是否受 RAM 以外的任何限制。

$ dd bs=1000000000000
dd: memory exhausted by input buffer of size 1000000000000 bytes (931 GiB)

GNU 的 coreutils 的手册页没有指定任何限制。

dd

3 个回答

  1. Best Answer

    POSIX 规范dd没有明确指定最大值，但有一些限制：

    在 64 位平台上，size_t长度为 64 位；此外，它是无符号的，因此dd当给定值大于 2 64 – 1 时会失败：

    $ dd if=/dev/zero of=/dev/null bs=18446744073709551616
dd: invalid number: ‘18446744073709551616’

    在 64 位 x86 上的 Linux 上，SSIZE_MAX是 0x7fffffffffffffffL（运行echo SSIZE_MAX | gcc -include limits.h -E -检查），这就是输入限制：

    $ dd if=/dev/zero of=/dev/null bs=9223372036854775808
dd: invalid number: ‘9223372036854775808’: Value too large for defined data type

$ dd if=/dev/zero of=/dev/null bs=9223372036854775807
dd: memory exhausted by input buffer of size 9223372036854775807 bytes (8.0 EiB)

    一旦找到一个可以接受的值，下一个限制就是可以分配的内存量，因为dd需要先分配一个缓冲区，然后才能读入它。

    一旦找到可以分配的值，您将达到read限制（在 Linux 和其他具有类似限制的系统上），除非您使用 GNUdd并指定iflag=fullblock：

    $ dd if=/dev/zero of=ddtest bs=4294967296 count=1
0+1 records in
0+1 records out
2147479552 bytes (2.1 GB, 2.0 GiB) copied, 38.3037 s, 56.1 MB/s

    （dd复制不到 2 31个字节，即上面提到的 Linux 限制，甚至不到我要求的一半）。

    正如上面链接的问答中所解释的，fullblock在任何情况下，对于任何bs大于 1 的值，您都需要可靠地复制所有输入数据。

    • 23

  2. 不管它的最大值是多少，那里都有一个更大的问题；来自 POSIX 规范：

    该dd实用程序应将指定的输入文件复制到指定的输出文件，并使用特定的输入和输出块大小进行可能的转换。它应使用指定的输入块大小一次读取一个输入块；然后它将处理实际返回的数据块，该数据块可能小于请求的块大小。

    （重点补充）

    正如我过去写的，dd是一个非常愚蠢的工具：在你的情况下，它基本上归结为

    char *buf = malloc(bs);
for(int i = 0; i < count; ++i) {
    int len = read(STDIN_FILENO, buf, bs);
    if(len == 0) break;
    write(STDOUT_FILENO, buf, len);
}
free(buf);

    bs只是dd用于执行read(2)系统调用的参数，但read(2)允许执行“短读取”，即返回的字节数少于请求的字节数。事实上，如果它现在有一些可用的字节，它就是这样做的，即使它们不是你所要求的全部；如果输入文件是 tty、管道或套接字，这很典型（因此您的 CGI 尤其处于危险之中......）。试试看嘛：

    $ dd bs=1000 count=1
asd
asd
0+1 records in
0+1 records out
4 bytes copied, 1.75356 s, 0.0 kB/s

    在这里我输入asd并按下回车；dd读它（演奏一首read(STDIN_FILENO, buf, 1000)并写出来；它read按要求做了一个，所以它退出了。它看起来不像复制了 1000 个字节。

    归根结底，dd对于大多数需求来说，简单的“标准”是一种过于愚蠢的工具。您可以通过以下任一方式对其进行处理以执行您需要的操作：

    • 通过使用bs=1和使用count字节数；这可以保证复制您需要的字节数（如果在 EOF 之前可用），但效率很低，因为它每个字节执行一个系统调用；
    • 添加fullblock标志；这确保dd在写出之前累积一个完整的输入块。但是请注意，这是非标准的（GNU dd 有，IDK 有关于其他的）。

    最终，如果您要进行非 POSIX 扩展，我的建议是使用head -c: 它将做正确的事情，具有合理的缓冲并且没有特定的大小限制，确保正确性和良好的性能。

    • 6

  3. 最大值取决于系统（包括其分配策略）和当前可用的内存。

    而不是一次尝试读取所有内容（您可能会耗尽内存，由于交换而减慢速度，您必须添加检查以查看它是否真的有效......）您可以使用dd.

    假设您想读取这些字节并将它们放入文件中。在 bash 中，你可以运行这样的东西（总字节数以 $total 为单位）：

    block=65535
count=$(expr $total / $block)
rest=$(expr $total % $block)
(dd bs=$block count=$count;dd bs=$rest count=1) > filename
    • 2

相关问题