主页 / computer / 问题 / 1691837
Accepted
C.J. Jackson
Asked: 2021-12-08 21:18:39 +0800 CST

计算随机选择的文件的校验和，这些文件的名称在文件中列出

  • 772

假设我有一个名为的文件list_of_files.txt，其中每一行对应于磁盘上的一个文件。例如：

dir1/fileA.ext1
dir1/subdir1/fileB.ext2
fileC.ext3
dir2/fileD.ext4
fileE.ext5

我想从该列表中随机选择一些文件并为它们计算cksumor md5sum。

我知道我可以随机选择 3 个文件shuf -n 3 list_of_files.txt，但是如何cksum将它们视为文件名而不是文本内容？

linux checksum

1 个回答

  1. Best Answer

    如果文件中的路径以换行符结尾并按原样提供，即如果每一行都是单独的逐字路径，则 shell 循环将执行以下操作：

    shuf -n 3 list_of_files.txt | while IFS= read -r pth; do
   cksum "$pth"
done

    还有xargs（参见POSIX 规范和更高级的GNUxargs），还有GNUparallel（注意非 GNUparallel存在，我不是指它）。使用正确的工具和适当的选项，您可以使一个cksum进程多于一个路径（产生更少的进​​程cksum通常是有益的）或并行运行两个或多个cksum进程。

    为了处理最少三个文件，我可能会因为可移植性而坚持使用我们的 shell 循环；除非文件很大，并且我希望三个cksum并行运行的进程一次比一个进程快得多cksum。我不是 GNU 专家parallel，但似乎解决方案很简单：

     shuf -n 3 list_of_files.txt | parallel cksum

    默认情况下，GNUparallel通过 CPU 内核的数量来限制同时作业的数量。现在三个或更多内核很常见，因此该命令可能会cksum并行运行三个进程。虽然形式上这不是便携式的。另请注意，并行处理三个文件意味着并行读取三个文件。I/O 可能是一个瓶颈，这可能会降低并行作业的好处，甚至使事情变得更糟。

    即使这样parallel也可能有用。用于-j 1将作业数限制为 1：

     shuf -n 3 list_of_files.txt | parallel -j 1 cksum

    文件将像在我们的 shell 循环中一样按顺序处理，但语法更简单。对于我们的 shell 循环，您需要知道您想要IFS= read -r pth的，而不仅仅是read pth；你需要知道你（在许多贝壳中）想要cksum "$pth"，而不是cksum $pth. 使用 GNU 的解决方案parallel不易出错。亲吻。

    Notexargs默认解释引号和反斜杠，并将空格视为分隔符。这意味着shuf -n 3 list_of_files.txt | xargs cksum可能不是您想要的。您的示例将起作用，但通常您需要在文件中添加额外的引号和/或反斜杠；xor 你需要xargs -d '\n'where-d是 GNU 的不可移植选项xargs。我的假设是“文件中的路径以换行符结尾并按原样提供”。有了这个假设，GNUparallel开箱即用（即没有额外的选项），xargs 没有。使用 GNU xargs，您可以这样做：

    shuf -n 3 list_of_files.txt | xargs -d '\n' cksum

    如果您可以使用 GNU xargs（以节省时间-d '\n'），那么您可能可以使用 GNU parallel。如果您-j 1在使用 GNU 时忘记了parallel，该命令可能会执行得更差，但它仍然可以工作。如果您-d '\n'在使用 GNU 时忘记xargs了并且路径名是按原样提供的，那么这是一个错误。这就是我parallel首先推荐 GNU 的原因。

    GNU 并行能够处理以空值结尾的字符串（选项是-0），GNU xargs（-0而不是-d '\n'）和 GNU shuf（带有-z）也是如此。您的输入文件使用换行符终止的行，但如果您需要使用（可能）包含换行符的路径名，那么更改文件中的终止符并添加正确的选项是可行的方法。

    • 3

相关问题