主页 / unix / 问题 / 522264
Accepted
SciGuy
Asked: 2019-06-01 19:32:03 +0800 CST

加快多个目录的随机排序和删除（rm）

  • 772

在本质上是 BSD 的终端中运行 MacOS，因此在这里发布我的问题而不是询问不同的问题。我想在后续步骤中通过随机删除文件来修剪我的图像数据集。一些目录有超过 100 万张 jpg。我的数据位于主目录中，子目录的 maxdepth 仅为 1：

-master
     -data1
       image.jpgs
     -data2
       image.jpgs
     -data3
       image.jpgs
     -data4
       image.jpgs
... and so forth

我找到了这个链接：

https://superuser.com/questions/1186350/delete-all-but-1000-random-files-in-a-directory

...并想出了：

for f in *.jpg; do find "$f" -type f -print0 | sort -R | tail -n +50001 | xargs -0 rm; done

虽然它确实有效，但我希望它递归地为子目录执行此操作，因此我不必为每个目录手动执行此操作。所以我的问题/要求是：

  1. 我可以以某种方式优化它以加快速度吗？
  2. sort/tail 在遇到少于 50,000 个文件的目录时会返回错误吗？
rm optimization

1 个回答

  1. Best Answer

    检查链接的源帖子后，看起来您的循环实际上应该是：

    for d in */; do find "$d" -iname '*.jpg' -type f -print0 | sort -zR | tail -zn +50001 | xargs -0r rm; done

    从master目录运行。

    和的-z选项是必要的，因为输入是空分隔的。如果少于 50000 行，两者都不会抱怨 -不在乎并且不会输出任何内容，因为在第 50000 行之后没有任何内容。可能会抱怨在没有参数的情况下运行，但是如果没有输入，GNU 的选项会阻止它运行（BSD xargs 不需要它，但可能不会抱怨）。sorttailsorttailrm-rxargsrm

    最后，但最重要的-z是，BSD tail 可能不支持空分隔输入的选项。你需要 GNU tail，它可以使用 homebrew 安装。

    如果您的文件名保证没有空格、换行符、引号、反斜杠等，您可能可以不使用以空分隔的行。在这种情况下：

    for d in */; do find "$d" -type f | sort -R | tail -n +50001 | xargs rm; done
    • 1

相关问题