主页 / server / 问题 / 532933
Accepted
DevOps
Asked: 2013-08-23 04:55:47 +0800 CST

如何提高多个文件夹的删除速度

  • 772

我有一个包含大约 420k 行“rm -rf”命令的脚本，就像使用“find”语句生成的一样。每个pdf的文件夹包含 1 到 30 个文件（没有子文件夹）。

rm -rf /2012/128/211503/pdf
rm -rf /2012/128/212897/pdf
rm -rf /2012/128/211989/pdf
rm -rf /2012/128/211691/pdf
rm -rf /2012/128/212539/pdf
rm -rf /2012/218/358976/pdf
rm -rf /2012/218/358275/pdf
rm -rf /2012/218/358699/pdf

我正在寻找如何提高脚本的删除速度。

目前，vmstat仅报告（IO）等待时间。

平台是 RHEL 5，使用 ext3 和 LVM 删除 RAID5/6 驱动器上的文件。

我考虑将脚本文件拆分为较小的文件（如 10 个文件），以便并行触发多个脚本，但在这里我发现了硬件速度限制。

如果删除日志的承诺需要时间，这会是一个好主意吗？它是否可以包含像 NCQ 这样的功能的一部分？

linux

1 个回答

  1. Best Answer

    如果您使用find来生成脚本，则应该查看该-delete操作

    删除文件; 如果删除成功，则为 true。如果删除失败，则会发出错误消息。如果 -delete 失败，find 的退出状态将为非零（当它最终退出时）。使用 -delete 会自动打开 -depth 选项

    您可以使用split将文件分成块。您也可以从GNU Parallel中获得一些好处。

    • 1

相关问题