主页 / server / 问题 / 546177
Accepted
David Eyk
Asked: 2013-10-16 08:32:31 +0800 CST

如何防止子树删除（`rm -rf`）使其他进程无法获得磁盘 I/O？

  • 772

我们有一个非常大（多 GB）的 Nginx 缓存目录，用于一个繁忙的站点，我们有时需要一次性清除所有目录。我过去通过将缓存文件夹移动到新路径，在旧路径上创建新缓存文件夹，然后rm -rfing 旧缓存文件夹来解决此问题。

然而，最近，当我需要在一个忙碌的早晨清除缓存时，来自 I/O 的 I/Orm -rf使我的服务器进程无法访问磁盘，因为 Nginx 和它所面向的服务器都是读取密集型的。当 CPU 处于空闲状态并rm -rf占用 98-99% 的磁盘 IO 时，我可以看到负载平均攀升iotop。

我ionice -c 3在调用时尝试过rm，但它似乎对观察到的行为没有明显的影响。

有什么办法可以驯服rm -rf更多的共享磁盘？我是否需要使用一种不同的技术来从中获取线索ionice？

更新：

有问题的文件系统是 AWS EC2 实例存储（主磁盘是 EBS）。/etc/fstab条目如下所示：

/dev/xvdb       /mnt    auto    defaults,nobootwait,comment=cloudconfig 0       2
linux

3 个回答

  1. 删除文件仅对文件系统执行元数据操作，不受 ionice 影响。

    如果您现在不需要磁盘空间，最简单的方法是rm在非高峰时间执行。

    MIGHT 更复杂的工作方式是随着时间的推移分散删除。您可以尝试以下操作（请注意，它假定您的路径和文件名不包含任何空格！）：

    while find dir -type f | head -n 100 | xargs rm; do sleep 2; done
while find dir -type d -depth | head -n 100 | xargs rmdir; do sleep 2; done

    另请注意，您不能rm -f在第一个命令中使用，因为这样循环不会停止（这取决于rm没有参数时的错误退出代码）。

    您可以通过修改每个周期的删除次数（示例中为 100）和睡眠持续时间来调整它。然而，它可能不会真正起作用，因为文件系统可能仍会以您遇到 IO 负载问题的方式堆积元数据更新。你只需要尝试。

    • 9
  2. Best Answer

    从此页面收集的所有数据。 以下是删除大型文件目录的一些选项。查看文章以了解其制作方式的详细信息。

    命令经过的系统时间 %CPU cs1* (Vol/Invol)
rsync -a –delete empty/a 10.60 1.31 95% 106/22
查找 b/ -type f -delete 28.51 14.46 52% 14849/11
查找 c/ -type f | xargs -L 100 rm 41.69 20.60 54% 37048/15074
查找 d/ -type f | xargs -L 100 -P 100 rm 34.32 27.82 89% 929897/21720
rm -rf 31.29 14.80 47% 15134/11

    *cs1 是上下文切换自愿和非自愿

    • 3

  3. 您可以将它与“nice”命令配对。 ionice -c 3 nice -19 rm -rf /some/folder

    这会更改机器上进程的优先级。

    • -1

相关问题