要在我们的 IBM GPFS 集群中递归删除文件，我们使用简单的 unix 命令，例如：
rm /my/directories -fr
然而，删除的时间很长。
问题是我们的分布式应用程序（基于 Spark）one hour需要完成。但是，它也会took about an other hour删除由 Spark 等分布式应用程序生成的临时文件。
因此，全局工作负载非常低效。可能是因为该rm命令必须列出每个子目录..
无论如何，您知道使用 GPFS 有效删除整个目录（和子目录）的方法吗？
可能是 IBM 给出了一个特殊的命令来做到这一点？
这是机器规格：
CPU(s): 20
Thread(s) per core: 1
Core(s) per socket: 10
Socket(s): 2
根据我目前所读到的内容，这些数字意味着我可以运行 20 个并行作业，因为我有 20 个 CPU。
但是，我可以在每个 CPU 中运行多少个线程？
我在我的 36 核服务器（EC2 c4.8xlarge/Amazon Linux）上运行这样的命令。
find . -type f | parallel -j 36 mycommand
要处理的文件数量约为 1,000,000 个，需要几十分钟。它应该同时运行 36 个进程。但是，从 的结果来看top，最多大约有 10 个进程，并且 70% 是空闲的。ps显示更多进程，但大多数已失效。
我猜是因为每个都mycommand完成得太快了，parallel无法赶上产生新进程的速度。所以我试图
parallel --nice 20为自己分配更多的 CPU 时间parallel，但这没有用。
有没有人有改善这个的想法？
$ parallel --version
GNU parallel 20151022