AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / server / 问题

问题[parallel-computing](server)

Martin Hope
Klun
Asked: 2020-10-05 06:02:33 +0800 CST

IBM GPFS:递归删除文件非常慢

  • 8

要在我们的 IBM GPFS 集群中递归删除文件,我们使用简单的 unix 命令,例如:

rm /my/directories -fr

然而,删除的时间很长。

问题是我们的分布式应用程序(基于 Spark)one hour需要完成。但是,它也会took about an other hour删除由 Spark 等分布式应用程序生成的临时文件。

因此,全局工作负载非常低效。可能是因为该rm命令必须列出每个子目录..

无论如何,您知道使用 GPFS 有效删除整个目录(和子目录)的方法吗?

可能是 IBM 给出了一个特殊的命令来做到这一点?

ibm parallel-computing
  • 2 个回答
  • 719 Views
Martin Hope
tera_789
Asked: 2020-04-15 19:28:58 +0800 CST

我如何知道我的服务器可以运行的最大线程数?

  • 5

这是机器规格:

CPU(s):                20
Thread(s) per core:    1
Core(s) per socket:    10
Socket(s):             2

根据我目前所读到的内容,这些数字意味着我可以运行 20 个并行作业,因为我有 20 个 CPU。

但是,我可以在每个 CPU 中运行多少个线程?

central-processing-unit linux multi-threading parallel-computing concurrency
  • 1 个回答
  • 15012 Views
Martin Hope
aosho235
Asked: 2016-05-31 21:06:02 +0800 CST

GNU 并行没有充分利用我的 CPU

  • 2

我在我的 36 核服务器(EC2 c4.8xlarge/Amazon Linux)上运行这样的命令。

find . -type f | parallel -j 36 mycommand

要处理的文件数量约为 1,000,000 个,需要几十分钟。它应该同时运行 36 个进程。但是,从 的结果来看top,最多大约有 10 个进程,并且 70% 是空闲的。ps显示更多进程,但大多数已失效。

我猜是因为每个都mycommand完成得太快了,parallel无法赶上产生新进程的速度。所以我试图 parallel --nice 20为自己分配更多的 CPU 时间parallel,但这没有用。

有没有人有改善这个的想法?

$ parallel --version GNU parallel 20151022

linux command-line-interface shell parallel-computing
  • 3 个回答
  • 1792 Views

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    新安装后 postgres 的默认超级用户用户名/密码是什么?

    • 5 个回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve