AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / server / 问题 / 806646
Accepted
GP92
GP92
Asked: 2016-10-03 09:35:50 +0800 CST2016-10-03 09:35:50 +0800 CST 2016-10-03 09:35:50 +0800 CST

Sun Grid Engine (SGE) 中的 h_rss 和 h_vmem 有什么区别?

  • 772

据我了解,

  • mem_free可以指定在具有可用内存 = 的主机中提交作业mem_free,而
  • h_vmem是作业可以消耗的内存的硬限制,如果作业达到h_vmem,作业会崩溃?我认为我们可以将h_vmem主机的总物理内存设置为接近总物理内存,这样作业就不会开始使用交换并减慢服务器速度。

那是什么h_rss?它似乎与的定义相同h_vmem.

还是我误解了h_vmem?h_vmem用于保留它可能需要的额外内存而不是所需的最小内存()mem_free?但是如果超过内存不要崩溃,所以作业可以超过h_vmem?

如果我的第二种解释h_vmem是正确的,那么我猜,对于要在主机中提交的作业,该作业必须同时满足mem_free和h_vmem(给定h_vmem不是 INFINITY)。

如果我的第一个解释h_vmem是正确的,那么我想,对于要在主机中提交的作业,该作业可以mem_free单独满足而无需满足h_vmem,因为它只保留可用空间,如果没有可用空间,它没关系?

cluster gridengine scheduler grid
  • 2 2 个回答
  • 7359 Views

2 个回答

  • Voted
  1. GP92
    2016-10-03T11:00:13+08:002016-10-03T11:00:13+08:00

    好的,我通过检查/proc/<pid>/limits执行服务器中正在运行的作业进程找到了答案。

    • 当我使用 提交作业时h_rss=10G,限制中的值Max Resident Set设置为 10737418240 字节(即 10G)。(操作系统的默认值是无限的)所以,进程不能占用内存超出这个范围。而且也是h_rss非消耗品。

    • 而当我使用 提交作业时h_vmem=50G,在limits 中的值Max Resident Set等于unlimited。因此,它可以继续超过50G。但是,它是消耗品,因此h_vmem主机的容量减少了50G。

      这可以通过运行以下命令找到:

      • qhost -h <hostname> -F h_vmem,其中 h_vmem 显示当前的 h_vmem 值和
      • qconf -se <hostname>,其中 complex_values 中的 h_vmem 显示分配的 h_vmem 值。
    • 4
  2. Best Answer
    Adam Azarchs
    2018-12-12T12:52:35+08:002018-12-12T12:52:35+08:00

    资源是否可消耗,以及系统上可以保留多少资源是可配置的。您可以使用现有值之一,也可以创建一个新值,由您决定。

    虽然无论如何设置它都没有害处,但mem_free默认情况下它不是消耗品。这意味着虽然在您的作业开始时系统上必须有该数量的可用内存,但如果每个需要 10GB 可用内存的 10 个作业都可以在具有 11GB 可用内存的服务器上同时启动。如果它们都实际使用 10GB,那么您将遇到麻烦。

    其他人之间的差异归结为执法。rss(物理内存使用)没有被强制执行。vmem(虚拟内存使用)是。不幸的是,linux 没有提供强制使用物理内存的好方法(cgroup 还可以,但 rss ulimit 在现代内核中实际上并没有做任何事情)。

    另一方面,认识到没有正确的方法将 vmem 视为可消耗资源,这一点非常重要。如果您使用调试选项(在 clang 或 gcc5+ 中可用)在 C 中编译“hello world” -fsanitize=address,它将使用 20TB 的虚拟内存,但少于 5MB 的物理内存。像 Java 和 Go 这样的垃圾收集运行时也会分配大量的 vmem,而这些 vmem 永远不会被反映为物理内存,以减少内存碎片。我的 8GB 笔记本电脑上的每个 chrome 标签都使用 2TB 的虚拟内存作为其安全沙盒的一部分。这些对于程序来说都是完全合理的事情,并且设置一个下限会阻止表现完美的程序工作。同样明显的是,在系统上设置 20TB 的 vmem 消耗限制是没有意义的。

    如果您出于某种原因必须使用 h_vmem ,则h_和s_变体之间的区别在于哪个信号用于杀死超过限制的进程 -h_使用 SIGKILL 杀死进程(例如kill -9),而s_使用进程可以处理的信号(允许良好 -表现良好的工作干净地关闭,或者表现不佳的工作忽略信号)。最好的建议是首先哭泣,因为 vmem 限制本身就被破坏了,然后将 h_vmem 设置为略高于 s_vmem,这样作业就有机会因有用的错误消息而死。

    我的建议是让集群管理员将 h_rss 配置为可消耗的,在您的作业模板中同时设置 h_rss 和 mem_free,完全避免使用 h_vmem,并希望人们不要通过预留内存不足来滥用系统。如果需要强制机制,这很复杂,但可以设置作业管理器以将作业放入内存 cgroup 并设置 memory.limit_in_bytes 或 memory.soft_limit_in_bytes。后者允许 cgroup 超出其保留,只要系统没有耗尽内存。这提高了内核代表这些进程缓存文件的能力,提高了每个人的性能,但存在一个风险,即当系统确实耗尽内存时,OOM 杀手没有时间环顾四周从一个超限的 cgroup 中杀死一个进程,

    • 4

相关问题

  • 是否有可能从多台计算机中创建一台速度更快的计算机?

  • LVS 集群帮助

  • 如何从 Windows 2008 故障转移群集中删除“额外”(不需要的)网络?

  • 如何在低负载期间关闭(关闭)集群节点?

  • 使用 Nagios 监视 Novell 集群服务

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    新安装后 postgres 的默认超级用户用户名/密码是什么?

    • 5 个回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve