主页 / server / 问题 / 1122369
Accepted
MikeKulls
Asked: 2023-02-09 17:32:03 +0800 CST

redhat phantom 内存不足问题

  • 772

我们有一台运行各种无头应用程序的服务器，例如 Java。它处理流数据、日常 python 脚本等。我们的一些应用程序有时会获得out of memory errors.

我们遇到的问题是监控显示有大量内存。我们将其从 128GB 提升至 192GB，但仍未解决问题。我们的监控每 20 秒读取一次读数，并显示过去 2 天的最小可用内存为 132GB。但是今天早上我们有一些应用程序因内存不足错误而失败。是否有可能在有大量 ram 的情况下获得 OOM？

编辑：回答大卫的问题

  • 是的，192GB 只是分配给操作系统的内存。它是一个虚拟机
  • 监控将为操作系统读取免费/可用的 ram，我们没有任何每个进程的监控
  • 大多数 java 进程不在 CLI 上指定内存要求（例如 Xmx 等）
  • 异常是“线程“主”java.lang.OutOfMemoryError 中的异常：无法创建新的本机线程”

我要补充一点，多个进程同时失败。对我来说，这表明这不是流程本身的问题，而是与系统有关。一些失败的应用程序每天都在做同样的事情，即处理相当一致的数据流。他们不会被大量请求淹没。

centos

2 个回答

  1. Best Answer

    当您说“我们将它从 128GB 提高到 192GB 但它并没有解决问题”时，您是什么意思？JVM堆空间？RHEL 虚拟机？另外，“我们的监控需要读数”是什么意思？您的监控是查看 Java 堆内存还是系统内存？

    是否有可能在有大量 ram 的情况下获得 OOM？

    当然。最常见的原因是“有足够的 RAM 可用”但不是正确的类型。例如，您在服务器上有 RAM，但 Java 进程未配置为使用它。或者您在 Java 堆中有可用的 RAM，但 Java 应用程序需要堆栈内存而不是堆内存。或烫发记忆。或者堆外内存。

    还有一些其他边缘情况，即使在上述情况下，您也可能会遇到 OOM 错误，但这些情况非常罕见。很可能是您添加了错误类型的内存。

    如果我要调试，我的第一步是：

    • OOM 错误到底是什么？您在哪里看到它？
    • 查看 JVM 启动标志（可能还有应用程序的配置，具体取决于应用程序的类型）。
    • 在应用程序中启用 GC 日志记录。

    编辑以响应堆栈跟踪：

    好吧，看起来我的“还有一些其他边缘案例”评论是预言性的。我同意 Philipp Wendler 的评论，即这是https://stackoverflow.com/q/16789288/396730的副本。您实际上并没有用完内存，而是用完了线程。

    您可以在这里查看： https: //access.redhat.com/solutions/1420363了解如何增加线程数（简短版本：更新/proc/sys/kernel/threads-max）。但正如在链接的 Stack Overflow 帖子中所讨论的，您可能需要修复您的应用程序，而不是仅仅提高限制。任何使用超过默认最大线程数的应用程序都可能是线程泄漏。（如果不是，那肯定是在浪费线程。）尤其是当您说它们没有被请求淹没时。

    • 6

  2. 我想我会添加一些我用来调查问题的命令。我将这些添加到 cron 以每分钟运行一次。

    #log total count of threads to a file
echo $(date +"%Y-%m-%d %H:%M"; ps -eLf | wc -l) >> /somepath/threadcount_`date '+%Y-%m-%d'`.log

#log the processes using the most threads
ps -eLf | awk '{print $2}' | grep -v PID | uniq -c | sort -nr | head -10 | awk '{print $2,$1}' > /somepath/threadhogs_`date '+%Y-%m-%d_%H-%M-%S'`.log

#send output of top to a file, sorted by memory usage
top -b -n 1 -o RES > /somepath/top_`date '+%Y-%m-%d_%H-%M-%S'`.log
    • 0

相关问题