主页 / server / 问题 / 513807
Accepted
espenfjo
Asked: 2013-06-07 06:57:46 +0800 CST

irqbalance 在现代硬件上还有用吗？

  • 772

以前有人问过这个问题，但我相信世界已经发生了足够大的变化，可以再次提出这个问题。

irqbalance 在我们拥有支持 NUMA 的 CPU 并在它们的内核之间共享内存的今天的系统上有什么用处吗？

运行irqbalance --oneshot --debug显示现代 VMware ESXi 环境中的虚拟来宾正在内核之间共享 NUMA 节点。

# irqbalance --oneshot --debug 3
Package 0:  numa_node is 0 cpu mask is 0000000f (load 0)
    Cache domain 0:  numa_node is 0 cpu mask is 0000000f  (load 0)
            CPU number 0  numa_node is 0 (load 0)           
            CPU number 1  numa_node is 0 (load 0)
            CPU number 2  numa_node is 0 (load 0)
            CPU number 3  numa_node is 0 (load 0)

在这种情况下，irqbalance 将检测到它正在 NUMA 系统上运行，然后退出。这扰乱了我们的过程监控。

我们应该考虑在这样的系统上运行numad而不是 irqbalance 吗？

这对于 VMware 虚拟化服务器来说非常有趣。

linux

1 个回答

  1. Best Answer

    这是 RedHat 一名技术人员的回答。尽管我确实相信大多数企业硬件都支持 NUMA。据我所知，只要 CPU 配置合适，VMware 也会尝试将您的 VM 安装在同一个 NUMA 节点上。

    经验（特别是关于 VMware）将不胜感激。

    这是现代服务器的“原因”。请记住，多 CPU/多核与 NUMA 不同。有许多没有 NUMA 的多 CPU/核心系统。

    在阅读我下面的解释之前，请阅读上面的 IRQ Affinity 文档以及以下指南：

    RHEL 6 性能调优指南

    RHEL 6 的低延迟性能调整

    读懂了吗？太好了，你不需要再听我说什么了！;-) 但以防万一你不耐烦，这就是你想要它们的原因......

    IRQbalance 防止所有 IRQ 请求在单个 CPU 上备份。我已经看到许多具有 4 个以上 CPU 内核的系统执行缓慢，因为各种 CPU 上的所有进程都在等待 CPU 0 来处理网络或存储 IRQ 请求。CPU 0 看起来非常非常忙，所有其他 CPU 都不忙，但应用程序非常慢。应用程序运行缓慢，因为它们正在等待来自 CPU 0 的 IO 请求。

    IRQbalance 尝试以一种智能的方式在所有 CPU 之间平衡这一点，并在可能的情况下将 IRQ 处理置于尽可能靠近进程的位置。这可能是同一个核心、同一个芯片上的一个核心共享同一个缓存，或者是同一个 NUMA 区域中的一个核心。

    你应该使用 irqbalance，除非：

    您出于非常充分的理由（低延迟、实时要求等）手动将应用程序/IRQ 固定到特定内核

    虚拟嘉宾。这实际上没有意义，因为除非您将来宾固定到特定的 CPU 和 IRQ 以及专用的网络/存储硬件，否则您可能看不到在裸机上的好处。但是你的 KVM/RHEV 主机应该使用 irqbalance 和numad和tuned。

    其他非常重要的调整工具是 tuned profiles 和 numad。了解他们！使用它们！

    Numad 与 irqbalance 相似，因为它试图确保进程及其内存位于同一 numa 区域中。对于许多内核，我们看到延迟显着减少，从而在负载下实现更加平稳可靠的性能。

    如果您技术娴熟、勤奋并定期监控或具有非常可预测的工作负载，则可以通过手动将进程/IRQ 固定到 CPU 来获得更好的性能。即使在这些情况下，irqbalance 和 numad 也非常接近匹配。但是如果你不确定或者你的工作量是不可预测的，你应该使用 irqbalance 和 numad。

    • 30

相关问题