主页 / server / 问题 / 401046
Accepted
PythonLearner
Asked: 2012-06-22 10:42:25 +0800 CST

kvm 和 qemu 主机：是否有最大 CPU 限制（Ubuntu 10.04）？

  • 772

今天我们在两个相同的 kvm 和 qemu 主机（Dell R910）上遇到了一个非常奇怪的行为。每个主机系统都有 4 x 10 个核心，这意味着 40 个物理核心在操作系统（Ubuntu Linux 10.04 64 位，内核 3.0）中显示为 80。

我们在其中一个节点上启动了 Windows 2003 32 位 VM（1 个 CPU、1 GB RAM，我们多次更改了这些值），并注意到启动过程需要 15 分钟才能开始。在那 15 分钟内，黑屏显示，没有任何反应。libvirt 和主机系统显示来宾的 qemu-kvm 进程几乎处于空闲状态。跟踪这个过程只显示了一些 FUTEX 条目，但没有什么特别的。

15 分钟后，Windows VM 突然开始启动并出现 Windows 徽标。几秒钟后，VM 就可以使用了。VM 本身的性能非常好，因此这不是性能问题。

我们尝试使用 virsh 和 taskset 工具固定 CPU，但这只会让事情变得更糟。

当我们使用 Linux Live CD 启动 Windows VM 时，也会出现几分钟的黑屏，但不会长达 15 分钟。当在此主机（Ubuntu 10.04）上启动另一个 VM 时，它也有黑屏问题，并且在这里黑屏只显示 2-3 分钟（而不是 15 分钟）。

因此，总结一下：这些相同节点中的每一个上的每个来宾在启动后都会出现空闲几分钟。几分钟后，启动过程突然开始。我们观察到空闲时间发生在来宾的 bios 初始化之后。

我们的一名员工想到在 Grub（内核参数）中限制 maxcpus=40（因为存在 40 个物理内核）的 CPU 数量，突然“黑屏空闲”行为消失了。

在 KVM 和 Qemu 邮件列表、互联网、论坛、serverfault 和其他各种网站上搜索已知错误等都没有找到有用的结果。即使在开发 IRC 频道中询问也没有带来新的想法。那里的人建议我们使用 CPU 固定，但如前所述，它没有帮助。

我现在的问题是：qemu 或 kvm 主机系统是否有某种 CPU 限制？浏览这两个工具的源代码表明，如果您的主机有超过 255 个 CPU，KVM 会发出警告。但我们甚至没有触及这个限制。

关于主机系统的一些东西：

3.0.0-20-server
kvm 1:84+dfsg-0ubuntu16+0.14.0+noroms+0ubuntu4
kvm-pxe 5.4.4-7ubuntu2
qemu-kvm 0.14.0+noroms-0ubuntu4
qemu-common 0.14.0+noroms-0ubuntu4
libvirt 0.8.8-1ubuntu6
4 x Intel(R) Xeon(R) CPU E7-4870  @ 2.40GHz, 10 Cores

编辑：还尝试了 3.2 内核（未使用 maxcpus 参数）——不幸的是，这让事情变得更糟。dstat 显示越来越多的上下文切换：

----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system--
usr sys idl wai hiq siq| read  writ| recv  send|  in   out | int   csw 
  0   0  99   0   0   0|1164k  638k|   0     0 |   0     0 |4972  6319 
  0   1  99   0   0   0|   0     0 |3456B 4847B|   0     0 |  18k   33k
  0   1  99   0   0   0|   0     0 |6126B 4550B|   0     0 |  17k   33k
  0   1  99   0   0   0|   0     0 |1772B 4139B|   0     0 |  17k   33k
  0   1  99   0   0   0|   0     0 |5507B 3674B|   0     0 |  17k   32k

对于一个启动了 VM 的系统，正常值约为 7000。

编辑：我用 maxcpus=40 作为引导参数启动了主机系统。virsh nodeinfo 显示 40 个物理内核，没有超线程内核。

启动虚拟机时，它仍然有大约 30 秒的“引导中断”。在此期间，上下文切换的数量从 300（每秒）增加到 600 000（每秒）。黑屏 30 秒后，VM 开始正常启动过程，上下文切换降至每秒 <7000 次：

----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system--
usr sys idl wai hiq siq| read  writ| recv  send|  in   out | int   csw 
  1   2  97   0   0   0| 943k    0 |  26k   12k|   0     0 |  22k   40k
  3   7  84   6   0   0|  26M   64k|  71k   18k|   0     0 |  10k   16k
  1   1  97   1   0   0|5282k 2560B|9751B   15k|   0     0 |  13k   23k
  1   4  95   0   0   0|1216k    0 |  14k   18k|   0     0 | 295k  592k
  1   3  96   0   0   0|   0    52k|5518B 7299B|   0     0 | 228k  456k
  1   3  96   0   0   0|  12k   24k|1228B 1514B|   0     0 | 258k  518k
  1   4  96   0   0   0|   0     0 |  14k   32k|   0     0 | 280k  565k
  1   3  96   0   0   0|   0     0 |  19k   38k|   0     0 | 284k  573k
  1   3  96   0   0   0|   0     0 |6465B 7203B|   0     0 | 288k  581k
  1   3  96   0   0   0|   0   172k|  26k   11k|   0     0 | 290k  584k
  1   3  96   0   0   0|   0     0 |  23k   11k|   0     0 | 288k  580k
  1   3  96   0   0   0|   0    12k|5678B 4556B|   0     0 | 289k  583k
  1   3  96   0   0   0|   0     0 |1192B 2929B|   0     0 | 288k  580k
  1   3  96   0   0   0|   0     0 |6304B   10k|   0     0 | 272k  547k
  1   3  96   0   0   0|4096B   52k|8330B   14k|   0     0 | 300k  605k
  1   3  96   0   0   0|   0    24k|  11k   20k|   0     0 | 293k  591k
  1   3  96   0   0   0|   0     0 |  13k   28k|   0     0 | 291k  587k
  1   3  96   0   0   0|   0   512B|  10k   18k|   0     0 | 291k  587k
  2   3  95   0   0   0|   0     0 |6653B   10k|   0     0 | 167k  337k
  3   0  97   0   0   0|   0   160k|  23k 5524B|   0     0 |  10k   19k
  7   0  92   0   0   0|   0    36k|  22k 3335B|   0     0 | 949   924 
 10   0  90   0   0   0|   0     0 |5172B 3318B|   0     0 | 908   923 
  5   0  94   0   0   0|   0     0 |2234B 2825B|   0     0 | 846   875

编辑：根据要求，我将添加 strace -f -p 的摘录：

25734 <... read resumed> "\16\0\0\0\0\0\0\0\376\377\377\377\0\0\0\0\0\0\0\0\0\0\0\0\1\0\0\0\0\0\0\0"..., 128) = 128
25752 futex(0x927e60, FUTEX_WAIT_PRIVATE, 2, NULL <unfinished ...>
25734 rt_sigaction(SIGALRM, NULL, {0x4b2300, ~[KILL STOP RTMIN RT_1], SA_RESTORER, 0x7fe09ac108f0}, 8) = 0
25734 write(8, "\1\0\0\0\0\0\0\0", 8)   = 8
25734 read(15, 0x7fffcea69f70, 128)     = -1 EAGAIN (Resource temporarily unavailable)
25734 timer_gettime(0x1, {it_interval={0, 0}, it_value={0, 0}}) = 0
25734 timer_settime(0x1, 0, {it_interval={0, 0}, it_value={0, 250000}}, NULL) = 0
25734 timer_gettime(0x1, {it_interval={0, 0}, it_value={0, 182592}}) = 0
25734 futex(0x927e60, FUTEX_WAKE_PRIVATE, 1 <unfinished ...>
25752 <... futex resumed> )             = 0
25734 <... futex resumed> )             = 1
25752 futex(0x927e60, FUTEX_WAKE_PRIVATE, 1 <unfinished ...>
25734 select(25, [7 10 14 15 16 17 18 24], [], [], {1, 0} <unfinished ...>
central-processing-unit kvm-virtualization qemu pinning

2 个回答

  1. Best Answer

    正如其中一条评论中的建议（感谢 cperrin88），Ubuntu 12.04 带来了解决方案。一些参数：

    • 内核 3.2
    • 80 个内核（40 个物理内核，80 个是 Intel HT）
    • kvm 1:84+dfsg-0ubuntu16+1.0+noroms+0ubuntu13
    • kvm-ipxe 1.0.0+git-3.55f6c88-0ubuntu1
    • qemu-kvm 1.0+noroms-0ubuntu13
    • libvirt 0.9.8-2ubuntu17.1

    Windows 客户机现在在启动的前 30 秒内显示启动栏，然后才启动（正常行为）。

    与我之前的测试场景相比，上下文切换的数量现在非常低（每秒 200 到 24k 之间）。

    所以，问题解决了。我只需要找出发生了什么变化（我猜这是 KVM 中的一个错误）。

    感谢所有评论和您的努力！

    • 5

  2. 我在 Ubuntu 10.04 上遇到了很多 KVM 错误。（我仍然必须使用）包括不断增长的被交换的缓存和严重的性能问题。

    我建议升级到最新的 LTS 版本，希望它能修复一些错误。

    • 3

相关问题