今天我们在两个相同的 kvm 和 qemu 主机（Dell R910）上遇到了一个非常奇怪的行为。每个主机系统都有 4 x 10 个核心，这意味着 40 个物理核心在操作系统（Ubuntu Linux 10.04 64 位，内核 3.0）中显示为 80。
我们在其中一个节点上启动了 Windows 2003 32 位 VM（1 个 CPU、1 GB RAM，我们多次更改了这些值），并注意到启动过程需要 15 分钟才能开始。在那 15 分钟内，黑屏显示，没有任何反应。libvirt 和主机系统显示来宾的 qemu-kvm 进程几乎处于空闲状态。跟踪这个过程只显示了一些 FUTEX 条目，但没有什么特别的。
15 分钟后，Windows VM 突然开始启动并出现 Windows 徽标。几秒钟后，VM 就可以使用了。VM 本身的性能非常好，因此这不是性能问题。
我们尝试使用 virsh 和 taskset 工具固定 CPU，但这只会让事情变得更糟。
当我们使用 Linux Live CD 启动 Windows VM 时，也会出现几分钟的黑屏，但不会长达 15 分钟。当在此主机（Ubuntu 10.04）上启动另一个 VM 时，它也有黑屏问题，并且在这里黑屏只显示 2-3 分钟（而不是 15 分钟）。
因此，总结一下：这些相同节点中的每一个上的每个来宾在启动后都会出现空闲几分钟。几分钟后，启动过程突然开始。我们观察到空闲时间发生在来宾的 bios 初始化之后。
我们的一名员工想到在 Grub（内核参数）中限制 maxcpus=40（因为存在 40 个物理内核）的 CPU 数量，突然“黑屏空闲”行为消失了。
在 KVM 和 Qemu 邮件列表、互联网、论坛、serverfault 和其他各种网站上搜索已知错误等都没有找到有用的结果。即使在开发 IRC 频道中询问也没有带来新的想法。那里的人建议我们使用 CPU 固定，但如前所述，它没有帮助。
我现在的问题是：qemu 或 kvm 主机系统是否有某种 CPU 限制？浏览这两个工具的源代码表明，如果您的主机有超过 255 个 CPU，KVM 会发出警告。但我们甚至没有触及这个限制。
关于主机系统的一些东西：
3.0.0-20-server
kvm 1:84+dfsg-0ubuntu16+0.14.0+noroms+0ubuntu4
kvm-pxe 5.4.4-7ubuntu2
qemu-kvm 0.14.0+noroms-0ubuntu4
qemu-common 0.14.0+noroms-0ubuntu4
libvirt 0.8.8-1ubuntu6
4 x Intel(R) Xeon(R) CPU E7-4870 @ 2.40GHz, 10 Cores
编辑：还尝试了 3.2 内核（未使用 maxcpus 参数）——不幸的是，这让事情变得更糟。dstat 显示越来越多的上下文切换：
----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system--
usr sys idl wai hiq siq| read writ| recv send| in out | int csw
0 0 99 0 0 0|1164k 638k| 0 0 | 0 0 |4972 6319
0 1 99 0 0 0| 0 0 |3456B 4847B| 0 0 | 18k 33k
0 1 99 0 0 0| 0 0 |6126B 4550B| 0 0 | 17k 33k
0 1 99 0 0 0| 0 0 |1772B 4139B| 0 0 | 17k 33k
0 1 99 0 0 0| 0 0 |5507B 3674B| 0 0 | 17k 32k
对于一个启动了 VM 的系统，正常值约为 7000。
编辑：我用 maxcpus=40 作为引导参数启动了主机系统。virsh nodeinfo 显示 40 个物理内核，没有超线程内核。
启动虚拟机时，它仍然有大约 30 秒的“引导中断”。在此期间，上下文切换的数量从 300（每秒）增加到 600 000（每秒）。黑屏 30 秒后，VM 开始正常启动过程，上下文切换降至每秒 <7000 次：
----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system--
usr sys idl wai hiq siq| read writ| recv send| in out | int csw
1 2 97 0 0 0| 943k 0 | 26k 12k| 0 0 | 22k 40k
3 7 84 6 0 0| 26M 64k| 71k 18k| 0 0 | 10k 16k
1 1 97 1 0 0|5282k 2560B|9751B 15k| 0 0 | 13k 23k
1 4 95 0 0 0|1216k 0 | 14k 18k| 0 0 | 295k 592k
1 3 96 0 0 0| 0 52k|5518B 7299B| 0 0 | 228k 456k
1 3 96 0 0 0| 12k 24k|1228B 1514B| 0 0 | 258k 518k
1 4 96 0 0 0| 0 0 | 14k 32k| 0 0 | 280k 565k
1 3 96 0 0 0| 0 0 | 19k 38k| 0 0 | 284k 573k
1 3 96 0 0 0| 0 0 |6465B 7203B| 0 0 | 288k 581k
1 3 96 0 0 0| 0 172k| 26k 11k| 0 0 | 290k 584k
1 3 96 0 0 0| 0 0 | 23k 11k| 0 0 | 288k 580k
1 3 96 0 0 0| 0 12k|5678B 4556B| 0 0 | 289k 583k
1 3 96 0 0 0| 0 0 |1192B 2929B| 0 0 | 288k 580k
1 3 96 0 0 0| 0 0 |6304B 10k| 0 0 | 272k 547k
1 3 96 0 0 0|4096B 52k|8330B 14k| 0 0 | 300k 605k
1 3 96 0 0 0| 0 24k| 11k 20k| 0 0 | 293k 591k
1 3 96 0 0 0| 0 0 | 13k 28k| 0 0 | 291k 587k
1 3 96 0 0 0| 0 512B| 10k 18k| 0 0 | 291k 587k
2 3 95 0 0 0| 0 0 |6653B 10k| 0 0 | 167k 337k
3 0 97 0 0 0| 0 160k| 23k 5524B| 0 0 | 10k 19k
7 0 92 0 0 0| 0 36k| 22k 3335B| 0 0 | 949 924
10 0 90 0 0 0| 0 0 |5172B 3318B| 0 0 | 908 923
5 0 94 0 0 0| 0 0 |2234B 2825B| 0 0 | 846 875
编辑：根据要求，我将添加 strace -f -p 的摘录：
25734 <... read resumed> "\16\0\0\0\0\0\0\0\376\377\377\377\0\0\0\0\0\0\0\0\0\0\0\0\1\0\0\0\0\0\0\0"..., 128) = 128
25752 futex(0x927e60, FUTEX_WAIT_PRIVATE, 2, NULL <unfinished ...>
25734 rt_sigaction(SIGALRM, NULL, {0x4b2300, ~[KILL STOP RTMIN RT_1], SA_RESTORER, 0x7fe09ac108f0}, 8) = 0
25734 write(8, "\1\0\0\0\0\0\0\0", 8) = 8
25734 read(15, 0x7fffcea69f70, 128) = -1 EAGAIN (Resource temporarily unavailable)
25734 timer_gettime(0x1, {it_interval={0, 0}, it_value={0, 0}}) = 0
25734 timer_settime(0x1, 0, {it_interval={0, 0}, it_value={0, 250000}}, NULL) = 0
25734 timer_gettime(0x1, {it_interval={0, 0}, it_value={0, 182592}}) = 0
25734 futex(0x927e60, FUTEX_WAKE_PRIVATE, 1 <unfinished ...>
25752 <... futex resumed> ) = 0
25734 <... futex resumed> ) = 1
25752 futex(0x927e60, FUTEX_WAKE_PRIVATE, 1 <unfinished ...>
25734 select(25, [7 10 14 15 16 17 18 24], [], [], {1, 0} <unfinished ...>