我有一个装有 12 个 300gb DP SAS 驱动器的 iSCSI HP P2000。它连接到 2 台运行 XenServer 的 64GB RAM 的 DL385 服务器。SAN 网络通过 2 个千兆交换机进行多路径(从 P2000 到每个交换机的 4 个铜链路,然后每个 XenServer 都有一个到每个交换机的铜链路)
最近,我重新评估了创建 2 个虚拟磁盘的安装时间决定:一个 RAID-5 和一个 RAID-10。我认为 RAID-5 毫无意义并将其销毁,然后使用这些磁盘将 RAID-10 扩展为一个带有 2 个热备用磁盘的大阵列。
自从(就在一周前)完成之后,磁盘性能一直很糟糕;查看top
两台 XenServer 主机显示 ~15% 的 I/O 等待。VM 内的 hdparm 显示1.12MB/s
来自 SAN 的读取。
还有 2 台其他 Win2008R2 机器也连接到 SAN。我之前的性能测试表明它们也经历了显着差异,因此我认为这不是 XenServer 主机上的问题。
- 以前 8k 随机读取
~24.75MB/s
,现在1.67MB/s
- 以前 64k 随机读取
~170MB/s
,现在3.61MB/s
RAID 扩展已完成,SMU 中一切正常。XenServer 非常“空”(其中一个上有 7 个 VM,另一个上有 4 个 VM),但它是一个生产环境。
经过更多调查后,事实证明问题是有人(咳嗽)根据互联网文章的建议启用了 SAN 交换机上的流量控制,该文章谈论了相同的硬件并明确鼓励使用流量控制。
禁用流控后,Load Average 和 I/O Wait 立即减少,24 小时后,一旦完成一些艰难的维护任务,它就完全恢复正常(0.0%wa 和 Load Average < 0.10)。