问题[pci-express](server)

我有一台 HP Proliant DL580 G7 服务器，从 2015 年开始更新了 P65 BIOS（我认为这是最新的 BIOS）。

我在其中安装了 PCIe 扩展板并安装了 4 个 Tesla K80 GPU。使用 10 针到 8 针电缆将它们连接到 PSU 板。当我打开服务器时，我看到 GPU 上的绿灯亮起。在 BIOS 中，我将 PCIe 设置为使用 Gen 2.0 设置。

安装了 Windows Server 2012 R2（带有更新），并从 Web 安装了所有驱动程序。我在设备管理器中没有任何缺少驱动程序的设备。但是，Tesla K80 GPU 不会出现在设备管理器中。

当我尝试安装官方 NVidia 驱动程序时，我收到“未找到兼容硬件”的错误消息。

我还移除了新安装的 PCIe 扩展板，以防它（不知何故）与主板不兼容，但这也无济于事。

我究竟做错了什么？

更新 1：我使用企业许可证安装了 VMWare ESXi，以查看 Nvidia 设备是否出现在那里，以便我可以使用直通并在 VM 中使用 GPU，但 Nvidia 设备没有出现在该列表中。

我安装了 Ubuntu 20.04，因为与其他 Linux 发行版相比，它具有最好的硬件检测，但它无法加载 GUI。Ubuntu 没有被列为 DL580 G7 的官方支持的操作系统之一，因此我转向下一个选项。

我安装了 RHEL 6.10，因为它是受支持的操作系统之一，当我执行“lspci”时，我没有看到任何 Nvidia 设备。

注意：这个问题是真实的，但要分析它，请注意我已经从设备和总线能力的“理论”起点开始，我承认这通常根本不能代表使用中的带宽利用率。

我有一个 18 x SAS3 混合 8TB 和 10TB 企业驱动器阵列，在 ZFS (FreeBSD) 下配置为 6 组 3 路镜像。目前，它们都挂在单个 24 端口 HBA (9305-24i) 上。

很难知道有多少驱动器在高峰期一起工作，但假设它们都用于读取，我得到以下计算最坏的情况（可能不现实？）：

SAS3 单工带宽：(12 gbits/sec) x (8/10 encoding) = 1.2 GB/sec 原始数据最大值
=> 18 x SAS3 峰值最大值：(1.2 x 18) = 21.6 GB/sec
但 PCI-E 3.0 x 8 单工带宽：7.9 GB/秒

因此，乍一看，似乎阵列可能会因需求而受到严重限制，因为链路将阵列 IO 从 21.6 GB/秒降至 7.9 GB/秒：损失了 64% 的 HDD I/ O能力。

另一方面，文件服务器主要由 2 个最终用户使用：文件服务器本身需要以最高速度读取和写入作为其文件处理的一部分，以及通过 10 GbE 链接的任何其他设备，因此即使使用 2 个链路聚合，也不能消耗超过 2 GB/秒的单工。因此，无论如何，它可能无法使用超过 PCI-E 链接速度的一小部分。

（即使我通过 SSH 对服务器本身进行一些文件管理，2 GB/秒仍然是相当不错的速度，我可能不会抱怨。）

此外，无论 SAS 3 理论上可以提供什么，12 gbit = 1.2 GB/秒，即使从其内部缓存中读取最大，企业 HDD 似乎也不太可能利用 SAS 带宽。SSD 是的，但是 HDD 呢？不太可能？数据表中的最大读取速度通常为 200 - 300 GB/秒左右。

因此，我的问题是，鉴于 HBA 可以在 PCI-E 上提供高达近 8 GB/秒的带宽，而最终用户最多可以消耗 2 GB/秒，实际上是否会产生节流效应？

换句话说，考虑到最终用户有 2 GB/秒的聚合连接，理论上磁盘阵列在 PCIE 插槽处从 22 GB/秒限制到 8 GB/秒是否重要？还是 PCI-E 插槽限制仍然是一个问题，因为本地系统有时需要比终端设备带宽建议的更快的 I/O？

如果有限制，我可以将磁盘拆分为 2 个 HBA，但我想知道如何评估是否存在真正的问题，然后再牺牲第二个 PCIE 插槽来提高原始磁盘 IO 的标准。

我有一个 HP DL360gen9 8sff

机器上运行的应用程序正在使当前磁盘饱和，所有英特尔企业 SSD 磁盘。

我想添加 M.2 NVMe 驱动器，但我不知道应该购买和安装哪个支持套件。

在用户手册中，我可以看到两个具有不同序列号的套件：764628-B21 和 817676-B21

在Dl360gen9 手册中似乎都可以安装：

但是没有地方说明这些是否是 M.2。

另外，我可以看到还有另一个套件 878783-B21，它被列为“HPE Universal SATA HHHL 3yr Wty M.2 Kit”，没有任何兼容性列表。

从图片上看似乎是 M.2 PCIe 板，但它可以与 DL360 Gen9 一起使用吗？

顺便说一句，我们有一些较旧的 DL360 gen8，如果该板真的是通用的，我们是否也可以将它安装在 gen8 服务器上？

HPE 通用 SATA HHHL 3 年 Wty M.2 套件

提前感谢您的帮助！

我发现了几个 x16 nvme 适配器，例如：

https://www.amazon.de/dp/B07VV9DYTL/ref=sr_1_2_sspa https://www.amazon.de/dp/B07RWCGP1S/ref=sr_1_8

因此，作为我之前的问题PCIe gen2 x8 插槽中的 PCIe gen3 x4 卡的后续行动- 是否可以发挥全部性能？：

如果将具有物理 x16 但仅使用 x4 (gen3) 的 gen3 卡放入 gen2 插槽，它会使用 x8 吗？
还是 x16 只是营销，也许是一种比 x4 插槽更牢固地固定 SSD 的方法？

据我了解，就速度而言，gen3 x4 插槽等于 gen2 x8 插槽。

我假设默认情况下 gen3 卡无法获得全速，因为 gen3 卡在物理上只有 x4，因此只会使用 x8 插槽的一半。加上 gen3 和 gen2 之间的潜在协议差异。
但是从理论上讲，难道不可能有一个适配器将 x8 gen2 压缩到 x4 gen3 吗？

似乎所有关于 gen3 <> gen2 的信息和帖子都只是说明了这一点——它 pcie 是向后兼容的，但没有关于使用双通道。我也找不到任何适配器或其他东西。
没有用例吗？我会想象除了我以外的人想要将 gen3 网络或存储卡放入只有 pic gen2 的旧服务器中。

PCI Express 2.0 x16 显卡是否适合 PCI Express 3.0 x8 插槽，如果可以，是否会影响性能？从理论上讲，我认为这两种配置在带宽方面应该相等？

我正在尝试使用 kvm 和 libvirt 将我的显卡传递到虚拟机。当我尝试通过卡而不将似乎在同一个 IOMMU 组中的以太网卡绑定到 vfio-pci 驱动程序时，我收到一条错误消息。

我想在主机上使用那个以太网端口，所以我想知道我是否可以拆分 IOMMU 组。这些东西的参考似乎是这篇博客文章，它在底部附近提到

比本示例使用的新内核将拆分此 IOMMU 组，因为已添加支持以公开此芯片组的隔离功能，即使它不直接支持 PCIe ACS。

但我在内核 4.10 上，这篇博文是 2014 年的，所以我想知道这个领域是否有任何新的发展。

我的基本问题是我能否找出 IOMMU 组是可拆分的，如果可以，我该如何拆分它？

我正在尝试了解主板的硬件规格（http://www.tyan.com/Motherboards_S7070_S7070WGM2NR）

关于 PCI-E 的扩展槽，

Expansion Slots PCI-E   
(1) PCI-E Gen3 x8 slot(#1,CPU1)/ 
(1) PCI-E Gen3 x16 slot(#2,CPU1) / 
(1) PCI-E Gen3 x16 slot(#4,CPU0)/ 
(1) PCI-E Gen3 x16 slot(#6,CPU0)

为什么每个 PCI-E 插槽似乎都与 CPU 插槽有一些联系？

这是什么意思？

我一直在尝试剖析通过谷歌搜索找到的信息，但得出的结论是，我无法确定地找到以下问题的答案：

鉴于您了解自己的桌面系统的基础知识，我怎么知道它支持 NVMe 驱动器？

• 它需要 PCIe v2 还是 v3？
• 一个空闲的 x4 插槽是否足够（例如，如果驱动器的规格显示 PCIe x4）？
• M.2 在这种情况下是什么意思（我已经明白它是一个内部接口，可以连接 PCIe、mSATA 或 USB-3，具体取决于驱动器，对吗？）
• 主板是否需要支持 NVMe（我认为需要）？如果没有，我还能使用驱动器还是有扩展卡？
• 我的 BIOS 是否需要支持 NVMe，或者“标准”UEFI BIOS 是否足够？
• 我读到 NVMe 驱动器的平均故障时间要高得多（风险更低），是因为 NVMe，还是因为更昂贵的驱动器拥有这个并且无论如何在内部使用更好的技术这一简单事实？

我从之前的问题中了解到，任何 PCIe v3 设备也适合 PCIe v2 设备，显然最大速度较低，NVMe 也是如此吗？

我知道这些是一堆问题，也许我应该一次问一个，但我认为它们很好地结合在一起，可以帮助那些难以理解所有新技术嗡嗡声的人。

如果这不是这个问题的正确交换，请告诉我。我找到了一个 PCIe 插槽，它被描述为

1 个 PCIe Gen3 x4 插槽 /x16 连接器

我不确定他们的意思。是否只是插槽具有 x4 连接，但它是开放式的，因此它可以支持 x16 卡？