Stilez's questions

注意：这个问题是真实的，但要分析它，请注意我已经从设备和总线能力的“理论”起点开始，我承认这通常根本不能代表使用中的带宽利用率。

我有一个 18 x SAS3 混合 8TB 和 10TB 企业驱动器阵列，在 ZFS (FreeBSD) 下配置为 6 组 3 路镜像。目前，它们都挂在单个 24 端口 HBA (9305-24i) 上。

很难知道有多少驱动器在高峰期一起工作，但假设它们都用于读取，我得到以下计算最坏的情况（可能不现实？）：

SAS3 单工带宽：(12 gbits/sec) x (8/10 encoding) = 1.2 GB/sec 原始数据最大值
=> 18 x SAS3 峰值最大值：(1.2 x 18) = 21.6 GB/sec
但 PCI-E 3.0 x 8 单工带宽：7.9 GB/秒

因此，乍一看，似乎阵列可能会因需求而受到严重限制，因为链路将阵列 IO 从 21.6 GB/秒降至 7.9 GB/秒：损失了 64% 的 HDD I/ O能力。

另一方面，文件服务器主要由 2 个最终用户使用：文件服务器本身需要以最高速度读取和写入作为其文件处理的一部分，以及通过 10 GbE 链接的任何其他设备，因此即使使用 2 个链路聚合，也不能消耗超过 2 GB/秒的单工。因此，无论如何，它可能无法使用超过 PCI-E 链接速度的一小部分。

（即使我通过 SSH 对服务器本身进行一些文件管理，2 GB/秒仍然是相当不错的速度，我可能不会抱怨。）

此外，无论 SAS 3 理论上可以提供什么，12 gbit = 1.2 GB/秒，即使从其内部缓存中读取最大，企业 HDD 似乎也不太可能利用 SAS 带宽。SSD 是的，但是 HDD 呢？不太可能？数据表中的最大读取速度通常为 200 - 300 GB/秒左右。

因此，我的问题是，鉴于 HBA 可以在 PCI-E 上提供高达近 8 GB/秒的带宽，而最终用户最多可以消耗 2 GB/秒，实际上是否会产生节流效应？

换句话说，考虑到最终用户有 2 GB/秒的聚合连接，理论上磁盘阵列在 PCIE 插槽处从 22 GB/秒限制到 8 GB/秒是否重要？还是 PCI-E 插槽限制仍然是一个问题，因为本地系统有时需要比终端设备带宽建议的更快的 I/O？

如果有限制，我可以将磁盘拆分为 2 个 HBA，但我想知道如何评估是否存在真正的问题，然后再牺牲第二个 PCIE 插槽来提高原始磁盘 IO 的标准。

我已经进行了相当多的故障排除，但我完全不知道会发生什么。

硬件/平台

• Supermicro X10SRi-F 主板
• EVGA 850W G2 PSU（Jonnyguru.com 上电源质量评级最高的电源之一）
• 128GB Crucial DDR4 RDIMM
• LSI 9211-8i PCIe HBA 闪存到最新的 P20-IT（来自 LSI/Avago 网站）
• 8087-to-quad-SAS 连接器电缆（新：见这张图片，电源侧接受 SATA PSU 连接器的那种电缆）
• 希捷 6TB SAS 硬盘（新：ST6000NM0054）
• 各种其他 Seagate 3TB - 6TB SATA 驱动器（测试目的）

到目前为止的问题/故障排除

这是一个正在设置的新服务器，因此所有组件都是新的，尽管之前已经测试了一些组件。

启动时，HBA 无法识别或报告 6TB SAS 驱动器（通过主 BIOS 或通过其自己的 OROM -> SAS 拓扑），并且 6TB 驱动器处于冷态且未启动。没有连接其他驱动器。系统的其余部分工作正常，所以从表面上看，问题仅限于 HBA 损坏、电缆损坏或驱动器损坏中的一个或多个。

到目前为止的故障排除步骤：

1. 使用四根电缆上的不同终结器连接 6TB SAS 驱动器，并将四根电缆连接到两个 8087 端口。没有变化 - 意味着问题不是一个特定的终结器或端口。
2. 使用相同的电缆连接各种 Seagate 3TB-6TB SATA 驱动器（相同的制造商和类似的现代系列，以消除细微的兼容性问题（如果有））。在启动时、在 8087 端口和所有 4 个终结器上以及在多次重新启动时，所有这些都可以正常识别、报告和旋转——这意味着 HBA 和电缆都可以正常工作，至少对于 SATA 而言。（如果它们完美地适用于 SATA 而不是 SAS，那就奇怪了。）
3. 保持相同的连接，但用 6TB SAS 驱动器替换了 SATA 驱动器，没有改变任何其他东西。和以前一样，HBA 没有识别或报告 6TB SAS 驱动器，也没有启动。
4. 在基于华硕的台式机上使用不同的卡和平台 m-LSI 9260-8i RAID 控制器进行了完全相同的尝试。再次，所有 SATA 驱动器立即识别并启动，但 6TB SAS 驱动器不是/没有。
5. 不情愿地得出结论，尽管不太可能，但最可能的问题是 6TB SAS 驱动器 DOA 并对其进行了 RMA 处理。（“不情愿”是因为我以前从未真正拥有过 DOA，驱动器通常是可靠的，如果它死了，那么更常见/预期的是它至少被识别但不起作用。我只是不能t 比完整的 DOA 更可能是一个问题。）
6. 刚刚收到保修更换 - 并且得到与更换完全相同的症状：(a) 当 6TB SAS 驱动器和任何 SATA 驱动器连接到 2 个终结器并且系统启动时，SATA 驱动器立即被识别、报告并启动，而 6TB SAS 驱动器保持冷态和静止。(b) 当 6TB SAS 和任何 SATA 驱动器连接到另一个华硕台式机中的 9260-8i RAID 卡时，SATA 驱动器同样会立即被识别，但 6TB SAS 驱动器保持冷态。
7. 最后一步，重新阅读 9211-8i HBA 用户指南以防我第一次错过任何内容，并重新检查 BIOS。找不到任何似乎可以解释这一点的东西，或者任何关于 SAS 驱动器将不会被识别的声明，除非/直到 <some action/content>。

第一次真的不相信这是 DOA。绝对不要相信它现在是 DOA。但如果不是，那么它是什么，我会错过什么？

我已经测试了组件链中的所有内容（AFAIK），HBA 没有太多可能出错的 OROM 接口，或者任何识别 SATA/SAS/两者的选项，或者类似的东西，以及主 PC/服务器在这两种情况下，只需将检测留给 HBA/RAID 卡即可。我已经在两个完全不同的平台上进行了测试，有两种不同型号的控制器卡，SAS 与 SATA 驱动器，我完全被难住了。

（注意：当我开始从 SATA 过渡到 SAS 时，我受到了一些限制，目的是在 SAS 磨损时用 SAS 替换 SATA，所以目前我没有任何其他 SAS 磁盘或电缆测试，否则我也会这样做。但我想我可能已经通过在改变 SATA/SAS 时测试卡+电缆来解决这个问题）

更新了更准确的标题以帮助他人，现在获得了更多信息。见答案。

我有一个 LSI 9211 HBA 和一个 Intel 910 SSD。我使用 LSI 常用的 sas2flash 实用程序更新了 HBA 上的固件。我首先删除了所有其他 LSI/HBA 卡。

不幸的是，现在看起来 SSD 内部也有相同的控制器，我没有实际的方法提前知道，现在英特尔的 SSD 工具包无法识别 SSD，所以我不知道如何把它放回原来的样子. Sas2flash -listall 显示带有 P20 LSI bios 的 SSD。

我该怎么办？