问题[lsi](server)

我有一个带有三个 SAS HBA 卡的 NAS 服务器。两个是 SAS3 并且工作正常，它们连接到三个 48 驱动器 JBOD 机柜。第三个是SAS2，连接一个带5个驱动器的磁带机械手，不工作。

服务器是 Supermicro SYS-2029U-TR4T。有问题的 SAS2 HBA 卡是 LSI 9201-16e。该服务器正在运行具有最新更新的 CentOS 7，截至本文。

我尝试将卡移动到不同的 PCIe 插槽，我能做的最好的就是让它出现在 lspci 中。在某些插槽中，操作系统甚至无法识别它。当在 lspci 中列出时，操作系统会尝试加载 mpt2sas 驱动程序，但该驱动程序失败并显示以下输出：

[ 4401.676636] mpt2sas version 20.103.01.00 loaded
[ 4401.677574] mpt2sas 0000:5e:00.0: can't disable ASPM; OS doesn't have ASPM control
[ 4401.677930] mpt2sas_cm0: 64 BIT PCI BUS DMA ADDRESSING SUPPORTED, total mem (791000116 kB)
[ 4401.732434] mpt2sas_cm0: CurrentHostPageSize is 0: Setting default host page size to 4k
[ 4401.732450] mpt2sas_cm0: MSI-X vectors supported: 1
[ 4401.732454] mpt2sas_cm0:  0 1
[ 4401.732548] mpt2sas 0000:5e:00.0: irq 571 for MSI/MSI-X
[ 4401.732637] mpt2sas_cm0: High IOPs queues : disabled
[ 4401.732639] mpt2sas0-msix0: PCI-MSI-X enabled: IRQ 571
[ 4401.732642] mpt2sas_cm0: iomem(0x00000000c5ec0000), mapped(0xffffc243e3960000), size(16384)
[ 4401.732643] mpt2sas_cm0: ioport(0x0000000000009000), size(256)
[ 4401.787430] mpt2sas_cm0: CurrentHostPageSize is 0: Setting default host page size to 4k
[ 4402.306189] mpt2sas_cm0: reply pool: dma_pool_alloc failed
[ 4413.653575] mpt2sas_cm0: failure at drivers/scsi/mpt3sas/mpt3sas_scsih.c:10651/_scsih_probe()!

尝试列出具有 sas2flash 版本 20.00.00.00 的卡失败并显示“未找到 LSI SAS 适配器！”

有什么想法吗？

我有一个基于 md 的 RAID5 阵列，它已经运行了大约 2 年没有问题。昨天我在一个磁盘上发生了自发磁盘和/或 PHY 重置（但不是实际的读取错误）。md 将磁盘标记为故障，剩余的阵列状态为“干净，已降级”，因此我尝试删除并重新添加它。md 开始以良好的速度 (140M/s) 重新同步阵列，但在大约 0.6% 时重新同步速度开始下降，并且在大约 10 秒内 mdadm 退出并显示消息“md: md0: recovery interrupted”而没有任何 SCSI 或其他可见错误在 dmesg 输出中（我当前的 SCSI 日志记录级别设置为 0x10012DD）。这发生在几次尝试中。smartctl -a，smartctl -t short并且扫描所有磁盘的前 1%badblocks没有出现任何错误。只读xfs_repair -n正如预期的那样，在降级的阵列上显示了一堆 I/O 错误和错误的校验和，但是在所有这些练习之后，重新同步已经超过了它早些时候退出的点。我现在badblocks在其余磁盘上运行，并希望阵列最终会完成重新同步，这样我就可以添加新磁盘并最终升级到 RAID6，但自然不能保证这会发生，这就引出了一个问题：

是否有可能使 md resync 克服错误并丢弃坏块？我宁愿最终得到一个 0.01% 损坏的数组，也不愿什么都没有。我在阵列中的数据并不重要，我可以在更高级别重新检查它是否有错误，但是从头开始恢复它需要很长时间。

所以我得到了这台服务器，如果其中一个驱动器上有视觉警报。
用我进一步调查后storcli发现是有一些media error counts。

我对此进行了一些调查，显然这些类型的错误是磁盘扇区上无法纠正的损坏，因此它被重新映射以不使用所述扇区。
但显然几乎所有驱动器都有这类错误广告，它们也是由制造缺陷引起的。

所以我有几个问题：

1. 如果这是正常的，为什么只显示一些错误的视觉警报？
2. 如何使用 storcli 查看有关这些错误的更多详细信息
3. 有人可以向我解释什么是other error count和shield count

如果我误解了什么，请向我解释。

谢谢

我的设置：带有 Asrock H67M-ITX 的小型家用服务器，CPU：i3-2120T，PERC H310 RAID，7 个磁盘全部通过（我使用 MDADM 来实现 RAID 功能）。系统 (Ubuntu 20.04) 位于连接到 MB SATA 的 SSD 上。

刚得到一个新的 CPU : E3-1275 v2

我确实更换了 CPU 并让它工作，我必须将 MB BIOS 从 v1.30 更新到 v2.20。

现在，当我到达 Ubuntu 时，连接到 LSI H310 的磁盘根本不可见。LSI BIOS 正确显示 7 个磁盘。

我不知道从哪里开始寻找。我应该如何开始调试。

我也应该更新 LSI BIOS 吗？

编辑 1：lspci显示 LSI 卡的输出（倒数第三个）

user@server:~$ lspci
00:00.0 Host bridge: Intel Corporation Xeon E3-1200 v2/Ivy Bridge DRAM Controller (rev 09)
00:01.0 PCI bridge: Intel Corporation Xeon E3-1200 v2/3rd Gen Core processor PCI Express Root Port (rev 09)
00:02.0 VGA compatible controller: Intel Corporation Xeon E3-1200 v2/3rd Gen Core processor Graphics Controller (rev 09)
00:16.0 Communication controller: Intel Corporation 6 Series/C200 Series Chipset Family MEI Controller #1 (rev 04)
00:1a.0 USB controller: Intel Corporation 6 Series/C200 Series Chipset Family USB Enhanced Host Controller #2 (rev 05)
00:1b.0 Audio device: Intel Corporation 6 Series/C200 Series Chipset Family High Definition Audio Controller (rev 05)
00:1c.0 PCI bridge: Intel Corporation 6 Series/C200 Series Chipset Family PCI Express Root Port 1 (rev b5)
00:1c.3 PCI bridge: Intel Corporation 6 Series/C200 Series Chipset Family PCI Express Root Port 4 (rev b5)
00:1c.5 PCI bridge: Intel Corporation 6 Series/C200 Series Chipset Family PCI Express Root Port 6 (rev b5)
00:1d.0 USB controller: Intel Corporation 6 Series/C200 Series Chipset Family USB Enhanced Host Controller #1 (rev 05)
00:1f.0 ISA bridge: Intel Corporation H67 Express Chipset LPC Controller (rev 05)
00:1f.2 SATA controller: Intel Corporation 6 Series/C200 Series Chipset Family 6 port Desktop SATA AHCI Controller (rev 05)
00:1f.3 SMBus: Intel Corporation 6 Series/C200 Series Chipset Family SMBus Controller (rev 05)
01:00.0 RAID bus controller: Broadcom / LSI MegaRAID SAS 2008 [Falcon] (rev 03)
03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 06)
04:00.0 USB controller: Etron Technology, Inc. EJ168 USB 3.0 Host Controller (rev 01)

编辑 2：从 LSI BIOS，我有以下信息

Product Name : PERC H310 Adapter
Package : 20.10.2-0002
FW Version : 2.120.14-1504
BIOS Version : 4.29.00_4.12.05.00_0x05110000
Boot Block Version : 2.02.00.00-0001
Security Capable : No
Controller ID : 0
PCI Bus : 0x01
PCI Device : 0x00
PCI Function : 0x00
PCI Slot ID : 0x11

当我通过以下方式转储 LSI RAID 9260-8i 配置时：

/storcli /c0 show all

该Supported VD Operations部分如下所示：

Read Policy = Yes
Write Policy = Yes
IO Policy = Yes
Access Policy = Yes
Disk Cache Policy = Yes
Reconstruction = Yes
Deny Locate = No
Deny CC = No
Allow Ctrl Encryption = No
Enable LDBBM = Yes
Support FastPath = Yes
Performance Metrics = Yes
Power Savings = No
Support Powersave Max With Cache = No
Support Breakmirror = No
Support SSC WriteBack = Yes
Support SSC Association = Yes
Support VD Hide = No
Support VD Cachebypass = No
Support VD discardCacheDuringLDDelete = No

那里的SSC WriteBack表达是什么意思？

我有一个 AVAGO 3108 MegaRAID 控制器。storcli64我使用以下命令添加了一个虚拟磁盘。我还需要跑步storcli /c0/v0 start initialization吗？

storcli64 /c0 add vd type=r6 drives=0:0-10

组 0 中的一个磁盘（EID:Slot 252:4, DiskID 12）开始无法通过它的智能测试：

  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       1837
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       57

但我找不到任何文档如何从磁盘组中删除磁盘。

我一定要吗

storcli /c0/e252/s4 set offline

更确切地说

storcli /c0/e252/s4 spindown

或两者？“spindown”和“offline”有什么区别？关于什么

storcli /c0/s4 set missing

那有什么作用？“失踪”是什么意思？

重建怎么样？会自动启动吗？

如果不是，那么我猜“开始重建”命令是我的朋友，但为什么我必须为此指定一个磁盘？指定要重建的磁盘组或卷会更有意义，不是吗？

我有一个 LSI MegaRAID 控制器。我拔出一个故障驱动器并用一个好的驱动器替换它。在此之前我没有运行任何特殊storcli命令，我只是交换了驱动器。不确定这是否是一个错误。

它显示为UGood：

32:8    26 UGood  F 1.818 TB SATA HDD N   N  512B ST32000645NS U  - 

我想将其添加为热备件，但命令失败：

# ./storcli64 /c0/e32/s8 add hotsparedrive
Controller = 0
Status = Failure
Description = Add Hot Spare Failed.

Detailed Status :
===============

------------------------------------------------
Drive       Status  ErrCd ErrMsg                
------------------------------------------------
/c0/e32/s8 Failure   255 Device state invalid. 
------------------------------------------------

我应该首先将驱动器状态设置为什么？我还应该初始化驱动器吗？

我对使用 FC HBA 很陌生，但计划用存储阵列扩展我的服务器。我找到了一个便宜的旧（但对我的用例来说足够好）LSI Engenio 1932。它具有双 4Gbs FC 连接。

我已经准备好一个未使用的 LPE12002 HBA，我想使用它。现在 LPE12002 具有双 8Gbs FC，那么它可以与 LSI 阵列上的 4Gbs FC 一起使用吗？

我们正在构建一些新服务器，并希望使用 12Gbps SAS3 驱动器以及一些 SATA 6Gbps 企业级 SSD，这些 SATA 6Gbps 企业级 SSD 使用 LSI SAS3 扩展器和 LSI / Broadcom 9361-8i RAID 控制器与 CacheCade Pro 2.0 连接到单个 Supermicro SAS3 背板上。

RAID 配置如下

• 阵列 1：2 x SATA3 SSD RAID1
• 阵列 2：2 x SATA3 SSD RAID1
• 阵列 3：6 个 SAS3 硬盘 RAID10
• 连接到阵列 3 的 CacheCade Pro 2.0：2 个 SATA3 SSD

问题 1： 12Gbps 和 6Gbps 驱动器能否在同一个 12gpbs 扩展器和控制器上很好地运行而不影响性能？

问题 2：我应该在 SATA3 SSD 上使用转接器来实现上述 RAID 配置吗？