问题[raid](computer)

我有一个Mobius 5 Bay RAID 阵列，每个驱动器有 10TB。我将其设置为 RAID 10。

最近，我关闭并打开了装有此设备的房子的电源断路器，现在当它启动时，它会失败，发出蜂鸣声，并且驱动器 2（有时是 1-3......？）上的紫色错误指示灯亮起。

我尝试过将硬盘取出再放回去，但没用。除了再买一个 200 美元的硬盘外，有没有办法恢复我的数据？

我相信驱动器 2 应该镜像驱动器 1。我能否以某种方式验证该错误是硬件错误，并且驱动器 2 不能从其镜像的驱动器重建？

Mobius 5 Bay RAID 阵列的用户手册指出：

RAID 0（条带化）是一种非冗余数据映射技术。它同时将多个驱动器上的数据均匀组合在一起，从而提高性能。

• 在条带模式下，它将被视为一个单一的存储单元。如果 RAID 系统中的一个磁盘发生故障，则安装的磁盘上的所有数据都将丢失。
• 总容量 = 最小硬盘 x 硬盘总数。例如，如果最小硬盘为 1TB，则安装 5 个硬盘时容量将为 5 TB。

…

RAID 1（镜像）由两个驱动器组成，存储相同数据的副本。在此模式下，数据同时写入两个磁盘。与其他 RAID 模式相比，操作速度较慢。

• 仅允许 2 个 HDD（托架 1 和 2）才能使该功能正常执行。

…

RAID 10 将 RAID 0 和 RAID 1 合并到一个系统中。它会创建两组条带磁盘，然后镜像这两组磁盘。

• 此功能仅允许 4 个硬盘执行。如果插入 5 个硬盘，则第 5 个驱动器将用作热备用，这意味着当一个驱动器发生故障时，第 5 个驱动器将自动重建以替换发生故障的驱动器。

再次，我的设置为 RAID 10，并插入了 5 个磁盘。

我无法理解上述内容，这是否意味着我的磁盘 2 可以在不被替换的情况下恢复。

我购买这个 RAID 阵列时考虑到了冗余，但目前看来它似乎并不是很冗余...也许我选择了错误的 RAID 设置。

我了解到 RAID 10 是镜像条带，而 RAID 01 是条带镜像。 现在，我经常读到 RAID 10 和 RAID 01 之间的主要区别在于RAID 10 提供更高的容错能力。这种说法的理由是，在 RAID 10 中，单个镜像中的每个磁盘都必须发生故障才能导致阵列发生故障，而在 RAID 01 中，每个条带的一个磁盘故障就足以使阵列瘫痪。

但是，我对后一种说法提出质疑。虽然我完全理解为什么一个磁盘故障足以摧毁单个RAID 0 阵列，但我不明白为什么每个条带上的单个磁盘故障必然会摧毁RAID 0 阵列的镜像。考虑上面显示的 RAID 01 阵列，假设磁盘 0 和磁盘 3 发生故障。在这种情况下，不是没有发生数据丢失吗（因为所有块仍然存储在磁盘 1 和磁盘 2 的阵列中）？在这种情况下，为什么声称每个条带上的单个磁盘故障足以摧毁 RAID 01 阵列？

我决定扩大我的 raid6 阵列：

- from: 7x 2TB drives (giving usable space of ~9TB in ext4/raid6)
- to:   7x 4TB drives (giving usable space of ~18TB in ext4/raid6)

我已经更换了所有七个驱动器，它们都包含以下结构并且已干净地添加到阵列中。

sda                                3.6T
└─sda1         linux_raid_member   3.6T
  └─md0        LVM2_member        18.2T
    └─shared-c ext4                9.1T /shared
sdb                                3.6T
└─sdb1         linux_raid_member   3.6T
  └─md0        LVM2_member        18.2T
    └─shared-c ext4                9.1T /shared
sdc                                3.6T
└─sdc1         linux_raid_member   3.6T
  └─md0        LVM2_member        18.2T
    └─shared-c ext4                9.1T /shared

.. continues thru to sdg in same way ... 

然后，我在数组上运行了 grow 命令，将其扩展到我期望的大小：

// command I ran:
mdadm --grow /dev/md0 --size=max

// output from mdadm --detail /dev/md0 after grow command

/dev/md0:
           Version : 1.2
     Creation Time : Sun May 15 08:22:07 2016
        Raid Level : raid6
        Array Size : 19535080000 (18.19 TiB 20.00 TB)
     Used Dev Size : 3907016000 (3.64 TiB 4.00 TB)
      Raid Devices : 7
     Total Devices : 7
       Persistence : Superblock is persistent

       Update Time : Tue Jun 11 01:26:08 2024
             State : clean
    Active Devices : 7
   Working Devices : 7
    Failed Devices : 0
     Spare Devices : 0

接下来我尝试使用 resize2fs 调整文件系统大小，命令如下：

resize2fs /dev/mapper/shared-c

但它说没什么可做的 - 我猜是它没有识别出阵列中的额外空间。此后我做了一些研究，建议我应该对物理卷和逻辑卷做些什么，但那里也没有显示可用空间...

// output of pvdisplay

  --- Physical volume ---
  PV Name               /dev/md0
  VG Name               shared
  PV Size               9.07 TiB / not usable <5.38 MiB
  Allocatable           yes
  PE Size               64.00 MiB
  Total PE              148681
  Free PE               160
  Allocated PE          148521
  PV UUID               7wxoRZ-LhVL-3WV5-pRcs-LT9q-r0Em-KHClad

// output of lvdisplay

  --- Logical volume ---
  LV Path                /dev/shared/c
  LV Name                c
  VG Name                shared
  LV UUID                IR9ohg-TWPk-loPX-OcVg-vajS-hSb9-eubJMa
  LV Write Access        read/write
  LV Creation host, time ,
  LV Status              available
  # open                 1
  LV Size                <9.07 TiB
  Current LE             148521
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     1280
  Block device           253:0

我现在不确定这个过程的下一步是什么 —— 我一方面认为我应该做一个 pvresize，但它的输出只显示 5.38mb 的未使用空间，而我认为这个数字应该在 TB 范围内，这样 pvresize 才能起作用。

该阵列目前正在工作，并且阵列中的所有文件都完好无损 - 理想情况下，我希望保持这种状态。

我通过运行和替换了zpool statusZFS raidz1 池中的一个故障硬盘（SMART 中的错误计数增加，读/写/校验和错误） 。重新同步很快就开始了，但一直给我带来写入错误（请参见下文）。当这些重新同步过程最终完成时，池将保持在 DEGRADED 状态。如果出现错误或重新启动，另一个重新同步过程将自动启动，但可能会出现不同数量的写入错误。zfs offlinezfs replacezpool clear

SMART 显示此新驱动器没有错误。我还尝试了不同的新驱动器（购买了两个替换件）并更换了 SATA 电缆。在重新同步期间，总是会替换此 vdev（使用任一驱动器）并给出写入错误。这让我怀疑 ZFS 池在某种程度上受到了损害，但它继续运行并且zfs send每天晚上都能运行。

排除故障并解决此问题的正确方法是什么（例如，像zfs scrub只有四个驱动器中的三个驱动器的降级池，因为zfs replace无法在没有错误的情况下完成）？我确实有备份，zfs send/receive希望这些备份是好的副本（ZFS 校验和是否收到流？）。

  pool: space
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Fri Nov  3 09:56:59 2023
        2.92T scanned at 594M/s, 2.63T issued at 536M/s, 5.90T total
        669G resilvered, 44.59% done, 01:46:40 to go
config:

        NAME                                     STATE     READ WRITE CKSUM
        space                                    DEGRADED     0     0     0
          raidz1-0                               DEGRADED     0     0     0
            ata-ST3000DM001-1CH166_ZZZZ1111      ONLINE       0     0     0  block size: 512B configured, 4096B native
            ata-ST3000DM001-1CH166_ZZZZ2222      ONLINE       0     0     0  block size: 512B configured, 4096B native
            replacing-2                          UNAVAIL      0     0     0  insufficient replicas
              13284017409215481231               OFFLINE      0     0     0  was /dev/disk/by-id/ata-ST3000DM001-1CH166_Z1F12QMZ-part1
              ata-ST18000NM003D-3DL103_YYYY1111  FAULTED      0 4.38K     0  too many errors  (resilvering)
            ata-ST3000DM001-1CH166_ZZZZ4444      ONLINE       0     0     0  block size: 512B configured, 4096B native

编辑：我在以下位置看到这些错误dmesg：

[19561.708059] sd 2:0:1:0: [sdb] tag#226 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_OK cmd_age=31s
[19561.708063] sd 2:0:1:0: [sdb] tag#226 Sense Key : Illegal Request [current]
[19561.708067] sd 2:0:1:0: [sdb] tag#226 Add. Sense: Unaligned write command
[19561.708070] sd 2:0:1:0: [sdb] tag#226 CDB: Write(16) 8a 00 00 00 00 00 68 f4 ff 40 00 00 00 53 00 00
[19561.708073] blk_update_request: I/O error, dev sdb, sector 1760886592 op 0x1:(WRITE) flags 0x700 phys_seg 83 prio class 0

我正要使用 ddrescue 恢复五个故障 RAID 磁盘中的第二个，突然我的脑海中出现了奇怪的变化，我输入

sudo ddrescue --verbose --idirect --no-scrape -f /dev/sda /dev/sdc disk1.logfile

而应该有 /dev/sdc /dev/sda。这运行了大约 28 秒：

GNU ddrescue 1.23
About to copy 6001 GBytes from '/dev/sda' to '/dev/sdc'
    Starting positions: infile = 0 B, outfile = 0 B
    Copy block size: 128 sectors Initial skip size: 117248 sectors
Sector size: 512 Bytes

Press Ctrl-C to interrupt
     ipos: 5961 MB, non-trimmed: 0 B, current rate: 59375 kB/s
     opos: 5961 MB, non-scraped: 0 B, average rate: 205 MB/s
non-tried: 5995 GB, bad-sector: 0 B, error rate: 0 B/s
  rescued: 5961 MB, bad areas: 0, run time: 28s
pct rescued: 0.09%, read errors: 0, remaining time: 8h 6m
                              time since last successful read: n/a
Copying non-tried blocks... Pass 1 (forwards)^C
  Interrupted by user

有什么方法可以撤消该操作，创建的地图文件会有帮助吗？

我使用 PERC H730 Mini raid 控制器：

# lspci -d::0104 -k
02:00.0 RAID bus controller: Broadcom / LSI MegaRAID SAS-3 3108 [Invader] (rev 02)
        Subsystem: Dell PERC H730 Mini
        Kernel driver in use: megaraid_sas
        Kernel modules: megaraid_sas

这是连接到服务器的磁盘：

# lsscsi -s
[0:2:0:0]    disk    DELL     PERC H730 Mini   4.28  /dev/sda    499GB
[0:2:1:0]    disk    DELL     PERC H730 Mini   4.28  /dev/sdb   8.00TB
[0:2:2:0]    disk    DELL     PERC H730 Mini   4.28  /dev/sdc   8.00TB
[0:2:3:0]    disk    DELL     PERC H730 Mini   4.28  /dev/sdd   8.00TB
[0:2:4:0]    disk    DELL     PERC H730 Mini   4.28  /dev/sde   8.00TB
[0:2:5:0]    disk    DELL     PERC H730 Mini   4.28  /dev/sdf   8.00TB
[0:2:6:0]    disk    DELL     PERC H730 Mini   4.28  /dev/sdg   8.00TB
[0:2:7:0]    disk    DELL     PERC H730 Mini   4.28  /dev/sdh   8.00TB
[0:2:8:0]    disk    DELL     PERC H730 Mini   4.28  /dev/sdi   8.00TB
[0:2:9:0]    disk    DELL     PERC H730 Mini   4.28  /dev/sdj   8.00TB
[0:2:10:0]   disk    DELL     PERC H730 Mini   4.28  /dev/sdk   8.00TB
[0:2:11:0]   disk    DELL     PERC H730 Mini   4.28  /dev/sdl   8.00TB
[0:2:12:0]   disk    DELL     PERC H730 Mini   4.28  /dev/sdp   8.00TB
[0:2:13:0]   disk    DELL     PERC H730 Mini   4.28  /dev/sdm   8.00TB
[0:2:14:0]   disk    DELL     PERC H730 Mini   4.28  /dev/sdn   8.00TB
[0:2:15:0]   disk    DELL     PERC H730 Mini   4.28  /dev/sdq   8.00TB
[0:2:16:0]   disk    DELL     PERC H730 Mini   4.28  /dev/sdo    399GB

On smartctl，我以为设备名称是denoting which disk on the controller is monitored.

但是，当使用一个 RAID 控制器时，smartctl也需要The non-negative integer N (in the range of 0 to 127 inclusive) denotes which disk on the controller is monitored.并在值不同时给出完全不同的结果N：

# smartctl -i /dev/sdq -d megaraid,0 -j | jq -r .model_name,.user_capacity.bytes
INTEL SSDSC2BX400G4R
400088457216
# smartctl -i /dev/sdq -d megaraid,1 -j | jq -r .model_name,.user_capacity.bytes
SEAGATE ST8000NM0075
8001563222016

似乎使用N=0返回了错误的磁盘，因为容量与输出的容量不匹配lsscsi -s。

如何选择合适的N值smartctl？

我知道Raid服务器存储必须使用企业级SSD，但我所在的公司买不起那种SSD，（即使是推荐的SAS HDD也太贵了）。这将我的选择限制为使用台式机 HDD，或者像我提议的情况一样，使用台式机 SSD。

让我担心的一件事是，我读过有关使用 RAID 5 的 SSD 驱动器寿命缩短的信息，但我想知道如果服务器流量每天最多写入 1GB，SSD 寿命是否真的会缩短。

如果我们在一个磁盘故障之前使用 8 WD Green 2TB (WDS200T2G0A)，这台服务器可以运行多长时间？

考虑到我不是在要求兼容性，因为该公司有另一台服务器使用 SATA 驱动器而不是推荐的 SAS，并且它已经启动并运行了 8 年多，（虽然没有达到预期的速度，但仍在工作） .

编辑：忘记提及这些 SSD 适用于 Dell Poweredge 2900 服务器，每个驱动器（8 托架 RAID）仅支持 2TB SAS/SATA Max。它有 PCIE 插槽（我不知道是哪一代），但我认为很难让采购部门了解获取 SSD M2 驱动器和内嵌适配器。

感谢您的评论，我正在分析所有回复。

我需要一些有关我的个人 NAS 设置的帮助。

正如大多数 NAS 操作系统文档所建议的那样，我没有将 NAS 操作系统安装在单独的磁盘中，而是将其安装在数据磁盘阵列中，就像 Synology为其 NAS 系统那样。

我认为这更有意义，因为您将使用数据磁盘阵列来实现冗余，而不是一个没有任何磁盘的单独磁盘。如果我错了，请纠正我。

但是，我不知道该怎么做。我想为数据磁盘阵列创建一个卷组，然后为引导加载程序、交换、根文件系统和 NAS 数据分别创建一个逻辑卷，但我不确定如何实现它或者它是否是最好的方法.

请指教。提前致谢。

我有一个带有 2 个磁盘的家庭 raid1，其中一个刚刚发生故障（房子被雷击）。我对 mdadm 真的很陌生，所以在做任何愚蠢的事情之前我都会问。我可以在 sdd 上热插拔一个新的 HD（它很安全，我以这种方式进行备份），但是将新磁盘添加到 raid 并重建它的命令是什么？

我已经执行了以下操作来删除死磁盘并继续以只读方式使用读取并且它可以工作：

# mdadm --manage /dev/md0 --fail /dev/sda1
# mdadm --manage /dev/md0 --remove /dev/sda1
# mdadm --assemble --readonly /dev/md0 /dev/sdb1

My mdadm.conf:
ARRAY /dev/md0 metadata=1.2 name=penguin:0 UUID=89ec9aaf:745ed728:87e2211a:22ea2fae

My fstab:
/dev/md0 /raid ext4 noatime,relatime 0 0

原标题：Unwanted，意外的 LVM 磁盘映射导致 linux raid 出现问题

我已经在 ubuntu 上进行了近十年的 linux raid，但从未与 LVM 混淆，尽管我隐约知道它存在。

我最近在我的服务器上添加了第二个阵列，使其功能齐全，将一些文件复制到其中（它只是一个备份系统，这里没有关键文件存在风险）。

一周过去了，当我回头查看备份阵列时，我发现它是只读的。此外，阵列的 /proc/mdstat 中显示的设备，而不是 /dev/sdX，因为它们在工作时和我之前使用过，看起来像 /dev/dm-X。

$ cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10] 
md1 : active (read-only) raid5 dm-0[0] dm-2[3] dm-1[1]
      31249539072 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
      bitmap: 0/117 pages [0KB], 65536KB chunk

md0 : active raid6 sdj1[6] sdm1[5] sde1[4] sdd1[3] sdc1[2] sdb1[1] sda1[0]
      29296547840 blocks super 1.2 level 6, 512k chunk, algorithm 2 [7/7] [UUUUUUU]
      bitmap: 0/44 pages [0KB], 65536KB chunk

unused devices: <none>

通过谷歌搜索，我发现 dm-X 设备是 LVM 磁盘映射。dmsetup 显示这是我期望的磁盘

# dmsetup ls
osprober-linux-sdh1 (253:1)
osprober-linux-sdi1 (253:2)
osprober-linux-sdg1 (253:0)
# lvdisplay -a
# lvs
# pvs
#

我的理解是，LVM 是您必须非常明确地计划使用和设置的东西？据我所知，上面是我一生中运行过的第一个与 LVM 相关的命令，所以我不知道它是如何启用的，特别是仅适用于我的新 md 阵列中的 3 个设备（但没有其他设备打开或关闭我的其他阵列）。

为了进行设置，我使用 parted 手动对设备进行分区，使用 mdadm 手动创建一个 raid 阵列，将阵列格式化为 ext4，并将文件复制到其中，然后将其保留在那里。这些都不涉及 LVM，使用 mdadm 组装的设备是我刚刚创建的标准磁盘分区 (/dev/sdX1)。从那以后，我能想到的唯一操作是在一周内对任何相关设备进行操作，mdadm --assemble --scan以动态查找 md 卷及其设备，并mount -a重新挂载 fstab 条目。

也许我做了一些我忘记的其他事情，尽管它不可​​能是一些特定的 LVM 配置，因为我什至不知道如何做到这一点。我对 prometheus 和 node-exporter 做了一些实验，我想知道这是否会产生副作用？

它导致的问题是 LVM 锁定了实际的 /dev/sdX “文件”，所以我现在不能使用它们来手动组装阵列

# mdadm --assemble /dev/md1 /dev/sdg1 /dev/sdh1 /dev/sdi1
mdadm: /dev/sdg1 is busy - skipping
mdadm: /dev/sdh1 is busy - skipping
mdadm: /dev/sdi1 is busy - skipping

我只能手动将它们组装到 dm-X 设备上

# mdadm --assemble /dev/md1 /dev/dm-0 /dev/dm-1 /dev/dm-2
mdadm: /dev/md1 has been started with 3 drives.

或自动组装

# mdadm --assemble --scan
mdadm: /dev/md/1 has been started with 3 drives.
# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10] 
md1 : active (read-only) raid5 dm-0[0] dm-2[3] dm-1[1]
      31249539072 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
      bitmap: 0/117 pages [0KB], 65536KB chunk

无论出于何种原因，dm-X 设备都是（有效或正式）只读的，因此从它们安装的阵列也是只读的。

不太了解我在看什么或它是如何得到的，我不确定如何在这里表达结论性问题，但我想以读/写模式安装我的阵列，并像往常一样做，没有 LVM 的任何参与。我怎样才能做到这一点？