主页 / server / 问题

问题[raid](server)

Martin Hope
slackline
Asked: 2024-10-11 00:42:15 +0800 CST
  • 5

我的一个 RAID1 磁盘最近坏了。我买了一个替换磁盘，连接好后Linux RAID使用格式化了它cfdisk。

  • 新的驱动器是/dev/sdc
  • 旧驱动器/dev/sdd

它们总体上看起来具有相同数量的字节和扇区，但是格式化的分区的大小不同......

# fdisk -l /dev/sd{c,d}
Disk /dev/sdc: 7.28 TiB, 8001563222016 bytes, 15628053168 sectors
Disk model: ST8000VN0022-2EL
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 952AC4E6-20B9-408D-83CE-AC4AEFBC1075

Device     Start         End     Sectors  Size Type
/dev/sdc1   2048 15628052479 15628050432  7.3T Linux RAID


Disk /dev/sdd: 7.28 TiB, 8001563222016 bytes, 15628053168 sectors
Disk model: ST8000VN004-2M21
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 4069B8CB-4C43-304B-B872-DDB89C0E0AA1

Device     Start         End     Sectors  Size Type
/dev/sdd1   2048 15628053134 15628051087  7.3T Linux RAID

具体来说...

/dev/sdc1   2048 15628052479 15628050432  7.3T Linux RAID
/dev/sdd1   2048 15628053134 15628051087  7.3T Linux RAID

新分区/dev/sdc1小于现有分区。因此...

# mdadm --manage /dev/md127 --add /dev/sdc1
mdadm: Value "kimura:0" cannot be set as devname. Reason: Not POSIX compatible. Value ignored.
mdadm: /dev/sdc1 not large enough to join array

我发现一个线程建议/dev/sdd使用ST8000VN004512E 来模拟每个逻辑扇区 512 字节，尽管每个物理扇区有 4096 字节。

/dev/sdd1现在，我对于调整现有分区的大小以匹配它持谨慎态度/dev/sdc1，因为这是 RAID1 阵列的一部分，其顶部有三个逻辑卷。

找到了一个相关的线程，但那里的问题不同，因为他们有一个 3TB 的 RAID，他们想要分区一个新的 14TB，所以空间不是问题，这里我的新分区比现有的要小。

如果您能提供任何关于如何进行的想法或建议，我们将不胜感激。

raid
Martin Hope
Scandinave
Asked: 2024-09-28 21:26:04 +0800 CST
  • 8

我有一个 4 驱动器 Raid 5 阵列。其中一个驱动器 (sdb) 显示大量错误，并且我的阵列在访问期间显示高延迟。

我目前有一个新磁盘，另一个磁盘已被命令。

作为替换的一部分，我还想将 raid 级别从 raid 5 提升到 raid 6。我确定要实现这一点：

首先成长到 6 级

mdadm --manage /dev/md0 --add /dev/sdf1 
mdadm --grow /dev/md0 --raid-devices 5 --level 6 --backup-file /<path>/mdadm-backup
mdadm --manage /dev/md0 --replace /dev/sdb1 # Set faulty but keep it for replacement until a spare drive is available
# After my second drive arrived
mdadm --manage /dev/md0 --add /dev/sdg1

首先更换故障驱动器，然后升级到 raid 级别 6

mdadm --manage /dev/md0 --add /dev/sdf1 
mdadm --manage /dev/md0 --replace /dev/sdb1 --with /dev/sdf1
# after second drive is arrived
mdadm --manage /dev/md0 --add /dev/sdg1
mdadm --grow /dev/md0 --raid-devices 5 --level 6 --backup-file /path/mdadm-backup

这两种解决方案之间有区别吗？通过在阵列中对磁盘施加较少的操作，一种解决方案是否比另一种更安全？

[编辑] 添加智能结果：

Sdb（几乎有故障）

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   082   072   006    Pre-fail  Always       -       22562487
  3 Spin_Up_Time            0x0003   093   093   000    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0032   100   100   020    Old_age   Always       -       124
  5 Reallocated_Sector_Ct   0x0033   077   077   010    Pre-fail  Always       -       29352
  7 Seek_Error_Rate         0x000f   087   060   030    Pre-fail  Always       -       4963671931
  9 Power_On_Hours          0x0032   026   026   000    Old_age   Always       -       65627
 10 Spin_Retry_Count        0x0013   100   100   097    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   020    Old_age   Always       -       124
184 End-to-End_Error        0x0032   100   100   099    Old_age   Always       -       0
187 Reported_Uncorrect      0x0032   001   001   000    Old_age   Always       -       4793
188 Command_Timeout         0x0032   100   072   000    Old_age   Always       -       137445703785
189 High_Fly_Writes         0x003a   001   001   000    Old_age   Always       -       107
190 Airflow_Temperature_Cel 0x0022   073   056   045    Old_age   Always       -       27 (Min/Max 25/28)
191 G-Sense_Error_Rate      0x0032   100   100   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       82
193 Load_Cycle_Count        0x0032   100   100   000    Old_age   Always       -       296
194 Temperature_Celsius     0x0022   027   044   000    Old_age   Always       -       27 (0 14 0 0 0)
197 Current_Pending_Sector  0x0012   001   001   000    Old_age   Always       -       35384
198 Offline_Uncorrectable   0x0010   001   001   000    Old_age   Offline      -       35384
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       0

安邦

  1 Raw_Read_Error_Rate     0x000f   118   099   006    Pre-fail  Always       -       194860592
  3 Spin_Up_Time            0x0003   093   093   000    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0032   100   100   020    Old_age   Always       -       124
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       24
  7 Seek_Error_Rate         0x000f   087   060   030    Pre-fail  Always       -       654004767
  9 Power_On_Hours          0x0032   026   026   000    Old_age   Always       -       65631
 10 Spin_Retry_Count        0x0013   100   100   097    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   020    Old_age   Always       -       124
184 End-to-End_Error        0x0032   100   100   099    Old_age   Always       -       0
187 Reported_Uncorrect      0x0032   094   094   000    Old_age   Always       -       6
188 Command_Timeout         0x0032   100   099   000    Old_age   Always       -       2
189 High_Fly_Writes         0x003a   062   062   000    Old_age   Always       -       38
190 Airflow_Temperature_Cel 0x0022   073   059   045    Old_age   Always       -       27 (Min/Max 24/27)
191 G-Sense_Error_Rate      0x0032   100   100   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       82
193 Load_Cycle_Count        0x0032   100   100   000    Old_age   Always       -       295
194 Temperature_Celsius     0x0022   027   041   000    Old_age   Always       -       27 (0 14 0 0 0)
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0010   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       0

安全数据表

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   113   094   006    Pre-fail  Always       -       51447952
  3 Spin_Up_Time            0x0003   093   093   000    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0032   100   100   020    Old_age   Always       -       124
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   087   060   030    Pre-fail  Always       -       665278320
  9 Power_On_Hours          0x0032   026   026   000    Old_age   Always       -       65630
 10 Spin_Retry_Count        0x0013   100   100   097    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   020    Old_age   Always       -       124
184 End-to-End_Error        0x0032   100   100   099    Old_age   Always       -       0
187 Reported_Uncorrect      0x0032   001   001   000    Old_age   Always       -       173
188 Command_Timeout         0x0032   100   099   000    Old_age   Always       -       1
189 High_Fly_Writes         0x003a   001   001   000    Old_age   Always       -       188
190 Airflow_Temperature_Cel 0x0022   073   055   045    Old_age   Always       -       27 (Min/Max 25/27)
191 G-Sense_Error_Rate      0x0032   100   100   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       82
193 Load_Cycle_Count        0x0032   100   100   000    Old_age   Always       -       296
194 Temperature_Celsius     0x0022   027   045   000    Old_age   Always       -       27 (0 14 0 0 0)
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       16
198 Offline_Uncorrectable   0x0010   100   100   000    Old_age   Offline      -       16
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       0
raid
Martin Hope
Mykyta Orlov
Asked: 2024-09-15 05:40:22 +0800 CST
  • 8

问题的开始

我在托管提供商处有一台专用服务器，最近我的节点导出器检测到我的 RAID 1 阵列 /dev/md3 上的磁盘 io 饱和度很高。我已检查硬盘的 smartctl，发现阵列中的两个驱动器都显示大量读取错误：

[root@ovh-ds03 ~]# smartctl /dev/sda -a | grep Err
Error logging capability:        (0x01) Error logging supported.
     SCT Error Recovery Control supported.
  1 Raw_Read_Error_Rate     0x000b   099   099   016    Pre-fail  Always       -       65538
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       0



[root@ovh-ds03 ~]# smartctl /dev/sdb -a | grep Err
Error logging capability:        (0x01) Error logging supported.
     SCT Error Recovery Control supported.
  1 Raw_Read_Error_Rate     0x000b   100   100   016    Pre-fail  Always       -       65536
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       0

我请求支持人员更换 2 个磁盘，但他们并没有更换，而是添加了 2 个磁盘，并在 2 个新磁盘上重建了阵列。一切都很好，但现在阵列处于降级状态，我因此收到警报，名为️NodeRAIDDegraded，在服务器上检查，是的，它处于降级状态：

[root@ovh-ds03 ~]# mdadm --detail /dev/md3
/dev/md3:
           Version : 1.2
     Creation Time : Sat Mar 30 18:18:26 2024
        Raid Level : raid1
        Array Size : 1951283200 (1860.89 GiB 1998.11 GB)
     Used Dev Size : 1951283200 (1860.89 GiB 1998.11 GB)
      Raid Devices : 4
     Total Devices : 2
       Persistence : Superblock is persistent

     Intent Bitmap : Internal

       Update Time : Sat Sep 14 19:30:44 2024
             State : active, degraded
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 0
     Spare Devices : 0

Consistency Policy : bitmap

              Name : md3
              UUID : 939ad077:07c22e9e:ae62fbf9:4df58cf9
            Events : 55337

    Number   Major   Minor   RaidDevice State
       -       0        0        0      removed
       -       0        0        1      removed
       2       8       35        2      active sync   /dev/sdc3
       3       8       51        3      active sync   /dev/sdd3

我该如何修复它？

我曾尝试测试从头开始重建阵列等各种解决方案

mdadm --assemble --scan
raid
Martin Hope
gcb
Asked: 2024-08-10 00:13:41 +0800 CST
  • 8

我把一个旧的 raid 阵列插入到一个新的系统并在尝试用它做任何事情时都会出现这个错误mdadm。

# mdadm --detail --scan 
ARRAY /dev/md/arch1:2021 metadata=1.2 UUID=c4c7cbde:5f6913a9:eb1c82ff:8fe6cd45

# mdadm --detail 
mdadm: Value "arch1:2021" cannot be set as devname. Reason: Not POSIX compatible. Value ignored.
mdadm: No devices given.

一切仍然正常。我可以安装和使用阵列。“不合规”的名称可以正常显示为设备文件

 # ls -la /dev/md/
total 0
drwxr-xr-x  2 root root   60 2024-08-09 03:16 .
drwxr-xr-x 20 root root 4580 2024-08-09 03:16 ..
lrwxrwxrwx  1 root root    8 2024-08-09 03:16 arch1:2021 -> ../md127

我可以使用的设备文件

 # mdadm --detail /dev/md/arch1\:2021 
/dev/md/arch1:2021:
           Version : 1.2
     Creation Time : Wed Jul  7 06:29:08 2021
        Raid Level : raid1

以最安全的方式更新名称的最佳方法是什么？

raid
Martin Hope
sqw
Asked: 2024-07-07 01:05:05 +0800 CST
  • 9

我为我的英语水平道歉。

最近，我的 Synology NAS 中的一个磁盘坏了，我决定将所有磁盘都换成更大容量的磁盘。首先，我按照 Synology 的说明将故障磁盘换成更大容量的磁盘（磁盘 1），一切顺利。

然后，我用一个容量更大的磁盘（磁盘 2）替换了另一个正常工作的磁盘。在 RAID 恢复（同步）过程中，大约 90% 时出现了一些错误，我在 Web 界面中发现我的两个新磁盘（磁盘 1 和磁盘 2）都处于危急状态。我在网上看到我可以替换最后安装的磁盘并继续 RAID 恢复（同步），所以我用一个新的干净磁盘（磁盘 3）替换了磁盘 2。这可能是我的错误。Synology NAS Web 界面没有像以前一样提供恢复我的存储池的功能。新磁盘（磁盘 3）显示为健康，仅此而已。

在论坛上阅读了大量资料后，我决定使用 CLI 尝试 RAID 恢复，结果如下：

磁盘 3 - sata4 磁盘 1 - sata3

我不确定这是否是正确的方法。使用 fdisk，我基于 sata3 在 sata4 上创建了分区。

使用以下命令：

sudo mdadm /dev/md0 --add /dev/sata4p1
sudo mdadm /dev/md1 --add /dev/sata4p2
sudo mdadm /dev/md2 --add /dev/sata4p3

我把相应的分区添加到raid10。

现在：

$ cat /proc/mdstat
Personalities : [raid1] [raid10]
md2 : active raid10 sata4p3[5](S) sata3p3[4](E) sata2p3[3] sata1p3[2]
      7792588416 blocks super 1.2 64K chunks 2 near-copies [4/3] [E_UU]

md3 : active raid1 nvme1n1p1[0] nvme0n1p1[1]
      244193984 blocks super 1.2 [2/2] [UU]

md1 : active raid1 sata4p2[0] sata3p2[1] sata2p2[3] sata1p2[2]
      2097088 blocks [4/4] [UUUU]

md0 : active raid1 sata4p1[1] sata3p1[0] sata2p1[3] sata1p1[2]
      8388544 blocks [4/4] [UUUU]

unused devices: <none>

$  sudo mdadm -D /dev/md0
/dev/md0:
        Version : 0.90
  Creation Time : Tue Dec 13 14:54:17 2022
     Raid Level : raid1
     Array Size : 8388544 (8.00 GiB 8.59 GB)
  Used Dev Size : 8388544 (8.00 GiB 8.59 GB)
   Raid Devices : 4
  Total Devices : 4
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Sat Jul  6 23:37:15 2024
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

           UUID : 66c55d68:831b4099:05d949f7:b0bbaec7
         Events : 0.58225

    Number   Major   Minor   RaidDevice State
       0       8       33        0      active sync   /dev/sata3p1
       1       8       49        1      active sync   /dev/sata4p1
       2       8        1        2      active sync   /dev/sata1p1
       3       8       17        3      active sync   /dev/sata2p1

$  sudo mdadm -D /dev/md1
/dev/md1:
        Version : 0.90
  Creation Time : Tue Dec 13 14:54:20 2022
     Raid Level : raid1
     Array Size : 2097088 (2047.94 MiB 2147.42 MB)
  Used Dev Size : 2097088 (2047.94 MiB 2147.42 MB)
   Raid Devices : 4
  Total Devices : 4
Preferred Minor : 1
    Persistence : Superblock is persistent

    Update Time : Sat Jul  6 21:05:57 2024
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

           UUID : f52a567f:3734ea2b:05d949f7:b0bbaec7
         Events : 0.137

    Number   Major   Minor   RaidDevice State
       0       8       50        0      active sync   /dev/sata4p2
       1       8       34        1      active sync   /dev/sata3p2
       2       8        2        2      active sync   /dev/sata1p2
       3       8       18        3      active sync   /dev/sata2p2
$  sudo mdadm -D /dev/md2
/dev/md2:
        Version : 1.2
  Creation Time : Tue Dec 13 15:16:49 2022
     Raid Level : raid10
     Array Size : 7792588416 (7431.59 GiB 7979.61 GB)
  Used Dev Size : 3896294208 (3715.80 GiB 3989.81 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Sat Jul  6 23:26:24 2024
          State : clean
 Active Devices : 3
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 1

         Layout : near=2
     Chunk Size : 64K

           Name : nas:2  (local to host nas)
           UUID : 2894354f:67be6652:bbba583f:6cbe1629
         Events : 65803

    Number   Major   Minor   RaidDevice State
       4       8       35        0      faulty active sync set-A   /dev/sata3p3
       -       0        0        1      removed
       2       8        3        2      active sync set-A   /dev/sata1p3
       3       8       19        3      active sync set-B   /dev/sata2p3

       5       8       51        -      spare   /dev/sata4p3

sata4 上的分区被全部添加为备用分区。md0 和 md1 自动恢复。md2 没有自动恢复，可能是因为 /dev/sata3p3 的状态故障。

我选择的路正确吗？我下一步该怎么做？

raid
Martin Hope
René Nyffenegger
Asked: 2024-06-05 03:03:48 +0800 CST
  • 6

我有一个 RAID 5 阵列，数据库可以从中读取和写入少量数据。

在正常情况下，包括提交在内的数据库操作会在可接受的时间内运行。但是，当大量数据加载到 RAID 阵列（但未加载到数据库）时，提交（但不是其他操作）会变得慢得令人无法接受。

我当前的假设是提交花费的时间太长，因为需要计算奇偶校验信息和/或将其写入磁盘。

有没有办法可以验证我的假设，即是否有一个工具可以显示计算奇偶校验信息所需的 CPU 数量以及这是否是瓶颈。

此外，我正在考虑将阵列移至 RAID 10 或 RAID 1。但在这样做之前，是否有一种科学的方法可以让我估计是否值得这样做？

我正在运行带有软件 RAID 的 Debian 12（/dev/md/）。

raid
Martin Hope
Izzo
Asked: 2024-05-31 00:33:02 +0800 CST
  • 10

我很好奇分区（和分区表）的概念如何与 RAID 阵列的概念共存。以下是我目前的理解（如有错误请指正）：

物理硬盘驱动器磁盘可以分为多个段。分区表位于磁盘空间的开头，用于描述磁盘空间的分区方式。有多种分区表类型（MBR、GPT...）

RAID 阵列是由多个硬盘驱动器磁盘（即阵列）组成的单个“物理卷”。对于操作系统来说，这显示为单个物理设备。此外，该RAID阵列可以作为一个整体进行分区。

所以我的问题 - 如果您将物理磁盘添加到 RAID 控制器，该 RAID 控制器会自动劫持每个物理磁盘并清除/重写单个磁盘分区表，以便它控制整个设备吗？或者 RAID 控制器是否意识到单个驱动器可能会被分区？

raid
Martin Hope
Robolts
Asked: 2024-04-08 00:32:04 +0800 CST
  • 5

我将在 Dell T420 服务器 (PERC H310) 上将具有 2 个 HDD 的 RAID 1 升级为具有 2 个 SSD 的 RAID 1。

但首先我想在带有 SSD 的新 RAID 1 上安装新操作系统进行一些测试。

我是否可以取下 HDD 而不删除其中的虚拟磁盘，用新的 SSD 创建一个新的虚拟磁盘，进行测试，取下 SSD，然后放回 HDD，而不丢失任何功能，就好像什么也没发生一样？

还有一个问题，是先把硬盘取下来，然后在服务器上创建一个新的带有SSD的虚拟磁盘，还是先把SSD放在服务器上，创建一个虚拟磁盘，然后把硬盘从服务器上取下来，哪个更好？

谢谢

raid
Martin Hope
Halacs
Asked: 2024-02-04 17:56:28 +0800 CST
  • 5

除了价格之外，使用硬件 RAID 控制器创建 RAID 1（镜像）阵列还有什么缺点吗？

我的意思是，例如，是否可以使用底板 RAID 功能创建 RAID 1 阵列（因为成本），然后切换到更好的 PCI 扩展 RAID 控制器？或者如果 PCI 卡出现故障怎么办？我可以用当前市场上的产品（也许是其他供应商的产品）替换它吗？我不确定这些控制器是否在磁盘本身上写入任何元数据（例如在 SW RAID 的情况下）或将该信息保留在自己的内部存储中。

raid
Martin Hope
Nicolas Straub
Asked: 2023-12-25 21:00:21 +0800 CST
  • 5

我有大约 20TB MD 阵列，分布在 5 个 6TB 硬盘上。昨天，其中一个驱动器出现故障，系统停止启动。我不太擅长 Linux，所以过去每当发生这种情况时，我都会简单地重新安装 Debian，并运行使mdadm阵列再次运行所需的任何必要命令（在从本地商店购买备用硬盘之后） ）。具体来说，我从系统中删除旧驱动器，运行mdadm --assemble然后将新驱动器添加到阵列中，以便在第二天左右对其进行配置。

这一次，当我运行时mdadm --assemble /dev/md0 /dev/sd{a,c,d,f}1 --force，它未能抱怨No super block found on /dev/sdc1 (expected magic a92b4efc, got 00000000)。

在某些情况下，这 4 个驱动器 (sd{a,c,d,f}) 是过去 3 个月内购买的新硬盘。第五个驱动器（我将其卸下并更换为新驱动器之一）已经使用了五年。

虽然 sdc 可能是故障驱动器（我即将测试），但更有可能是旧驱动器。我的备份也有点旧了，大约两个月前了。老实说，我什至不知道从哪里开始。我已经做了一些谷歌搜索，但这对这个凡人来说似乎非常神秘，我非常害怕一个错误的步骤可能会导致我丢失所有数据（如果我还没有）。

我可以提供我现在正在做的事情的日志。我当前的系统是在 Hyper-V 主机上运行的 Debian 12。将不胜感激任何帮助。

raid