Perguntas[raid](computer)

Decidi aumentar meu array raid6:

- from: 7x 2TB drives (giving usable space of ~9TB in ext4/raid6)
- to:   7x 4TB drives (giving usable space of ~18TB in ext4/raid6)

Substituí todas as sete unidades e todas elas contêm a seguinte estrutura e foram adicionadas de forma limpa à matriz.

sda                                3.6T
└─sda1         linux_raid_member   3.6T
  └─md0        LVM2_member        18.2T
    └─shared-c ext4                9.1T /shared
sdb                                3.6T
└─sdb1         linux_raid_member   3.6T
  └─md0        LVM2_member        18.2T
    └─shared-c ext4                9.1T /shared
sdc                                3.6T
└─sdc1         linux_raid_member   3.6T
  └─md0        LVM2_member        18.2T
    └─shared-c ext4                9.1T /shared

.. continues thru to sdg in same way ... 

Em seguida, executei o comando grow no array, que o expandiu para o tamanho esperado:

// command I ran:
mdadm --grow /dev/md0 --size=max

// output from mdadm --detail /dev/md0 after grow command

/dev/md0:
           Version : 1.2
     Creation Time : Sun May 15 08:22:07 2016
        Raid Level : raid6
        Array Size : 19535080000 (18.19 TiB 20.00 TB)
     Used Dev Size : 3907016000 (3.64 TiB 4.00 TB)
      Raid Devices : 7
     Total Devices : 7
       Persistence : Superblock is persistent

       Update Time : Tue Jun 11 01:26:08 2024
             State : clean
    Active Devices : 7
   Working Devices : 7
    Failed Devices : 0
     Spare Devices : 0

Em seguida, tentei redimensionar o sistema de arquivos usando resize2fs usando o seguinte comando:

resize2fs /dev/mapper/shared-c

Mas disse que não havia nada a fazer - meu palpite é que não está reconhecendo o espaço adicional na matriz. Desde então, fiz algumas pesquisas que sugerem que eu deveria fazer algo com o volume físico e os volumes lógicos, mas nenhum espaço livre está sendo mostrado lá também...

// output of pvdisplay

  --- Physical volume ---
  PV Name               /dev/md0
  VG Name               shared
  PV Size               9.07 TiB / not usable <5.38 MiB
  Allocatable           yes
  PE Size               64.00 MiB
  Total PE              148681
  Free PE               160
  Allocated PE          148521
  PV UUID               7wxoRZ-LhVL-3WV5-pRcs-LT9q-r0Em-KHClad

// output of lvdisplay

  --- Logical volume ---
  LV Path                /dev/shared/c
  LV Name                c
  VG Name                shared
  LV UUID                IR9ohg-TWPk-loPX-OcVg-vajS-hSb9-eubJMa
  LV Write Access        read/write
  LV Creation host, time ,
  LV Status              available
  # open                 1
  LV Size                <9.07 TiB
  Current LE             148521
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     1280
  Block device           253:0

Não tenho certeza de qual é o próximo passo neste processo agora - parte de mim pensa que deveria estar fazendo um pvresize, mas o resultado disso mostra apenas 5,38 MB de espaço não utilizado, enquanto eu presumiria que o número deveria estar no TB território para o pvresize funcionar.

A matriz está funcionando no momento e todos os arquivos da matriz estão intactos e corretos - o ideal é mantê-lo assim.

Substituí um disco rígido com falha (aumentando a contagem de erros no SMART, erros de leitura/gravação/soma de verificação no zpool status) em um pool raidz1 do ZFS por um novo executando zfs offlinee zfs replace. A resilvering começou em breve, mas continua apresentando erros de gravação (veja abaixo). Quando esses processos de resilvering eventualmente terminassem, o pool permaneceria no estado DEGRADADO. Se eu zpool clearocorresse os erros ou reiniciasse, outro processo de resilvering seria iniciado automaticamente, mas fornecendo um número potencialmente diferente de erros de gravação.

SMART não mostra nenhum erro para esta nova unidade. Também tentei uma nova unidade diferente (comprei duas substitutas) e troquei os cabos SATA. É sempre esse vdev sendo substituído (por qualquer unidade), causando erros de gravação durante o resilvering. Isso me fez suspeitar que o pool do ZFS está de alguma forma comprometido, mas continua funcionando e funciona zfs sendtodas as noites.

Qual é a maneira correta de solucionar esse problema (por exemplo, como zfs scrubum pool DEGRADADO com apenas três das quatro unidades, já que zfs replacenão é possível concluir sem erros)? Eu tenho backups feitos zfs send/receiveque esperamos serem boas cópias (a soma de verificação do ZFS recebeu fluxos?).

  pool: space
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Fri Nov  3 09:56:59 2023
        2.92T scanned at 594M/s, 2.63T issued at 536M/s, 5.90T total
        669G resilvered, 44.59% done, 01:46:40 to go
config:

        NAME                                     STATE     READ WRITE CKSUM
        space                                    DEGRADED     0     0     0
          raidz1-0                               DEGRADED     0     0     0
            ata-ST3000DM001-1CH166_ZZZZ1111      ONLINE       0     0     0  block size: 512B configured, 4096B native
            ata-ST3000DM001-1CH166_ZZZZ2222      ONLINE       0     0     0  block size: 512B configured, 4096B native
            replacing-2                          UNAVAIL      0     0     0  insufficient replicas
              13284017409215481231               OFFLINE      0     0     0  was /dev/disk/by-id/ata-ST3000DM001-1CH166_Z1F12QMZ-part1
              ata-ST18000NM003D-3DL103_YYYY1111  FAULTED      0 4.38K     0  too many errors  (resilvering)
            ata-ST3000DM001-1CH166_ZZZZ4444      ONLINE       0     0     0  block size: 512B configured, 4096B native

EDIT : Estou vendo esses erros em dmesg:

[19561.708059] sd 2:0:1:0: [sdb] tag#226 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_OK cmd_age=31s
[19561.708063] sd 2:0:1:0: [sdb] tag#226 Sense Key : Illegal Request [current]
[19561.708067] sd 2:0:1:0: [sdb] tag#226 Add. Sense: Unaligned write command
[19561.708070] sd 2:0:1:0: [sdb] tag#226 CDB: Write(16) 8a 00 00 00 00 00 68 f4 ff 40 00 00 00 53 00 00
[19561.708073] blk_update_request: I/O error, dev sdb, sector 1760886592 op 0x1:(WRITE) flags 0x700 phys_seg 83 prio class 0

Eu estava prestes a recuperar o segundo de cinco discos RAID com falha com o ddrescue, e uma reviravolta repentina e peculiar ocorreu em minha mente e digitei

sudo ddrescue --verbose --idirect --no-scrape -f /dev/sda /dev/sdc disk1.logfile

enquanto deveria haver /dev/sdc /dev/sda. Isso durou cerca de 28 segundos:

GNU ddrescue 1.23
About to copy 6001 GBytes from '/dev/sda' to '/dev/sdc'
    Starting positions: infile = 0 B, outfile = 0 B
    Copy block size: 128 sectors Initial skip size: 117248 sectors
Sector size: 512 Bytes

Press Ctrl-C to interrupt
     ipos: 5961 MB, non-trimmed: 0 B, current rate: 59375 kB/s
     opos: 5961 MB, non-scraped: 0 B, average rate: 205 MB/s
non-tried: 5995 GB, bad-sector: 0 B, error rate: 0 B/s
  rescued: 5961 MB, bad areas: 0, run time: 28s
pct rescued: 0.09%, read errors: 0, remaining time: 8h 6m
                              time since last successful read: n/a
Copying non-tried blocks... Pass 1 (forwards)^C
  Interrupted by user

Existe alguma maneira de desfazer a ação. O arquivo de mapa criado ajudaria?

Estou usando um controlador RAID PERC H730 Mini:

# lspci -d::0104 -k
02:00.0 RAID bus controller: Broadcom / LSI MegaRAID SAS-3 3108 [Invader] (rev 02)
        Subsystem: Dell PERC H730 Mini
        Kernel driver in use: megaraid_sas
        Kernel modules: megaraid_sas

e aqui estão os discos conectados ao servidor:

# lsscsi -s
[0:2:0:0]    disk    DELL     PERC H730 Mini   4.28  /dev/sda    499GB
[0:2:1:0]    disk    DELL     PERC H730 Mini   4.28  /dev/sdb   8.00TB
[0:2:2:0]    disk    DELL     PERC H730 Mini   4.28  /dev/sdc   8.00TB
[0:2:3:0]    disk    DELL     PERC H730 Mini   4.28  /dev/sdd   8.00TB
[0:2:4:0]    disk    DELL     PERC H730 Mini   4.28  /dev/sde   8.00TB
[0:2:5:0]    disk    DELL     PERC H730 Mini   4.28  /dev/sdf   8.00TB
[0:2:6:0]    disk    DELL     PERC H730 Mini   4.28  /dev/sdg   8.00TB
[0:2:7:0]    disk    DELL     PERC H730 Mini   4.28  /dev/sdh   8.00TB
[0:2:8:0]    disk    DELL     PERC H730 Mini   4.28  /dev/sdi   8.00TB
[0:2:9:0]    disk    DELL     PERC H730 Mini   4.28  /dev/sdj   8.00TB
[0:2:10:0]   disk    DELL     PERC H730 Mini   4.28  /dev/sdk   8.00TB
[0:2:11:0]   disk    DELL     PERC H730 Mini   4.28  /dev/sdl   8.00TB
[0:2:12:0]   disk    DELL     PERC H730 Mini   4.28  /dev/sdp   8.00TB
[0:2:13:0]   disk    DELL     PERC H730 Mini   4.28  /dev/sdm   8.00TB
[0:2:14:0]   disk    DELL     PERC H730 Mini   4.28  /dev/sdn   8.00TB
[0:2:15:0]   disk    DELL     PERC H730 Mini   4.28  /dev/sdq   8.00TB
[0:2:16:0]   disk    DELL     PERC H730 Mini   4.28  /dev/sdo    399GB

Em smartctl, pensei que o nome do dispositivo eradenoting which disk on the controller is monitored.

Mas, ao usar um controlador RAID, smartctltambém é necessário The non-negative integer N (in the range of 0 to 127 inclusive) denotes which disk on the controller is monitored.e fornece um resultado completamente diferente quando o Nvalor é diferente:

# smartctl -i /dev/sdq -d megaraid,0 -j | jq -r .model_name,.user_capacity.bytes
INTEL SSDSC2BX400G4R
400088457216
# smartctl -i /dev/sdq -d megaraid,1 -j | jq -r .model_name,.user_capacity.bytes
SEAGATE ST8000NM0075
8001563222016

Parece que usar N=0retorna o disco errado porque a capacidade não corresponde à da lsscsi -ssaída.

Como escolher o Nvalor certo com smartctl?

Eu sei que é necessário usar SSD corporativo para armazenamento de servidor Raid, mas a empresa para a qual trabalho não pode pagar por esse tipo de SSD (mesmo o HDD SAS recomendado é muito caro). Isso limita minhas opções para usar um HDD de desktop ou, como a situação que estou propondo, um SSD de desktop.

Uma coisa que me preocupa é que li sobre a diminuição da vida útil em unidades SSD usando RAID 5, mas gostaria de saber se a vida útil do SSD seria realmente reduzida se o tráfego do servidor fosse de cerca de 1 GB gravado por dia, no máximo.

Por quanto tempo esse servidor poderia funcionar se usarmos um 8 WD Green 2TB (WDS200T2G0A) antes que um disco falhe?

Leve em consideração que não estou pedindo compatibilidade porque a empresa tem outro servidor que usa drives SATA em vez dos SAS recomendados, e está funcionando há mais de 8 anos (embora sem a velocidade desejada, mas ainda funcionando) .

Editar: esqueci de mencionar que esses SSD são para um servidor Dell Poweredge 2900 e suportam apenas 2 TB SAS/SATA Max por cada unidade (8 bay RAID). Ele tem slots PCIE (não sei qual geração), mas acho muito difícil conscientizar o departamento de compras sobre como obter unidades SSD M2 e o adaptador nedded.

Obrigado por seus comentários, estou analisando todas as respostas.

Gostaria de ajuda com a configuração do meu NAS pessoal.

Em vez de instalar o NAS OS em um disco separado, como a maioria da documentação do NAS OS sugere, estou procurando instalá-lo na matriz de disco de dados, da maneira que a Synology faz isso para seus sistemas NAS.

Acho que isso faz mais sentido, porque você estaria utilizando a matriz de disco de dados para redundância, em oposição a um disco separado e solitário que não possui nenhum. Por favor corrija-me se eu estiver errado.

No entanto, não tenho certeza de como fazer isso. Eu pensei em fazer um grupo de volumes para a matriz de disco de dados e, em seguida, criar volumes lógicos para o bootloader, swap, o sistema de arquivos raiz e os dados NAS, mas não tenho certeza de como implementar isso ou se é a melhor maneira .

Por favor informar. Desde já, obrigado.

Eu tenho uma casa raid1 com 2 discos e um deles simplesmente falhou (relâmpago na casa). Eu realmente não estou familiarizado com o mdadm, então estou perguntando antes de fazer qualquer coisa estúpida. Posso fazer hot plug de um novo HD no sdd (é seguro, faço meus backups dessa maneira), mas quais são os comandos para adicionar o novo disco ao raid e reconstruí-lo?

Já fiz o seguinte para remover o disco morto e continuar usando a leitura em somente leitura e funciona:

# mdadm --manage /dev/md0 --fail /dev/sda1
# mdadm --manage /dev/md0 --remove /dev/sda1
# mdadm --assemble --readonly /dev/md0 /dev/sdb1

My mdadm.conf:
ARRAY /dev/md0 metadata=1.2 name=penguin:0 UUID=89ec9aaf:745ed728:87e2211a:22ea2fae

My fstab:
/dev/md0 /raid ext4 noatime,relatime 0 0

Título original: Mapeamento de disco LVM indesejado e surpresa causando problemas com o ataque do linux

Eu fiz um ataque linux no Ubuntu por quase uma década, mas nunca mexi com o LVM, embora eu esteja vagamente ciente de que existe.

Eu adicionei um segundo array no meu servidor recentemente, o deixei totalmente funcional, copiei alguns arquivos para ele (é apenas um sistema de backup, nenhum arquivo crítico em risco aqui).

Uma semana se passou e, quando olhei para o array de backup, vi que ele é somente leitura. Além disso, os dispositivos mostrados em /proc/mdstat para o array, em vez de serem /dev/sdX como eram quando estava funcionando e eu estava usando antes, parecem /dev/dm-X.

$ cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10] 
md1 : active (read-only) raid5 dm-0[0] dm-2[3] dm-1[1]
      31249539072 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
      bitmap: 0/117 pages [0KB], 65536KB chunk

md0 : active raid6 sdj1[6] sdm1[5] sde1[4] sdd1[3] sdc1[2] sdb1[1] sda1[0]
      29296547840 blocks super 1.2 level 6, 512k chunk, algorithm 2 [7/7] [UUUUUUU]
      bitmap: 0/44 pages [0KB], 65536KB chunk

unused devices: <none>

Pesquisando no Google, descobri que os dispositivos dm-X são mapeamento de disco LVM. dmsetup mostra que são os discos que eu espero

# dmsetup ls
osprober-linux-sdh1 (253:1)
osprober-linux-sdi1 (253:2)
osprober-linux-sdg1 (253:0)
# lvdisplay -a
# lvs
# pvs
#

Meu entendimento era que o LVM era algo que você tinha que planejar muito explicitamente para usar e configurar? Tanto quanto sei, acima, é o primeiro comando relacionado ao LVM que eu já executei na minha vida, então não sei como isso foi ativado e especificamente apenas para 3 dispositivos no meu novo array md (mas nenhum outro dispositivo liga ou desliga minha outra matriz).

Para configurar as coisas, particionei manualmente os dispositivos com parted, criei manualmente um array raid com mdadm, formatei o array para ext4, copiei arquivos para ele e deixei-o lá. Nada disso envolvia LVM e os dispositivos montados com mdadm eram as partições de disco padrão (/dev/sdX1) que eu tinha acabado de criar. As únicas operações em que posso pensar em agir em qualquer dispositivo relacionado na semana foram executadas mdadm --assemble --scanpara encontrar os volumes md e seus dispositivos dinamicamente e mount -aremontar as entradas fstab.

Talvez eu tenha feito outra coisa que esqueci, embora não possa ter sido alguma configuração específica do LVM, porque não tenho idéia de como fazer isso. Eu fiz algumas experiências com o prometheus e o node-exporter, gostaria de saber se isso pode ser um efeito colateral disso?

O problema que está causando é que o LVM está bloqueando os "arquivos" /dev/sdX reais, então agora não posso usá-los para montar manualmente o array

# mdadm --assemble /dev/md1 /dev/sdg1 /dev/sdh1 /dev/sdi1
mdadm: /dev/sdg1 is busy - skipping
mdadm: /dev/sdh1 is busy - skipping
mdadm: /dev/sdi1 is busy - skipping

Eu só posso montá-los manualmente nos dispositivos dm-X

# mdadm --assemble /dev/md1 /dev/dm-0 /dev/dm-1 /dev/dm-2
mdadm: /dev/md1 has been started with 3 drives.

ou montar automaticamente

# mdadm --assemble --scan
mdadm: /dev/md/1 has been started with 3 drives.
# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10] 
md1 : active (read-only) raid5 dm-0[0] dm-2[3] dm-1[1]
      31249539072 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
      bitmap: 0/117 pages [0KB], 65536KB chunk

Por qualquer motivo, os dispositivos dm-X são (efetivamente ou formalmente) somente leitura e, portanto, a matriz montada a partir deles também é somente leitura.

Não entendendo realmente o que estou vendo ou como ficou assim, não tenho certeza de como formular a pergunta final aqui, mas quero montar meu array no modo de leitura/gravação e fazê-lo como sempre fiz , sem qualquer envolvimento do LVM. Como eu posso fazer isso?

Eu tenho RAID10 há 2,5 anos. Estava funcionando da última vez que verifiquei (meses atrás). Hoje descobri que o ataque está em estado crítico e uma unidade (0 0) mostra "Failed Offline", mas na lista de discos mostra em um número diferente (1 1) e tem 0 usos.

Não tenho certeza se isso é uma deficiência da interface RAIDXpert e o disco realmente falhou ou o RAID excluiu uma unidade saudável do RAID e, portanto, mostra como com falha.

Em qualquer caso - quais são minhas opções? Eu preciso de uma solução infalível, pois o RAID é grande demais para fazer backup. E eu sei por experiência que uma pequena mudança aparentemente inocente pode destruir todos os seus dados.

Se não, como as pessoas executam o synology no RAID 1 e ele mostra apenas 1 unidade maior. Eu sou um pouco novo nisso.