Nosso objetivo é usar um armazenamento enorme de 200 TB para a máquina Kafka
Para atingir esse objetivo, criamos volume usando LVM em 4 discos físicos em RAID10, quando cada tamanho de disco é 50T,
Nota - cada disco como sdb/sdc/sdd/sde é, na verdade RAID10
, quando cada RAID10 contém 12 discos
Em nosso servidor kafka temos 4 discos (exemplo de lsblk
)
sdb 8:16 0 50T 0 disk
sdc 8:32 0 50T 0 disk
sdd 8:48 0 50T 0 disk
sde 8:64 0 50T 0 disk
Então escrevemos o seguinte procedimento:
Combinamos os discos /dev/sdb
e /dev/sdc
. e /dev/sdd
e /dev/sde
, adicionando-os ao mesmo grupo de volumes.-DB_vg
vgcreate DB_vg /dev/sdb /dev/sdc /dev/sdd /dev/sde
criamos volumes lógicos (estamos usando aqui o tamanho 200T)
lvcreate -L200T -n DB_lv DB_vg
Criamos o sistema de arquivos XFS
mkfs.ext4 -j -m 0 /dev/DB_vg/DB_lv -F
Criamos uma pasta para montar o LV nesta pasta
mkdir /var/lib/kafka_broker
mount /dev/DB_vg/DB_lv /var/lib/kafka_broker
from df -h
, deve ficar assim (exemplo)
/dev/mapper/DB_vg-DB_lv 200T 61M 200T 1% /var/lib/kafka_broker
delsblk
sdb
└─DB_vg-DB_lv 253:4
sdc
└─DB_vg-DB_lv 253:4
sdd
└─DB_vg-DB_lv 253:4
sde
└─DB_vg-DB_lv 253:4
deblkid
blkid | grep LVM2_member
/dev/sda2: UUID="Y5MbyB-C5NN-hcPA-wd9R-jmdI-02ML-W9qIiu" TYPE="LVM2_member" <-- sda2 is the OS
/dev/sdc: UUID="mtg8CY-b3j9-K1qZ-CRTV-SZum-gDx3-lbm4ZX" TYPE="LVM2_member"
/dev/sdb: UUID="MvfzqO-PV8N-dror-psl4-PfUf-7coa-6cb8lQ" TYPE="LVM2_member"
/dev/sdd: UUID="C4n63l-Uk3E-D65G-WcgI-xic2-cJLi-eSTUAa" TYPE="LVM2_member"
/dev/sde: UUID="d743Xp-eDxr-Dygk-HGgy-Dh9c-K3cx-kHtyqo" TYPE="LVM2_member"
Então agora podemos usar o LV /dev/mapper/DB_vg-DB_lv
que é montado /var/lib/kafka_broker folder
e podemos usar a pasta /var/lib/kafka_broker
como armazenamento com 200T para máquina corretora kafka
Minhas perguntas são:
é seguro? usar um armazenamento enorme criado pelo LVM usando 4 discos enormes?
podemos criar um sistema de arquivos XFS quando o armazenamento tem cerca de 200T?
estou certo sobre meu procedimento ou talvez esteja faltando alguma coisa?
Como acontece com qualquer armazenamento, é tão seguro quanto seus backups.
O XFS é compatível com até 500 TB , então está tudo bem.
Pelo que eu sei, não falta nada (
vgcreate
evgextend
pode inicializar PVs, então você não precisa executarpvcreate
).