O ceph tem alta disponibilidade, eu configuro 2 node assim
cluster:
id: 07df97db-f315-4c78-9d2a-ab85007a1856
health: HEALTH_WARN
Reduced data availability: 32 pgs inactive
Degraded data redundancy: 374/590 objects degraded (63.390%), 18 pgs degraded, 32 pgs undersized
services:
mon: 2 daemons, quorum ceph1,ceph2
mgr: ceph1(active), standbys: ceph2
mds: mycephfs-1/1/1 up {0=ceph1=up:active}, 1 up:standby
osd: 2 osds: 1 up, 1 in
data:
pools: 6 pools, 96 pgs
objects: 216 objects, 12 MiB
usage: 75 MiB used, 945 MiB / 1020 MiB avail
pgs: 33.333% pgs not active
374/590 objects degraded (63.390%)
64 active+clean
18 undersized+degraded+peered
14 undersized+peered
Como você pode ver, configurei 2 meses de chamada ceph1 e ceph2, mas quando paro o ceph1, o ceph2 não consegue gravar o arquivo no armazenamento montado no cephfs na VM
Então, como tornar o ceph de alta disponibilidade? Será que requer mais nó ou algo assim?
Você precisa de pelo menos 3 MON para obter HA devido ao quorum. Com apenas 2 nós, seu armazenamento será interrompido por um problema em um nó.
"Quando um Ceph Storage Cluster executa vários Ceph Monitors para alta disponibilidade, os Ceph Monitors usam o Paxos para estabelecer um consenso sobre o mapa do cluster mestre. Um consenso requer a maioria dos monitores em execução para estabelecer um quorum de consenso sobre o mapa do cluster (por exemplo, 1; 2 de 3; 3 de 5; 4 de 6; etc.)." link
Se você precisar de armazenamento HA com 2 nós, dê uma olhada nas soluções que foram projetadas para isso. Posso recomendar o StarWind VSAN gratuito com replicação ativa-ativa e sem requisito de quorum.