Eu faço backup de vários discos virtuais (total = cerca de 4 Tb), com várias semanas de tempo de retenção.
Eu uso discos de 4 x 4 TB no computador dedicado ao backup primário. O sistema de arquivos é ZFS RAIDZ2, portanto, 8 Tb utilizáveis.
Um backup secundário de 4 discos de 2 Tb (4 Tb utilizáveis) está em um prédio separado, armazenando o backup do último domingo.
Eu gerencio a retenção fazendo instantâneos: após cada backup, um instantâneo é criado no sistema de arquivos de backup primário. E os instantâneos com mais de 90 dias são excluídos. A quantidade de dados modificados é inferior a 4 Tb por 90 dias, então está tudo bem (na verdade, tenho 30 últimos dias + 9 semanas anteriores + 10 meses anteriores, mas esse não é o ponto).
No backup secundário, tenho apenas um backup. Eu pretendo implementar a retenção também.
Primeiro pensei em atualizar para discos de 4 x 4 Tb (por falta de espaço, não posso atualizar para 6 x 2 Tb) e fazer instantâneos como no backup primário.
Em vez de atualizar o hardware, e se eu usar compactação ZFS + instantâneos no backup secundário?
A compactação levará a, digamos, 600 Gb livres. Em seguida, os instantâneos darão retenção de vários dias.
Os discos virtuais salvos são atualizados com rsync, portanto, apenas pequenas partes são modificadas. Portanto, acho que apenas pequenas partes são "transmitidas" para instantâneos. Mas não encontro nenhuma fonte confirmando que isso funcionará como penso.
Pergunta: usando o ZFS no Linux com compactação, arquivos muito grandes com modificações dispersas serão capturados com eficiência?
Você deve estar usando a compactação ZFS (com
compression=lz4) por padrão atualmente. Não há um bom motivo para não usá-lo, exceto se você souber que seus dados não podem ser compactados.Os instantâneos em sistemas de arquivos ZFS compactados ainda são eficientes e funcionam com replicação e/ou rsync.
Também usamos o ZFS com compactação e instantâneos para backup de arquivos grandes, há vários anos.
O tamanho dos instantâneos é consistente com os dados atualizados pelo rsync. Portanto, não sei como a compactação funciona no ZFS, mas não degrada significativamente a eficiência dos instantâneos.