Ferramenta de backup CLI

Sim, desduplicar ferramentas de backup como restice borgbackupfaria isso.

Eles detectariam que um determinado bloco de dados (não necessariamente um arquivo inteiro) já estava presente no backup mais antigo e não o armazenaria novamente. Ele também detectaria o mesmo pedaço em outros arquivos, então suas quinze cópias de um mesmo arquivo MP3 seriam armazenadas apenas uma vez.

Eu o uso em uma máquina onde tenho dois conjuntos de arquivos JPEG, um no arquivo do álbum "Fotos" do macOS e, em seguida, as mesmas fotos que os originais na hierarquia de diretórios estruturada com base em datas. Isso é 2 * 60 Gb de dados, mas resticarmazena apenas 60 Gb, pois está desduplicando.

Outro exemplo é outra máquina (OpenBSD desta vez), onde tenho dois ou três checkouts diferentes do mesmo repositório Git (não pergunte por quê). Estes também são desduplicados na medida do possível e usarão apenas aproximadamente o tamanho dos arquivos que são realmente diferentes (o .gitdiretório de 270 Mb é praticamente o mesmo e será armazenado apenas uma vez no backup).

Mover um diretório da mesma forma resultaria apenas em alguns kilobytes ou mais de dados sendo gravados no backup (dependendo do tamanho da estrutura do diretório). Como teste, renomeei um desses repositórios Git de 270 Mb e executei um backup. Isso gravou pouco mais de 500 Kb no backup (esses dados seriam informações sobre os locais dos arquivos e seus metadados, como propriedade e carimbos de data/hora etc.)

Uma ferramenta de backup de desduplicação também permitiria fazer backup de dados de várias máquinas para o mesmo local e fazer com que esses dados fossem desduplicados nas máquinas, de modo que, por exemplo, sua pasta do Dropbox em três máquinas não seja armazenada três vezes (isso é em menos possível com restic).

A desvantagem de usar uma ferramenta de backup de desduplicação é que você não pode navegar pelos backups como arquivos ( borgbackuppode permitir a montagem de um instantâneo como um diretório de alguma forma, mas eu realmente não o investiguei porque ele usa o Fuse, que não é suportado pelo OpenBSD). Seria necessário usar a ferramenta de backup para restaurar um instantâneo ou os arquivos desejados de um instantâneo.

Estou usando resticporque isso me permite fazer backup por SFTP para um servidor onde o resticpróprio não está instalado.

borgbackuppermite a compactação dos blocos de dados, mas acho que exige que borgbackupseja instalado na máquina onde os backups residem. borgbackuptambém é (IMHO) um pouco mais difícil de configurar.