Diferença de dois grandes arquivos binários brutos semelhantes

Para o segundo aplicativo/problema, eu usaria um programa de backup de desduplicação como resticou borgbackup, em vez de tentar acompanhar manualmente "patches" ou diferenças. O resticprograma de backup permite fazer backup de diretórios de várias máquinas para o mesmo repositório de backup, desduplicando os dados de backup tanto entre fragmentos de arquivos de uma máquina individual quanto entre máquinas. (Eu não tenho experiência de usuário com borgbackup, então não posso dizer nada sobre esse programa.)

Calcular e armazenar um diff dos arquivos abce podem ser feitos com .abc2rsync

Este é um exemplo com abce abc2sendo 153 MB. O arquivo abc2foi modificado substituindo os primeiros 2,3 MB do arquivo por alguns outros dados:

$ ls -lh
total 626208
-rw-r--r--  1 kk  wheel   153M Feb  3 16:55 abc
-rw-r--r--  1 kk  wheel   153M Feb  3 17:02 abc2

Criamos um patch para transformar abcem abc2e o chamamos de abc-diff:

$ rsync --only-write-batch=abc-diff abc2 abc

$ ls -lh
total 631026
-rw-r--r--  1 kk  wheel   153M Feb  3 16:55 abc
-rw-------  1 kk  wheel   2.3M Feb  3 17:03 abc-diff
-rwx------  1 kk  wheel    38B Feb  3 17:03 abc-diff.sh
-rw-r--r--  1 kk  wheel   153M Feb  3 17:02 abc2

O arquivo gerado abc-diffé o diff real (seu "arquivo de patch"), enquanto abc-diff.shé um script de shell curto que rsynccria para você:

$ cat abc-diff.sh
rsync --read-batch=abc-diff ${1:-abc}

Este script modifica abcpara que fique idêntico a abc2, dado o arquivo abc-diff:

$ md5sum abc abc2
be00efe0a7a7d3b793e70e466cbc53c6  abc
3decbde2d3a87f3d954ccee9d60f249b  abc2
$ sh abc-diff.sh
$ md5sum abc abc2
3decbde2d3a87f3d954ccee9d60f249b  abc
3decbde2d3a87f3d954ccee9d60f249b  abc2

O arquivo abc-diffagora pode ser transferido para qualquer outro lugar que você tenha abc. Com o comando rsync --read-batch=abc-diff abc, você aplicaria o patch ao arquivo abc, transformando seu conteúdo para ser o mesmo do abc2arquivo no sistema onde você criou o diff.

Reaplicar o patch uma segunda vez parece seguro. Não há mensagens de erro nem o conteúdo do arquivo muda (a soma de verificação MD5 não muda).

Observe que, a menos que você crie um "patch reverso" explícito, não há como desfazer facilmente a aplicação do patch.

Também testei escrever a modificação de 2,3 MB em algum outro local nos abc2dados, um pouco mais adiante (em cerca de 50 MB), bem como no início. O "patch" gerado tinha 4,6 MB de tamanho, sugerindo que apenas os bits modificados eram armazenados no patch.

Como calcular um diff binário de abc e abc2?

Usando bsdiff/bpatch ou xdelta e outros.

$ bsdiff older newer patch.bin     # patch.bin is created
[...]
$ bspatch older newer patch.bin    # newer is created

No entanto, estas advertências das páginas man devem ser observadas:

• bsdiffusa memória igual a 17 vezes o tamanho de oldfile e requer um tamanho mínimo absoluto de conjunto de trabalho de 8 vezes o tamanho de oldfile .
• bspatchusa memória igual ao tamanho de oldfile mais o tamanho de newfile , mas pode tolerar um conjunto de trabalho muito pequeno sem uma perda dramática de desempenho.

Você já tentou apenas forçar diffa tratar os arquivos como texto:

diff -ua abc abc2

Conforme explicado aqui .

• -usaída NUM (padrão 3) linhas de contexto unificado
• -atratar todos os arquivos como texto

Isso deve te dar um patch. A desvantagem disso é que as 'linhas' podem ser bastante longas e isso pode inchar o patch.

Use xdelta , ele foi criado exatamente para esse tipo de uso. Baseado em VCDIFF (RFC 3284) nas versões mais recentes.

Complementos para outras respostas de acordo com meus testes:

Comdiff

Eu criei dois arquivos muito semelhantes de 256 MB abce abc2. Então vamos criar o arquivo diff:

diff -ua abc abc2 > abc-abc2.diff

Agora vamos tentar recuperar abc2graças ao abcarquivo original e abc-abc2.diff:

cp abc abc3
patch abc3 < abc-abc2.diff

ou

cp abc abc3
patch abc3 -i abc-abc2.diff

ou

patch abc -i abc-abc2.diff -o abc3

Funciona em Linux. Eu também tentei no Windows (patch.exe e diff.exe também estão disponíveis), mas por um motivo desconhecido ele falhou: o abc3arquivo produzido tem apenas 1 KB em vez de 256 MB (atualizarei esta resposta mais tarde aqui).

Comrsync

Conforme detalhado na resposta aceita, isso funciona:

rsync --only-write-batch=abc-abc2-diff abc2 abc

cp abc abc3

rsync --read-batch=abc-abc2-diff abc3 

Comrdiff

Conforme detalhado nesta resposta , esta também é uma solução:

rdiff signature abc abc-signature
rdiff delta abc-signature abc2 abc-abc2-delta

rdiff patch abc abc-abc2-delta abc3

Testado também no Windows com rdiff.exe daqui e funciona.