Início / unix / Perguntas / 553111
Accepted
roaima
Asked: 2019-11-21 02:16:22 +0800 CST

O dicionário de compactação de bloco rsync é redefinido para cada arquivo?

  • 772

Comprime rsync -zblocos de cada arquivo sem considerar o arquivo anterior ou o dicionário de compactação é redefinido para cada arquivo para que seja tratado de forma independente?

Como exemplo, considere um arquivo compactável one.txte sua cópia idêntica sendo transferida para um servidor remoto, onde nenhum arquivo ainda existe:

cp -p one.txt two.txt
rsync -az one.txt two.txt remote:

A zlibcamada de compactação trata one.txte two.txtindependentemente, ou a transferência de dados nesse nível é simplesmente um fluxo contínuo, então ele terá aprendido um dicionário de compactação útil para one.txto qual pode aplicar two.txt?

Alternativamente, eu entendi completamente mal o zlibalgoritmo de compressão, de tal forma que (por exemplo) o dicionário é sempre redefinido para cada novo bloco?

Eu tentei olhar para a rsyncsaída de depuração, rsync -avvvvz --debug=IO1,IO2,IO3,IO4 --msgs2stderrmas não consigo ver nada que se relacione especificamente com a camada de compressão.

(Isso está seguindo um tópico de comentários em uma resposta minha no ServerFault.)

rsync

1 respostas

  1. Best Answer

    rsyncusa compactação em token.c, e aparentemente apenas lá. Ele mantém o estado do fluxo deflate na tx_strmvariável e redefine o estado do fluxo send_deflated_tokense o token anterior for -1:

            if (last_token == -1) {
                /* initialization */
                if (!init_done) {
                        tx_strm.next_in = NULL;
                        tx_strm.zalloc = NULL;
                        tx_strm.zfree = NULL;
                        if (deflateInit2(&tx_strm, compression_level,
                                         Z_DEFLATED, -15, 8,
                                         Z_DEFAULT_STRATEGY) != Z_OK) {
                                rprintf(FERROR, "compression init failed\n");
                                exit_cleanup(RERR_PROTOCOL);
                        }
                        if ((obuf = new_array(char, OBUF_SIZE)) == NULL)
                                out_of_memory("send_deflated_token");
                        init_done = 1;
                } else
                        deflateReset(&tx_strm);

    Isso é usado de match.c, por meio da matchfunção, usada por hash_searche match_sums. Essas funções sempre garantem que elas terminem seu processamento com uma chamada que deixa last_tokendefinida como -1, para que a próxima chamada redefina o fluxo deflate. Tudo isso é feito arquivo por arquivo, de modo que o fluxo de deflate é sempre redefinido no início de cada arquivo.

    Isso significa que é garantido que o dicionário de compactação de blocos será redefinido para cada arquivo; pode ser redefinido com mais frequência.

    Se rsyncfor usar dados de arquivos anteriores, pode ser mais interessante estender sua manipulação de hash entre os arquivos.

    Você pode verificar tudo isso experimentalmente sincronizando várias cópias de arquivos compactáveis, como você sugere; as estatísticas sempre mostram que o tamanho transferido é igual ao tamanho compactado de um único arquivo, multiplicado pelo número de cópias, portanto, não há duplicação de um tipo ou de outro entre os arquivos.

    • 6

relate perguntas