Início / server / Perguntas / 747769
Accepted
Diagon
Asked: 2016-01-09 12:38:28 +0800 CST

Copiando entre BtrFS's compactados lzo: de/re-compactando?

  • 772

Estou copiando um grande número de arquivos entre dois sistemas de arquivos BtrFS compactados com lzo em unidades diferentes montadas na mesma máquina. Parece que os arquivos estão sendo des/recompactados. Existe uma maneira de evitar isso?

compression

2 respostas

  1. Na verdade não, e tudo se resume a syscalls. Tenha um exemplo:

    open  ("tuppence", O_RDONLY)                           = 3
fstat (3, {st_mode=S_IFREG|0644, st_size=15, ...})     = 0
open  ("/tmp/tuppence", O_WRONLY|O_CREAT|O_EXCL, 0644) = 4
fstat (4, {st_mode=S_IFREG|0644, st_size=0, ...})      = 0
read  (3, "I have cheese.\n", 32768)                   = 15
write (4, "I have cheese.\n", 15)                      = 15

    (Estes são dados strace, um pouco limpos para maior clareza, feitos durante a cópia de um arquivo.)

    Para copiar um arquivo do ponto A para o ponto B, especialmente entre os pontos de montagem, o Linux chamará reado arquivo a ser copiado e, em seguida, chamará writeo novo. Você pode vê-lo no traço acima.

    1. Abra o arquivo de origem, gerando o descritor de arquivo número 3.
    2. Abra o arquivo de destino, gerando o descritor de arquivo número 4.
    3. Leia do descritor 3, o arquivo de origem.
    4. Escreva os dados lidos de 3, no descritor 4, o arquivo de destino.
    5. Feche tudo.

    A readsyscall solicita o arquivo para uso por um processo, que aciona a descompactação BTRFS. Esses dados recuperados são alimentados na writechamada, o que acionará a compactação BTRFS no destino. Esse comportamento é fundamental para o funcionamento das camadas do sistema de arquivos do Linux.

    Para contornar isso, não use cp. Você teria que usar uma ferramenta específica do btrfs que lida com a movimentação de estruturas de dados inteiramente dentro do volume btrfs. O problema é que não sei se essas ferramentas existem.

    • 3
  2. Best Answer

    Como @ sysadmin1138 tão bem ilustrado, esse problema é inevitável se usar cp/ rsync/ send- receiveem sistemas de arquivos; mas há uma maneira de evitá-lo em certas circunstâncias. Se você usar um dispositivo seed, adicionar um novo dispositivo (como raid1) e, em seguida, excluir o seed, obterá um volume duplicado que é essencialmente o mesmo da origem. (Embora o UUID mude.)

    Conforme apontado na lista de desenvolvedores, "... o volume duplicado é essencialmente o mesmo que a fonte (o processo copia os blocos), o que significa que o perfil do bloco também é preservado."

    Como observação sobre meu caso de uso específico, eu poderia ter usado esse método para copiar, instalar meu servidor em um subvolume e, em seguida, apenas copiar mvos arquivos. Isso teria economizado uma quantidade substancial de trabalho.

    • 1

relate perguntas