AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / unix / Perguntas / 723309
Accepted
xralf
xralf
Asked: 2022-11-02 14:35:14 +0800 CST2022-11-02 14:35:14 +0800 CST 2022-11-02 14:35:14 +0800 CST

rsync --whole-file explicado

  • 772

Quando corro rsyncdo meu disco rígido para uma unidade flash montada, é bastante lento. Estou pensando em usar --whole-fileswitch.

Você poderia explicar, por que é mais rápido? Por que não devo ter medo de usá-lo? E quais são os prós e contras de usá-lo. Não encontrei muitas informações a respeito.

comando rsync:

rsync -avh --delete --no-o --no-g /home/xralf/audio /media/extdevice/rsync_backups/

Eu rsyncdo disco rígido (sistema de arquivos ext4) para a unidade flash (sistema de arquivos vfat).

rsync
  • 1 1 respostas
  • 43 Views

1 respostas

  • Voted
  1. Best Answer
    roaima
    2022-11-02T15:07:28+08:002022-11-02T15:07:28+08:00

    Vamos começar com a documentação para --whole-file( -W) encontrada em seu sistema com man rsync, que primeiro explica o que ele faz:

    Esta opção desabilita rsynco algoritmo de transferência delta do , que faz com que todos os arquivos transferidos sejam enviados inteiros.

    e depois continua dizendo que,

    A transferência pode ser mais rápida se esta opção for usada quando a largura de banda entre as máquinas de origem e de destino for maior que a largura de banda para o disco (especialmente quando o "disco" é na verdade um sistema de arquivos em rede). […]

    Existem fundamentalmente dois modos de operação para rsync.

    1. Cópias locais (incluindo sistemas de arquivos de rede onde tanto a origem quanto o destino parecem fazer parte do sistema de arquivos local). Nesse caso, rsyncopta por copiar um arquivo inteiro ou ignorá-lo, dependendo do tamanho do arquivo e do carimbo de data/hora da modificação. A --whole-fileopção está habilitada nesta situação, portanto, não há otimização incremental. Na verdade, quase sempre não faria sentido habilitar isso, pois você gastaria mais tempo lendo os arquivos de origem e destino para compará-los do que apenas copiar o arquivo em primeiro lugar.

    2. Cópias remotas (onde um caminho contém construções {host}:{path}de {host}::{path}estilo). Nesta situação rsyncpode executar uma instância de si mesmo na máquina local e outra no remoto. Essas duas instâncias podem ler independentemente o arquivo de origem e de destino para compará-los, resultando em um caso otimizado de que apenas as alterações são transmitidas pela rede. Aqui, --whole-filenão está habilitado por padrão.

    No cenário #1, a --whole-fileopção é habilitada por padrão e levará a cópias de arquivos que são quase sempre mais rápidas do que transferências incrementais. (A exceção é se você puder ler um disco local significativamente mais rápido do que gravar nele.)

    Esta é a situação que você está usando (cópia local para local). O grande problema aqui é que você está gravando em um sistema de arquivos VFAT, que tem apenas dois segundos de granularidade em seus registros de data e hora de arquivo. Isso significa que muitos arquivos rsyncos considerarão desatualizados e os copiarão novamente - desnecessariamente.

    A correção aqui é usar --modify-window=1(veja a documentação, man rsync, para mais detalhes). Eu também li que se você estiver em um fuso horário que muda entre o verão e o inverno, você deve executar o rsynccomando em UTC para evitar complicações associadas ao fuso horário, mas eu mesmo não testei isso:

    TZ=UTC rsync -rtvh --modify-window=1 --delete /home/xralf/audio /media/extdevice/rsync_backups/
    

    No cenário 2, a --whole-fileopção está desabilitada por padrão e levará a transferências incrementais de arquivos que geralmente são mais rápidas do que enviar o arquivo inteiro sem cuidado. A exceção é quando o envio de dados pela rede é mais rápido do que calcular as diferenças entre origem e destino; este pode ser o caso em redes de 10 Gb/s, por exemplo.

    Conclusão: em geral, tentar enganar rsynca otimização integrada do 's não vai melhorar as coisas, e muitas vezes pode tornar as velocidades de transferência muito piores. Não habilite nem desabilite --whole-file, mas apenas deixe rsyncescolher por si mesmo. No que diz respeito aos sistemas de arquivos VFAT, tente evitá-los, mas se você não puder, esta é uma situação em que você precisa dar rsyncuma ajuda extra.

    • 1

relate perguntas

  • rsync - movendo todos os arquivos JPG/jpg de um disco rígido para um único diretório com um script de shell

  • diretório tar para enviar apenas blocos modificados de arquivos

  • Como faço uma duplicata de uma árvore de diretórios com links simbólicos duplicados relativamente?

  • Problemas de exclusão de Rsync

  • rsync porta 22 e 873 uso

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Possível firmware ausente /lib/firmware/i915/* para o módulo i915

    • 3 respostas
  • Marko Smith

    Falha ao buscar o repositório de backports jessie

    • 4 respostas
  • Marko Smith

    Como exportar uma chave privada GPG e uma chave pública para um arquivo

    • 4 respostas
  • Marko Smith

    Como podemos executar um comando armazenado em uma variável?

    • 5 respostas
  • Marko Smith

    Como configurar o systemd-resolved e o systemd-networkd para usar o servidor DNS local para resolver domínios locais e o servidor DNS remoto para domínios remotos?

    • 3 respostas
  • Marko Smith

    apt-get update error no Kali Linux após a atualização do dist [duplicado]

    • 2 respostas
  • Marko Smith

    Como ver as últimas linhas x do log de serviço systemctl

    • 5 respostas
  • Marko Smith

    Nano - pule para o final do arquivo

    • 8 respostas
  • Marko Smith

    erro grub: você precisa carregar o kernel primeiro

    • 4 respostas
  • Marko Smith

    Como baixar o pacote não instalá-lo com o comando apt-get?

    • 7 respostas
  • Martin Hope
    user12345 Falha ao buscar o repositório de backports jessie 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl Por que a maioria dos exemplos do systemd contém WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky Como exportar uma chave privada GPG e uma chave pública para um arquivo 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll status systemctl mostra: "Estado: degradado" 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim Como podemos executar um comando armazenado em uma variável? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S Por que /dev/null é um arquivo? Por que sua função não é implementada como um programa simples? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 Como ver as últimas linhas x do log de serviço systemctl 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - pule para o final do arquivo 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla Por que verdadeiro e falso são tão grandes? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis Substitua a string em um arquivo de texto enorme (70 GB), uma linha 2017-12-30 06:58:33 +0800 CST

Hot tag

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve