AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / server / Perguntas / 762524
Accepted
Gregory MOUSSAT
Gregory MOUSSAT
Asked: 2016-03-09 16:37:32 +0800 CST2016-03-09 16:37:32 +0800 CST 2016-03-09 16:37:32 +0800 CST

rsync trava em um arquivo grande

  • 772

Todas as noites eu copio vários discos virtuais com rsync de um computador Linux Debian para outro Linux Debian.
A maioria dos arquivos são imagens brutas com "buracos": algumas partes nunca foram gravadas, portanto, permanecem não alocadas no disco.

rsync trava em um arquivo, sempre o mesmo. O travamento ocorre após 50 Gb transferidos e a cada vez. Não tenho certeza se isso é sempre exatamente no mesmo ponto, mas ls -shexibe 50 Gb.
Este é um arquivo de 800 Gb contendo 151 Gb (portanto, 649 Gb não estão alocados). Alguns outros discos virtuais têm números semelhantes e o rsync funciona bem neles.

Tenho exatamente o mesmo comportamento se usar o rsync para atualizar o arquivo localmente, sem nenhum envolvimento de rede (com --no-whole-file, isso é um requisito, veja mais adiante).

Uma vez que o rsync está parado, ele usa um núcleo de CPU para 100% e zero atividade de disco no lado de recebimento (esta é uma solicitação pull, então o rsync é executado deste lado) e zero CPU e zero disco no lado de envio.
Deixei correr durante várias horas.
Ctrl+ cinterrompe imediatamente o rsync.
Quando executado para copiar localmente, uma vez parado, também tenho um núcleo de CPU para 100% e atividade de disco zero.

A única exceção que encontrei é quando eu rsync este arquivo para um novo local (ou seja, o arquivo de destino não existe). Portanto, suspeito que o problema esteja relacionado à comparação entre dados antigos e novos.

Eu uso --inplacepara limitar as gravações no disco de destino, porque os instantâneos são usados ​​após cada backup. Portanto, esta opção é um requisito e o rsync também, exceto se eu encontrar uma ferramenta capaz de atualizar apenas as partes alteradas desses arquivos.

linux
  • 2 2 respostas
  • 7089 Views

2 respostas

  • Voted
  1. Best Answer
    Bertrand SCHITS
    2016-03-24T05:12:48+08:002016-03-24T05:12:48+08:00

    O rsync é conhecido por ter esse tipo de problema em arquivos enormes devido a um algoritmo ineficiente para o buffer de hashes interno.

    Você tem que usar a --block-sizeopção com um grande valor. Mas as versões atuais não permitem usar mais de 128 kB. Algumas páginas da web dizem para usar --block-size=10485760 --protocol=29, mas no meu caso é recusado pelo rsync.

    • use a versão 29 ou anterior
    • ou recompilar após modificação da constante MAX_BLOCK_SIZE
    • 7
  2. mc0e
    2016-03-09T16:54:01+08:002016-03-09T16:54:01+08:00

    Dê uma olhada nos relatórios de bug contra o rsync. Talvez registre um novo. Você pode encontrá-los em https://rsync.samba.org/bugzilla.html

    Seja aqui ou em um relatório de bug, você deve fornecer mais detalhes. Qual versão do rsync está em cada extremidade, qual é o seu sistema operacional e exatamente qual comando você está usando? Os arquivos e/ou a transferência rsync estão compactados? Com qual versão do zlib?

    https://bugzilla.samba.org/show_bug.cgi?id=10518 e talvez https://bugzilla.samba.org/show_bug.cgi?id=10372 pode ser relevante. Veja também http://www.anchor.com.au/blog/2013/08/out-tridging-tridge/

    • 5

relate perguntas

  • Como descobrir detalhes sobre hardware na máquina Linux?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Você pode passar usuário/passar para autenticação básica HTTP em parâmetros de URL?

    • 5 respostas
  • Marko Smith

    Ping uma porta específica

    • 18 respostas
  • Marko Smith

    Verifique se a porta está aberta ou fechada em um servidor Linux?

    • 7 respostas
  • Marko Smith

    Como automatizar o login SSH com senha?

    • 10 respostas
  • Marko Smith

    Como posso dizer ao Git para Windows onde encontrar minha chave RSA privada?

    • 30 respostas
  • Marko Smith

    Qual é o nome de usuário/senha de superusuário padrão para postgres após uma nova instalação?

    • 5 respostas
  • Marko Smith

    Qual porta o SFTP usa?

    • 6 respostas
  • Marko Smith

    Linha de comando para listar usuários em um grupo do Windows Active Directory?

    • 9 respostas
  • Marko Smith

    O que é um arquivo Pem e como ele difere de outros formatos de arquivo de chave gerada pelo OpenSSL?

    • 3 respostas
  • Marko Smith

    Como determinar se uma variável bash está vazia?

    • 15 respostas
  • Martin Hope
    Davie Ping uma porta específica 2009-10-09 01:57:50 +0800 CST
  • Martin Hope
    kernel O scp pode copiar diretórios recursivamente? 2011-04-29 20:24:45 +0800 CST
  • Martin Hope
    Robert ssh retorna "Proprietário incorreto ou permissões em ~/.ssh/config" 2011-03-30 10:15:48 +0800 CST
  • Martin Hope
    Eonil Como automatizar o login SSH com senha? 2011-03-02 03:07:12 +0800 CST
  • Martin Hope
    gunwin Como lidar com um servidor comprometido? 2011-01-03 13:31:27 +0800 CST
  • Martin Hope
    Tom Feiner Como posso classificar a saída du -h por tamanho 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    Noah Goodrich O que é um arquivo Pem e como ele difere de outros formatos de arquivo de chave gerada pelo OpenSSL? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent Como determinar se uma variável bash está vazia? 2009-05-13 09:54:48 +0800 CST

Hot tag

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve