AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / unix / Perguntas / 765828
Accepted
Sir Muffington
Sir Muffington
Asked: 2023-12-30 23:26:34 +0800 CST2023-12-30 23:26:34 +0800 CST 2023-12-30 23:26:34 +0800 CST

Como você sincroniza arquivos com download parcialmente falhado usando o rsync?

  • 772

Estou tentando sincronizar literalmente milhares de arquivos de vários tamanhos e gostaria de ter uma cópia 1:1 dos arquivos. Isso significa que a integridade dos arquivos já presentes deve ser verificada e, se houver uma soma de verificação errada, o arquivo precisará ser sobrescrito. A chamada transferência delta só é necessária neste momento devido à falha parcial da transferência.

Aparentemente minha montagem é meio instável e falha após 300-400GB de transferência usando cpou rsync.

Eu fiz o seguinte antes disso:

  1. Montei o armazenamento e fiz isso cp -r src dest, ele falhou depois de 300 GB porque a montagem caiu e ocorreu um erro (aparentemente não tenho mais o erro)
  2. Montei o armazenamento novamente e fiz isso rsync -aP src dest, ele falhou depois de 400 GB rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1338) [sender=3.2.7]porque a montagem falhou novamente. Considerando o tamanho do arquivo, ele provavelmente substituirá a maioria dos arquivos.
  3. Eu verifiquei meu log do kernel e não encontrei nada ( sudo dmesg)

Encontrei um sinalizador de reconexão para minha montaria, mas não seria instantâneo.

  • Há um sinalizador rsync chamado -cque calcula as somas de verificação, mas ele também faz a chamada transferência delta ou preciso adicionar mais sinalizadores?

Qual a melhor forma de resolver esse problema em questão?

ATUALIZAÇÃO 1

Corrija-me se estiver errado, mas acho que o problema em questão era que o armazenamento tinha proprietários e grupos de usuários e grupos diferentes dos do rsync. Para elaborar: cp -rcopiou os arquivos e alterou sua propriedade e propriedade do grupo para a cópia do usuário, enquanto o rsync parece copiar o arquivo 1:1 com o mesmo usuário e propriedade do grupo... Provavelmente é por isso que a transferência estava sobrescrevendo arquivos antigos...

rsync
  • 1 1 respostas
  • 20 Views

1 respostas

  • Voted
  1. Best Answer
    Chris Davies
    2023-12-31T00:24:45+08:002023-12-31T00:24:45+08:00

    Parece que você está copiando entre dois sistemas de arquivos locais. Nesse caso, rsyncnão usará seu esquema de soma de verificação e voltará a ser cp.

    Ambos cpe rsyncpreservarão o proprietário/grupo se forem executados como root. Caso contrário, os arquivos de destino levarão o proprietário e o grupo (padrão) da conta que está realizando a cópia.

    Desde que você tenha copiado os carimbos de data e hora com o original, cpbasta rsyncverificar o tamanho e o carimbo de data e hora do arquivo e usá-los para decidir se deseja atualizar os metadados ausentes ou copiar novamente o arquivo em sua totalidade:

    rsync -rt src/ dst    # Timestamps only
    rsync -a src/ dst     # Almost all metadata
    

    Certos sistemas de arquivos podem não conseguir preservar metadados. Ou você pode não estar executando como root. Nessas situações você pode tentar salvar os metadados junto com cada arquivo em seus atributos estendidos. Você adicionaria -Xpara isso:

    rsync -aX src/ dst    # Almost all metadata
    
    • 1

relate perguntas

  • rsync - movendo todos os arquivos JPG/jpg de um disco rígido para um único diretório com um script de shell

  • diretório tar para enviar apenas blocos modificados de arquivos

  • Como faço uma duplicata de uma árvore de diretórios com links simbólicos duplicados relativamente?

  • Problemas de exclusão de Rsync

  • rsync porta 22 e 873 uso

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Possível firmware ausente /lib/firmware/i915/* para o módulo i915

    • 3 respostas
  • Marko Smith

    Falha ao buscar o repositório de backports jessie

    • 4 respostas
  • Marko Smith

    Como exportar uma chave privada GPG e uma chave pública para um arquivo

    • 4 respostas
  • Marko Smith

    Como podemos executar um comando armazenado em uma variável?

    • 5 respostas
  • Marko Smith

    Como configurar o systemd-resolved e o systemd-networkd para usar o servidor DNS local para resolver domínios locais e o servidor DNS remoto para domínios remotos?

    • 3 respostas
  • Marko Smith

    apt-get update error no Kali Linux após a atualização do dist [duplicado]

    • 2 respostas
  • Marko Smith

    Como ver as últimas linhas x do log de serviço systemctl

    • 5 respostas
  • Marko Smith

    Nano - pule para o final do arquivo

    • 8 respostas
  • Marko Smith

    erro grub: você precisa carregar o kernel primeiro

    • 4 respostas
  • Marko Smith

    Como baixar o pacote não instalá-lo com o comando apt-get?

    • 7 respostas
  • Martin Hope
    user12345 Falha ao buscar o repositório de backports jessie 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl Por que a maioria dos exemplos do systemd contém WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky Como exportar uma chave privada GPG e uma chave pública para um arquivo 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll status systemctl mostra: "Estado: degradado" 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim Como podemos executar um comando armazenado em uma variável? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S Por que /dev/null é um arquivo? Por que sua função não é implementada como um programa simples? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 Como ver as últimas linhas x do log de serviço systemctl 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - pule para o final do arquivo 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla Por que verdadeiro e falso são tão grandes? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis Substitua a string em um arquivo de texto enorme (70 GB), uma linha 2017-12-30 06:58:33 +0800 CST

Hot tag

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve