Copiando uma grande árvore de diretórios localmente? cp ou rsync?

Eu usaria o rsync, pois significa que, se for interrompido por qualquer motivo, você poderá reiniciá-lo facilmente com muito pouco custo. E sendo rsync, ele pode até reiniciar no meio de um arquivo grande. Como outros mencionam, ele pode excluir arquivos facilmente. A maneira mais simples de preservar a maioria das coisas é usar a -abandeira – 'arquivar'. Então:

rsync -a source dest

Embora o UID/GID e os links simbólicos sejam preservados por -a(consulte Recursos -lpgo), sua pergunta implica que você pode querer uma cópia completa das informações do sistema de arquivos; e -anão inclui links físicos, atributos estendidos ou ACLs (no Linux) ou os anteriores nem bifurcações de recursos (no OS X). Assim, para uma cópia robusta de um sistema de arquivos, você precisará incluir esses sinalizadores:

rsync -aHAX source dest # Linux
rsync -aHE source dest  # OS X

O cp padrão será iniciado novamente, embora o -usinalizador "copiará somente quando o arquivo SOURCE for mais recente que o arquivo de destino ou quando o arquivo de destino estiver ausente" . E o -asinalizador (arquivo) será recursivo, não recopiará arquivos se você precisar reiniciar e preservar as permissões. Então:

cp -au source dest

Ao copiar para o sistema de arquivos local, costumo usar o rsync com as seguintes opções:

# rsync -avhW --no-compress --progress /src/ /dst/

Segue meu raciocínio:

-a is for archive, which preserves ownership, permissions etc.
-v is for verbose, so I can see what's happening (optional)
-h is for human-readable, so the transfer rate and file sizes are easier to read (optional)
-W is for copying whole files only, without delta-xfer algorithm which should reduce CPU load
--no-compress as there's no lack of bandwidth between local devices
--progress so I can see the progress of large files (optional)

Eu vi transferências 17% mais rápidas usando as configurações de rsync acima no seguinte comando tar, conforme sugerido por outra resposta:

# (cd /src; tar cf - .) | (cd /dst; tar xpf -)

Quando tenho que copiar uma grande quantidade de dados, costumo usar uma combinação de tar e rsync. O primeiro passo é tar, algo assim:

# (cd /src; tar cf - .) | (cd /dst; tar xpf -)

Normalmente com uma grande quantidade de arquivos, haverá alguns que o tar não pode manipular por qualquer motivo. Ou talvez o processo seja interrompido, ou se for uma migração do sistema de arquivos, você pode querer fazer a cópia inicial antes da etapa de migração real. De qualquer forma, após a cópia inicial, faço uma etapa de rsync para sincronizar tudo:

# cd /dst; rsync -avPHSx --delete /src/ .

Observe que a barra à direita /src/é importante.

rsync

Aqui está o rsync que eu uso, prefiro cp para comandos simples, não isso.

$ rsync -ahSD --ignore-errors --force --delete --stats $SRC/ $DIR/

cpio

Aqui está uma maneira ainda mais segura, cpio. É quase tão rápido quanto alcatrão, talvez um pouco mais rápido.

$ cd $SRC && find . -mount -depth -print0 2>/dev/null | cpio -0admp $DEST &>/dev/null

alcatrão

Isso também é bom e continua em falhas de leitura.

$ tar --ignore-failed-read -C $SRC -cf - . | tar --ignore-failed-read -C $DEST -xf -

Observe que todos são apenas para cópias locais.

Este tópico foi muito útil e porque havia tantas opções para alcançar o resultado, decidi fazer benchmark de algumas delas. Acredito que meus resultados podem ser úteis para que outras pessoas tenham uma noção do que funcionou mais rápido.

Para mover 532Gb de dados distribuídos entre 1.753.200 arquivos , tivemos esses tempos:

• rsynclevou 232 minutos
• tarlevou 206 minutos
• cpiolevou 225 minutos
• rsync + parallellevou 209 minutos

No meu caso eu preferi usar rsync + parallel. Espero que esta informação ajude mais pessoas a decidir entre essas alternativas.

O benchmark completo está publicado aqui

O que você preferir. Só não esqueça do -aswitch quando decidir usar cp.

Se você realmente precisa de uma resposta: eu usaria o rsync porque é muito mais flexível. Precisa desligar antes que a cópia seja concluída? Apenas ctrl-c e retome assim que você voltar. Precisa excluir alguns arquivos? Basta usar --exclude-from. Precisa alterar a propriedade ou as permissões? rsync fará isso por você.

O rsynccomando sempre calcula somas de verificação em cada byte que transfere.

A opção de linha de comando --checksumrefere-se apenas se as somas de verificação dos arquivos são usadas para determinar quais arquivos devem ser transferidos ou não, ou seja:

-c, --checksum pule com base na soma de verificação, não no tempo e tamanho do mod"

A página de manual também diz isso:

Observe que o rsync sempre verifica se cada arquivo transferido foi reconstruído corretamente no lado receptor, verificando a soma de verificação de todo o arquivo, mas essa verificação automática após a transferência não tem nada a ver com a opção "Este arquivo precisa ser atualizado?" Verifica.

Assim rsynctambém, sempre, calcula uma soma de verificação de todo o arquivo no lado receptor, mesmo quando -c/ --checksuma opção está "desativada".

rsync -aPhW --protocol=28ajuda a acelerar essas cópias grandes com RSYNC. Eu sempre vou rsync porque o pensamento de estar no meio de 90GiB e quebrar me assusta para longe do CP

O rsync é ótimo, mas tem problemas com árvores de diretório muito grandes porque armazena as árvores na memória. Eu estava apenas olhando para ver se eles resolveriam esse problema quando encontrei este tópico.

Encontrei também:

http://matthew.mceachen.us/geek/gigasync/

Você também pode quebrar manualmente a árvore e executar vários rsyncs.

Você definitivamente quer experimentar o rclone . Essa coisa é loucamente rápida:

sudo rclone sync /usr /home/fred/temp -P -L --transfers 64

Transferred:       17.929G / 17.929 GBytes, 100%, 165.692 MBytes/s, ETA 0s
Errors:                75 (retrying may help)
Checks:            691078 / 691078, 100%
Transferred:       345539 / 345539, 100%
Elapsed time:     1m50.8s

Esta é uma cópia local de e para um SSD LITEONIT LCS-256 (256 GB).

Você pode adicionar --ignore-checksumna primeira execução para torná-lo ainda mais rápido.