Estou arquivando dados de um servidor para outro. Inicialmente comecei um rsync
trabalho. Demorou 2 semanas para criar a lista de arquivos apenas para 5 TB de dados e outra semana para transferir 1 TB de dados.
Então tive que encerrar o trabalho, pois precisamos de um tempo de inatividade no novo servidor.
Foi acordado que vamos descompactá-lo, pois provavelmente não precisaremos acessá-lo novamente. Eu estava pensando em dividi-lo em pedaços de 500 GB. Depois tar
disso, eu iria copiá-lo através de ssh
. Eu estava usando tar
e pigz
mas ainda é muito lento.
Existe uma maneira melhor de fazer isso? Acho que ambos os servidores estão no Redhat. O servidor antigo é Ext4 e o novo é XFS.
Os tamanhos dos arquivos variam de alguns kb a poucos mb e há 24 milhões de jpegs em 5 TB. Então, estou supondo que cerca de 60-80 milhões por 15 TB.
editar: Depois de brincar com rsync, nc, tar, mbuffer e pigz por alguns dias. O gargalo será o disco IO. Como os dados são distribuídos em 500 discos SAS e cerca de 250 milhões de jpegs. No entanto, agora aprendi sobre todas essas ferramentas legais que posso usar no futuro.