Início / unix / Perguntas / 410959
Accepted
david
Asked: 2017-12-15 15:11:32 +0800 CST

Copie arquivos em paralelo de servidores remotos usando algum comando no terminal?

  • 772

Estou copiando arquivos do servidor remoto para o meu servidor local usando o comando scp abaixo. Acabei de digitar o comando abaixo no terminal e ele começa a copiar.

scp -r user@machineA:/data/process/* /data/process/

Agora, como em servidores remotos, temos cerca de 100 arquivos e cada tamanho de arquivo é de cerca de 11 GB, portanto, o comando acima copiará um arquivo por vez. Existe alguma maneira de copiar 5 arquivos por vez em paralelo com algum comando que eu possa executar diretamente no terminal?

Eu também tenho o GNU paralelo instalado, mas não tenho certeza de como posso usá-lo aqui, o que pode me ajudar a copiar arquivos em paralelo executando diretamente no terminal? Ou se houver alguma outra maneira, também estou aberto para isso.

linux scp

1 respostas

  1. Best Answer

    Aqui está o comando a ser executado no servidor remoto, envolvendo finde parallel:

    find /data/process/ -type f | parallel scp {} user@machineB:/data/process/

    Editar:

    Consulte a documentação sobre como controlar a quantidade de jobs a serem executados em paralelo.

    O número de trabalhos simultâneos é dado com --jobsou o equivalente -j.
    Por padrão --jobsé igual ao número de núcleos da CPU.
    --jobs 0executará tantos trabalhos em paralelo quanto possível.

    Editar:

    Essa deveria ser outra pergunta, e já foi feita e respondida: como executar um comando em uma máquina remota?

    ssh user@machineA 'find /data/process/ -type f | parallel scp {} user@machineB:/data/process/'
    • 1

relate perguntas