主页 / unix / 问题 / 410959
Accepted
david
Asked: 2017-12-15 15:11:32 +0800 CST

使用终端上的某些命令从远程服务器并行复制文件？

  • 772

我正在使用以下 scp 命令将文件从远程服务器复制到本地服务器。我只需在终端上输入以下命令，它就会开始复制。

scp -r user@machineA:/data/process/* /data/process/

现在，由于在远程服务器上我们有大约 100 个文件，每个文件大小约为 11 GB，因此上述命令将一次复制一个文件。有什么方法可以让我一次复制 5 个文件，同时使用一些可以直接在终端上运行的命令？

我也安装了 GNU 并行，但不知道如何在这里使用它可以帮助我通过直接在终端上运行来并行复制文件？或者，如果有任何其他方式，那么我也对此持开放态度。

linux scp

1 个回答

  1. Best Answer

    这是要在远程服务器上运行的命令，涉及findand parallel：

    find /data/process/ -type f | parallel scp {} user@machineB:/data/process/

    编辑：

    请参阅有关如何控制要并行执行的作业数量的文档。

    并发作业的数量用--jobs或等价物给出-j。
    默认情况下--jobs与 CPU 核心数相同。
    --jobs 0将并行运行尽可能多的作业。

    编辑：

    这应该是另一个问题，并且已经被问及回答：如何在远程机器上运行命令？

    ssh user@machineA 'find /data/process/ -type f | parallel scp {} user@machineB:/data/process/'
    • 1

相关问题