主页 / server / 问题 / 1167828
Accepted
Jonatan Öström
Asked: 2024-11-15 23:14:40 +0800 CST

传输大量文件到远程服务器存档

  • 772

在移动本地服务器之前，我需要进行约 1 TB 的临时备份，而我拥有的另一个存储位置是远程 HPC 集群，具有足够的存储配额，但文件数有上限，并且文件太多。在本地机器上创建 tar 文件太慢（写入速度？）。

那么我该如何将本地文件传输到远程 tar 文件呢？我原本打算在本地挂载远程文件系统（使用 sshfs？），然后使用类似（应该可以吧？）的方法。但是，不挂载的话能做到吗？也许可以使用、和 这样tar -cf /mnt/remote/backup.tar local_folder的魔法管道？sshscptar

如果我能让它工作，是否也可以像适当的备份解决方案一样使用更新的本地文件来更新远程档案？（这对于当前任务来说不是必需的。）

ssh

2 个回答

  1. Best Answer

    您可以使用如下命令：

     tar cvf - * |ssh user@host "cat >output.tar"

    该命令在具有许多文件的主机上执行，并ssh转到所需的目标主机。当然，您可以将通配符 ( *) 替换为您的。

    使用此方法无法更新，只能创建。

    • 2

  2. 使用 tar-选项将tar输出发送到 sdtout，然后您可以通过管道传输ssh到远程文件系统。

    通常使用 tar 原生的 gzip 或 xz 压缩（压缩率较低）只会稍微增加 CPU 负载，但通常会显著减少您需要传输和写入的数据量。

    然后你最终会得到类似这样的结果：

    tar zcvf - /path/to/dir | ssh user@server "cat > /data/dir-contents.tgz"
    • 1

相关问题