我每天早上都有一些相当大的文件传输通过 ftp 穿越大西洋。传输会不时中断,可能是由于连接问题,并且文件将处于不完整状态。
我想知道是否有更好的方法来处理这些文件传输。会说 rsync 或 scp 对周期性连接丢失更有弹性吗?最好的情况是传输能够重新连接并从中断的地方继续,如果它被中断的话。
在这种情况下,大意味着文件高达几个 GiB 并且传输跨越几个小时。
我每天早上都有一些相当大的文件传输通过 ftp 穿越大西洋。传输会不时中断,可能是由于连接问题,并且文件将处于不完整状态。
我想知道是否有更好的方法来处理这些文件传输。会说 rsync 或 scp 对周期性连接丢失更有弹性吗?最好的情况是传输能够重新连接并从中断的地方继续,如果它被中断的话。
在这种情况下,大意味着文件高达几个 GiB 并且传输跨越几个小时。
我相信这是 rsync 应该运行良好的情况。当传输未完成时,Rsync 在从中断处恢复方面做得非常好。如果文件的旧版本已经存在于远程端,rsync 真的很擅长只传输差异。
我真的不认为 scp 是你想要的。如果您需要通过 ssh 传输,那么您可以将选项传递
-e ssh
给 rsync,ssh 将用作传输。我支持这个
rsync
选项,但是如果你想让它恢复一个大文件的传输,那么不要忘记使用--partial
命令行选项,这意味着它不会删除链接时写入的临时文件下。您可能必须在一个循环中调用它,当链接断开时重试。就像是
为什么不是比特流?如果你使用它,你会得到多个奖金。至少可靠的传输和可用性从多个位置播种。
一定要将 rsync 与 -P 一起使用——但为了在大西洋上获得更好的性能,您可能需要使用一种基于 UDP 的文件传输工具——Aspera、FileCatalyst——或开源 Tsunami UDP。
也许Direct Connect(或其他 P2P 协议)是您的最佳选择?
你检查过accellion吗?他们是 ftp/webmail 的混合体。我们使用它让我们的图形设计师安全、轻松地将大文件发送到打印机。
他们提供免费的虚拟设备。它还具有加密、传递通知和转发预防功能,最大文件大小为 2GB,全部免费内置。
如果您付费,您可以设置自动化并允许最多 10GB 的文件。