AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / server / 问题 / 407827
Accepted
user1219721
user1219721
Asked: 2012-07-15 17:41:42 +0800 CST2012-07-15 17:41:42 +0800 CST 2012-07-15 17:41:42 +0800 CST

通过缓慢或不稳定的网络链接进行可靠的文件传输

  • 772

我需要通过低质量的宽带链接将大量文件文件传输到服务器。文件很大,传输每个文件大约需要 30 分钟。

我使用 scp,但它有时会挂起——传输不会因错误而失败,它会继续运行,但不会传输更多数据。

因此,我正在寻找一种“故障安全”上传解决方案,即使链接失败几分钟或不可靠,该解决方案也能正常工作。

我的想法是:

  1. 将大文件分成小部分
  2. 上传部分,超时并在失败时重试

问题:

  • 有没有现成的工具可以实现这个想法?(没有特别需要 scp。可以是 ftp 或其他任何东西)
  • 有没有办法检测 scp 何时挂起?((即还在运行,但不传输数据)
upload ssh scp failsafe
  • 1 1 个回答
  • 8900 Views

1 个回答

  • Voted
  1. Best Answer
    Michael Hampton
    2012-07-15T17:58:51+08:002012-07-15T17:58:51+08:00

    您可以使用 rsync 将文件从一台计算机复制到另一台计算机。rsync 可以使用 ssh 作为其底层传输。结合rsync --partial脚本(例如这个脚本)在出现网络故障时重试,即使出现网络错误,您也应该能够移动文件。

    另一种方法是使用 将远程文件系统挂载到本地计算机上sshfs -o reconnect,然后仅 cp 文件。sshfs/Linux 会处理剩下的事情。根据我今天做的一些测试,这似乎比rsync 慢得多。

    最后,您可以在两台机器之间设置 VPN。这涉及最多的工作,并且上述任何一种解决方案都容易得多,但它会解决不稳定的网络连接问题。正如一些人所指出的,这也可能是不稳定的。如果 VPN 像 OpenVPN 一样非常积极地重新建立连接,它就可以工作,但上述解决方案要好得多。

    • 16

相关问题

  • 最好的同步工具[关闭]

  • 下载和上传速度[关闭]

  • OPENROWSET、二进制文件、varchars 和 varbinaries

  • 说服系统管理员文件上传可以吗?

  • 我们的网络开发人员有一个需要接受文件上传的项目。我应该确保涵盖什么?

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    新安装后 postgres 的默认超级用户用户名/密码是什么?

    • 5 个回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve