AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / server / 问题 / 436862
Accepted
Nyxynyx
Nyxynyx
Asked: 2012-10-11 06:55:29 +0800 CST2012-10-11 06:55:29 +0800 CST 2012-10-11 06:55:29 +0800 CST

将许多文件传输到另一台服务器的快速(非阻塞)方式[重复]

  • 772
这个问题在这里已经有了答案:
9 年前关闭。

可能重复:
传输大量文件最快、最可靠的方法是什么?

我目前正在尝试将超过 100 万个文件从一台服务器传输到另一台服务器。使用 wget,它似乎非常慢,可能是因为它在前一个传输完成后开始新的传输。

问题:是否有更快的非阻塞(异步)方式进行传输?我在第一台服务器上没有足够的空间将文件压缩到 tar.gz 中并将它们传输过来。谢谢!

linux
  • 2 2 个回答
  • 323 Views

2 个回答

  • Voted
  1. Michael Hampton
    2012-10-11T06:56:19+08:002012-10-11T06:56:19+08:00

    将文件放在硬盘上,然后通过 FedEx、UPS、DHL 等方式运送。

    • 0
  2. Best Answer
    EightBitTony
    2012-10-11T07:12:36+08:002012-10-11T07:12:36+08:00
    • 每个目录运行 1 个 rsync 进程,直到网络链接饱和。编写脚本,以便在前一个 rsync 进程结束时触发一个新的 rsync 进程。
    • 或者,使用 include 在文件名开头为每个唯一字符运行 1 个 rsync 进程。
    • 或者,使用包含文件名的每个唯一的第 1 个和第 2 个字符组合运行 1 个 rsync 进程。

    基本上 rsync - 尽一切可能触发足以使您的网络链接饱和。

    • 0

相关问题

  • Linux 主机到主机迁移

  • 如何在 Linux 机器上找到有关硬件的详细信息?

  • 如何在 Linux 下监控每个进程的网络 I/O 使用情况?

  • 在 RHEL4 上修改 CUPS 中的现有打印机设置

  • 为本地网络中的名称解析添加自定义 dns 条目

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    新安装后 postgres 的默认超级用户用户名/密码是什么?

    • 5 个回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve