AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / server / 问题 / 1007043
Accepted
Morgan Brown
Morgan Brown
Asked: 2020-03-16 13:46:43 +0800 CST2020-03-16 13:46:43 +0800 CST 2020-03-16 13:46:43 +0800 CST

单个 scp 进程的 EC2 上传速度急剧下降

  • 772

我在 EC2 实例(特别是 i3.8xlarge)上运行批处理计算作业,并将大型(10 GB)二进制文件上传到每个实例。我们办公室有“千兆位”(Century Link),我通常以 30-40 MBps 的速度将这些文件上传(通过 scp)到 EC2。本地机器是一个 RH7 Linux 机器。然而,我经常观察到一件奇怪的事情:上传速度急剧下降到 300-400 kBps。

  • 我验证(通过 speedtest.net)网络运行良好
  • 降低的上传速度总是 300-400 kBps
  • 这种现象大约在一个月前开始
  • 我可以同时从 Gnome 终端的不同选项卡将同一个文件上传到同一个实例(显然是不同的输出路径),我得到了很好的性能
  • 上传通常会以不可预知的方式恢复良好的速度

所以瓶颈似乎与单个 scp 进程有关。亚马逊不宣传任何类型的上传限制。当我观察到这一点时,我们的网络人员会确认网络处于良好的工作状态。

upload amazon-ec2 scp
  • 2 2 个回答
  • 1681 Views

2 个回答

  • Voted
  1. Best Answer
    Tim
    2020-03-16T23:20:44+08:002020-03-16T23:20:44+08:00

    我怀疑您的EBS 突发余额已用完。该博客链接为您提供了有关如何显示 EBS 卷爆发积分的说明。

    卷类型页面有一些关于 EBS 和突发的信息。

    通用型 SSD (gp2) 卷提供经济高效的存储,非常适合各种工作负载。这些卷提供个位数毫秒的延迟,并能够在较长时间内突增至 3,000 IOPS。在最低 100 IOPS(33.33 GiB 及以下)和最高 16,000 IOPS(5,334 GiB 及以上)之间,基线性能以每 GiB 卷大小 3 IOPS 线性扩展。AWS 设计 gp2 卷以在 99% 的时间内提供其预置性能。gp2 卷的大小范围为 1 GiB 到 16 TiB。

    简而言之,您积累了突发积分,并且当您大量使用磁盘时,您的积分就会用完。发生这种情况时,您将获得基准性能。磁盘越大,积分越多,积分用完的可能性就越小。您可以阅读各种文章(例如这篇文章)。

    实例存储卷没有突发系统,这就是它们始终快速运行的原因。

    这里的解决方案可能是将您的写入缓冲到实例存储,然后在后台将它们传输到 EBS 卷。rsync 可能是合适的。

    • 2
  2. Morgan Brown
    2020-03-16T17:53:13+08:002020-03-16T17:53:13+08:00

    好吧,所以我能够通过将文件写入板载 NVMe SSD 而不是 EBS 存储来“解决”(?)问题。不过,这没有任何意义。当然,EBS 具有比 300-400 kBps 更好的写入能力!

    • 1

相关问题

  • 最好的同步工具[关闭]

  • 下载和上传速度[关闭]

  • OPENROWSET、二进制文件、varchars 和 varbinaries

  • 说服系统管理员文件上传可以吗?

  • 我们的网络开发人员有一个需要接受文件上传的项目。我应该确保涵盖什么?

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    新安装后 postgres 的默认超级用户用户名/密码是什么?

    • 5 个回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve