我在 EC2 实例(特别是 i3.8xlarge)上运行批处理计算作业,并将大型(10 GB)二进制文件上传到每个实例。我们办公室有“千兆位”(Century Link),我通常以 30-40 MBps 的速度将这些文件上传(通过 scp)到 EC2。本地机器是一个 RH7 Linux 机器。然而,我经常观察到一件奇怪的事情:上传速度急剧下降到 300-400 kBps。
- 我验证(通过 speedtest.net)网络运行良好
- 降低的上传速度总是 300-400 kBps
- 这种现象大约在一个月前开始
- 我可以同时从 Gnome 终端的不同选项卡将同一个文件上传到同一个实例(显然是不同的输出路径),我得到了很好的性能
- 上传通常会以不可预知的方式恢复良好的速度
所以瓶颈似乎与单个 scp 进程有关。亚马逊不宣传任何类型的上传限制。当我观察到这一点时,我们的网络人员会确认网络处于良好的工作状态。