主页 / server / 问题 / 946857
Accepted
elliotp
Asked: 2018-12-29 02:02:55 +0800 CST

在 Linux 上实现非常快速（300+MB/秒）的文件传输

  • 772

我正在使用高端硬件，但是在尝试移动大量数据时，我在所有情况下都会遇到 cpu 瓶颈。

具体来说，我正在两个 Ubuntu 主机之间移动 2TB 的大型虚拟机映像 (VHD) 文件。

我最近一次尝试用了 200 分钟来传输 2TB。导致传输的吞吐量约为 170MB/秒。

我正在尝试使用基本 arcfour 密码的 netcat 和 scp 等技术。

每端的硬件是 RAID 10 中的 6 个企业级 SSD，位于硬件 RAID 控制器上。256GB 内存和 Xeon V4 CPU。网络为 20Gbe（2 x 10Gbe LACP）。

在所有情况下，网络和磁盘 i/o 都有足够的容量，瓶颈是不断地将 1 个 CPU 核心与 100% 挂钩。

我使用各种方法执行了基本基准测试，如下所示：

30GB 测试文件传输

scp: 真正的 5m1.970s

nc: 真正的 2m41.933s

nc & pigz: 真正的 1m24.139s

但是，因为我 dd 了一个空文件进行测试，我不相信 pigz 必须工作太努力。当我在生产 VHD 文件上尝试 pigz 时，pigz 达到了 1200% 的 CPU 负载，我相信这开始成为瓶颈。因此我最快的时间是由 nc 自己设定的。

nc 在每一端都达到 100% CPU，我假设只是处理从磁盘到网络的 i/o。

我确实考虑过将文件分成块并运行多个 nc 以使用更多内核，但是，其他人可能有更好的建议。

linux

3 个回答

  1. 有几件事要尝试：

    • 使用使用的程序sendfile（例如 apache）
    • 调整 Linux 网络堆栈和 NIC
    • 启用更大的 MTU
    • 启用 NIC 卸载
    • 使用性能更好的文件系统（xfs 或 zfs）

    ESnet Fasterdata 知识库是优化跨快速网络移动数据的重要资源。

    • 1

  2. 您的端点物理上是否彼此靠近？也许考虑一种不同的网络介质，它是为移动大量数据而设计的。CPU 处理可以卸载到适配卡上，您的以太网一次不会饱和几分钟。

    下面是一个（低端）Infiniband 设置，从 Ebay 零件（Mellanox IS5022 开关、2 个 CX353A QDR 卡（可能是 FDR，不记得）和（新）电缆）中花费大约 500 美元。我dd从一个运行 20 多个虚拟机的虚拟机管理程序中运行，因此其中存在相当多的 I/O 延迟。SSD 传输（iSCSI 安装）仍然值得注意。

    到 SATA 阵列 (RAID 10)：

    # time dd if=/dev/zero of=foo.bin bs=1M count=30000
30000+0 records in
30000+0 records out
31457280000 bytes (31 GB, 29 GiB) copied, 106.652 s, 295 MB/s

real    1m52.795s
user    0m0.022s
sys     0m12.531s

    并连接到 SSD 阵列

    # time dd if=/dev/zero of=foo.bin bs=1M count=30000
30000+0 records in
30000+0 records out
31457280000 bytes (31 GB, 29 GiB) copied, 19.1353 s, 1.6 GB/s

real    0m19.137s
user    0m0.020s
sys     0m18.782s
    • 0
  3. Best Answer

    自从我发布这篇文章以来已经有一段时间了，它得到了一些意见，最后我使用了 bbcp: https://github.com/eeertekin/bbcp来饱和网络，它工作得非常好。

    • 0

相关问题