主页 / server / 问题 / 26720
In Process
nobodyfamous
Asked: 2009-06-17 08:54:56 +0800 CST

如何使用绑定驱动程序在 Linux 上实现 2 Gb 的总吞吐量？

  • 772

对于这个应用程序，我不太关心高可用性，而不是总吞吐量。我在服务器端有一个 IP 地址，我希望能够从服务器发送超过 1 Gb 的流量。服务器有两个 1 Gb 卡并连接到一对交换机。该应用程序涉及世界各地数以千计的远程客户端连接到服务器（即不是本地网络）。

目前，使用模式 5 (balance-tlb) 设置绑定，但结果是每个端口的吞吐量不会超过 500Mbit/s。我怎样才能超过这个限制？请假设我无法访问交换机，因此无法实现 802.3ad。

（我希望添加“bonding”标签，但我无法添加新标签，所以是“teaming”。）

linux bonding gigabit-ethernet

4 个回答

  1. 如果没有交换机级别的合作，您不太可能实现 2 Gb，即使这样，仅使用单个 IP 源/目标组合也可能很难。大多数团队都设置了 IP 哈希，它为每个源/目标分配一个 NIC 路径。因此，您只会获得 1 千兆位。有轮询方案，但您经常会发现数据包到达时出现乱序，除非主机和目的地都支持该方案，否则会导致它不受欢迎。

    • 6

  2. 您将需要在交换机端口上进行端口聚合（需要聚合连接到机器上 2 个千兆端口的接入交换机的两个端口）。但是，一旦实现，您应该接近 2Gbps 路径（受机器能力限制）。

    通过交换机上的端口聚合与绑定驱动程序的逻辑 2Gbps 端口匹配，您将使用机器上只有一个 IP 地址的多路复用冗余路径。

    我现在看到一些有趣的笔记，在这里。

    Linux 绑定驱动程序的这一美妙特性有一个阴暗面——它只适用于允许在接口打开时更改 MAC 地址的网络接口。balance-alb 模式依赖于快速的 ARP 欺骗，通过动态重写 MAC 地址来欺骗内核，使其认为两个物理接口是一个。所以接口的驱动程序必须支持这一点，而其中许多不支持。

    但这并不是绑定驱动程序所能做的全部。模式选项为您提供七种选择，您不必担心界面兼容性。但是，您确实需要考虑您的交换机支持什么。balance-rr、balance-xor 和广播模式需要将交换机端口组合在一起。这有各种不同的名称，因此请查找“中继分组”、“以太通道”、“端口聚合”或类似的名称。802.3ad 要求交换机支持 802.3ad。

    • 5

  3. 首先，您可能知道您实际上永远不会达到 2Gb/s。TCP/IP 的开销会将您限制在最大值的大约 90%。

    第二，即使你使用 TCP 卸载引擎，第 3 层之上的堆栈肯定会影响瓶颈所在。换句话说，你是如何传输数据的？我可以有 10Gb/s 网卡和它们之间的交叉，如果我在 ssh 隧道上使用 rsync，我不会超过几百 Mb/s。

    关于拓扑，您还能告诉我们什么？你说服务器连接到几个交换机，远程客户端遍布世界各地。您是否有 > 500Mb/s（聚合）的 WAN 连接？

    • 3

  4. 我们并没有真正解决这个问题。我们所做的是设置两台服务器，一台在每个接口上绑定一个 IP，然后按照此处的说明强制流量从它进入的端口流出：

    http://kindlund.wordpress.com/2007/11/19/configuring-multiple-default-routes-in-linux/

    针对我们的情况稍作修改。在本例中，网关为 192.168.0.1，服务器的 IP 分别为 eth0 和 eth1 上的 192.168.0.211 和 192.168.0.212：

    printf "1\tuplink0\n" >> /etc/iproute2/rt_tables
printf "2\tuplink1\n" >> /etc/iproute2/rt_tables

ip route add 192.168.0.211/32 dev eth0 src 192.168.0.211 table uplink0
ip route add default via 192.168.0.1 dev eth0 table uplink0
ip rule add from 192.168.0.211/32 table uplink0
ip rule add to 192.168.0.211/32 table uplink0

ip route add 192.168.0.212/32 dev eth1 src 192.168.0.212 table uplink1
ip route add default via 192.168.0.1 dev eth1 table uplink1
ip rule add from 192.168.0.212/32 table uplink1
ip rule add to 192.168.0.212/32 table uplink1
    • 1

相关问题