主页 / server / 问题 / 1035912
Accepted
RenWal
Asked: 2020-10-01 13:29:35 +0800 CST

为什么我与 multiq 的绑定接口忽略了 tc 的队列选择？

  • 772

在 Debian Buster，内核 5.4.51 上，我有两个接口tap0，并tap1以模式加入了一个绑定接口balance-xor以增加吞吐量。但是，有些流量必须通过tap0. 其余的我不在乎。

从理论上讲，bond 驱动程序可以使用tc过滤器和 multiq 来做到这一点，如驱动程序文档中所述。我可以在统计数据中看到声称使用了队列，但检查两个接口上的流量表明过滤器没有得到尊重。

这是我所做的：

我将每个分路接口分配给绑定上的队列，将排队规则设置为多队列，然后用于tc覆盖绑定的排队决策以强制流量192.168.1.100（例如）始终使用tap0.

# echo "tap0:1" > /sys/class/net/bond0/bonding/queue_id
# echo "tap1:2" > /sys/class/net/bond0/bonding/queue_id

# tc qdisc add dev bond0 handle 1 root multiq

# tc filter add dev bond0 protocol ip parent 1: prio 1 u32 match ip dst \
    192.168.1.100 action skbedit queue_mapping 1

在tc统计信息中，您可以看到实际使用了不同的队列：

# tc -s class show dev bond0
class multiq 1:1 parent 1: 
 Sent 377256252 bytes 2526104 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0
class multiq 1:2 parent 1: 
 Sent 21031 bytes 2982 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0
class multiq 1:3 parent 1: 
 Sent 0 bytes 0 pkt (dropped 0, overlimits 0 requeues 0) 
 backlog 0b 0p requeues 0

大多数流量采用通用队列，特殊流量采用两个特定于接口的队列中的第一个。如果我再次删除tc filter，则特定队列 1:2 上的数据包计数器将停止。

（注意bonding driver和tc之间的queue编号偏移1，所以queue 1:1的意思是“让driver决定”，queue 1:2的意思是“一直通过tap0”，queue 1:3的意思是“一直走”通过tap1“）

队列也映射到接口：

# cat /proc/net/bonding/bond
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: load balancing (xor)
Transmit Hash Policy: layer3+4 (1)
MII Status: up
MII Polling Interval (ms): 1000
Up Delay (ms): 0
Down Delay (ms): 0
Peer Notification Delay (ms): 0

Slave Interface: tap0
MII Status: up
Speed: 10 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: xx:xx:xx:xx:xx:89
Slave queue ID: 1

Slave Interface: tap1
MII Status: up
Speed: 10 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: xx:xx:xx:xx:xx:d6
Slave queue ID: 2

如果我tcpdump分别在接收端的两个tap，我可以清楚地看到无论使用哪个队列，特殊流量实际上仍然使用balance-xor规则使用任一接口。现在 - 我在哪里错过了什么？

bonding tc linux-networking

1 个回答

  1. Best Answer

    好的，深入挖掘，文档中有这样的评论：

    此功能首次出现在绑定驱动程序版本 3.7.0 中，并且对输出从属选择的支持仅限于循环和主动备份模式。

    Debian Buster 有 3.7.1，显然支持仍然仅限于这两种模式，所以我目前正在尝试做的事情是不可能的。您可以将模式设置为active-backup并立即尊重队列。这当然违背了负载平衡的目的。我曾希望使用任何其他模式会引起某种警告，但事实并非如此。司机只是高兴地忽略了你告诉它做什么。

    您可能需要做的唯一一件事是允许在非活动接口上输入数据包，否则您重定向的数据包tc将被丢弃：

    # echo 1 > /sys/class/net/bond0/bonding/all_slaves_active

    我假设，如果真的想要，他们现在可以使用一些tc魔法来基本上重新实现balance-xor那里的逻辑并覆盖每个数据包的目标队列。然后可以离开该模式active-backup但实现负载平衡。或者只是在绑定驱动程序中实现此功能。

    • 0

相关问题