主页 / server / 问题 / 1169769
Accepted
hack4mer
Asked: 2025-01-04 14:10:20 +0800 CST

每个后端服务器的 HAProxy 连接限制仅限于 port_range

  • 772

我正在为 WebSocket 服务器运行 HAProxy 负载均衡器。

如果我把一个后端服务器

backend pieproxy
  option http-keep-alive
  timeout tunnel 0ms

  balance leastconn

  server s1 IP:3001

HAproy 只能处理 28,000 个已建立的连接。

我可以通过添加另一台服务器来解决这个问题并建立更多的连接。

backend pieproxy
  option http-keep-alive
  timeout tunnel 0ms

  balance leastconn

  server s1 IP:3001
  server s2 IP:3001

现在 HAproxy 可以建立两倍数量的连接。

当我降低

sysctl net.ipv4.ip_local_port_range

HAproxy 能够建立的最大连接数为

number of backend server * ip_local_port_range

请帮忙，我遗漏了什么吗？

如何让一台后端服务器提供比 ip_local_port_range 值更多的连接

haproxy

2 个回答

  1. Best Answer

    TL;DR：您看到的限制是 TCP 工作方式所固有的。

    每个 TCP 连接都由一个唯一的三元组 (source_ip, source_port,destination_ip, destination_port) 定义，这意味着不能同时存在多个具有相同三元组的连接，因为它们无法明确区分。destination_ip 和 destination_port 在您的情况下是恒定的，因为您有一个固定的目标服务器。source_ip 是恒定的，因为这是运行 haproxy 的本地系统的 IP 地址。

    因此唯一的变量是 source_port，它取自 ip_local_port_range。

    这意味着您不能从同一个源 ip 到同一个目标 ip:port 建立超过 ip_local_port_range 个并行连接。而且 ip_local_port_range 受限于端口号仅为 16 位（即最大为 65535）。

    请注意，“并行”不仅指同时发生的连接，因为在相同的 source_ip 可以再次被重用之前也可能需要一些时间 - 有关更多信息，请阅读有关 TCP 中的 TIME_WAIT 状态。

    • 2

  2. 一些运行大量连接的人倾向于为此在负载均衡器上设置多个 IP 地址，并声明指向同一地址但来源不同的多台服务器。其他人则作弊，拥有一台带有“源 0.0.0.0 usesrc clientip”的服务器，但他们有一个“set-src”规则，允许从本地地址中选择一个地址。但如上所述，每个源地址的端口数始终被限制为约 64k，因此连接数为 64k。

    请注意，如果您的服务器支持 HTTP/2，您可以通过 HTTP/2 将 WebSocket 作为单独的流传递。每个连接的流限制通常为 100，因此每个服务器可以有 64k 个连接，每个连接有 100 个 websocket 流，因此有 6.4M 个 websocket 流。这可能是一个值得考虑的解决方案。

    • 2

相关问题