问题[round-robin](server)

我需要将我们当前基于单台服务器的基础架构升级为多台服务器。基本上我们运行一个 HTTP 应用程序、MySQL 和其他服务。

我的想法是把 HAProxy 放在所有服务器上，这样他们就可以自己平衡/故障转移。

像这样的东西：

        WAN
    |         |
|------|  |------|
| HAP1 |  | HAP2 |      HAProxy servers 
|------|  |------|
   \         /
    ----X----
   /         \
|------|  |------|
| NGX1 |  | NGX2 |      Nginx webservers
|------|  |------|

这个想法是使用指向 HAP 服务器的循环 DNS 配置公共主机名，然后将平衡到 Web 服务器。

为了获得不完全随机的平衡，我希望使用leastconn算法，但问题来了：HAP 服务器是否可以相互共享它们如何平衡传入连接？我想避免两台服务器都考虑由于上游循环而卸载后端。

编辑：我想避免使用keepalived和两个 HAP 共享的虚拟 IP，因为服务器将位于不同的数据中心。

我有一个负载均衡器服务器（使用 nginx）lb1的网络，它在四个 Web 服务器web1、web2、web3、web4之间路由流量。这四个网络服务器被路由到使用 nginx 中的循环。

所有服务器都设置为max_fails=1和fail_timeout=5s，因此当服务器关闭时，如果它不在线，它应该很快被忽略。

我应该注意到，如果所有四个 Web 服务器都在线，则每个 Web 服务器的网页的平均响应时间约为 50-150 毫秒。当只有一个 Web 服务器处于脱机状态时，就会出现问题。当一个人离线并且用户尝试加载另一个页面时，响应时间在 50 毫秒到 25 秒之间变化。是的，25秒。

我很困惑，因为我认为循环和fail_timeout 设置会使得离线服务器被忽略。

附加的，可能相关的注释：所有四个 web 服务器都运行 apache 和 php5，并且在四个之间启用了 memcached。

我在 aws 上有一个网站（例如：www.website.com），它使用大量流数据（高达 10mbps / 用户）。可以说我的网站速度变慢了，因为当多个用户连接时，服务器根本无法处理其当前连接上的那么多数据（100mbps、1000mbps .. 不管它是什么）。

我读过关于负载均衡器的文章，但似乎一切都通过同一个前端，但你可以拆分后端的东西（例如：www.website.com 仍然处理所有连接，但现在我们有 15 个应用程序相关的后端服务器来处理一些 cpu 负载或其他东西）

我现在的解决方案是使用 dns round-robin，它可以让我在多个服务器之间分配带宽负载。

我对负载平衡及其工作原理有什么误解吗？我是否需要一个前置 IP 地址将用户转发到包含运行该网站的多个服务器的某些子域（appserver1.website.com - appserver9.website.com）？

对不起，如果我在这里完全错了。

谢谢。

我有许多点对点HTTP 代理，我需要在它们之间平均分配我的请求，所以我添加了多个cache_peer指令并将循环设置为对等选择算法。这是我的配置：

# Basic configuration
visible_hostname squid_proxy_1
unique_hostname squid_proxy_1

http_port 3130
pid_filename /vagrant/squid_proxy_1.pid


cache deny all
http_access allow all

# Proxies
cache_peer MY_PROXY_HOST parent PROXY_PORT 0 round-robin no-query name=FIRST login=MY_PROXY_LOGIN-1:PASSWORD1
cache_peer MY_PROXY_HOST parent PROXY_PORT 0 round-robin no-query name=SECOND login=MY_PROXY_LOGIN-2:PASSWORD2
cache_peer MY_PROXY_HOST parent PROXY_PORT 0 round-robin no-query name=THIRD login=MY_PROXY_LOGIN-3:PASSWORD3

never_direct allow all

但是我遇到了以下问题：cache_peer开关不是在每次请求之后进行的。这是我的access.log的样子：

sudo tail -f /var/log/squid3/access.log
1460977613.775  23783 127.0.0.1 TCP_MISS/200 11371 GET http://www.google.com/ - ROUNDROBIN_PARENT/104.131.79.140 text/html
1460977621.171   4843 127.0.0.1 TCP_MISS/200 11413 GET http://www.google.com/ - ROUNDROBIN_PARENT/104.131.79.140 text/html
1460977628.367   5583 127.0.0.1 TCP_MISS/200 11412 GET http://www.google.com/ - ROUNDROBIN_PARENT/104.131.79.140 text/html
1460977634.270   4726 127.0.0.1 TCP_MISS/200 11354 GET http://www.google.com/ - ROUNDROBIN_PARENT/104.131.79.140 text/html
1460977642.429   6531 127.0.0.1 TCP_MISS/200 12841 GET http://www.google.com/ - ROUNDROBIN_PARENT/104.131.79.140 text/html
1460977645.563   1747 127.0.0.1 TCP_MISS/200 11360 GET http://www.google.com/ - ROUNDROBIN_PARENT/104.131.79.140 text/html
1460977653.731   7242 127.0.0.1 TCP_MISS/200 11408 GET http://www.google.com/ - ROUNDROBIN_PARENT/107.170.96.123 text/html
1460977658.559   3763 127.0.0.1 TCP_MISS/200 11374 GET http://www.google.com/ - ROUNDROBIN_PARENT/45.55.163.40 text/html
1460977660.516   1387 127.0.0.1 TCP_MISS/200 11398 GET http://www.google.com/ - ROUNDROBIN_PARENT/45.55.163.40 text/html
1460977662.863   1758 127.0.0.1 TCP_MISS/200 11414 GET http://www.google.com/ - ROUNDROBIN_PARENT/45.55.163.40 text/html
1460977664.667   1305 127.0.0.1 TCP_MISS/200 11419 GET http://www.google.com/ - ROUNDROBIN_PARENT/45.55.163.40 text/html
1460977676.157  10901 127.0.0.1 TCP_MISS/200 11384 GET http://www.google.com/ - ROUNDROBIN_PARENT/45.55.163.40 text/html
1460977678.565   1348 127.0.0.1 TCP_MISS/200 11321 GET http://www.google.com/ - ROUNDROBIN_PARENT/45.55.163.40 text/html
1460977681.742   2516 127.0.0.1 TCP_MISS/200 11383 GET http://www.google.com/ - ROUNDROBIN_PARENT/45.55.163.40 text/html

仅当我使用这些特定的 P2P 代理时才会发生这种情况。我尝试使用在实习生中找到的免费代理进行相同的配置，一切正常。

我想问题是 Squid 可能认为我的代理已死（因为它们有时真的很慢），因此我们没有将流量路由到它们，但我不确定。

有没有办法获得有关对等选择算法的更多信息？我可以以某种方式调整cache_peer选项来解决这个问题吗？

据我所知，这个问题与 PowerDNS 无关。服务器在最新版本的 Amazon Linux 上pdns-static-3.0.1-1.i386.rpm运行两个软件包。pdns-recursor-3.3-1.i386.rpm

亚马逊 ec2 负载均衡器被分配了一个包含多个主机的 CNAME。以下是实际行为的示例。请注意主机如何始终保持相同的顺序。

[root@localhost ~]# host cache.domain.com
cache.domain.com is an alias for xxxxx.us-east-1.elb.amazonaws.com.
xxxxx.us-east-1.elb.amazonaws.com has address aaa.aaa.aaa.aaa
xxxxx.us-east-1.elb.amazonaws.com has address bbb.bbb.bbb.bbb
[root@localhost ~]# host cache.domain.com
cache.domain.com is an alias for xxxxx.us-east-1.elb.amazonaws.com.
xxxxx.us-east-1.elb.amazonaws.com has address aaa.aaa.aaa.aaa
xxxxx.us-east-1.elb.amazonaws.com has address bbb.bbb.bbb.bbb
[root@localhost ~]# host cache.domain.com
cache.domain.com is an alias for xxxxx.us-east-1.elb.amazonaws.com.
xxxxx.us-east-1.elb.amazonaws.com has address aaa.aaa.aaa.aaa
xxxxx.us-east-1.elb.amazonaws.com has address bbb.bbb.bbb.bbb

预期行为是主机循环

[root@localhost ~]# host cache.domain.com
cache.domain.com is an alias for xxxxx.us-east-1.elb.amazonaws.com.
xxxxx.us-east-1.elb.amazonaws.com has address aaa.aaa.aaa.aaa
xxxxx.us-east-1.elb.amazonaws.com has address bbb.bbb.bbb.bbb
[root@localhost ~]# host cache.domain.com
cache.domain.com is an alias for xxxxx.us-east-1.elb.amazonaws.com.
xxxxx.us-east-1.elb.amazonaws.com has address bbb.bbb.bbb.bbb
xxxxx.us-east-1.elb.amazonaws.com has address aaa.aaa.aaa.aaa
[root@localhost ~]# host cache.domain.com
cache.domain.com is an alias for xxxxx.us-east-1.elb.amazonaws.com.
xxxxx.us-east-1.elb.amazonaws.com has address aaa.aaa.aaa.aaa
xxxxx.us-east-1.elb.amazonaws.com has address bbb.bbb.bbb.bbb

地址最终会交换，但似乎在 30 分钟缓存计时器上更改记录的 TTL 似乎不会影响任何内容。解析器似乎有响应的缓存。这对我的应用程序产生了不利影响，因为所有负载仅被发送到负载平衡器之一（可用区），因此如果我在两个区域中有服务器，那么一次只有一个区域处于负载状态。

你知道我如何解决这个问题，以便每次解析主机时地址的顺序都是交替的。

数字输出

; DiG 9.7.6-P1-RedHat-9.7.6-1.P1.18.amzn1 cache.domain.com
;; 全局选项：+cmd
;; 得到答案：
;; 标题操作码：QUERY，状态：NOERROR，ID：54610
;; 标志：qr rd ra；查询：1，答案：3，权限：0，附加：0

;; 问题部分：
缓存.domain.com。在一个

;; 答案部分：
缓存.domain.com。100 CNAME xxxxx.us-east-1.elb.amazonaws.com。                                                                                                                 
xxxxx.us-east-1.elb.amazonaws.com。3 输入 aaa.aaa.aaa.aaa
xxxxx.us-east-1.elb.amazonaws.com。3 在一个 bbb.bbb.bbb.bbb

;; 查询时间：0 毫秒
;; 服务器：ccc.ccc.ccc.ccc#53(ccc.ccc.ccc.ccc)
;; 时间：2012 年 7 月 2 日星期一 15:09:27
;; MSG SIZE 收件人：130

递归配置

允许-来自=0.0.0.0/0
不要查询=
本地地址=127.0.0.1
local-port=530 # 端口应该改成530因为和dns服务器运行在同一个端口不好
安静=是
setgid=pdns
setuid=pdns
禁用-packetcache=
packetcache-ttl=0
forward-zones=domain.local=LOCALIP,domain.cloud=LOCALIP #将我们关心的两个区域转发回本地dns服务器
forward-zones-recurse=amazonaws.com=172.16.0.23,compute-1.internal=172.16.0.23 # 将亚马逊域的查询转发到亚马逊的解析器

解决方案

将以下行添加到 recursor.conf

disable-packetcache=
packetcache-ttl=0

将以下行添加到 pdns.conf

recursive-cache-ttl=0

我使用 SSH 测试了 DNS 循环，我注意到 SSH 客户端在我的测试环境中的惊人结果。我在 RHEL 6.2 中使用 3 个节点（openssh-5.3p1、bind-9.7.3-8.P3）。主机密钥之类的东西已经得到管理。

我的“问题”：

我想要在几个 SSH 服务器之间使用多个 DNS 条目进行基本的负载平衡。我（几乎）确定这是可能的。但是我得到了一种基本的 HA ... openssh 客户端似乎不关心循环，它总是连接到同一个节点，除非它已关闭，在最后一种情况下，客户端使用来自的另一条记录DNS 条目列表，然后成功连接到它。这是正常/常见的行为吗？或者我的测试有什么问题？

我将我的 straces 和 tcpdumps 放在几个案例中。如果您有任何可以帮助的想法或解释，请提前致谢:)

登录 => 10.255.254.1 (node0), 10.255.254.3 (node2) ssh 客户端 => 10.255.254.2 (node1)

node0 上的 DNS 服务器，RR 没有被禁用。

login IN A 10.255.254.1
login IN A 10.255.254.3

我确认：

• host(1) 的查找确认了 Round-Robin ；
• ping(1) 命令看起来不错：

[root@node1 ~]# ping 登录

PING login.node (10.255.254.3) 56(84) bytes of data.
64 bytes from node2.node (10.255.254.3): icmp_seq=1 ttl=64 time=1.73 ms
^C
[root@node1 ~]# ping login
PING login.node (10.255.254.1) 56(84) bytes of data.
64 bytes from node0.node (10.255.254.1): icmp_seq=1 ttl=64 time=0.467 ms
^C
[root@node1 ~]# ping login
PING login.node (10.255.254.3) 56(84) bytes of data.
64 bytes from node2.node (10.255.254.3): icmp_seq=1 ttl=64 time=0.433 ms
^C

测试 1（两个 SSH 服务器都已启动且可访问）

[root@node1 ~]# strace -e connect ssh login
connect(3, {sa_family=AF_FILE, path="/var/run/nscd/socket"}, 110) = -1 ENOENT (No such file or directory)
(...)
connect(3, {sa_family=AF_INET, sin_port=htons(53), sin_addr=inet_addr("10.255.254.1")}, 16) = 0
connect(3, {sa_family=AF_INET, sin_port=htons(22), sin_addr=inet_addr("10.255.254.3")}, 16) = 0
connect(3, {sa_family=AF_UNSPEC, sa_data="\0\0\0\0\0\0\0\0\0\0\0\0\0\0"}, 16) = 0
connect(3, {sa_family=AF_INET, sin_port=htons(22), sin_addr=inet_addr("10.255.254.1")}, 16) = 0
connect(3, {sa_family=AF_INET, sin_port=htons(22), sin_addr=inet_addr("10.255.254.3")}, 16) = 0
(...)

[root@node0 ~]# tcpdump -i eth0 src node1 or dst node1
listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes
17:03:04.875099 IP node1.node.53511 > node0.node.domain: 55904+ A? login.node. (29)
17:03:04.875417 IP node0.node.domain > node1.node.53511: 55904* 2/1/1 A 10.255.254.3, A 10.255.254.1 (102)
17:03:04.875432 IP node1.node.53511 > node0.node.domain: 22271+ AAAA? login.node. (29)
17:03:04.875523 IP node0.node.domain > node1.node.53511: 22271* 0/1/0 (79)

=> node2上的连接(10.255.254.3)

测试 2（两个 SSH 服务器仍然可用并且可以访问）

[root@node1 ~]# strace -e connect ssh login
connect(3, {sa_family=AF_FILE, path="/var/run/nscd/socket"}, 110) = -1 ENOENT (No such file or directory)
(...)
connect(3, {sa_family=AF_INET, sin_port=htons(53), sin_addr=inet_addr("10.255.254.1")}, 16) = 0
connect(3, {sa_family=AF_INET, sin_port=htons(22), sin_addr=inet_addr("10.255.254.1")}, 16) = 0
connect(3, {sa_family=AF_UNSPEC, sa_data="\0\0\0\0\0\0\0\0\0\0\0\0\0\0"}, 16) = 0
connect(3, {sa_family=AF_INET, sin_port=htons(22), sin_addr=inet_addr("10.255.254.3")}, 16) = 0
connect(3, {sa_family=AF_INET, sin_port=htons(22), sin_addr=inet_addr("10.255.254.3")}, 16) = 0
(...)

[root@node0 ~]# tcpdump -i eth0 src node1 or dst node1
17:04:29.663664 IP node1.node.51950 > node0.node.domain: 4685+ A? login.node. (29)
17:04:29.663685 IP node1.node.51950 > node0.node.domain: 36559+ AAAA? login.node. (29)
17:04:29.664046 IP node0.node.domain > node1.node.51950: 4685* 2/1/1 A 10.255.254.1, A 10.255.254.3 (102)
17:04:29.664110 IP node0.node.domain > node1.node.51950: 36559* 0/1/0 (79)

=> 节点 2 上的连接

（又一次测试再次确认连接到node2。看来round-robin只用于ssh客户端的初步测试）

测试 3（node2 上的 SSH 服务器已停止）

[root@node2 ~]# /etc/init.d/sshd stop
Stopping sshd:                                             [  OK  ]

[root@node1 ~]# strace -e connect ssh login
connect(3, {sa_family=AF_FILE, path="/var/run/nscd/socket"}, 110) = -1 ENOENT (No such file or directory)
(...)
connect(3, {sa_family=AF_INET, sin_port=htons(53), sin_addr=inet_addr("10.255.254.1")}, 16) = 0
connect(3, {sa_family=AF_INET, sin_port=htons(22), sin_addr=inet_addr("10.255.254.1")}, 16) = 0
connect(3, {sa_family=AF_UNSPEC, sa_data="\0\0\0\0\0\0\0\0\0\0\0\0\0\0"}, 16) = 0
connect(3, {sa_family=AF_INET, sin_port=htons(22), sin_addr=inet_addr("10.255.254.3")}, 16) = 0
connect(3, {sa_family=AF_INET, sin_port=htons(22), sin_addr=inet_addr("10.255.254.3")}, 16) = -1 ECONNREFUSED (Connection refused)
connect(3, {sa_family=AF_INET, sin_port=htons(22), sin_addr=inet_addr("10.255.254.1")}, 16) = 0

[root@node0 ~]# tcpdump -i eth0 src node1 or dst node1
17:09:05.854022 IP node1.node.41233 > node0.node.domain: 63435+ A? login.node. (29)
17:09:05.854055 IP node1.node.41233 > node0.node.domain: 3015+ AAAA? login.node. (29)
17:09:05.854436 IP node0.node.domain > node1.node.41233: 63435* 2/1/1 A 10.255.254.1, A 10.255.254.3 (102)
17:09:05.854531 IP node0.node.domain > node1.node.41233: 3015* 0/1/0 (79)
17:09:05.856764 IP node1.node.59579 > node0.node.ssh: Flags [S], seq 3025023931, win 14600, options [mss 1460,sackOK,TS val 9854496 ecr 0,nop,wscale 7], length 0
17:09:05.856806 IP node0.node.ssh > node1.node.59579: Flags [S.], seq 1105519762, ack 3025023932, win 14480, options [mss 1460,sackOK,TS val 350907197 ecr 9854496,nop,wscale 7], length 0
17:09:05.857106 IP node1.node.59579 > node0.node.ssh: Flags [.], ack 1, win 115, options [nop,nop,TS val 9854496 ecr 350907197], length 0
17:09:05.865291 IP node0.node.ssh > node1.node.59579: Flags [P.], seq 1:22, ack 1, win 114, options [nop,nop,TS val 350907205 ecr 9854496], length 21
(...)

=> node0上的连接（故障转移？？惊喜！）

测试 4（相同条件）

[root@node1 ~]# strace -e connect ssh login
connect(3, {sa_family=AF_FILE, path="/var/run/nscd/socket"}, 110) = -1 ENOENT (No such file or directory)
(...)
connect(3, {sa_family=AF_INET, sin_port=htons(53), sin_addr=inet_addr("10.255.254.1")}, 16) = 0
connect(3, {sa_family=AF_INET, sin_port=htons(22), sin_addr=inet_addr("10.255.254.3")}, 16) = 0
connect(3, {sa_family=AF_UNSPEC, sa_data="\0\0\0\0\0\0\0\0\0\0\0\0\0\0"}, 16) = 0
connect(3, {sa_family=AF_INET, sin_port=htons(22), sin_addr=inet_addr("10.255.254.1")}, 16) = 0
connect(3, {sa_family=AF_INET, sin_port=htons(22), sin_addr=inet_addr("10.255.254.3")}, 16) = -1 ECONNREFUSED (Connection refused)
connect(3, {sa_family=AF_INET, sin_port=htons(22), sin_addr=inet_addr("10.255.254.1")}, 16) = 0


[root@node0 ~]# tcpdump -i eth0 src node1 or dst node1
(...)
17:11:44.154595 IP node1.node.56947 > node0.node.domain: 4602+ A? login.node. (29)
17:11:44.154862 IP node0.node.domain > node1.node.56947: 4602* 2/1/1 A 10.255.254.3, A 10.255.254.1 (102)
(...)

=>相同的结果（节点 0 上的连接）

测试 5（node2 上的 SSH 服务器重新启动）

[root@node2 ~]# /etc/init.d/sshd restart
Stopping sshd:                                             [FAILED]
Starting sshd:                                             [  OK  ]

[root@node1 ~]# strace -e connect ssh login
connect(3, {sa_family=AF_FILE, path="/var/run/nscd/socket"}, 110) = -1 ENOENT (No such file or directory)
(...)
connect(3, {sa_family=AF_INET, sin_port=htons(53), sin_addr=inet_addr("10.255.254.1")}, 16) = 0
connect(3, {sa_family=AF_INET, sin_port=htons(22), sin_addr=inet_addr("10.255.254.1")}, 16) = 0
connect(3, {sa_family=AF_UNSPEC, sa_data="\0\0\0\0\0\0\0\0\0\0\0\0\0\0"}, 16) = 0
connect(3, {sa_family=AF_INET, sin_port=htons(22), sin_addr=inet_addr("10.255.254.3")}, 16) = 0
connect(3, {sa_family=AF_INET, sin_port=htons(22), sin_addr=inet_addr("10.255.254.3")}, 16) = 0

[root@node0 ~]# tcpdump -i eth0 src node1 or dst node1
(...)
17:17:12.893633 IP node1.node.42432 > node0.node.domain: 7264+ A? login.node. (29)
17:17:12.893988 IP node0.node.domain > node1.node.42432: 7264* 2/1/1 A 10.255.254.1, A 10.255.254.3 (102)
(...)

=> 再次连接到node2（故障回复）

我有一个 Exchange 2010 服务器，它在 2 条 MX 记录下可见，mx.acme.com并且mx1.acme.com具有来自 2 个不同网络提供商的 2 个不同 IP 地址。他们都报告为mx.acme.com有人向我们发送电子邮件时，他们都报告为mx.acme.com我们发送电子邮件时。但是现在第二个 MX（和发送电子邮件的 IP 地址实际上具有不同的域名，反向 dns 然后它在连接到其他服务器时报告的域名。

问题是我不知道哪个 IP 地址将用于发送电子邮件，所以我想mx.acme.com在 DNS 中为两个 IP 地址设置相同的记录，并为两个提供商设置相同的反向 DNS。

那会工作得很好还是我遗漏了什么？我想我只需要添加一个 MX 记录而不是两个，因为添加第二个是没有意义的。

当前设置看起来或多或少像这样：

MX record: acme.com IN MX 5 mail1.acme.com
A record: mail1.acme.com IN A 192.168.10.17
MX record: acme.com IN MX 10 mail2.acme.com
A record: mail2.acme.com IN A 192.168.10.18

我想将其更改为：

MX record: acme.com IN MX 5 mail.acme.com
A record: mail.acme.com IN A 192.168.10.17
A record: mail.acme.com IN A 192.168.10.18

因为这是我认为这将会进行的唯一方式。我可以看到的问题是，如果一个 IP 地址已关闭，并且无论如何 dns 都会将服务器指向它，那么一些邮件将被退回。我猜想要使循环法正常工作，我将需要 TTL 0，因此 DNS（在托管时必须允许这样做）。