我设置了一对相同的服务器,带有 RAID 阵列(8 核、16GB RAM、12x2 TB RAID6)、3 个 10GigE 接口,以托管一些高可用性服务。
系统当前正在运行 Debian 7.9 Wheezy oldstable(因为 corosync/pacemaker 在 8.x stable 和测试中均不可用)。
- 本地磁盘性能约为 900 MB/s 写入,1600 MB/s 读取。
- 机器之间的网络吞吐量超过 700MB/s。
- 通过 iSCSI,每台机器可以以超过 700 MB/s 的速度写入对方的存储。
但是,无论我如何配置 DRBD,吞吐量都被限制在 100MB/s。它真的看起来像一些硬编码的限制。我可以通过调整设置可靠地降低性能,但它永远不会超过 1Gbit(一次达到 122MB/s 几秒钟)。我真的在这个上拉我的头发。
- 普通香草内核 3.18.24 amd64
- drbd 8.9.2~rc1-1~bpo70+1
配置分为两个文件global-common.conf
:
global {
usage-count no;
}
common {
handlers {
}
startup {
}
disk {
on-io-error detach;
# no-disk-flushes ;
}
net {
max-epoch-size 8192;
max-buffers 8192;
sndbuf-size 2097152;
}
syncer {
rate 4194304k;
al-extents 6433;
}
}
和cluster.res
:
resource rd0 {
protocol C;
on cl1 {
device /dev/drbd0;
disk /dev/sda4;
address 192.168.42.1:7788;
meta-disk internal;
}
on cl2 {
device /dev/drbd0;
disk /dev/sda4;
address 192.168.42.2:7788;
meta-disk internal;
}
}
从机上的输出cat /proc/drbd
:
version: 8.4.5 (api:1/proto:86-101)
srcversion: EDE19BAA3D4D4A0BEFD8CDE
0: cs:SyncTarget ro:Secondary/Secondary ds:Inconsistent/UpToDate C r-----
ns:0 nr:4462592 dw:4462592 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:16489499884
[>....................] sync'ed: 0.1% (16103024/16107384)M
finish: 49:20:03 speed: 92,828 (92,968) want: 102,400 K/sec
主机上的输出vmstat 2
(两台机器几乎完全空闲):
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 0 0 14952768 108712 446108 0 0 213 254 16 9 0 0 100 0
0 0 0 14952484 108712 446136 0 0 0 4 10063 1361 0 0 99 0
0 0 0 14952608 108712 446136 0 0 0 4 10057 1356 0 0 99 0
0 0 0 14952608 108720 446128 0 0 0 10 10063 1352 0 1 99 0
0 0 0 14951616 108720 446136 0 0 0 6 10175 1417 0 1 99 0
0 0 0 14951748 108720 446136 0 0 0 4 10172 1426 0 1 99 0
iperf
两台服务器之间的输出:
------------------------------------------------------------
Client connecting to cl2, TCP port 5001
TCP window size: 325 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.42.1 port 47900 connected with 192.168.42.2 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 6.87 GBytes 5.90 Gbits/sec
显然,初始同步应该有点慢,但不是这么慢......此外,它并没有真正对任何限制同步速率的尝试做出反应,例如drbdadm disk-options --resync-rate=800M all
.
在较新版本的 DRBD(8.3.9 和更新版本)中,有一个需要调整的动态重新同步控制器。在旧版本的 DRBD 中设置
syncer {rate;}
就足够了;现在它更多地用作动态重新同步速度的轻微建议起点。动态同步控制器使用 DRBD 配置的磁盘部分中的“c-settings”进行调整(
$ man drbd.conf
有关每个设置的详细信息,请参阅)。在这些节点之间使用 10Gbe,并假设使用协议 C 后延迟较低,以下配置应该让事情进展得更快:
如果您仍然不满意,请尝试
max-buffers
调高 12k。如果您仍然不满意,您可以尝试c-fill-target
以 2M 为增量。其他地方有人建议我使用这些设置:
并且表现非常出色。
编辑: 根据@Matt Kereczman 和其他人的建议,我终于改成了:
重新同步速度很高:
在使用这些设置重新同步期间写入速度非常好(本地写入速度的 80%,全线速度):
读取速度还可以:
后期编辑:
完全重新同步后,性能非常好(线速写入,本地速读)。重新同步很快(5/6 小时)并且不会对性能造成太大影响(线速读取、线速写入)。我肯定会在零处使用 c-plan-ahead。对于非零值,重新同步太长了。
c-plan-ahead 必须设置一个正值来启用动态同步速率控制器。磁盘
c-plan-ahead 15; // 5 * RTT / 0.1s unit,in my case is 15 c-fill-target 24; c-max-rate 720M;