Configurei um par de servidores idênticos com matrizes RAID (8 núcleos, 16 GB de RAM, 12x2 TB RAID6), 3 interfaces 10GigE, para hospedar alguns serviços altamente disponíveis.
Atualmente, os sistemas estão executando o Debian 7.9 Wheezy oldstable (porque o corosync/pacemaker não está disponível no 8.x estável nem no teste).
- O desempenho do disco local é de cerca de 900 MB/s de gravação, 1600 MB/s de leitura.
- a taxa de transferência de rede entre as máquinas é superior a 700 MB/s.
- por meio do iSCSI, cada máquina pode gravar no armazenamento da outra a mais de 700 MB/s.
No entanto, independentemente da maneira como configuro o DRBD, a taxa de transferência é limitada a 100 MB/s. Realmente parece algum limite codificado. Posso diminuir o desempenho de forma confiável ajustando as configurações, mas nunca ultrapassa 1 Gbit (122 MB/s são atingidos por alguns segundos de cada vez). Estou realmente puxando meu cabelo em um presente.
- kernel vanilla simples 3.18.24 amd64
- drbd 8.9.2~rc1-1~bpo70+1
A configuração é dividida em dois arquivos: global-common.conf:
global {
usage-count no;
}
common {
handlers {
}
startup {
}
disk {
on-io-error detach;
# no-disk-flushes ;
}
net {
max-epoch-size 8192;
max-buffers 8192;
sndbuf-size 2097152;
}
syncer {
rate 4194304k;
al-extents 6433;
}
}
e cluster.res:
resource rd0 {
protocol C;
on cl1 {
device /dev/drbd0;
disk /dev/sda4;
address 192.168.42.1:7788;
meta-disk internal;
}
on cl2 {
device /dev/drbd0;
disk /dev/sda4;
address 192.168.42.2:7788;
meta-disk internal;
}
}
Saída do cat /proc/drbdescravo:
version: 8.4.5 (api:1/proto:86-101)
srcversion: EDE19BAA3D4D4A0BEFD8CDE
0: cs:SyncTarget ro:Secondary/Secondary ds:Inconsistent/UpToDate C r-----
ns:0 nr:4462592 dw:4462592 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:16489499884
[>....................] sync'ed: 0.1% (16103024/16107384)M
finish: 49:20:03 speed: 92,828 (92,968) want: 102,400 K/sec
Saída do vmstat 2mestre (ambas as máquinas estão quase completamente ociosas):
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 0 0 14952768 108712 446108 0 0 213 254 16 9 0 0 100 0
0 0 0 14952484 108712 446136 0 0 0 4 10063 1361 0 0 99 0
0 0 0 14952608 108712 446136 0 0 0 4 10057 1356 0 0 99 0
0 0 0 14952608 108720 446128 0 0 0 10 10063 1352 0 1 99 0
0 0 0 14951616 108720 446136 0 0 0 6 10175 1417 0 1 99 0
0 0 0 14951748 108720 446136 0 0 0 4 10172 1426 0 1 99 0
Saída iperfentre os dois servidores:
------------------------------------------------------------
Client connecting to cl2, TCP port 5001
TCP window size: 325 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.42.1 port 47900 connected with 192.168.42.2 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 6.87 GBytes 5.90 Gbits/sec
Aparentemente, a sincronização inicial deve ser um pouco lenta, mas não tão lenta ... Além disso, ele realmente não reage a nenhuma tentativa de acelerar a taxa de sincronização como drbdadm disk-options --resync-rate=800M all.
Nas versões mais recentes do DRBD (8.3.9 e mais recentes), há um controlador de ressincronização dinâmico que precisa de ajuste. Em versões mais antigas do DRBD, a configuração
syncer {rate;}era suficiente; agora é usado mais como um ponto de partida levemente sugerido para a velocidade de ressincronização dinâmica.O controlador de sincronização dinâmica é ajustado com as "configurações c" na seção de disco da configuração do DRBD (consulte
$ man drbd.confpara obter detalhes sobre cada uma dessas configurações).Com 10 Gbe entre esses nós e assumindo baixa latência, já que o protocolo C é usado, a seguinte configuração deve acelerar as coisas:
recurso rd0 { protocolo C; disco { c-preenchimento-alvo 10M; c-max-rate 700M; c-planejar com antecedência 7; taxa de c-min 4M; } em cl1 { dispositivo /dev/drbd0; disco /dev/sda4; endereço 192.168.42.1:7788; meta-disco interno; } em cl2 { dispositivo /dev/drbd0; disco /dev/sda4; endereço 192.168.42.2:7788; meta-disco interno; } }Se você ainda não estiver satisfeito, tente
max-buffersaumentar para 12k. Se você ainda não estiver satisfeito, tente aumentarc-fill-targetem incrementos de 2 milhões.Alguém em outro lugar sugeriu que eu usasse essas configurações:
E o desempenho é excelente.
Editar: de acordo com @Matt Kereczman e outras sugestões, finalmente mudei para isso:
A velocidade de ressincronização é alta:
A velocidade de gravação é excelente durante a ressincronização com estas configurações (80% da velocidade de gravação local, velocidade total do cabo):
A velocidade de leitura está OK:
Edição posterior:
Após uma ressincronização completa, o desempenho é muito bom (gravação em velocidade de fio, leitura em velocidade local). A ressincronização é rápida (5/6 horas) e não prejudica muito o desempenho (leitura da velocidade do fio, gravação da velocidade do fio). Eu definitivamente vou ficar com c-plan-ahead em zero. Com valores diferentes de zero, a ressincronização é muito longa.
c-plan-ahead deve definir um valor positivo para habilitar o controlador de taxa de sincronização dinâmica. disco
c-plan-ahead 15; // 5 * RTT / 0.1s unit,in my case is 15 c-fill-target 24; c-max-rate 720M;