主页 / ubuntu / 问题 / 19325
Accepted
BarsMonster
Asked: 2010-12-30 13:28:22 +0800 CST

提高 mdadm RAID-6 写入速度

  • 772

我的 5x1Tb WD Green HDD 家庭服务器中有一个 mdadm RAID-6。读取速度绰绰有余 - dd 为 268 Mb/s。但写入速度仅为 37.1 Mb/s。（均通过 dd 对 48Gb 文件进行测试，RAM 大小为 1Gb，测试中使用的块大小为 8kb）

您能否建议为什么写入速度如此之低，有什么办法可以改善吗？写入期间的 CPU 使用率仅为 25%（即 Opteron 165 的 1 个核心的一半）那里没有关键业务数据，服务器由 UPS 支持。

mdstat 是：

Personalities : [raid6] [raid5] [raid4]
md0 : active raid6 sda1[0] sdd1[4] sde1[3] sdf1[2] sdb1[1]
      2929683456 blocks super 1.2 level 6, 1024k chunk, algorithm 2 [5/5] [UUUUU]
      bitmap: 0/8 pages [0KB], 65536KB chunk

unused devices: <none>

有什么建议么？

诸如写回、屏障、nobh 之类的东西没有帮助。DD blocksize=1M, 8M 没有任何改变。看起来 mdadm 会物理读取扇区以计算奇偶校验，即使这并不重要......这是正确的吗？

更新：更改条带缓存后速度下降实际上是因为 1 个 HDD 可能在测试期间失败，很好 :-D

已解决：增加条带缓存并切换到外部位图后，我的写入速度为 160 Mb/s，读取速度为 260 Mb/s。:-D

raid mdadm

2 个回答

  1. Best Answer

    您是否尝试过调整 /sys/block/mdX/md/stripe_cache_size？

    根据此论坛帖子（挪威语，抱歉）“调整此参数越重要，磁盘越多，系统越快”：

    在我的系统上，使用值 8192 可以获得最佳性能。如果使用默认值 256，写入性能下降 66%。

    引用他的速度进行比较：

    磁盘：mdadm RAID6 (-n 512) (stripe_size_cache=8192) 中的 8xSeagate 2TB LP (5900RPM)。

    CPU：Intel X3430（4x2.4GHz，8GB DDR3 ECC RAM）

    速度：387 MB/s 连续写入，704 MB/s 连续读取，每秒 669 次随机搜索。

    我的家用服务器的磁盘几乎和你一样，使用 RAID 5：

    磁盘：RAID 5 中的 4x1.5TB WD Green（stripe_size_cache=256 - 默认值）

    CPU：英特尔 i7 920（2.66 GHz，6 GB RAM）

    速度：60 MB/s 连续写入，138 MB/s 连续读取（根据 Bonnie++）

    所以看起来顺序写入性能大约是读取性能的 50%。

    对于预期的性能，Linux Raid Wiki谈到了 RAID 5：

    读取几乎类似于 RAID-0 读取，写入可能相当昂贵（需要在写入之前读入，以便能够计算正确的奇偶校验信息，例如在数据库操作中），或者类似于 RAID-1写入（当执行较大的顺序写入时，可以直接从要写入的其他块计算奇偶校验）。

    关于 RAID 6：

    读取性能与 RAID-5 相似，但写入性能更差。

    • 9

  2. 尝试

    echo 32768 > /sys/block/md0/md/stripe_cache_size

    并检查；）

    • 4

相关问题