主页 / server / 问题 / 80134
In Process
Dean Smith
Asked: 2009-11-01 04:26:24 +0800 CST

Linux md 与 LVM 性能

  • 772

我正在尝试调整我的 NAS，运行 openfiler，并想知道为什么我从 RAID 5 中的 4 个 WD RE3 驱动器获得相对较差的读取性能。

编辑：请注意我说的是缓冲磁盘读取速度而不是缓存速度

编辑：更改格式以明确有两组输出。

当我在元设备上运行 hdparm 时，我得到了我期望的性能水平，降低到音量，速度是原来的三分之一！

有人知道为什么吗？LVM 有那么糟糕吗？

院长

元设备 /dev/md0 结果

[root@nas2 等]# hdparm -tT /dev/md0
/dev/md0:
 定时缓存读取：2.00 秒内 4636 MB = 2318.96 MB/秒
 定时缓冲磁盘读取：3.01 秒内 524 MB = 174.04 MB/秒

卷组 /dev/mapper/vg1-vol1 结果 

[root@nas2 等]# hdparm -tT /dev/mapper/vg1-vol1
/dev/mapper/vg1-vol1：
 定时缓存读取：2.00 秒内 4640 MB = 2320.28 MB/秒
 定时缓冲磁盘读取：3.01 秒内 200 MB = 66.43 MB/秒

编辑：请参阅 hdparm 手册页中的部分，这表明这是对顺序读取性能的完全有效测试，这是我要解决的问题。

-t 为基准和比较目的执行设备读取计时。为了获得有意义的结果，此操作应重复 2-3 次，否则
              具有至少几兆字节可用内存的非活动系统（没有其他活动进程）。这显示了通过缓冲区的读取速度
              缓存到磁盘，而无需事先缓存数据。该测量值表明驱动器在以下情况下可以维持顺序数据读取的速度有多快
              Linux，没有任何文件系统开销。为确保准确测量，在处理 -t 期间使用 BLKFLSBUF 刷新缓冲区高速缓存
              ioctl。如果还指定了 -T 标志，则基于 -T 的结果的校正因子将合并到为 -t 报告的结果中
              手术。
linux

5 个回答

  1. LVM 的默认预读设置非常悲观。试着blockdev --setra 8192 /dev/vg1/vol1看看是什么让你的 LVM 性能达到了最高水平。使用 LVM 总是会降低性能；我们在正确配置的系统上以大约 10% 的底层块设备性能对其进行测量。

    • 11

  2. 我没有很好的解释，但我可以确认结果。

    RAID 测试（raid5、4x1.5TB 驱动器）

    root@enterprise:# hdparm -tT /dev/md2
/dev/md2:
 Timing cached reads:   2130 MB in  2.00 seconds = 1065.81 MB/sec
 Timing buffered disk reads:  358 MB in  3.00 seconds = 119.15 MB/sec
root@enterprise:# hdparm -tT /dev/md2
/dev/md2:
 Timing cached reads:   2168 MB in  2.00 seconds = 1084.54 MB/sec
 Timing buffered disk reads:  358 MB in  3.01 seconds = 119.10 MB/sec

    使用 md2 作为物理设备的卷的测试。

    root@enterprise:# hdparm -tT /dev/mapper/vg2-data
/dev/mapper/vg2-data:
 Timing cached reads:   2078 MB in  2.00 seconds = 1039.29 MB/sec
 Timing buffered disk reads:  176 MB in  3.03 seconds =  58.04 MB/sec
root@enterprise:# hdparm -tT /dev/mapper/vg2-data
/dev/mapper/vg2-data:
 Timing cached reads:   2056 MB in  2.00 seconds = 1028.06 MB/sec
 Timing buffered disk reads:  154 MB in  3.03 seconds =  50.81 MB/sec

    我做了womble 提出的改变，看到了这样的结果。

    root@enterprise:# blockdev --setra 8192 /dev/mapper/vg2-data

root@enterprise:# hdparm -tT /dev/mapper/vg2-data
/dev/mapper/vg2-data:
 Timing cached reads:   2106 MB in  2.00 seconds = 1053.82 MB/sec
 Timing buffered disk reads:  298 MB in  3.00 seconds =  99.26 MB/sec
root@enterprise:# hdparm -tT /dev/mapper/vg2-data
/dev/mapper/vg2-data:
 Timing cached reads:   2044 MB in  2.00 seconds = 1022.25 MB/sec
 Timing buffered disk reads:  280 MB in  3.03 seconds =  92.45 MB/sec
    • 4

  3. 确保将苹果与苹果进行比较。

    hdparm -t从设备的开头读取，如果您给它一个完整的磁盘（并且它是旋转的盘片），这也是磁盘中最快的部分。

    确保将其与磁盘开头的 LV 进行比较。

    要查看映射使用pvdisplay -m.

    （好吧，当然，数字上的差异可以忽略不计。但至少考虑一下：）

    • 3

  4. hdparm -T 创建的工作负载几乎不能代表任何用例，除了从单个大文件进行流式读取。此外，如果性能是一个问题，请不要使用 raid5。

    • 0

  5. 您可以通过 blktrace（如果它在 I/O 中）或 oprofile（如果它在 CPU 上）找出 hdparm 将时间花在哪里。了解 LVM 设置也会有所帮助（pvdisplay、vgdisplay、lvdisplay）。

    • 0

相关问题