RAID 控制器在负载下有多智能?
给定一个中高端控制器和机柜(即当前标准的戴尔或惠普现成套件...)、RAID 5、10gb 光纤、至少 3/4 的已用空间以及许多小型非对文件进行大量混合读/写访问的顺序,例如在文件或电子邮件服务器上找到的文件......
实际实施问题:给定相同数量的空间,少量大型高速驱动器(即 4x 1TB 15,000 rpm)或大量较小、中速或低速驱动器(即 9x 500GB 7200 或10,000 rpm) 驱动器?
理论问题:RAID 机柜/控制器是否知道驱动器的磁头当前在哪里以及它们需要寻找的位置,以便它们可以将读取分配给磁头行程距离最短的驱动器?还是有关系?
对于共享存储阵列上的大量非连续小文件,在最小化响应时间和最大化吞吐量方面还有哪些其他变量?请注意,由于数据的性质,缓存并没有那么重要。
根据您的描述,您的工作负载将是大量随机访问,因此限制因素是每秒随机 IO 操作。在 RAID-5 上,每个物理主轴每转磁盘一圈,您将获得(实际上)略少于一次 I/O 读取或写入。在这种情况下,更多的物理磁盘和更快的 RPM 意味着更高的吞吐量。
在数据请求的工作集溢出缓存的高度随机 I/O 情况下,系统的吞吐量是物理磁盘数量 x 磁盘速度的函数。磁盘越多越好,越快越好。
在您的理论问题上,磁盘支持称为“标记命令队列”的功能。这允许控制器将 I/O 请求分派到磁盘并异步接收请求。磁盘上的内部板知道磁盘磁头的位置,并且可以通过按照它决定的最佳顺序完成它们来优化操作。这个算法是“电梯搜索”的一些变体
结果可以无序返回,但会用请求号标记,以便 RAID 控制器知道与响应匹配的请求(因此是“标记的”)。SATA 有一个稍微不同的协议,称为“本机命令队列”,它执行类似的操作。
在这种情况下,RAID 控制器不必知道磁盘磁头的物理位置,因为这是由磁盘本身的固件管理的。
在大量随机访问工作负载上,一对 FC 循环将支持相当多的磁盘。对于视频 FC 等流式工作负载,将更快成为瓶颈。
一些控制器可以支持非常大的缓存大小。您可能想尝试估计工作集大小,看看是否可以真正升级控制器的缓存以适应它。如果您有统计背景,您可能能够根据从请求中收集的使用统计信息构建蒙特卡罗模型。
提高性能的另一种可能性可能是使用一层固态磁盘进行快速存储,但这取决于您的控制器是否支持此配置。
IOPS、IOPS 和 IOPS。这些是你需要考虑的。您可能会从更快的旋转驱动器获得更多 IOPS。或者,您可能会从更高的主轴数中获得更多的 IOPS。
Adaptec有一篇很好的比较文章,它回答了几乎完全相同的问题。
如果您有一些驱动器(即来自特定供应商),那么您可以运行数学。
目前没有 1TB 15krpm 磁盘,所以这充其量只是理论上的,但我们有类似的使用场景,对于您正在查看的中级系统,我强烈建议使用 2.5" SFF SAS 磁盘,理想情况下为 15krpm . 一个大小合适的阵列不是很贵,而且对于顺序流量非常快,对于随机流量也非常快。看看 HP MSA 70。
我已经在带有 Perc5/i 和 6/i 控制器的戴尔服务器上进行了大量测试。我们转售戴尔,每当有新服务器或新磁盘配置通过我们的大门时,我几乎无法抗拒对它们进行速度测试的诱惑。注意我使用我自己设计的磁盘测试仪进行测试。除了几年的经验表明它与服务器在现场时的速度密切相关外,我没有对我的测试人员提出任何特殊要求。有关血腥细节,请参阅http://ratsauce.sourceforge.net/index.html#diskthrasher。
无论如何,我的经验表明至少有六个磁盘 RAID5,每个额外的磁盘都会产生有用的速度提升。我已经用 15K SAS 磁盘和(Western Digital RE2 和 RE3)SATA 磁盘进行了测试,虽然 SATA 磁盘在随机访问时显然要慢很多,但 6 个 SATA 磁盘 RAID5 至少与 4 个 15K SAS 一样好磁盘 RAID5。所以我会选择更便宜的磁盘。
您关于读取磁头定位的问题仅适用于 RAID1 或 RAID10,我不再使用这些,因此无法发表评论。根据我有些模糊的记忆,Perc 4e/Di 上的 RAID1 明显比单个磁盘快,这表明有一些好处。然而差异很小,速度可能提高了 10-20%,这可能只是由于 RAID 控制器上的缓存更好。
顺便说一句,如果您下载我的 diskthrasher 应用程序,我会包含来自各种磁盘配置的大量测试结果。
JR
一般来说,答案将取决于您正在查看的系统。如果您希望系统更快,我通常会查看驱动器的 IOP 能力并使用它来决定。但是,我倾向于选择大量驱动器而不是较小的驱动器。
在 linux 中可以做很多其他的事情来提高性能。
通常,Raid 系统中的磁头应在 Raid5/6 系统中同步。通过使写入足够大,确保它在写入之前不必读取区域。
我认为这里要考虑的变量太多,无法提出一般性建议。比较驱动器的数量和它们的速度是不切实际的,因为磁头和盘片的数量等其他因素也会起作用,所以它也取决于驱动器型号。
理想情况下,您会选择几个满足您的应用程序要求的不同模型,并根据您的实际工作负载对它们进行基准测试,然后购买符合要求的模型。
只要您记得大多数“大型”SAN 的开销约为 50%,最终结果通常会相当快。
最大的问题是 NAS 前端(到目前为止,除了 NetApp)无法处理任何严重的元数据负载,所以要小心。
理论上,Raid 控制器可以知道最后预期的磁头位置,并在重新排序请求时使用它(这毕竟是电梯算法的传统部分),但现在巨大的 RAM 缓存更容易。