我必须向 SLES 10 服务器添加一些归档\暂存存储。要求是提供相当大的卷(每个大约 9-20TB,总共 60TB 左右),用于存储包含大型图像文件(大部分为 150Meg Tiff)的存档数据(从字面上看,这是用于库)和大的压缩包。数据将压倒性地偏向于读取 IO,肯定 > 95% 并且可能超过 99%。
存储已购买 - 一个戴尔 MD3000 SAS 阵列菊花链式连接 2 个 MD1000,完全填充 2TB 7200 RPM SATA 驱动器,总共 45 个驱动器。阵列堆栈使用两个双端口外部 SAS 适配器连接,即堆栈有 4 条路径。
我的意图是将这些配置为一组 4 个卷,位于 4 个 RAID 组上,每个阵列有一个热备用。所有组都将是具有 7 或 14 个驱动器的 RAID 6,并且每个 RAID 组将显示为使用该组中所有容量的单个 LUN。在 SLES 方面,这些需要格式化为 XFS 卷。
我在 SLES(和一般 Linux)方面的经验有限,我正在寻找一些关于此的建议,特别是:
- 在 SLES 10 下配置这种大小的 XFS 卷时,是否有任何具体的事情需要注意,即在给定 IO 配置文件的情况下,默认设置是否可以?
- 初始化\分区\格式化这些的最佳方法是什么?我使用 Parted 设置磁盘标签和 YAST 分区管理器(接受所有默认值)为我的初始测试创建和格式化 XFS 卷。
- 如何设置多路径?当我展示初始测试卷时,它显示为四个独立的设备(/dev/sdl、/dev/sdm、/dev/sdn 和 /dev/sdn)。我该怎么做才能将其作为单个卷使用?
- 在我的初始测试中,我发现现有 EMC Clariion SAN 卷的传输速率约为 30Meg/sec。这比我预期的要低很多,即使考虑到 RAID 6 写入惩罚,我预计会在 70-100Meg/秒的范围内看到一些东西。
- 我如何判断一切是否正常 - 我应该在哪里查找错误\警告等?例如,YAST 分区编辑器需要很长时间才能启动,我想了解原因。
- 您会对此进行不同的分区和\或使用不同的文件系统吗?如果是,为什么?
服务器是戴尔 2950 - 我没有检查详细规格,但顶部显示利用率最多徘徊在低个位数。
在我以前的工作中,我们遇到了类似的问题。我们正在为天文馆制作,每帧都是 64 兆像素。很多大图。这些将在一组计算机上以非常激进的读取操作为每个剧院处理。
在这种情况下,服务器具有类似的存储设置。多个外部直接连接的 RAID 阵列。其中每一个都位于暴露给主机的 RAID6 卷中,并添加到 LVM(逻辑卷管理器)下的 VG(卷组)中。然后,每个节目/制作都会获得自己的 LV(逻辑卷)、格式化的 XFS,我们将根据需要随项目增长。
如果您的数据集非常静态或以这样的可预测方式增长,那么这种方法应该适合您。但要小心,这种方法确实有缺点。您最终不得不对存储中的 LV 进行微观管理。一些管理员更喜欢这种方式,但其他管理员会尽量避免它。但这允许您随着数据集的增长而增长每个 LV 和 XFS 文件系统。使您的 XFS 卷尽可能小,这样您就不会被需要数年才能完成的 fsck 卡住。并且可以在文件系统向南时充当损害控制。
免责声明:如果我今天要设置它,我会使用 OpenSolaris 和 ZFS。主要是 b/c 它避免了微管理问题,是一个优秀的文件系统/卷管理器。所以你可能也想看看。
我会更多地购买更多磁盘和 RAID 10。
我们不久前购买的数百个 1TB FATA(光纤连接 SATA)磁盘遇到了可怕的问题,每个 1000 英镑,我每个月损失 5%!基本上它们不是为 24x7 占空比设计的,您可能会遇到同样的问题,这就是我推荐 R10 的原因。
RAID6 是朝着正确方向迈出的一步,但是如果您有能力,我会至少保留一个磁盘作为热备件 - 如果磁盘在您的阵列上的任何地方死机,它会在等待您时跳入并条带化更换故障磁盘。在该主题上,请确保您在现场至少有 2 或 3 个备用磁盘可供更换,并确保您拥有所有警报设置,以便在出现问题时 24x7 全天候通知您。
至于性能,那些 2GB 磁盘对于 7.2k 磁盘来说并没有那么松散,而且 SAS 可以非常快,所以我希望你提到的顺序读取的 70MBps 速度 - 显然随机和写入将非常低。
抱歉,如果我看起来很消极,我已经与存储搏斗多年,只能在企业磁盘系统上轻松入睡 - 我刚刚拉了太多 48/72 小时轮班来修复低端设备。