King David Asked: 2024-08-14 18:18:01 +0800 CST2024-08-14 18:18:01 +0800 CST 2024-08-14 18:18:01 +0800 CST HDFS + 使用 HDFS 的超大磁盘 772 据我所知,使用 20-30TB 磁盘与 HDFS 可能会带来一些挑战,但通过适当的配置也可以有效地管理它 虽然使用 20-30TB 磁盘与 HDFS 一起使用是可能的,但需要仔细考虑块大小、重建时间、数据分布、元数据管理和性能。适当的规划和配置可以帮助缓解这些挑战。 性能:大磁盘可能会导致更长的寻道时间并可能影响性能,特别是对于需要频繁随机访问的工作负载。 基于上述情况,我们是否可以打算在新的数据节点机器上使用 20T-30T 的磁盘? 请注意,我们打算从头开始安装基于 DELL HW 的 16 个数据节点机器,每个数据节点应包含 12 个非 RAID 磁盘(每个磁盘大小约为 22T) linux 1 个回答 Voted Best Answer RiGiD5 2024-08-18T23:34:50+08:002024-08-18T23:34:50+08:00 免责声明:好的,我会亲自动手并总结一切。 摘要:现代 HDD 通常在耗尽容量之前就耗尽了 IOPS,因此您可以获得巨大的存储池,唯一的问题是,您是否有足够的 IOPS 来支持您的配置?4TB 和 22TB 7,200 rpm SATA / NL-SAS 驱动器可能仅限于 ~80 IOPS,容量无关紧要。每个物理驱动器 80 IOPS 是否足以满足您的要求?我们不知道,您自己算吧! 提示:奇偶校验 RAID 配置顶部有写入惩罚,因此请注意! https://theithollow.com/2012/03/21/understanding-raid-penalty/ 警告:SMR 驱动器性能消耗大(它们基本上就像磁带……),除了顺序写入之外,不能用于任何其他用途(也许可以考虑 CCTV 工作负载和磁带模拟……),您绝对需要“经典”CMR HDD。请参阅: https://www.pitsdatarecovery.co.uk/blog/cmr-vs-smr/
免责声明:好的,我会亲自动手并总结一切。
摘要:现代 HDD 通常在耗尽容量之前就耗尽了 IOPS,因此您可以获得巨大的存储池,唯一的问题是,您是否有足够的 IOPS 来支持您的配置?4TB 和 22TB 7,200 rpm SATA / NL-SAS 驱动器可能仅限于 ~80 IOPS,容量无关紧要。每个物理驱动器 80 IOPS 是否足以满足您的要求?我们不知道,您自己算吧!
提示:奇偶校验 RAID 配置顶部有写入惩罚,因此请注意!
https://theithollow.com/2012/03/21/understanding-raid-penalty/
警告:SMR 驱动器性能消耗大(它们基本上就像磁带……),除了顺序写入之外,不能用于任何其他用途(也许可以考虑 CCTV 工作负载和磁带模拟……),您绝对需要“经典”CMR HDD。请参阅:
https://www.pitsdatarecovery.co.uk/blog/cmr-vs-smr/