据我所知,使用 20-30TB 磁盘与 HDFS 可能会带来一些挑战,但通过适当的配置也可以有效地管理它
虽然使用 20-30TB 磁盘与 HDFS 一起使用是可能的,但需要仔细考虑块大小、重建时间、数据分布、元数据管理和性能。适当的规划和配置可以帮助缓解这些挑战。
性能:大磁盘可能会导致更长的寻道时间并可能影响性能,特别是对于需要频繁随机访问的工作负载。
基于上述情况,我们是否可以打算在新的数据节点机器上使用 20T-30T 的磁盘?
请注意,我们打算从头开始安装基于 DELL HW 的 16 个数据节点机器,每个数据节点应包含 12 个非 RAID 磁盘(每个磁盘大小约为 22T)