AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / server / 问题 / 1163878
Accepted
King David
King David
Asked: 2024-08-14 18:18:01 +0800 CST2024-08-14 18:18:01 +0800 CST 2024-08-14 18:18:01 +0800 CST

HDFS + 使用 HDFS 的超大磁盘

  • 772

据我所知,使用 20-30TB 磁盘与 HDFS 可能会带来一些挑战,但通过适当的配置也可以有效地管理它

虽然使用 20-30TB 磁盘与 HDFS 一起使用是可能的,但需要仔细考虑块大小、重建时间、数据分布、元数据管理和性能。适当的规划和配置可以帮助缓解这些挑战。

性能:大磁盘可能会导致更长的寻道时间并可能影响性能,特别是对于需要频繁随机访问的工作负载。

基于上述情况,我们是否可以打算在新的数据节点机器上使用 20T-30T 的磁盘?

请注意,我们打算从头开始安装基于 DELL HW 的 16 个数据节点机器,每个数据节点应包含 12 个非 RAID 磁盘(每个磁盘大小约为 22T)

在此处输入图片描述

linux
  • 1 1 个回答
  • 86 Views

1 个回答

  • Voted
  1. Best Answer
    RiGiD5
    2024-08-18T23:34:50+08:002024-08-18T23:34:50+08:00

    免责声明:好的,我会亲自动手并总结一切。

    摘要:现代 HDD 通常在耗尽容量之前就耗尽了 IOPS,因此您可以获得巨大的存储池,唯一的问题是,您是否有足够的 IOPS 来支持您的配置?4TB 和 22TB 7,200 rpm SATA / NL-SAS 驱动器可能仅限于 ~80 IOPS,容量无关紧要。每个物理驱动器 80 IOPS 是否足以满足您的要求?我们不知道,您自己算吧!

    提示:奇偶校验 RAID 配置顶部有写入惩罚,因此请注意!

    https://theithollow.com/2012/03/21/understanding-raid-penalty/

    警告:SMR 驱动器性能消耗大(它们基本上就像磁带……),除了顺序写入之外,不能用于任何其他用途(也许可以考虑 CCTV 工作负载和磁带模拟……),您绝对需要“经典”CMR HDD。请参阅:

    https://www.pitsdatarecovery.co.uk/blog/cmr-vs-smr/

    • 4

相关问题

  • Linux 主机到主机迁移

  • 如何在 Linux 机器上找到有关硬件的详细信息?

  • 如何在 Linux 下监控每个进程的网络 I/O 使用情况?

  • 在 RHEL4 上修改 CUPS 中的现有打印机设置

  • 为本地网络中的名称解析添加自定义 dns 条目

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    新安装后 postgres 的默认超级用户用户名/密码是什么?

    • 5 个回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve