AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / server / 问题 / 589475
Accepted
warren
warren
Asked: 2014-04-17 07:19:24 +0800 CST2014-04-17 07:19:24 +0800 CST 2014-04-17 07:19:24 +0800 CST

在像 MooseFS 或 XtreemFS 这样的分布式文件系统中,单个节点应该公开“原始”存储还是 LVM 存储?

  • 772

在准备基础架构以利用MooseFS或XtreemFS等分布式存储系统时,各个节点应如何将存储呈现给环境的其余部分?

将分区呈现在物理硬件附近是否更好,或者各个节点是否应该呈现逻辑卷和/或卷组?

在之前的问题“有没有办法通过 NFS 做类似 LVM 的事情? ”,我通过 VMware 的中介使用像GlusterFS这样的分布式系统获得了类似的结果。

对于分布式文件系统,如何最好地处理这种情况?该方法是否因选择的分布式文件系统而异?

lvm
  • 1 1 个回答
  • 2667 Views

1 个回答

  • Voted
  1. Best Answer
    warren
    2014-04-18T08:05:22+08:002014-04-18T08:05:22+08:00

    似乎有两种通用方法(至少在 MooseFS 和 XtreemFS 世界中):

    一次开车

    对于 MooseFS,最好的方法是使用一个 HDD 作为连接到 chunkserver 的一个 XFS 分区。我们不建议使用任何 RAID、LVM 配置。

    为什么?
    首先是硬盘错误。如果您的硬盘驱动器开始变慢,则很难在 LVM 上找到它。在 MFS 上,您甚至可以从 MFS 主网站上快速找到它。第二件事:向 MooseFS 添加或删除硬盘驱动器比添加或删除 LVM 组更容易。只需将 HDD 添加到 chunkserver,格式化为 XFS,重新加载 chunkserver,您的实例就会有额外的空间。第三件事是 MoooseFS 有许多更好的排序算法可以将块放置到许多硬盘上,所以所有硬盘驱动器都有平衡的流量 - LVM 没有

    一次成交量方法

    XtreemFS OSD(以及其他服务)依赖于本地文件系统来存储数据和元数据。因此,在具有多个磁盘的机器上,您有两种可能性。首先,您可以将一台机器上的多个磁盘组合成一个文件系统,例如通过使用 RAID、LVM 或 ZFS 池。其次,每个磁盘(包括 SSD 等)都拥有自己的本地文件系统,并由自己的 XtreemFS OSD 服务导出。

    这两种可能性都有其优点和缺点,我不能给出一般性的建议。第一个选项在使用的 RAID 级别或可能附加的 SSD 缓存方面带来了灵活性。此外,维护和监控每台机器一个 OSD 进程可能比每个磁盘一个进程更容易。

    每个本地磁盘使用一个 OSD 服务器可能会带来更好的性能。在运行快速 SSD 的 RAID 时,XtreemFS OSD 可能会成为瓶颈。您还可以通过多个网络接口在一台机器上分担多个 OSD 的负载。对于复制的文件,您必须关心副本的放置,并避免将一个文件的多个副本放置在运行在同一硬件上的 OSD 上。您可能必须编写自定义 OSD 选择策略。XtreemFS 为此提供了一个接口。

    哪个看起来更好

    根据 XtreemFS 的响应,MooseFS 似乎可以从一次卷的方法中受益,但前提是您可以很好地缓解潜在的驱动器故障。

    Drive-at-a-time 的好处是,在单个驱动器发生故障(这似乎是可能发生的最令人担忧的物理错误)的情况下,MooseFS 的排序算法和恢复系统可以复制现在未复制的数据并“忽略“故障驱动器。

    一次卷具有强制复制数据在不同服务器上的好处 - 但不能保证均匀/水平的单个驱动器使用。


    这些答案来自MooseFS和XtreemFS各自的邮件列表——只有语法和可读性得到了改进;提供的原始线程链接

    • 2

相关问题

  • OpenBSD 和文件系统快照

  • 卷组空间不足。我该如何收回它?

  • LVM 快照是这样工作的吗?

  • LVM 和快照

  • 如何在 Ubuntu 上挂载 LVM 分区?

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    新安装后 postgres 的默认超级用户用户名/密码是什么?

    • 5 个回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve