主页 / server / 问题 / 190
Accepted
Tamas Czinege
Asked: 2009-05-01 01:03:48 +0800 CST

ZFS 与 XFS

  • 772

我们正在考虑构建一个~16TB 的存储服务器。目前，我们正在考虑将 ZFS 和 XFS 作为文件系统。有什么好处，坏处？我们需要寻找什么？还有第三个更好的选择吗？

filesystems zfs storage xfs

12 个回答

  1. ZFS 将为您提供超越软件 RAID 的优势。命令结构的布局非常周到，而且直观。它还具有压缩、快照、克隆、文件系统发送/接收和缓存设备（那些花哨的新 SSD 驱动器）来加速元数据的索引。

    压缩：

    #zfs set compression=on filesystem/home

    它支持简单地创建可实时挂载的写时复制快照：

    # zfs snapshot filesystem/home/user@tuesday
# cd filesystem/home/user/.zfs/snapshot/tuesday

    文件系统克隆：

    # zfs clone filesystem/home/user@tuesday filesystem/home/user2

    文件系统发送/接收：

    # zfs send filesystem/home/user@tuesday | ssh otherserver "zfs receive -v filesystem/home/user"

    增量发送/接收：

    # zfs send -i filesystem/home/user@tuesday | ssh otherserver "zfs receive -v filesystem/home/user"

    缓存设备：

    # zpool add filesystem cache ssddev

    这只是冰山一角，我强烈建议您安装 Open Solaris 并尝试一下。

    http://www.opensolaris.org/os/TryOpenSolaris/

    编辑：这很老了，Open Solaris 已经停产，使用 ZFS 的最佳方式可能是在Linux或FreeBSD上。

    全面披露：我曾经是 Sun 存储架构师，但我已经一年多没有为他们工作了，我只是对这个产品感到兴奋。

    • 77
  2. Best Answer

    我发现 XFS 更适合可能包含许多大文件的超大文件系统。我已经拥有一个正常运行的 3.6TB XFS 文件系统超过 2 年了，没有任何问题。绝对比 ext3 等在该大小下工作得更好（尤其是在处理许多大文件和大量 I/O 时）。

    您使用 ZFS 获得的是文件系统本身内置的设备池、条带化和其他高级功能。我无法透露具体细节（我会让其他人发表评论），但据我所知，您希望使用 Solaris 来获得最大的收益。如果您已经在使用硬件 RAID（就像我一样），我也不清楚 ZFS 有多大帮助。

    • 51

  3. 在实时文件系统上使用 lvm 快照和 xfs 会导致灾难，尤其是在使用非常大的文件系统时。

    在过去的 6 年里，我一直在我的服务器上专门在 LVM2 和 xfs 上运行（在家里，即使 zfs-fuse 太慢了）......

    但是，我无法再计算使用快照时遇到的不同故障模式。我已经完全停止使用它们了——太危险了。

    我现在要做的唯一例外是我自己的个人邮件服务器/网络服务器备份，我将使用临时快照进行夜间备份，该快照始终等于源 fs 的大小，然后立即被删除。

    要记住的最重要的方面：

    1. 如果您有一个具有快照的大（ish）文件系统，则写入性能会严重下降
    2. 如果您有一个具有快照的大（ish）文件系统，则启动时间将延迟数十分钟，而磁盘将在卷组导入期间不断搅动。不会显示任何消息。如果 root 在 lvm2 上，这种效果尤其可怕（因为等待 root 设备将超时并且系统无法启动）
    3. 如果您有快照，则很容易用完空间。一旦空间不足，快照就会损坏并且无法修复。
    4. 目前无法回滚/合并快照（请参阅http://kerneltrap.org/Linux/LVM_Snapshot_Merging）。这意味着从快照恢复数据的唯一方法是实际复制（rsync？）它。危险危险：如果快照容量不是至少源 fs 的大小，您不希望这样做；如果你不这样做，你很快就会碰壁并最终导致源 fs 和快照都损坏。（我去过那儿！）
    • 22

  4. 还有一些需要考虑的事情。

    • 如果驱动器在硬件 RAID 阵列中死机，而不管其上的文件系统如何，则必须重建设备上的所有块。即使是那些没有任何数据的人。另一方面，ZFS 是卷管理器、文件系统，负责管理数据冗余和条带化。因此它只能智能地重建包含数据的块。与卷 100% 满时相比，这会导致更快的重建时间。

    • ZFS 具有后台清理功能，可确保您的数据在磁盘上保持一致，并在导致数据丢失之前修复它发现的任何问题。

    • ZFS 文件系统始终处于一致状态，因此不需要 fsck。

    • 与 LVM 提供的快照相比，ZFS 的快照和克隆还提供了更多的灵活性和功能。

    在 Linux、LVM、XFS 堆栈上为大型视频制作运行大型存储池。我的经验是，很容易陷入对存储的微观管理。这可能会导致大量未使用的分配空间和时间/管理逻辑卷的问题。如果您有一个全职的存储管理员，他的工作是对存储进行微观​​管理，这可能不是什么大问题。但我发现 ZFS 的池存储方法消除了这些管理问题。

    • 15

  5. ZFS 绝对令人惊叹。我将它用作 5 x 1 TB 高清文件服务器的家庭文件服务器，并且还在生产中使用它，具有近 32 TB 的硬盘空间。它快速、易于使用，并包含一些针对数据损坏的最佳保护。

    我们在此服务器上使用 OpenSolaris 尤其是因为我们希望能够访问更新的功能，并且因为它提供了新的包管理系统和升级方式。

    • 9

  6. 我认为您不应该专注于性能。您的数据使用 XFS、ext4 等是否安全？不。阅读这些博士论文和研究论文：

    XFS 对数据损坏不安全：pages.cs.wisc.edu/~vshree/xfs.pdf

    ext3、JFS、ReiserFS 等也不是：zdnet.com/blog/storage/how-microsoft-puts-your-data-at-risk/169?p=169&tag=mantle_skin%3bcontent “我遇到了引人入胜的博士论文来自 IRON File Systems 的 Vijayan Prabhakaran 分析了五种商品日志文件系统（NTFS、ext3、ReiserFS、JFS 和 XFS）如何处理存储问题。

    简而言之，他发现所有文件系统都有

    . . . failure policies that are often inconsistent, sometimes buggy, and generally inadequate in their ability to recover from partial disk failures. "

    但是 ZFS 成功地保护了您的数据。这是一篇关于此的研究论文：zdnet.com/blog/storage/zfs-data-integrity-tested/811

    • 8

  7. 您打算运行哪个操作系统？或者这是考虑的另一部分？如果您正在运行 Solaris，据我所知，XFS 甚至不是一个选项。如果您没有运行 Solaris，您打算如何使用 ZFS？支持在其他平台上是有限的。

    如果您谈论的是 Linux 服务器，我个人会坚持使用 Ext3，如果只是因为它接受了最多的测试。zfs-fuse 还很年轻。另外，我曾经在 XFS 上遇到过问题，当一个错误导致内核更新后数据损坏时。XFS 相对于 Ext3 的优势绝对没有超过恢复位于远程数据中心的机器所涉及的成本。

    • 7

  8. 抱歉，不是面向 FS 的答案，但请注意，许多磁盘控制器无法处理 > 2TB 的 LUN/逻辑磁盘 - 这会在很大程度上限制您组织存储的方式。我只是想让你知道，这样你就可以端到端地检查你的系统，以确保它能够处理整个 16TB 的容量。

    • 5

  9. 这取决于您想要什么功能...，正如您所说，两个合理的选择是 xfs 和 zfs，xfs 代码经过了很好的测试，我 8 年前在 IRIX 下第一次使用它

    可以从 xfs 获取快照（使用 lvm 和 xfs_freeze）

    可以有一个单独的日志设备，例如 SSD

    mkfs.xfs -l logdev=/dev/sdb1,size=10000b /dev/sda1

    大型 xfs 传统上需要大量内存来检查

    出现零的问题是“安全”功能，我认为它在不久前就消失了。

    • 1

  10. 好吧，伙计们，不要忘记 zfs 的最新添加：重复数据删除。让我们谈谈即时 iSCSI、nfs 或 smb 共享。正如其他人已经说过的，zfs 文件系统、快照、raidz(=raid5) 块校验和、动态条带宽度、缓存管理等的导出。我投票给zfs。

    • 1

相关问题