AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / server / 问题 / 190
Accepted
Tamas Czinege
Tamas Czinege
Asked: 2009-05-01 01:03:48 +0800 CST2009-05-01 01:03:48 +0800 CST 2009-05-01 01:03:48 +0800 CST

ZFS 与 XFS

  • 772

我们正在考虑构建一个~16TB 的存储服务器。目前,我们正在考虑将 ZFS 和 XFS 作为文件系统。有什么好处,坏处?我们需要寻找什么?还有第三个更好的选择吗?

filesystems zfs storage xfs
  • 12 12 个回答
  • 66805 Views

12 个回答

  • Voted
  1. Chris
    2009-05-06T13:09:45+08:002009-05-06T13:09:45+08:00

    ZFS 将为您提供超越软件 RAID 的优势。命令结构的布局非常周到,而且直观。它还具有压缩、快照、克隆、文件系统发送/接收和缓存设备(那些花哨的新 SSD 驱动器)来加速元数据的索引。

    压缩:

    #zfs set compression=on filesystem/home
    

    它支持简单地创建可实时挂载的写时复制快照:

    # zfs snapshot filesystem/home/user@tuesday
    # cd filesystem/home/user/.zfs/snapshot/tuesday
    

    文件系统克隆:

    # zfs clone filesystem/home/user@tuesday filesystem/home/user2
    

    文件系统发送/接收:

    # zfs send filesystem/home/user@tuesday | ssh otherserver "zfs receive -v filesystem/home/user"
    

    增量发送/接收:

    # zfs send -i filesystem/home/user@tuesday | ssh otherserver "zfs receive -v filesystem/home/user"
    

    缓存设备:

    # zpool add filesystem cache ssddev
    

    这只是冰山一角,我强烈建议您安装 Open Solaris 并尝试一下。

    http://www.opensolaris.org/os/TryOpenSolaris/

    编辑:这很老了,Open Solaris 已经停产,使用 ZFS 的最佳方式可能是在Linux或FreeBSD上。


    全面披露:我曾经是 Sun 存储架构师,但我已经一年多没有为他们工作了,我只是对这个产品感到兴奋。

    • 77
  2. Best Answer
    Mark Renouf
    2009-05-01T03:49:42+08:002009-05-01T03:49:42+08:00

    我发现 XFS 更适合可能包含许多大文件的超大文件系统。我已经拥有一个正常运行的 3.6TB XFS 文件系统超过 2 年了,没有任何问题。绝对比 ext3 等在该大小下工作得更好(尤其是在处理许多大文件和大量 I/O 时)。

    您使用 ZFS 获得的是文件系统本身内置的设备池、条带化和其他高级功能。我无法透露具体细节(我会让其他人发表评论),但据我所知,您希望使用 Solaris 来获得最大的收益。如果您已经在使用硬件 RAID(就像我一样),我也不清楚 ZFS 有多大帮助。

    • 51
  3. sehe
    2009-10-09T15:14:25+08:002009-10-09T15:14:25+08:00

    在实时文件系统上使用 lvm 快照和 xfs 会导致灾难,尤其是在使用非常大的文件系统时。

    在过去的 6 年里,我一直在我的服务器上专门在 LVM2 和 xfs 上运行(在家里,即使 zfs-fuse 太慢了)......

    但是,我无法再计算使用快照时遇到的不同故障模式。我已经完全停止使用它们了——太危险了。

    我现在要做的唯一例外是我自己的个人邮件服务器/网络服务器备份,我将使用临时快照进行夜间备份,该快照始终等于源 fs 的大小,然后立即被删除。

    要记住的最重要的方面:

    1. 如果您有一个具有快照的大(ish)文件系统,则写入性能会严重下降
    2. 如果您有一个具有快照的大(ish)文件系统,则启动时间将延迟数十分钟,而磁盘将在卷组导入期间不断搅动。不会显示任何消息。如果 root 在 lvm2 上,这种效果尤其可怕(因为等待 root 设备将超时并且系统无法启动)
    3. 如果您有快照,则很容易用完空间。一旦空间不足,快照就会损坏并且无法修复。
    4. 目前无法回滚/合并快照(请参阅http://kerneltrap.org/Linux/LVM_Snapshot_Merging)。这意味着从快照恢复数据的唯一方法是实际复制(rsync?)它。危险危险:如果快照容量不是至少源 fs 的大小,您不希望这样做;如果你不这样做,你很快就会碰壁并最终导致源 fs 和快照都损坏。(我去过那儿!)
    • 22
  4. 3dinfluence
    2009-07-15T10:21:43+08:002009-07-15T10:21:43+08:00

    还有一些需要考虑的事情。

    • 如果驱动器在硬件 RAID 阵列中死机,而不管其上的文件系统如何,则必须重建设备上的所有块。即使是那些没有任何数据的人。另一方面,ZFS 是卷管理器、文件系统,负责管理数据冗余和条带化。因此它只能智能地重建包含数据的块。与卷 100% 满时相比,这会导致更快的重建时间。

    • ZFS 具有后台清理功能,可确保您的数据在磁盘上保持一致,并在导致数据丢失之前修复它发现的任何问题。

    • ZFS 文件系统始终处于一致状态,因此不需要 fsck。

    • 与 LVM 提供的快照相比,ZFS 的快照和克隆还提供了更多的灵活性和功能。

    在 Linux、LVM、XFS 堆栈上为大型视频制作运行大型存储池。我的经验是,很容易陷入对存储的微观管理。这可能会导致大量未使用的分配空间和时间/管理逻辑卷的问题。如果您有一个全职的存储管理员,他的工作是对存储进行微观​​管理,这可能不是什么大问题。但我发现 ZFS 的池存储方法消除了这些管理问题。

    • 15
  5. X-Istence
    2009-05-06T16:07:42+08:002009-05-06T16:07:42+08:00

    ZFS 绝对令人惊叹。我将它用作 5 x 1 TB 高清文件服务器的家庭文件服务器,并且还在生产中使用它,具有近 32 TB 的硬盘空间。它快速、易于使用,并包含一些针对数据损坏的最佳保护。

    我们在此服务器上使用 OpenSolaris 尤其是因为我们希望能够访问更新的功能,并且因为它提供了新的包管理系统和升级方式。

    • 9
  6. Miklo
    2010-05-17T04:34:05+08:002010-05-17T04:34:05+08:00

    我认为您不应该专注于性能。您的数据使用 XFS、ext4 等是否安全?不。阅读这些博士论文和研究论文:

    XFS 对数据损坏不安全:pages.cs.wisc.edu/~vshree/xfs.pdf

    ext3、JFS、ReiserFS 等也不是:zdnet.com/blog/storage/how-microsoft-puts-your-data-at-risk/169?p=169&tag=mantle_skin%3bcontent “我遇到了引人入胜的博士论文来自 IRON File Systems 的 Vijayan Prabhakaran 分析了五种商品日志文件系统(NTFS、ext3、ReiserFS、JFS 和 XFS)如何处理存储问题。

    简而言之,他发现所有文件系统都有

    . . . failure policies that are often inconsistent, sometimes buggy, and generally inadequate in their ability to recover from partial disk failures. "
    

    但是 ZFS 成功地保护了您的数据。这是一篇关于此的研究论文:zdnet.com/blog/storage/zfs-data-integrity-tested/811

    • 8
  7. Kjetil Limkjær
    2009-05-01T03:45:42+08:002009-05-01T03:45:42+08:00

    您打算运行哪个操作系统?或者这是考虑的另一部分?如果您正在运行 Solaris,据我所知,XFS 甚至不是一个选项。如果您没有运行 Solaris,您打算如何使用 ZFS?支持在其他平台上是有限的。

    如果您谈论的是 Linux 服务器,我个人会坚持使用 Ext3,如果只是因为它接受了最多的测试。zfs-fuse 还很年轻。另外,我曾经在 XFS 上遇到过问题,当一个错误导致内核更新后数据损坏时。XFS 相对于 Ext3 的优势绝对没有超过恢复位于远程数据中心的机器所涉及的成本。

    • 7
  8. Chopper3
    2009-06-17T04:52:31+08:002009-06-17T04:52:31+08:00

    抱歉,不是面向 FS 的答案,但请注意,许多磁盘控制器无法处理 > 2TB 的 LUN/逻辑磁盘 - 这会在很大程度上限制您组织存储的方式。我只是想让你知道,这样你就可以端到端地检查你的系统,以确保它能够处理整个 16TB 的容量。

    • 5
  9. James
    2009-07-15T08:48:30+08:002009-07-15T08:48:30+08:00

    这取决于您想要什么功能...,正如您所说,两个合理的选择是 xfs 和 zfs,xfs 代码经过了很好的测试,我 8 年前在 IRIX 下第一次使用它

    可以从 xfs 获取快照(使用 lvm 和 xfs_freeze)

    可以有一个单独的日志设备,例如 SSD

    mkfs.xfs -l logdev=/dev/sdb1,size=10000b /dev/sda1
    

    大型 xfs 传统上需要大量内存来检查

    出现零的问题是“安全”功能,我认为它在不久前就消失了。

    • 1
  10. PiL
    2010-05-17T05:18:23+08:002010-05-17T05:18:23+08:00

    好吧,伙计们,不要忘记 zfs 的最新添加:重复数据删除。让我们谈谈即时 iSCSI、nfs 或 smb 共享。正如其他人已经说过的,zfs 文件系统、快照、raidz(=raid5) 块校验和、动态条带宽度、缓存管理等的导出。我投票给zfs。

    • 1

相关问题

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    从 IP 地址解析主机名

    • 8 个回答
  • Marko Smith

    如何按大小对 du -h 输出进行排序

    • 30 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    Windows 中执行反向 DNS 查找的命令行实用程序是什么?

    • 14 个回答
  • Marko Smith

    如何检查 Windows 机器上的端口是否被阻塞?

    • 4 个回答
  • Marko Smith

    我应该打开哪个端口以允许远程桌面?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    MikeN 在 Nginx 中,如何在维护子域的同时将所有 http 请求重写为 https? 2009-09-22 06:04:43 +0800 CST
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    0x89 bash中的双方括号和单方括号有什么区别? 2009-08-10 13:11:51 +0800 CST
  • Martin Hope
    kch 如何更改我的私钥密码? 2009-08-06 21:37:57 +0800 CST
  • Martin Hope
    Kyle Brandt IPv4 子网如何工作? 2009-08-05 06:05:31 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve