AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / unix / 问题 / 672151
Accepted
Erhannis
Erhannis
Asked: 2021-10-07 09:09:18 +0800 CST2021-10-07 09:09:18 +0800 CST 2021-10-07 09:09:18 +0800 CST

在现有驱动器上创建 ZFS 分区

  • 772

我听说 ZFS 具有重复数据删除功能,因此您可以将同一个文件保存在多个位置,但只使用 ~1 个副本的空间。我注意到我倾向于以音乐/图像/等结尾。随着时间的推移,在我的硬盘驱动器的多个地方,并认为创建一个 ZFS 分区并将我的媒体移动到该分区会很好。我很难找到如何做到这一点,或者如果可能的话。大多数教程都说“使用 3 个磁盘并将它们与 ZFS 一起 RAID”,但我在一台只有一个磁盘的笔记本电脑上,以及一个我不打算擦除的预先存在的操作系统。我看到有关 ZFS 分区的评论(https://serverfault.com/questions/628632/should-i-create-zfs-zpools-with-whole-disks-or-partitions),但我还没有找到任何解释如何将单个 ZFS 分区添加到现有磁盘的内容。这样的事情能做到吗?(我的磁盘分区表类型是 msdos,顺便说一句,我运行的是 Ubuntu。)

partition zfs
  • 1 1 个回答
  • 2630 Views

1 个回答

  • Voted
  1. Best Answer
    Jim L.
    2021-10-08T13:00:00+08:002021-10-08T13:00:00+08:00

    如果您的目标是在保持节省空间的同时最大化您的媒体组织,则可以通过为您的媒体库布置一个目录树,然后明智地使用cp命令(复制数据)和ln命令(创建硬或soft [if -sis used] links) 来访问或复制参考数据,即使只是为了方便在不同的目录和不同的名称下使用相同的文件。仍然是同一个文件,只是指向它的硬链接或软链接不同。

    在手动级别,在非常简单的视图中,重复数据删除ln,同时cp 重复。

    添加 ZFS 提供了直接的好处,ln当您想使用cp. 有很多用例,例如当媒体被有意分割、修改、编辑、排序等时,存储单独的媒体“剪辑”可以从 ZFS 重复数据删除中受益。

    ZFS 的成本是重复数据删除相当占用 RAM。内核必须将每个块的校验和或散列存储在磁盘上,并在块被写回池时实时访问该数组。所以当你的磁盘被填满(更多的 ZFS 块被写入)时,更多的 RAM 被填满,因为内核缓存了每个块数据的哈希值。取决于您的笔记本电脑有多少 RAM 和多少磁盘,这可能是也可能不是问题,但要注意重复数据删除的主要成本是有足够的 RAM 来存储整个磁盘的哈希数组。它可以用更少的 RAM 来完成,但是当内核试图在没有足够 RAM 一次保存整个哈希数组的系统上尝试将哈希数组换入和换出 RAM 时,写访问尤其会受到影响。

    但话虽如此,试验小型 ZFS 池的一种方法可能是:

    创建虚拟块设备

    我在这里使用 FreeBSD 命令,但在 Ubuntu 上的步骤类似。我的示例块设备大小为 10G,但如果您有可用空间,您可以使用更大的大小。

    • 创建一个ztest.dat10G 大小的文件:

      # truncate -s 10G ztest.dat

    • 并创建一个由该文件支持的虚拟块设备:

      # mdconfig -f ztest.dat

      md0

    那么我们的虚拟设备就是/dev/md0.

    创建一个简单的 ZPOOL 并启用重复数据删除

    # zpool create ztest md0
    # zfs set dedup=on ztest
    # zpool status ztest
      pool: ztest
     state: ONLINE
    config:
    
        NAME        STATE     READ WRITE CKSUM
        ztest       ONLINE       0     0     0
          md0       ONLINE       0     0     0
    
    errors: No known data errors
    

    这会将ztest文件系统安装在/ztest. 让我们也制作一个简单的 shell 函数,它可以快速显示/ztest 目录、文件系统和 ZFS 池的一些基本统计信息:

    zlist() {
      zfs list ztest
      echo
      zfs get all ztest | egrep 'used|refer'
      echo
      zpool get dedupratio ztest
    }
    

    然后使用这些工具,您可以在下面创建所需的媒体层次结构/ztest 并开始将一些示例媒体文件复制到/ztest文件系统中:

    # ls -l /ztest; echo; zlist
    total 0
    
    NAME    USED  AVAIL     REFER  MOUNTPOINT
    ztest   114K  9.20G       24K  /ztest
    
    ztest  used                  114K                   -
    ztest  referenced            24K                    -
    ztest  usedbysnapshots       0B                     -
    ztest  usedbydataset         24K                    -
    ztest  usedbychildren        90K                    -
    ztest  usedbyrefreservation  0B                     -
    ztest  logicalused           42K                    -
    ztest  logicalreferenced     12K                    -
    
    NAME   PROPERTY    VALUE  SOURCE
    ztest  dedupratio  1.00x  -
    

    Adedupratio为 1.00 表示未进行重复数据删除;文件系统中数据的逻辑大小是存储在池中的物理数据大小的 1.00 倍。

    但我们甚至还没有复制任何东西!现在让我们这样做:

    # cp -vp ~jim/my-fave-dvd.iso /ztest/copy1.iso
    /home/jim/my-fave-dvd.iso -> /ztest/copy1.iso
    

    并检查结果:

    # ls -l /ztest; echo; zlist
    total 3271173
    -rw-r--r--  1 jim  jim  3347775488 Jul  1  2014 copy1.iso
    
    NAME    USED  AVAIL     REFER  MOUNTPOINT
    ztest  3.13G  6.08G     3.12G  /ztest
    
    ztest  used                  3.13G                  -
    ztest  referenced            3.12G                  -
    ztest  usedbysnapshots       0B                     -
    ztest  usedbydataset         3.12G                  -
    ztest  usedbychildren        7.18M                  -
    ztest  usedbyrefreservation  0B                     -
    ztest  logicalused           3.12G                  -
    ztest  logicalreferenced     3.12G                  -
    
    NAME   PROPERTY    VALUE  SOURCE
    ztest  dedupratio  1.00x  -
    

    重复数据删除率仍然是 1.00,因为我们只存储了第一个媒体文件的一个副本。让我们创建一个副本:

    # cp -vp /ztest/copy1.iso /ztest/copy2.iso
    /ztest/copy1.iso -> /ztest/copy2.iso
    # ls -l /ztest; echo; zlist
    total 6542345
    -rw-r--r--  1 jim  jim  3347775488 Jul  1  2014 copy1.iso
    -rw-r--r--  1 jim  jim  3347775488 Jul  1  2014 copy2.iso
    
    NAME    USED  AVAIL     REFER  MOUNTPOINT
    ztest  6.25G  6.07G     6.24G  /ztest
    
    ztest  used                  6.25G                  -
    ztest  referenced            6.24G                  -
    ztest  usedbysnapshots       0B                     -
    ztest  usedbydataset         6.24G                  -
    ztest  usedbychildren        10.6M                  -
    ztest  usedbyrefreservation  0B                     -
    ztest  logicalused           6.24G                  -
    ztest  logicalreferenced     6.24G                  -
    
    NAME   PROPERTY    VALUE  SOURCE
    ztest  dedupratio  2.00x  -
    

    现在去重率是 2.00,因为文件系统引用的逻辑数据比池中实际存储的数据大 2.00 倍。但请注意,来自的输出zfs list表明,尽管USED值上升到6.25G,但AVAIL值几乎没有变化,在6.07G。让我们创建更多的副本:

    # cp -vp /ztest/copy1.iso /ztest/copy3.iso
    /ztest/copy1.iso -> /ztest/copy3.iso
    # cp -vp /ztest/copy1.iso /ztest/copy4.iso
    /ztest/copy1.iso -> /ztest/copy4.iso
    # ls -lh /ztest; echo; zlist
    total 13084690
    -rw-r--r--  1 jim  jim   3.1G Jul  1  2014 copy1.iso
    -rw-r--r--  1 jim  jim   3.1G Jul  1  2014 copy2.iso
    -rw-r--r--  1 jim  jim   3.1G Jul  1  2014 copy3.iso
    -rw-r--r--  1 jim  jim   3.1G Jul  1  2014 copy4.iso
    
    NAME    USED  AVAIL     REFER  MOUNTPOINT
    ztest  12.5G  6.07G     12.5G  /ztest
    
    ztest  used                  12.5G                  -
    ztest  referenced            12.5G                  -
    ztest  usedbysnapshots       0B                     -
    ztest  usedbydataset         12.5G                  -
    ztest  usedbychildren        10.6M                  -
    ztest  usedbyrefreservation  0B                     -
    ztest  logicalused           12.5G                  -
    ztest  logicalreferenced     12.5G                  -
    
    NAME   PROPERTY    VALUE  SOURCE
    ztest  dedupratio  4.00x  -
    

    所以现在,du认为我们存储了 12G 的文件:

    # du -h /ztest
     12G    /ztest
    

    然而zpool显示我们在池中只分配了 3.14G 的数据,并且池中还有 6.36G 的未分配空间。

    # zpool list ztest
    NAME    SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
    ztest  9.50G  3.14G  6.36G        -         -     0%    33%  4.00x    ONLINE  -
    

    等效使用ln无重复数据删除

    另一方面,仍然可以明智地使用缺少重复数据删除的文件系统来实现相同的目的,并且在复杂性、RAM 要求和速度方面的成本可能更低。

    # zpool destroy ztest
    # zpool create ztest md0
    # cp -vp ~jim/my-fave-dvd.iso /ztest/copy1.iso
    /home/jim/my-fave-dvd.iso -> /ztest/copy1.iso
    # ln /ztest/copy1.iso /ztest/copy2.iso 
    # ln /ztest/copy1.iso /ztest/copy3.iso 
    # ln -s /ztest/copy1.iso /ztest/copy4.iso 
    

    所以现在我们仍然有一个文件,可以从四个不同的位置(主副本copy1.iso和副本copy2- copy4.iso)访问。

    du显示我们存储了 3.1G 的文件:

    # du -h /ztest
    3.1G    /ztest
    

    ls向我们展示了许多 inode 编号是相同的(硬链接),并且一个文件是符号链接。使用ln允许我们将同一个文件放置在多个位置,而不会产生任何额外的存储开销。

    # ls -lih /ztest
    total 9813518
      2 -rw-r--r--  3 jim   jim     3.1G Jul  1  2014 copy1.iso
      2 -rw-r--r--  3 jim   jim     3.1G Jul  1  2014 copy2.iso
      2 -rw-r--r--  3 jim   jim     3.1G Jul  1  2014 copy3.iso
    128 lrwxr-xr-x  1 root  wheel    16B Oct  7 13:25 copy4.iso -> /ztest/copy1.iso
    

    zfs 文件系统显示 3.1G 已使用,6.1G 可用:

    # zlist
    NAME    USED  AVAIL     REFER  MOUNTPOINT
    ztest  3.12G  6.08G     3.12G  /ztest
    
    ztest  used                  3.12G                  -
    ztest  referenced            3.12G                  -
    ztest  usedbysnapshots       0B                     -
    ztest  usedbydataset         3.12G                  -
    ztest  usedbychildren        189K                   -
    ztest  usedbyrefreservation  0B                     -
    ztest  logicalused           3.12G                  -
    ztest  logicalreferenced     3.12G                  -
    
    NAME   PROPERTY    VALUE  SOURCE
    ztest  dedupratio  1.00x  -
    

    zpool同样显示我们已经分配了 3.12G 并且有 6.38G 可用。

    # zpool list ztest
    NAME    SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT
    ztest  9.50G  3.12G  6.38G        -         -     0%    32%  1.00x    ONLINE  -
    

    我希望这个示例将鼓励您开发自己的测试框架来试验 ZFS 重复数据删除,看看成本/收益比是否适合您。

    回避问题

    这种在文件支持的虚拟设备上建立 ZFS 池的实验性框架并不是将 ZFS 池添加到现有系统的长期解决方案。但它可以帮助您确定您当前的硬件是否可以提供必要的资源,以及您的特定用例中的数据和数据处理实践是否可以利用 ZFS 提供的优势。

    如果您发现添加 ZFS 池是一个可取的目标,那么您在处理新磁盘分区和文件系统时需要考虑通常的先决条件:

    • 你最近有备份吗?现在就这样做!
    • 您的磁盘上是否已经有一个空分区?非常便利。
    • 没有可用的空分区?那么,您当前的文件系统中是否有足够的未使用空间来备份它、重新调整大小到较小的分区并恢复数据,从而将新腾出的空间留给专用于 ZFS 的新分区?
    • 您能否购买一个新的、更大的驱动器并在那里创建大小合适的分区来保存您当前的文件系统以及新的 ZFS 分区?

    一旦你有:

    • 备份您现有的文件系统
    • 用于 ZFS 的专用分区(我们称之为/dev/sda3)
    • 决定您希望将 ZFS 池安装在/tank

    您可以通过以下方式将 ZFS 池添加到现有系统:

    # zpool create tank /dev/sda3
    

    如果需要,您可以使用以下方法启用重复数据删除:

    # zfs set dedup=on tank
    

    请记住,这将是一个非冗余池:如果您的驱动器出现故障,您的数据就会消失。 zpool scrub操作将能够检测数据损坏,但无法纠正发现的任何错误。

    享受!

    • 3

相关问题

  • 为什么 ZFS 不报告磁盘已降级?

  • 备份 Nand Flash 存储区

  • 如何正确分区 SSD 以进行双启动设置

  • 并行安装多个 linux 发行版

  • fdisk 没有看到 resize2fs 缩小未挂载的分区

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    模块 i915 可能缺少固件 /lib/firmware/i915/*

    • 3 个回答
  • Marko Smith

    无法获取 jessie backports 存储库

    • 4 个回答
  • Marko Smith

    如何将 GPG 私钥和公钥导出到文件

    • 4 个回答
  • Marko Smith

    我们如何运行存储在变量中的命令?

    • 5 个回答
  • Marko Smith

    如何配置 systemd-resolved 和 systemd-networkd 以使用本地 DNS 服务器来解析本地域和远程 DNS 服务器来解析远程域?

    • 3 个回答
  • Marko Smith

    dist-upgrade 后 Kali Linux 中的 apt-get update 错误 [重复]

    • 2 个回答
  • Marko Smith

    如何从 systemctl 服务日志中查看最新的 x 行

    • 5 个回答
  • Marko Smith

    Nano - 跳转到文件末尾

    • 8 个回答
  • Marko Smith

    grub 错误:你需要先加载内核

    • 4 个回答
  • Marko Smith

    如何下载软件包而不是使用 apt-get 命令安装它?

    • 7 个回答
  • Martin Hope
    user12345 无法获取 jessie backports 存储库 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl 为什么大多数 systemd 示例都包含 WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky 如何将 GPG 私钥和公钥导出到文件 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll systemctl 状态显示:“状态:降级” 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim 我们如何运行存储在变量中的命令? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S 为什么 /dev/null 是一个文件?为什么它的功能不作为一个简单的程序来实现? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 如何从 systemctl 服务日志中查看最新的 x 行 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - 跳转到文件末尾 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla 为什么真假这么大? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis 在一个巨大的(70GB)、一行、文本文件中替换字符串 2017-12-30 06:58:33 +0800 CST

热门标签

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve