AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / server / 问题 / 533877
Accepted
Josh
Josh
Asked: 2013-08-27 08:13:29 +0800 CST2013-08-27 08:13:29 +0800 CST 2013-08-27 08:13:29 +0800 CST

目前我的 ZFS 重复数据删除表有多大?

  • 772

我已经阅读了很多关于规划 ZFS 重复数据删除的 RAM 要求的信息。我刚刚升级了我的文件服务器的 RAM 以支持 ZFS zvols 上的一些非常有限的重复数据删除,我无法在其上使用快照和克隆(因为它们被格式化为不同的文件系统的 zvols)但将包含很多重复的数据。

我想确保我添加的新 RAM 将支持我打算执行的有限重复数据删除。在计划中,我的数字看起来不错,但我想确定。

如何知道我的实时系统上 ZFS 重复数据删除表 (DDT) 的当前大小?我阅读了这个邮件列表线程,但我不清楚他们是如何获得这些数字的。(zdb tank如有必要,我可以发布输出,但我正在寻找可以帮助其他人的通用答案)

linux
  • 2 2 个回答
  • 19545 Views

2 个回答

  • Voted
  1. Best Answer
    ewwhite
    2013-08-27T08:34:04+08:002013-08-27T08:34:04+08:00

    您可以使用该zpool status -D poolname命令。

    输出类似于:

    root@san1:/volumes# zpool status -D vol1
      pool: vol1
     state: ONLINE
     scan: scrub repaired 0 in 4h38m with 0 errors on Sun Mar 24 13:16:12 2013
    
    DDT entries 2459286, size 481 on disk, 392 in core
    
    bucket              allocated                       referenced          
    ______   ______________________________   ______________________________
    refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
    ------   ------   -----   -----   -----   ------   -----   -----   -----
         1    2.23M   35.6G   19.0G   19.0G    2.23M   35.6G   19.0G   19.0G
         2     112K   1.75G   1005M   1005M     240K   3.75G   2.09G   2.09G
         4    8.03K    129M   73.8M   73.8M    35.4K    566M    324M    324M
         8      434   6.78M   3.16M   3.16M    4.61K   73.8M   35.4M   35.4M
        16      119   1.86M    811K    811K    2.33K   37.3M   15.3M   15.3M
        32       24    384K   34.5K   34.5K    1.13K   18.1M   1.51M   1.51M
        64       19    304K     19K     19K    1.63K   26.1M   1.63M   1.63M
       128        7    112K      7K      7K    1.26K   20.1M   1.26M   1.26M
       256        3     48K      3K      3K     1012   15.8M   1012K   1012K
       512        3     48K      3K      3K    2.01K   32.1M   2.01M   2.01M
        1K        2     32K      2K      2K    2.61K   41.7M   2.61M   2.61M
        2K        1     16K      1K      1K    2.31K   36.9M   2.31M   2.31M
     Total    2.35M   37.5G   20.1G   20.1G    2.51M   40.2G   21.5G   21.5G
    

    重要的字段是总分配块和总引用块。在上面的示例中,我的重复数据删除率很低。40.2G 存储在 37.5G 空间中的磁盘上。或 235 万块空间中的 251 万块。

    要获取表格的实际大小,请参见:

    DDT 条目 2459286,磁盘大小 481,核心大小 392

    2459286*392=964040112 bytes 除以 1024 和 1024 得到:919.3MB in RAM。

    • 22
  2. Stilez
    2017-03-13T02:05:51+08:002017-03-13T02:05:51+08:00

    在阅读了原始电子邮件线程和@ewwhite澄清它的答案后,我认为这个问题需要一个更新的答案,因为上面的答案只涵盖了一半。

    例如,让我们使用我的池中的输出。我使用了命令zdb -U /data/zfs/zpool.cache -bDDD My_pool。在我的系统上,我需要额外的-Uarg 来定位池的 ZFS 缓存文件,FreeNAS 将其存储在与正常不同的位置;您可能需要也可能不需要这样做。zdb一般不先尝试-U,如果遇到缓存文件错误,再使用find / -name "zpool.cache"或类似的方式来定位它需要的文件。

    这是我的实际输出,我在下面进行了解释:

    DDT-sha256-zap-duplicate: 771295 entries, size 512 on disk, 165 in core
    
    bucket              allocated                       referenced
    ______   ______________________________   ______________________________
    refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
    ------   ------   -----   -----   -----   ------   -----   -----   -----
         2     648K   75.8G   68.6G   68.8G    1.39M    165G    149G    149G
         4    71.2K   8.07G   6.57G   6.62G     368K   41.7G   34.1G   34.3G
         8    28.1K   3.12G   2.34G   2.36G     281K   31.0G   23.1G   23.4G
        16    5.07K    424M    232M    241M     110K   9.10G   5.06G   5.24G
        32    1.09K   90.6M   51.8M   53.6M    45.8K   3.81G   2.21G   2.28G
        64      215   17.0M   8.51M   8.91M    17.6K   1.39G    705M    739M
       128       38   2.12M    776K    872K    6.02K    337M    118M    133M
       256       13    420K   21.5K     52K    4.63K    125M   7.98M   18.5M
       512        3      6K      3K     12K    1.79K   3.44M   1.74M   7.16M
        1K        1    128K      1K      4K    1.85K    237M   1.85M   7.42M
        2K        1     512     512      4K    3.38K   1.69M   1.69M   13.5M
    
    DDT-sha256-zap-unique: 4637966 entries, size 478 on disk, 154 in core
    
    bucket              allocated                       referenced
    ______   ______________________________   ______________________________
    refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
    ------   ------   -----   -----   -----   ------   -----   -----   -----
         1    4.42M    550G    498G    500G    4.42M    550G    498G    500G
    
    
    DDT histogram (aggregated over all DDTs):
    
    bucket              allocated                       referenced
    ______   ______________________________   ______________________________
    refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
    ------   ------   -----   -----   -----   ------   -----   -----   -----
         1    4.42M    550G    498G    500G    4.42M    550G    498G    500G
         2     648K   75.8G   68.6G   68.8G    1.39M    165G    149G    149G
         4    71.2K   8.07G   6.57G   6.62G     368K   41.7G   34.1G   34.3G
         8    28.1K   3.12G   2.34G   2.36G     281K   31.0G   23.1G   23.4G
        16    5.07K    424M    232M    241M     110K   9.10G   5.06G   5.24G
        32    1.09K   90.6M   51.8M   53.6M    45.8K   3.81G   2.21G   2.28G
        64      215   17.0M   8.51M   8.91M    17.6K   1.39G    705M    739M
       128       38   2.12M    776K    872K    6.02K    337M    118M    133M
       256       13    420K   21.5K     52K    4.63K    125M   7.98M   18.5M
       512        3      6K      3K     12K    1.79K   3.44M   1.74M   7.16M
        1K        1    128K      1K      4K    1.85K    237M   1.85M   7.42M
        2K        1     512     512      4K    3.38K   1.69M   1.69M   13.5M
     Total    5.16M    638G    576G    578G    6.64M    803G    712G    715G
    
    dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
    

    这一切意味着什么,并计算出实际的重复数据删除表大小:

    输出显示了两个子表,一个用于存在重复的块 ( DDT-sha256-zap-duplicate ),另一个用于不存在重复的块 ( DDT-sha256-zap-unique )/。它们下面的第三个表格给出了这两个表格的总和,下面有一个汇总行。仅查看“总计”行和摘要为我们提供了我们需要的内容:

    出现多次的所有块的 DDT 大小 (“DDT-sha256-zap-duplicate”):
    771295 entries, size 512 bytes on disk, 165 bytes in RAM ("core")

    唯一的块的 DDT 大小 (“DDT-sha256-zap-unique”):
    4637966 entries, size 478 bytes on disk, 154 bytes in RAM ("core")

    所有 DDT 条目的总 DDT 统计数据,重复 + 唯一 (“在所有 DDT 上聚合的 DDT 直方图”):

                        allocated                       referenced
              (= disk space actually used)      (= amount of data deduped 
                                                     into that space)
    ______   ______________________________   ______________________________
             blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
    
     Total    5.16M    638G    576G    578G    6.64M    803G    712G    715G
    

    摘要:
    dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39

    让我们做一些数字运算。

    • 块计数是这样的:与重复块相关的条目数 = 771295,与唯一块相关的条目数 = 4637966,DDT 表中的总条目应为 771295+4637966 = 5409261。因此,以百万为单位的块数(二进制百万也就是说!)将是 5409261 / (1024^2) = 515.8 万。在总结中,我们发现总共有5.16M 块。

    • 需要的 RAM 是这样工作的:重复块的 771295 个条目每个占用 RAM 中的 165 个字节,唯一块的 4637966 个条目每个占用 RAM 中的 154 个字节,因此重复数据删除表所需的总 RAM = 841510439 字节 = 841510439 / (1024^2) MBytes = 803 MB = 0.78 GB RAM。

      (使用的磁盘大小可以用同样的方式计算,使用“磁盘大小”数字。显然 ZFS 正在尝试有效地使用磁盘 I/O 并利用 DDT 占用的磁盘空间这一事实。这通常不是问题。所以看起来 ZFS 只是为每个条目分配一个完整的 512 字节扇区,或者类似的东西,而不是仅仅 154 或 165 字节,以保持效率。这可能不包括允许多个保存在磁盘上的副本,ZFS 通常会这样做。)

    • 存储的数据总量以及重复数据删除的好处:从 DDT 的总统计数据来看,仅使用磁盘上分配的 578 GB(“578 G”)存储空间就可以存储 715 GB(“715 G”)的数据。所以我们的去重空间节省率是(715 GB 数据)/(去重后使用的 578 GB 空间) = 1.237 x,这就是总结告诉我们的(“去重 = 1.24”)。

    • 6

相关问题

  • Linux 主机到主机迁移

  • 如何在 Linux 机器上找到有关硬件的详细信息?

  • 如何在 Linux 下监控每个进程的网络 I/O 使用情况?

  • 在 RHEL4 上修改 CUPS 中的现有打印机设置

  • 为本地网络中的名称解析添加自定义 dns 条目

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    新安装后 postgres 的默认超级用户用户名/密码是什么?

    • 5 个回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve