问题[deduplication](server)

我使用 finddupe 工具对文件进行重复数据删除并节省一些硬盘空间。但是在操作之前和之后检查我看不到任何释放的可用空间 - 见下文。

有人可以建议这里有什么问题吗？

D:\TEMP\1>dir
30.09.2021  12:50        89 028 146 polycom-410-copy.zip
30.09.2021  12:50        89 028 146 polycom-410.zip
               2 File(s)    178 056 292 bytes
               2 Dir(s)  117 821 751 296 bytes free

D:\TEMP\1>finddupe -hardlink d:\temp\1 Duplicate: 'd:\temp\1\polycom-410-copy.zip' With:      'd:\temp\1\polycom-410.zip'
    Created hardlink

Files:   178056 kBytes in     2 files Dupes:    89028 kBytes in     1 files

D:\TEMP\1>dir  Volume in drive D is BACKUP  Volume Serial Number is B66C-A894

 Directory of D:\TEMP\1
30.09.2021  12:50        89 028 146 polycom-410-copy.zip
30.09.2021  12:50        89 028 146 polycom-410.zip
               2 File(s)    178 056 292 bytes
               2 Dir(s)  117 910 781 952 bytes free


D:\TEMP\1>finddupe -listlink d:\temp\1


Hardlink group, 2 of 2 hardlinked instances found in search tree:   "d:\temp\1\polycom-410-copy.zip"   "d:\temp\1\polycom-410.zip"

Number of hardlink groups found: 1

我最近从 Server 2016 => 2019（非域）执行了就地升级。

连接的 2 个驱动器已配置重复数据删除（主要是用于 Hyper-V 的 VHD）。自从升级以来，尝试访问、反向重复数据删除（start-dedupejob -type unoptimize）系统将崩溃并显示 0x07E dedup.sys

(0x0000007E (0xFFFFFFFFC0000094, 0xFFFFF80BE9E82F29, 0xFFFFA00F5D4BA3E8, 0xFFFFA00F5D4B9C30)))

尝试从驱动器复制数据会导致相同的错误。我启动了一个 2016 年的 VM 以尝试复制/反向重复数据删除，但它未能说明修订版本未知。启动了一个新的 2019 年来做同样的事情，并收到与升级后的系统相同的错误检查。

后见之明是 20/20 我应该在升级之前检查这些东西，但现在我处于这种情况，有什么建议吗？在过去的几个小时里，我尝试使用谷歌搜索，但只遇到了一份相同的报告，但没有提供任何解决方案。

任何帮助将不胜感激！提前致谢。

我已经安装了数千个 Wordpress 共享主机，并且多年来我一直希望有一种以明智和安全的方式删除所有重复文件的好方法。我正在寻找更好的磁盘缓存命中率和更简单的备份。

我只是使用标准的 Ext4，而不是像 ZFS 这样内置的东西（需要付费）。

我熟悉像 rdfind 这样的工具几乎是完美的。它可以扫描所有文件，找到重复项并将它们硬链接在一起。我可以在非高峰时间每周运行一次，从而使成本几乎为零。

问题是我想要一个帐户更改文件以破坏硬链接并再次提供它自己的文件副本。这样一个站点更新 Wordpress 或插件就不会与任何其他站点混淆。这也将消除潜在的安全问题，因为没有帐户能够篡改另一个帐户的文件。链接的写时复制排序。

这样的事情可能吗？我试过做一些搜索，但我找不到任何东西。

我想知道激活 zfs 重复数据删除是否会为我支付费用，所以我运行了该命令 zdb -S tank，但我知道我需要一些帮助来解释输出。

Simulated DDT histogram:

bucket              allocated                       referenced
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     1    49.2M   6.15T   6.15T   6.14T    49.2M   6.15T   6.15T   6.14T
     2     352K   42.0G   42.0G   42.0G     725K   86.3G   86.3G   86.4G
     4    7.99K    913M    913M    916M    37.7K   4.20G   4.20G   4.21G
     8    1.43K    161M    161M    161M    14.6K   1.58G   1.58G   1.58G
    16      623   67.1M   67.1M   67.4M    12.2K   1.32G   1.32G   1.33G
    32       73   7.37M   7.37M   7.43M    2.65K    268M    268M    270M
    64      717   4.23M   4.23M   7.46M    48.3K    392M    392M    611M
   128        4    257K    257K    266K      689   40.9M   40.9M   42.6M
   256        2    128K    128K    133K      802   57.8M   57.8M   59.3M
   512        2      1K      1K   10.7K    1.37K    703K    703K   7.32M
    4K        1    128K    128K    128K    7.31K    935M    935M    934M
   16K        1    512B    512B   5.33K    20.0K   10.0M   10.0M    107M
   64K        1    128K    128K    128K    93.0K   11.6G   11.6G   11.6G
  512K        1    128K    128K    128K     712K   89.0G   89.0G   88.9G
 Total    49.6M   6.19T   6.19T   6.18T    50.9M   6.34T   6.34T   6.33T

dedup = 1.02, compress = 1.00, copies = 1.00, dedup * compress / copies = 1.03

提前致谢。

有没有人将 S2D（存储空间直接）与重复数据删除相结合？

这甚至是可能的还是推荐的做法？

请详细说明为什么这是一个好主意。

编辑：刚刚偶然发现这篇文章https://blogs.technet.microsoft.com/filecab/2016/01/05/new-support-for-windows-server-data-deduplication-in-limited-local-hyper-v -configurations/关于 Server 2012 R2。它确实提到了 Server 2016，但当时它还没有完全发布。还有更多关于 S2D 以及 Server 2016 上的重复数据删除的信息 - 这里https://technet.microsoft.com/en-us/windows-server-docs/storage/storage但没有太多关于一起使用两者的信息。似乎基于第一个 url，它们在同时使用时功能有限。

我已经在 Windows Server 2016 上安装了重复数据删除角色。根据 Microsoft，它使用 NTFS 压缩来帮助节省空间：

重复数据删除在更少的物理空间中存储更多数据。与使用单实例存储 (SIS) 或 NTFS 压缩等功能相比，它实现了更高的存储效率。 https://technet.microsoft.com/en-us/library/hh831602(v=ws.11).aspx

1. 我是否还应该在卷的属性中启用 NTFS 压缩（见下面的屏幕截图）？会有什么好处吗？

2. 如果已经检查了怎么办？我应该取消选中它吗？检查会不会有负面影响？

我有两台服务器，第二台不时通过 rsync 同步。

我有一些（几千？）大的重复文件，我想使用 freedup 来腾出一些空间。

如果我在源上启动 freedup，rsync -H 会用硬链接替换目标上的真实文件并在那里节省空间吗？

我有一个 Windows Server 2012 Hyper-V 主机，其 VM 位于专用 RAID-5 卷上。一台 VM 也在运行 Server 2012 并用于提供文件。其他虚拟机更小，主要用于临时测试场景。

主文件服务器 VM 有两个动态扩展的 VHDX 文件 - 一个用于操作系统，一个用于存储。用于存储的 VHDX 上有很多重复的文件。

我应该在主机上包含存储 VHDX 文件的卷上还是在文件服务器 VM 本身内运行 Server 2012 重复数据删除？我知道在 VM 中运行它不会减小主机上 VHDX 文件的大小，但我的目标是在 VHDX 文件本身内启用尽可能多的存储容量。我也明白，如果我在主机上运行它，我将不得不让虚拟机脱机来执行它。在这种情况下，停机时间不是问题，只是最好的方法。

我的意思是，我可以查字典的定义，但是为什么大家突然提到虚拟磁带库？这里有什么“新”，以至于最近在新闻中如此之多？

请阅读底部的更新。谢谢！;)

环境信息（所有 Windows）：

• 2 个站点
• 30 台服务器站点 #1（3TB 备份数据）
• 5 个服务器站点 #2（1TB 的备份数据）
• 连接站点#1和站点#2的MPLS骨干隧道

当前备份过程：

在线备份（磁盘到磁盘）

站点 #1 有一台运行 Symantec Backup Exec 12.5 的服务器，带有四个 1TB USB 2.0 磁盘。用于完整备份的 BE 作业每晚在站点 #1 中的所有服务器上运行到这些磁盘。站点 #2 使用我们购买时已有的软件备份到那里的中央文件服务器。BE 作业每晚将这些数据拉到站点 #1 并将它们存储在所述磁盘上。

异地备份（磁带）

连接到我们的备份服务器的是一个磁带驱动器。BE 每周一次将外部磁盘备份到磁带上，然后由我们的异地存储公司获取。显然，我们轮换了两个磁带库，一个总是在这里，一个总是在那里。

要求：

• 通过在每个站点执行磁盘到磁盘并将站点#1 复制到站点#2 以及反之亦然，消除了对磁带和异地存储服务的需求。
• 作为硬件选项的基于软件的解决方案过于昂贵（例如，SonicWall、Arkeia）。
• Exchange、SharePoint 和 SQL 的代理。

到目前为止的一些想法：

贮存

每个站点的 DroboPro 初始存储为 8TB（目前可扩展至 16TB）。我喜欢这些，因为它们是机架式的，允许不同的驱动器，并且有 iSCSI 接口。它们也相对便宜。

软件

Symantec Backup Exec 12.5 已经拥有我们需要的所有代理和许可证。我想继续使用它，除非有更好的解决方案，价格相似，可以完成 BE 所做的一切以及重复数据删除和复制。

服务器

因为不再需要 SCSI 适配器（用于磁带驱动器），所以我们将虚拟化我们的备份服务器，因为它是目前除了 SQL 盒之外的唯一物理机器。

问题：

• 在站点之间进行复制时，我们希望通过管道传输尽可能少的数据。到目前为止，我在这里列出的内容没有重复数据删除或压缩。
• 被复制的文件是我们磁盘到磁盘备份中的 BE 虚拟磁带库。因此，这些巨大的文件中的每一个都会每周通过网络传输，因为它们每天都在变化。

最后，问题：

是否有任何软件可以执行重复数据删除或至少压缩来处理我们的站点到站点复制？或者，看看我们的设置，我是否还缺少任何其他可能更便宜、更快、更好的解决方案？

谢谢。抱歉这么久。

更新 2：

我已经在这个问题上设置了赏金以引起更多关注。我正在寻找能够使用尽可能少的数据（压缩、重复数据删除或其他方法）处理两个站点之间的数据复制的软件。类似于 rsync 的东西可以工作，但它需要是 Windows 原生的，而不是涉及恶作剧的端口才能启动和运行。更喜欢基于 GUI 的产品，如果它有效，我不介意掏出一些骨头。

请只回答符合上述标准的答案。如果您认为不存在，或者您认为我是限制性的，请保留给您自己。如果 7 天后根本没有答案，那就这样吧。再次感谢大家。

更新 2：

我真的很感谢大家提出建议。在赏金到期之前，我无法尝试所有这些。现在我要让这个赏金用完，谁得票最多，谁就得到 100 个代表点。再次感谢！