Benoît Asked: 2009-06-11 02:01:15 +0800 CST2009-06-11 02:01:15 +0800 CST 2009-06-11 02:01:15 +0800 CST Linux 上的块级重复数据删除 772 NetApp 提供块级重复数据删除 (ASIS)。您知道 Linux（或 OpenSolaris、*BSD）上提供相同功能的任何文件系统（甚至基于 FUSE）吗？ （我对像硬链接这样的错误重复数据删除不感兴趣）。 linux netapp deduplication 10 个回答 Voted 3dinfluence 2009-06-11T06:13:46+08:002009-06-11T06:13:46+08:00 OpenSolaris 上的 ZFS 即将实现重复数据删除，但该功能目前不可用。 它是由 Jeff Bonwick 和 Bill Moore 于去年冬天制作的原型，他们正在努力在今年夏天对其进行整合。因此，如果您想使用开发分支，它应该在 OpenSolaris 的下一个版本或更早版本中可用。 Best Answer MV. 2009-09-29T03:36:41+08:002009-09-29T03:36:41+08:00 检查用于 Linux 的 lessFS，重复数据删除文件系统。它仍处于测试阶段，但您可以尝试一下： http://www.lessfs.com/ 问候， MV Matt Simmons 2009-06-11T02:17:42+08:002009-06-11T02:17:42+08:00 对于可能不熟悉重复数据删除的人来说，这是一种在文件（或我想是块）级别分析数据的技术，其中整个文件系统中的相同文件/块被替换为较小的令牌。这具有大大缩小磁盘上的有效大小的效果。它可以被认为是一种写时复制的形式。阅读上面的wiki 页面。 我听说在 Linux 中没有文件系统可以执行重复数据删除、文件或块级别。这样的野兽会很方便，尽管处理器相当密集。 jlliagre 2009-12-18T03:00:49+08:002009-12-18T03:00:49+08:00 OpenSolaris（内部版本 128a 和更高版本）上的 ZFS 现在可以使用重复数据删除。 Aaron 2010-05-09T05:43:28+08:002010-05-09T05:43:28+08:00 一年后，但这里有一个 OpenBSD 解决方案，称为Epitome。如果它是自由许可的，它很可能会进入 Linux 内核。 user37619 2010-03-14T01:05:58+08:002010-03-14T01:05:58+08:00 我刚刚发布了一个我一直在从事的内联重复数据删除项目。有兴趣的可以看这里。它基于 fuse 并在 linux 上运行。 James 2009-06-25T12:44:07+08:002009-06-25T12:44:07+08:00 我不知道 Linux 有任何免费的 dedup 实现。我看到一些存储供应商推荐使用带有 VTL（虚拟存储库）的 HSM（分层存储管理）系统，它可以进行重复数据删除。 您还可以考虑使用类似Occarina的系统，该系统不透明，但可以提供比重复数据删除更好的结果。 Tudor 2010-04-17T05:20:31+08:002010-04-17T05:20:31+08:00 所以...没有关于 Linux 上重复数据删除的消息？opendedup可能是一个选择，但给它运行的 java 平台，我不想头疼。我已经尝试过了，但是这台 java 机器和其他机器并不能很好地满足我对存储响应时间和安全性的需求。 Znik 2014-06-25T05:05:57+08:002014-06-25T05:05:57+08:00 重复数据删除选项在 Linux 下的文件系统 BTRFS 和 ZFS 上可用。BTRFS 原生在 linux 下开发，具有离线去重工具。我不是在考虑“离线”，您必须卸载 fs。离线意味着，主动写入的数据不会被重复数据删除。但后来你运行工具来删除现在存储的重复数据。实际上可能工具处于测试阶段。另一种方法是在 ZFS 内部。可作为 FUSE 和本机使用：http: //zfsonlinux.org/ . 这会进行在线重复数据删除，不幸的是这会减慢写入速度，因为所有内容都必须即时计算。您可以在线关闭和开启此行为。关闭重复数据删除后，所有已删除重复数据的数据仍将存储为已删除重复数据。新写入将存储为“重复”。如果您想在将来删除该数据的重复数据，则必须打开重复数据删除并重写所有“重复的”文件。 请参阅页面上提供的文档。为了加快写入和读取速度，您可以将更快的设备添加到存储池（特别是 SDD 驱动器或更快的闪存 USB，请注意设备可靠性）。 Antoine Benkemoun 2009-06-11T02:02:28+08:002009-06-11T02:02:28+08:00 DRBD就是这样做的，而且做得非常好！可以做主/从或主/主:-)
OpenSolaris 上的 ZFS 即将实现重复数据删除，但该功能目前不可用。
它是由 Jeff Bonwick 和 Bill Moore 于去年冬天制作的原型，他们正在努力在今年夏天对其进行整合。因此，如果您想使用开发分支，它应该在 OpenSolaris 的下一个版本或更早版本中可用。
检查用于 Linux 的 lessFS，重复数据删除文件系统。它仍处于测试阶段，但您可以尝试一下：
http://www.lessfs.com/
问候，
MV
对于可能不熟悉重复数据删除的人来说，这是一种在文件（或我想是块）级别分析数据的技术，其中整个文件系统中的相同文件/块被替换为较小的令牌。这具有大大缩小磁盘上的有效大小的效果。它可以被认为是一种写时复制的形式。阅读上面的wiki 页面。
我听说在 Linux 中没有文件系统可以执行重复数据删除、文件或块级别。这样的野兽会很方便，尽管处理器相当密集。
OpenSolaris（内部版本 128a 和更高版本）上的 ZFS 现在可以使用重复数据删除。
一年后，但这里有一个 OpenBSD 解决方案，称为Epitome。如果它是自由许可的，它很可能会进入 Linux 内核。
我刚刚发布了一个我一直在从事的内联重复数据删除项目。有兴趣的可以看这里。它基于 fuse 并在 linux 上运行。
我不知道 Linux 有任何免费的 dedup 实现。我看到一些存储供应商推荐使用带有 VTL（虚拟存储库）的 HSM（分层存储管理）系统，它可以进行重复数据删除。
您还可以考虑使用类似Occarina的系统，该系统不透明，但可以提供比重复数据删除更好的结果。
所以...没有关于 Linux 上重复数据删除的消息？opendedup可能是一个选择，但给它运行的 java 平台，我不想头疼。我已经尝试过了，但是这台 java 机器和其他机器并不能很好地满足我对存储响应时间和安全性的需求。
重复数据删除选项在 Linux 下的文件系统 BTRFS 和 ZFS 上可用。BTRFS 原生在 linux 下开发，具有离线去重工具。我不是在考虑“离线”，您必须卸载 fs。离线意味着，主动写入的数据不会被重复数据删除。但后来你运行工具来删除现在存储的重复数据。实际上可能工具处于测试阶段。另一种方法是在 ZFS 内部。可作为 FUSE 和本机使用：http: //zfsonlinux.org/ . 这会进行在线重复数据删除，不幸的是这会减慢写入速度，因为所有内容都必须即时计算。您可以在线关闭和开启此行为。关闭重复数据删除后，所有已删除重复数据的数据仍将存储为已删除重复数据。新写入将存储为“重复”。如果您想在将来删除该数据的重复数据，则必须打开重复数据删除并重写所有“重复的”文件。
请参阅页面上提供的文档。为了加快写入和读取速度，您可以将更快的设备添加到存储池（特别是 SDD 驱动器或更快的闪存 USB，请注意设备可靠性）。
DRBD就是这样做的，而且做得非常好！可以做主/从或主/主:-)