我有一台 Linux 服务器,我只在其中存储新文件或重命名目录,从不编辑文件。它包含来自其他 Linux 服务器的备份。
由于某些情况,有相当多的重复文件,通常具有不同的名称。
是否有任何免费的 Linux 工具可以定期扫描文件系统并拥有一个包含文件名、大小和 sha1sums 的数据库,然后识别重复项并用硬链接替换它们?
我有一台 Linux 服务器,我只在其中存储新文件或重命名目录,从不编辑文件。它包含来自其他 Linux 服务器的备份。
由于某些情况,有相当多的重复文件,通常具有不同的名称。
是否有任何免费的 Linux 工具可以定期扫描文件系统并拥有一个包含文件名、大小和 sha1sums 的数据库,然后识别重复项并用硬链接替换它们?
一些工具取自 https://unix.stackexchange.com/questions/3037/is-there-an-easy-way-to-replace-duplicate-files-with-hardlinks
您可以在 cron 作业中运行其中一个。
您可以使用重复数据删除文件系统。Linux 中有两个主要选择——btrfs 和 zfs。
使用 btrfs 的缺点是它仍然没有标记为稳定并且没有 fsck。
由于许可问题,ZFS 不在 Linux 内核中,但有一个内核模块支持大多数 Linux 发行版。ZFS 还支持某种具有清理功能的在线 fsck。您可以在zfsonlinux.org上查看受支持的发行版
两者都具有压缩、重复数据删除和快照功能,无需任何额外的用户空间守护进程——这使它们成为备份解决方案的理想选择。