问题[hardlink](server)

我使用 finddupe 工具对文件进行重复数据删除并节省一些硬盘空间。但是在操作之前和之后检查我看不到任何释放的可用空间 - 见下文。

有人可以建议这里有什么问题吗？

D:\TEMP\1>dir
30.09.2021  12:50        89 028 146 polycom-410-copy.zip
30.09.2021  12:50        89 028 146 polycom-410.zip
               2 File(s)    178 056 292 bytes
               2 Dir(s)  117 821 751 296 bytes free

D:\TEMP\1>finddupe -hardlink d:\temp\1 Duplicate: 'd:\temp\1\polycom-410-copy.zip' With:      'd:\temp\1\polycom-410.zip'
    Created hardlink

Files:   178056 kBytes in     2 files Dupes:    89028 kBytes in     1 files

D:\TEMP\1>dir  Volume in drive D is BACKUP  Volume Serial Number is B66C-A894

 Directory of D:\TEMP\1
30.09.2021  12:50        89 028 146 polycom-410-copy.zip
30.09.2021  12:50        89 028 146 polycom-410.zip
               2 File(s)    178 056 292 bytes
               2 Dir(s)  117 910 781 952 bytes free


D:\TEMP\1>finddupe -listlink d:\temp\1


Hardlink group, 2 of 2 hardlinked instances found in search tree:   "d:\temp\1\polycom-410-copy.zip"   "d:\temp\1\polycom-410.zip"

Number of hardlink groups found: 1

我正在使用rsync增量备份，使用--link-dest指向上一个备份的选项，以便未更改的文件硬链接到那里。

这是有效的，但不适用于所有文件。例如，我在备份中有一个目录，其中包含三年多未修改的文件。但出于某种奇怪的原因，只有其中一些是硬链接。

不方便的是，较大的文件都是副本（即只有一个指向该文件的链接，通过 检查ls -l）。但是对于一些较小的文件也是如此，而且确实一些硬链接文件比一些复制的文件大。

似乎没有任何模式可以让我预测哪些将是副本以及哪些硬链接。文件名长度和文件大小似乎无关紧要，修改日期也是如此：在复制和硬链接列表中都有所有这些。也就是说，文件在多个备份中似乎确实是一致的，因此一次备份发生的情况似乎也发生在下一次备份中。

是否有文件的某些属性（技术或其他），某些功能会导致rsync复制它而不是硬链接它？

编辑1：提到“属性”让我想知道是否有一些ls -l没有列出的属性可能会产生影响，但是lsattr在源目录中执行表明所有文件都具有相同的属性。

编辑 2：我之前说过（现在已删除）权限都是一样的，但这是错误的。目标（备份）目录中的权限相同。我正在使用--perms（保留权限），所以我不知道为什么没有保留权限。我以前也以非 root 用户身份运行，但现在我尝试以 root 身份运行以防万一，但仍然没有保留权限，这可能是某些文件看起来已经更改的原因 - 文件没有't 但它的权限显然有（至少，与以前的备份相比，它的权限不正确）。

编辑 3：我现在认为这与我的 CIFS 服务器有关。mount.cifs手册页中有关于该file_mode选项的内容：“如果服务器不支持 CIFS Unix 扩展，则会覆盖默认文件模式。” 当我运行mount不带参数的命令来列出挂载时，列出的选项包括file_mode=0755以及dir_mode=0755与我看到的内容相关联。我不能chmod在挂载上的文件，因此那些最初没有0755权限的文件被视为已更改，因此被再次复制 - 由于挂载而再次在备份中获得错误的权限。

我在 Debian 10（无 SELinux）上使用 Dovecot 2.3.4.1 和 EncFS（encfs 版本 1.9.5）加密邮箱

基本设置是：

EncFS 安装有

encfs --public /var/encrypted-mail /var/decrypted-mail -o nonempty --verbose

邮箱设置：

/var/decrypted-mail/domain.com/[email protected]/[cur,new...]

drwx------ 8 mail mail 4096 Dec 29 2019 /var/decrypted-mail（这些权限是递归的）

所有 dovecot 进程都以mail用户身份运行：

mail 5194 0.0 0.0 6308 4312 ? S 14:52 0:00 dovecot/imap

尽管一切似乎都配置正确，但我无法创建新文件夹或重命名现有文件夹。

我在以下内容中收到此错误/var/log/dovecot.log：

Jan 24 14:59:04 imap([email protected])<6010><Us21sxWS5OZaC6Ex>: Error: Couldn't create mailbox list lock /var/decrypted-mail/domain.com/[email protected]/mailboxes.lock: file_create_locked(/var/decrypted-mail/domain.com/[email protected]/mailboxes.lock) failed: link(/var/decrypted-mail/domain.com/[email protected]/mailboxes.lockba53af3795974a32, /var/decrypted-mail/domain.com/[email protected]/mailboxes.lock) failed: Operation not permitted

该错误消息的源代码位于此处：https ://github.com/dovecot/core/blob/4d09884528e592a0fa5d38bf479b3ddab1a4a0ef/src/lib/file-create-locked.c#L109-L123

如果我没看错，它就不能使用“常规锁定”机制并尝试将临时文件符号链接到mailboxes.lock. 这表明它可以创建临时文件mailboxes.lockba53af3795974a32并且无法对其进行符号链接。

当我在 shell 中运行这个命令时： sudo -u mail bash -c 'touch mailboxes.lockba53af3795974a32 && ln -s mailboxes.lockba53af3795974a32 mailboxes.lock'

它工作正常，我没有错误。

鸽舍的行为怎么可能与普通贝壳如此不同？

我唯一的解释是时间问题（之前访问过临时文件，但是为什么这没有出现在 bash 复制中？）。

我也尝试过chmod -R g+rwx /var/decrypted-mail，以确保所有这些 gid 都不是问题，但这只是寻找修复的绝望尝试。

我正在运行一个（基于 Linux 的）rsync 服务器来进行软件分发。我无法控制的（基于 Windows 的）源存储库服务器通过 rsync 将软件包推送到它，全球大约有一百个卫星服务器从它那里拉出，也通过 rsync。

源存储库包含许多大的重复文件。我想通过硬链接替换这些重复项来减少卫星服务器上的磁盘空间和带宽消耗。源存储库的管理员不愿意或无法在源上这样做，所以我试图在分发服务器上这样做。我创建了一个简单的 bash 脚本，基于fdupes命令查找重复组并将其替换为指向单个文件的硬链接。由于 -H 选项，rsync 传输到卫星服务器会根据需要保留这些硬链接。但是，从源存储库进行的传输会产生不一致的结果。有时会保留重复数据删除。有时，源服务器会重新传输去重组的所有文件，即使源文件没有更改，去重也会中断。

因此我的问题是： rsync 的官方行为是什么，以防它被要求同步两个相同但独立的文件，并且这些文件确实已经存在于目标中并且具有正确的内容，但是作为同一个文件的硬链接？重新传输文件的确切标准是什么？有没有办法确保在这种情况下保留目标中的硬链接，即使源中不存在硬链接？

我有两台服务器，第二台不时通过 rsync 同步。

我有一些（几千？）大的重复文件，我想使用 freedup 来腾出一些空间。

如果我在源上启动 freedup，rsync -H 会用硬链接替换目标上的真实文件并在那里节省空间吗？

我正在考虑一种情况，我会创建一个目录副本，调整一些文件，然后对结果进行一些处理。这将经常进行，可能一天几十次。（确切的用例是测试补丁提交；复制代码，打补丁，构建/测试/报告/等等。）

我正在寻找的可以通过创建一个新的目录结构并使用来自原始的硬链接来填充它来完成。但是，这仅在您使用的所有工具都删除并重新创建文件而不是就地编辑它们时才有效。

有没有办法让文件系统对文件进行写时复制？

注意：我知道许多 FS 在块级别使用 COW（所有更新都是通过写入新块完成的）但这不是我想要的。

我计划在不久的将来在一些项目上使用 Mercurial。这些项目通常驻留在我的 Windows 机器上的一个目录中，但我将使用 VirtualBox 共享这些目录，以便我可以直接在 Linux 中处理它们。

我了解 Mercurial 有时会在克隆存储库时创建硬链接。我不确定 VirtualBox 共享目录如何处理这些硬链接（或者它是否可以），所以我宁愿告诉 Mercurial 永远不要尝试制作硬链接并始终制作副本。

我的问题：如何全局禁用 Mercurial 的硬链接？

（尽管如果有人让Mercurial 和 VirtualBox 共享文件夹能够很好地与硬链接一起工作，我很想听听！）

我过去使用过硬链接，但它们似乎把事情搞得一团糟......

什么时候使用硬链接合适？何时何地使用硬链接的最佳实践是什么？

谢谢，

担

我正在使用 rsnapshot 在本地计算机上备份多个外部服务器，它运行良好。现在，我想将目标快照克隆到将要旋转的外部磁盘上。问题是，我想维护硬链接结构以节省外部磁盘上的空间。

我可以将本地机器上的快照克隆到外部磁盘上，但是由于没有复制硬链接结构，本地机器上的 10GB 权重变成了外部磁盘上的 70GB。我不希望外部磁盘快照链接到本地​​计算机，但我想要相同的硬链接逻辑，而不必从我的多个外部服务器传输数据两次：

daily.0/
daily.1/ -> only differences from daily.0/
daily.2/ -> only differences from daily.1/
...

是否可以使用 rsync（或其他工具）在其他地方复制我的本地快照主机的结构？或者只是简单地告诉 rsnapshot 使用相同的轮换机制将快照放在两个不同的目的地？

谢谢你的想法！

我知道您可以在本地驱动器上进行 fsutil 硬链接，但是我希望能够将网络驱动器上的硬链接到不同的网络驱动器。这可能吗？

我认为不是因为这两个驱动器彼此位于单独的机器上，如果您可以跨网络进行硬链接，那么您可以（我认为）对其他人的计算机做一些奇怪的事情。但是，我想再次检查我的推理是否正确，并且没有办法做到这一点。

谢谢，心理学