这是一个古老的数据,在双主模式下的 DRBD 上,不可能在 Linux 上使用像 ext4 这样的非集群感知文件系统。
例如,正如 Linbit 在其手册“Dual Primary - 三思而后行”中所述:
DRBD 将节点 A 的更改复制到节点 B,反之亦然。 它更改物理存储设备的内容。但是 - 由于 DRBD 驻留 在提到的 Ext4 文件系统下,物理磁盘上的文件系统 节点 A 不会注意到来自节点 B 的更改(反之亦然)。 此过程称为并发写入。从现在开始,实际内容 存储设备的大小与那里的文件系统认为的不同。 文件系统已损坏。”
我的问题是 - 为什么会这样?
因为,如果该文件系统的元数据存储在同一个 DRBD 设备上,那么任何像上面描述的变化都会在两个 DRBD 节点之间同步,所以两端的文件系统(由数据 + 元数据组成) ,不是吗?)完全同步。确实,节点 1 写入的内容已被节点 2 覆盖,但如果我在节点 1 上发出“dir”命令,我会看到除了刚刚复制的节点 1 之外还有另一个文件。简单的共享文件夹(例如 Windows CIFS 共享)也会发生同样的情况。这不会导致文件系统损坏。
那么问题出在哪里?为什么每个人都说文件系统会损坏?这是否意味着 ext4 文件系统不会将元数据存储在实际设备本身上,而是将其存储在其他地方,例如根文件系统中?根据我在 ext4 FS 内部的信息,情况并非如此。(我不得不说我还没有深入了解 ext4)。
但它或多或少应该是这样的:
Node1 将一个新文件写入块 34098(并更新目录条目): 节点 1 - 目录条目:/data/myfile1.txt 34098 -----> 块 34098 包含:myfile1.txt 在“同时”,Node2 将以下内容写入块 34098。它永远不会“同时”,所以我们假设是当 DRBD 刚刚完成上述同步时。 节点2 - 目录条目:/data/other.txt 34098 -----> 块 34098 包含:other.txt DRBD 现在应该再次将块 34098 同步回 node1,包括目录条目和块 34098。
除了将文件“other.txt”写入块 34098 之外,node2 上的文件系统还将更新包含指向块 34098 的目录条目(只是另一个文件)的块。所以它应该始终同步,或者不同步?
内核有一个它认为文件系统所处状态的内存映像,它不会检查磁盘是否已更改,因为这不可能发生,因为只允许本地内核更改文件系统,它知道它做了什么,不需要检查。如果您在第二个节点上进行更改,磁盘上的结构将与内核预期的不同,并且几乎可以保证数据丢失。
并且由于集群感知文件系统添加了相当多的同步和检查来避免各种问题,这并不像让内核在每次操作之前读取文件系统以使例如 ext4 集群能够那样容易。