最近我设置了一个新系统来处理我的数据囤积需求。我在 StableBit DrivePool 中有几个 HDD(2TB、4TB、8TB,希望尽快添加更多),没有重复。一个外部 8TB 硬盘,我使用 Macrium Reflect 保存池中最重要数据的压缩和加密备份(将把它移到异地)。我还有另一个 8TB 硬盘来存储池中所有驱动器的 SnapRAID 奇偶校验,为最多一个硬盘故障提供冗余,并通过清理提供数据完整性。
池中的一些数据 (~4TB) 是不再更改的旧存档数据,并且偶尔会添加到其中。这是我在外部 8TB 硬盘中使用 Macrium Reflect 备份的大部分内容。我面临的问题是,这些数据主要由许多小文件组成,例如 2TB 中的约 200 万个文件。这使得大多数操作(重新平衡池、使用 Macrium Reflect 备份、与 SnapRAID 同步等)非常缓慢、低效且容易出错(例如,如果防病毒软件阻止了一些奇怪的文件,那么 SnapRAID 就会失败 - 我还没有完成第一次完全同步)。
所以我希望实现的解决方案是将所有这些小文件存储在一个容器中(例如 .tar、.zip、.7z 等),无需加密或压缩。我认为这应该通过大大减少文件数量来缓解大部分问题。所以我的问题是什么容器最适合这项任务。我不希望添加冗余,SnapRAID 或池中的重复可以更灵活地处理,所以不要查看 par/par2。但如果出现问题,我希望尽可能减少失败的风险。特别是我正在寻找对数据损坏最有弹性的容器。例如,
欢迎对我提出的解决方案或我的整个系统提出任何其他意见/建议。
选项 1:ISO
ISO跨不同的操作系统工作。易于附加新文件。比存档文件好。
您可以直接在命令行上使用Folder2Iso或 mkisofs 创建 ISO。
(归功于 u/ImJacksLackOfBeetus)
选项 2:具有最简单设置的 TAR
Tar 确实是为这个用例设计的。只需使用最简单的设置(即每个文件的元数据、无压缩等)。将文件附加到存档也很容易。
如果某些字节损坏,请按如下方式提取存档:
积分和更多信息可以在这个 Reddit 线程中找到。