我们的 Intranet 上有一个文件夹结构，其中包含大约 800,000 个文件，分为大约 4,000 个文件夹。我们需要将其同步到 DMZ 中的一个小型机器集群。结构的深度很浅（它永远不会超过两层深）。
大多数文件永远不会改变，每天有几千个更新文件和 1-2 千个新文件。数据是在源数据已被清除的地方维护的历史报告数据（即这些是源数据足够旧的最终报告，我们将其存档和删除）。每天同步一次就足够了，因为它可以在合理的时间范围内发生。报告在一夜之间生成，我们在早上同步第一件事作为计划任务。
显然，由于很少有文件定期更改，我们可以从增量复制中受益匪浅。我们已经尝试过 Rsync，但这可能需要长达八到十二个小时才能完成“构建文件列表”操作。很明显，我们正在迅速超出 rsync 的能力（12 小时的时间框架太长了）。
我们一直在使用另一个名为 RepliWeb 的工具来同步结构，它可以在大约 45 分钟内完成增量传输。然而，我们似乎已经超过了它的限制，它已经开始看到文件显示为删除而不是删除（也许某些内部内存结构已经用尽，我们不确定）。
有没有其他人遇到过这种大规模的同步项目？是否有设计用于处理像这样的大量文件结构以进行同步的东西？