在我工作的一家公司,我们有一个叫做“播放列表”的东西,它是每个 ~100-300 字节的小文件。大约有一百万。每小时大约有 100,000 人换衣服。这些播放列表需要每小时上传到不同大陆的 10 个其他远程服务器,理想情况下需要在 2 分钟内快速完成。在主服务器上删除的文件也会在所有副本上删除,这一点非常重要。我们目前使用 Linux 作为我们的基础设施。
我正在考虑尝试使用 -W 选项的 rsync 来复制整个文件而不比较内容。我还没有尝试过,但也许对 rsync 有更多经验的人可以告诉我它是否是一个可行的选择?
还有哪些其他选择值得考虑?
更新:我选择 lsyncd 选项作为答案,但这只是因为它最受欢迎。其他建议的替代方案也以它们自己的方式有效。