我正在将数据从一台服务器归档到另一台服务器。最初我开始了rsync
一份工作。仅仅为 5 TB 的数据构建文件列表需要 2 周时间,而传输 1 TB 数据需要一周时间。
然后我不得不终止这项工作,因为我们需要在新服务器上休息一段时间。
已经同意我们会将其 tar,因为我们可能不需要再次访问它。我正在考虑将它分成 500 GB 的块。在我完成之后tar
,我将通过ssh
. 我正在使用tar
,pigz
但它仍然太慢。
有更好的方法吗?我认为两台服务器都在 Redhat 上。旧服务器是 Ext4,新服务器是 XFS。
文件大小从几 kb 到几 mb 不等,5TB 中有 2400 万个 jpeg。所以我猜 15TB 大约需要 60-80 百万。
编辑:在玩了几天 rsync、nc、tar、mbuffer 和 pigz 之后。瓶颈将是磁盘 IO。由于数据跨 500 个 SAS 磁盘和大约 2.5 亿个 jpeg 条带化。但是,现在我了解了所有这些我将来可以使用的好工具。