主页 / server / 问题 / 40927
Accepted
pQd
Asked: 2009-07-16 00:44:13 +0800 CST

> 4GB文件的rsync

  • 772

傻一个，

在现代 linux 下 rsync'ing 大 [ >4GB ] 文件有什么问题吗？[ 32bit、64bit、大文件支持开启]？我自己在 2 个 64 位机器之间进行了一些测试，并且在传输 6-10GB 文件时没有任何问题。为了使测试彻底，我更改了文件，再次运行 rsync，检查了 md5 ... - 一切似乎都很好。

但是在我看到这个错误报告后，我有点担心。我做了一些搜索，但没有找到任何问题的确认。

谢谢你的想法！

编辑：文件系统：ext3，reiserfs

backup files rsync limitations

5 个回答

  1. 取决于您使用的文件系统。我在使用 FAT32 文件系统时遇到了麻烦。我有一个 200GB 的便携式硬盘驱动器（格式化为 FAT32）并试图将 DVD .iso 复制到它上面。它不起作用，因为您不能在 FAT32 中拥有大于 4.somethingGB 的文件

    • 4

  2. 不，我一直使用 rsync 抛出大约 5-10GB 的 VM 映像，从未遇到过问题。

    • 3

  3. 我最近 rsync 的最大文件是 180GB，它位于一组包含 15TB 的目录中（我编写了一组可以并行同步的脚本，我可以以每小时 3TB 左右的速度移动数据......）

    • 3

  4. 不，我们每天使用 rsync 同步两个 30TB 数据集（由 4 到 20GB 的文件组成）几个月，没问题。

    • 2
  5. Best Answer

    您链接到的错误报告似乎不是与 4GB+ 文件大小相关的错误。429796854 字节略低于 410Mb，这似乎是传输错误而不是 rsync 错误。如果

    我怀疑传输连接（可能是 SSH）已经断开，可能是由于不活动超时，因为 CPU 在发送之间花费了很长时间，因为它必须执行诸如校验和一个非常大的文件之类的操作，这就是 rsync 报告的原因破损的管道。

    我确定我过去曾在 32 位客户端和服务器上成功地对超过 4Gb 的文件使用 rsync，并且至少有一次实际传输超过 4Gb 而不仅仅是考虑传输。

    • 2

相关问题