AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / server / 问题 / 762524
Accepted
Gregory MOUSSAT
Gregory MOUSSAT
Asked: 2016-03-09 16:37:32 +0800 CST2016-03-09 16:37:32 +0800 CST 2016-03-09 16:37:32 +0800 CST

rsync 挂在一个大文件上

  • 772

每天晚上,我都会将几个带有 rsync 的虚拟磁盘从一台 Linux Debian 计算机复制到另一台 Linux Debian。
大多数文件都是带有“漏洞”的原始图像:有些部分从未被写入,因此在磁盘上保持未分配。

rsync 挂在一个文件上,总是一样的。每次传输 50 Gb 后都会发生挂起。我不确定这是否总是在同一点,但ls -sh显示 50 Gb。
这是一个包含 151 Gb 的 800 Gb 文件(因此 649 Gb 未分配)。其他一些虚拟磁盘也有类似的数字,并且 rsync 在它们上运行良好。

如果我使用 rsync 在本地更新文件,而不涉及任何网络,我将有完全相同的行为(使用--no-whole-file,这是一个要求,请参见下文)。

一旦 rsync 停止,它会使用一个 CPU 核心到 100% 并且在接收端使用零磁盘活动(这是一个拉取请求,因此从这一端运行 rsync)以及在发送端使用零 CPU 和零磁盘。
我让它运行了几个小时。
Ctrl+c立即停止 rsync。
当运行到本地复制时,一旦停止,我也有一个 CPU 核心达到 100% 并且磁盘活动为零。

我发现的唯一例外是当我将此文件同步到新位置时(即目标文件不存在)。所以我怀疑这个问题与新旧数据的比较有关。

我--inplace用来限制对目标磁盘的写入,因为每次备份后都会使用快照。所以这个选项是必需的,rsync 也是必需的,除非我发现一个工具能够只更新这些文件的更改部分。

linux
  • 2 2 个回答
  • 7089 Views

2 个回答

  • Voted
  1. Best Answer
    Bertrand SCHITS
    2016-03-24T05:12:48+08:002016-03-24T05:12:48+08:00

    由于内部哈希缓冲区的算法效率低下,rsync 在大文件上会出现这种问题。

    您必须使用--block-size具有较大价值的选项。但是当前版本不允许使用超过 128 kB。有些网页告诉使用--block-size=10485760 --protocol=29,但在我的情况下,它被 rsync 拒绝。

    • 使用版本 29 或更早版本
    • 或修改 MAX_BLOCK_SIZE 常量后重新编译
    • 7
  2. mc0e
    2016-03-09T16:54:01+08:002016-03-09T16:54:01+08:00

    查看针对 rsync 的错误报告。可能会提交一个新的。您可以从https://rsync.samba.org/bugzilla.html找到这些

    无论是在此处还是在错误报告中,您都应该提供更多细节。每一端的 rsync 版本是什么,你的操作系统是什么,你使用的是什么命令?文件和/或 rsync 传输是否已压缩?用什么zlib版本?

    https://bugzilla.samba.org/show_bug.cgi?id=10518和https://bugzilla.samba.org/show_bug.cgi?id=10372可能是相关的。另见http://www.anchor.com.au/blog/2013/08/out-tridging-tridge/

    • 5

相关问题

  • Linux 主机到主机迁移

  • 如何在 Linux 机器上找到有关硬件的详细信息?

  • 如何在 Linux 下监控每个进程的网络 I/O 使用情况?

  • 在 RHEL4 上修改 CUPS 中的现有打印机设置

  • 为本地网络中的名称解析添加自定义 dns 条目

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    新安装后 postgres 的默认超级用户用户名/密码是什么?

    • 5 个回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve