AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / unix / 问题 / 723309
Accepted
xralf
xralf
Asked: 2022-11-02 14:35:14 +0800 CST2022-11-02 14:35:14 +0800 CST 2022-11-02 14:35:14 +0800 CST

rsync --whole-file 解释

  • 772

当我rsync从硬盘驱动器运行到已安装的闪存驱动器时,速度很慢。我正在考虑使用--whole-file开关。

你能解释一下,为什么它更快?为什么我不应该害怕使用它?以及使用它的优缺点是什么。我没有找到太多关于它的信息。

rsync 命令:

rsync -avh --delete --no-o --no-g /home/xralf/audio /media/extdevice/rsync_backups/

我rsync从硬盘驱动器(ext4 文件系统)到闪存驱动器(vfat 文件系统)。

rsync
  • 1 1 个回答
  • 43 Views

1 个回答

  • Voted
  1. Best Answer
    roaima
    2022-11-02T15:07:28+08:002022-11-02T15:07:28+08:00

    让我们从系统上的--whole-file( -W)文档开始man rsync,首先解释它的作用:

    此选项禁用rsync的 delta-transfer 算法,这会导致所有传输的文件被完整发送。

    然后接着说,

    如果在源计算机和目标计算机之间的带宽高于磁盘带宽(尤其是“磁盘”实际上是网络文件系统时)使用此选项,传输可能会更快。[…]

    基本上有两种操作模式rsync。

    1. 本地副本(包括源和目标看起来都是本地文件系统的一部分的网络文件系统)。在这种情况下rsync,根据文件大小和修改时间戳选择复制整个文件或跳过它。在这种情况下启用该--whole-file选项,因此没有增量优化。实际上,几乎所有时间都启用此功能是没有意义的,因为您将花费更长的时间阅读源文件和目标文件来比较它们,而不是首先复制文件。

    2. 远程副本(其中一个路径包含{host}:{path}或{host}::{path}样式构造)。在这种情况下rsync,可以在本地机器上运行一个自身实例,在远程机器上运行一个实例。这两个实例可以独立读取源文件和目标文件来比较它们,希望得到优化的情况,即只有更改通过网络传输。此处,--whole-file默认情况下未启用。

    在场景 #1 中,该--whole-file选项默认启用,将导致文件副本几乎总是比增量传输快。(例外情况是,如果您读取本地磁盘的速度明显快于写入本地磁盘的速度。)

    这是您正在使用的情况(本地到本地副本)。这里最大的问题是你正在写入一个 VFAT 文件系统,它的文件时间戳只有两秒的粒度。这意味着对于许多文件rsync来说,它们会认为它们已经过时并且会重新复制它们——这是不必要的。

    此处的修复是使用--modify-window=1(有关详细信息,请参阅文档,,man rsync)。我还读到,如果您处于夏季和冬季之间变化的时区,您应该rsync在 UTC 下运行命令以避免相关的时区并发症,但我自己没有对此进行测试:

    TZ=UTC rsync -rtvh --modify-window=1 --delete /home/xralf/audio /media/extdevice/rsync_backups/
    

    在场景 #2 中,该--whole-file选项默认禁用,并且会导致增量文件传输,这通常比不小心发送整个文件要快。例外情况是通过网络发送数据比计算源和目标之间的差异更快;例如,在 10Gb/s 网络上可能就是这种情况。

    结论:一般来说,试图欺骗rsync的内置优化不会让事情变得更好,而且往往会使传输速度变得更糟。既不启用也不禁用--whole-file,而只是让rsync自己选择。不过,就 VFAT 文件系统而言,尽量避免使用它们,但如果你不能,那么这是你需要提供rsync一些额外帮助的情况。

    • 1

相关问题

  • rsync - 使用 shell 脚本将每个 JPG/jpg 文件从一个硬盘驱动器移动到一个目录

  • tar 目录只发送修改过的文件块

  • 如何复制具有相对重复符号链接的目录树?

  • rsync 排除问题

  • rsync 端口 22 和 873 使用

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    模块 i915 可能缺少固件 /lib/firmware/i915/*

    • 3 个回答
  • Marko Smith

    无法获取 jessie backports 存储库

    • 4 个回答
  • Marko Smith

    如何将 GPG 私钥和公钥导出到文件

    • 4 个回答
  • Marko Smith

    我们如何运行存储在变量中的命令?

    • 5 个回答
  • Marko Smith

    如何配置 systemd-resolved 和 systemd-networkd 以使用本地 DNS 服务器来解析本地域和远程 DNS 服务器来解析远程域?

    • 3 个回答
  • Marko Smith

    dist-upgrade 后 Kali Linux 中的 apt-get update 错误 [重复]

    • 2 个回答
  • Marko Smith

    如何从 systemctl 服务日志中查看最新的 x 行

    • 5 个回答
  • Marko Smith

    Nano - 跳转到文件末尾

    • 8 个回答
  • Marko Smith

    grub 错误:你需要先加载内核

    • 4 个回答
  • Marko Smith

    如何下载软件包而不是使用 apt-get 命令安装它?

    • 7 个回答
  • Martin Hope
    user12345 无法获取 jessie backports 存储库 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl 为什么大多数 systemd 示例都包含 WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky 如何将 GPG 私钥和公钥导出到文件 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll systemctl 状态显示:“状态:降级” 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim 我们如何运行存储在变量中的命令? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S 为什么 /dev/null 是一个文件?为什么它的功能不作为一个简单的程序来实现? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 如何从 systemctl 服务日志中查看最新的 x 行 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - 跳转到文件末尾 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla 为什么真假这么大? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis 在一个巨大的(70GB)、一行、文本文件中替换字符串 2017-12-30 06:58:33 +0800 CST

热门标签

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve