AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / unix / 问题 / 765828
Accepted
Sir Muffington
Sir Muffington
Asked: 2023-12-30 23:26:34 +0800 CST2023-12-30 23:26:34 +0800 CST 2023-12-30 23:26:34 +0800 CST

如何使用 rsync 同步下载部分失败的文件?

  • 772

我正在尝试同步数千个不同大小的文件,并且我想要这些文件的 1:1 副本。这意味着应该检查已经存在的文件的完整性,如果校验和错误,则需要覆盖该文件。由于部分传输失败,此时才需要进行所谓的增量传输。

显然我的安装有点不稳定,使用cp或传输 300-400GB 后会失败rsync。

在此之前我做了以下操作:

  1. 我安装了存储,并做了cp -r src dest,它在大约 300GB 后失败,因为安装掉落并且出错(显然不再有错误)
  2. 我再次安装了存储并执行了操作rsync -aP src dest,在大约 400GB 后失败了rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1338) [sender=3.2.7],因为安装再次失败。考虑到文件大小,它可能会覆盖大部分文件。
  3. 我检查了内核日志,没有发现任何内容(sudo dmesg)

我为我的坐骑找到了一个重新连接标志,但它不会是即时的。

  • 有一个名为 rsync 的标志-c用于计算校验和,但它是否也执行所谓的增量传输,或者我是否需要添加更多标志?

我怎样才能最好地解决这个问题?

更新1

如果我错了,请纠正我,但我认为当前的问题是存储的所有者和组与 rsync 中的用户和组不同。详细说明:cp -r复制文件并将其所有权和组所有权更改为用户复制,而 rsync 似乎以相同的用户和组所有权 1:1 复制文件...这可能就是传输覆盖旧文件的原因...

rsync
  • 1 1 个回答
  • 20 Views

1 个回答

  • Voted
  1. Best Answer
    Chris Davies
    2023-12-31T00:24:45+08:002023-12-31T00:24:45+08:00

    您听起来像是在两个本地文件系统之间进行复制。如果是这样,则rsync不会使用其校验和方案,并将回退到原来的状态cp。

    如果以 root 身份运行,则和cp都将保留所有者/组。rsync否则,目标文件将采用执行复制的帐户的所有者和(默认)组。

    如果您复制了原始时间戳,cp您可以告诉rsync只需检查文件大小和时间戳,并使用它来决定是更新丢失的元数据还是重新复制整个文件:

    rsync -rt src/ dst    # Timestamps only
    rsync -a src/ dst     # Almost all metadata
    

    某些文件系统可能无法保留元数据。或者您可能没有以 root 身份运行。在这些情况下,您可以尝试将元数据与每个文件一起保存在其扩展属性中。您可以-X为此添加:

    rsync -aX src/ dst    # Almost all metadata
    
    • 1

相关问题

  • rsync - 使用 shell 脚本将每个 JPG/jpg 文件从一个硬盘驱动器移动到一个目录

  • tar 目录只发送修改过的文件块

  • 如何复制具有相对重复符号链接的目录树?

  • rsync 排除问题

  • rsync 端口 22 和 873 使用

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    模块 i915 可能缺少固件 /lib/firmware/i915/*

    • 3 个回答
  • Marko Smith

    无法获取 jessie backports 存储库

    • 4 个回答
  • Marko Smith

    如何将 GPG 私钥和公钥导出到文件

    • 4 个回答
  • Marko Smith

    我们如何运行存储在变量中的命令?

    • 5 个回答
  • Marko Smith

    如何配置 systemd-resolved 和 systemd-networkd 以使用本地 DNS 服务器来解析本地域和远程 DNS 服务器来解析远程域?

    • 3 个回答
  • Marko Smith

    dist-upgrade 后 Kali Linux 中的 apt-get update 错误 [重复]

    • 2 个回答
  • Marko Smith

    如何从 systemctl 服务日志中查看最新的 x 行

    • 5 个回答
  • Marko Smith

    Nano - 跳转到文件末尾

    • 8 个回答
  • Marko Smith

    grub 错误:你需要先加载内核

    • 4 个回答
  • Marko Smith

    如何下载软件包而不是使用 apt-get 命令安装它?

    • 7 个回答
  • Martin Hope
    user12345 无法获取 jessie backports 存储库 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl 为什么大多数 systemd 示例都包含 WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky 如何将 GPG 私钥和公钥导出到文件 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll systemctl 状态显示:“状态:降级” 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim 我们如何运行存储在变量中的命令? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S 为什么 /dev/null 是一个文件?为什么它的功能不作为一个简单的程序来实现? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 如何从 systemctl 服务日志中查看最新的 x 行 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - 跳转到文件末尾 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla 为什么真假这么大? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis 在一个巨大的(70GB)、一行、文本文件中替换字符串 2017-12-30 06:58:33 +0800 CST

热门标签

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve