主页 / unix / 问题 / 463694
Accepted
Mark
Asked: 2018-08-21 11:05:59 +0800 CST

停止 rsync 计划任务竞争条件（大目录，小时间间隔）

  • 772

平台信息：

OpenBSD 6.2 amd64

$ rsync --version rsync version 3.1.2 protocol version 31

我正在尝试使用以下daily.local文件同步一个大目录（4TB）（对于 Linux 管理员，这本质上是一项 cron 日常任务）：

#!/bin/sh
# Sync the primary storage device to the backup disk
/usr/local/bin/rsync -avz /mnt/media_primary/ /mnt/media_backup/

初始 rsync 复制需要一天多的时间。一两天后，我的进程列表中出现了多个运行的 rsync 副本：新进程按计划启动，这些新进程似乎相互竞争并且没有完成任务（至少很快）！

有没有办法让一个新的 rsync 进程知道其他 rsync 进程（或另一种避免 rsync 竞争条件的方法）？

我知道我可以手动运行 rsync 第一次复制目录和/或增加预定的时间间隔。这个问题更符合我的兴趣，因为我无法在网上找到有关此主题的信息。

backup rsync

2 个回答

  1. 一种类似于Mark 的解决方案的解决方案，但不需要更改/etc/fstab或安装和卸载文件系统：

    #!/bin/sh

lockdir=/tmp/file-copy.lock

if ! mkdir "$lockdir"; then
   echo 'File copy already in progress' >&2
   exit 1
fi

trap 'rmdir "$lockdir"' EXIT

PATH=$PATH:/usr/local/bin

rsync -ai ...

    关于这一点的几点说明：

    1. 是mkdir一个原子操作，很像mount，如果目录已经存在，它将失败，但如果不存在则创建目录。这比首先检查锁定文件然后创建它（两个步骤之间可能存在竞争条件）更安全。

    2. EXIT陷阱确保脚本终止时删除锁定目录。锁定目录也将在重新启动时（由系统）删除，因为它位于/tmp.

    3. 我设置PATH为适当的值，而不是rsync使用其完整路径调用。这纯粹是一种装饰性的东西，但如果稍后将脚本扩展为使用 OpenBSD 端口集合中的其他命令（例如restic或borgbackup），这可能会很有用。

    4. 仅在非常慢的网络连接时才需要该-z选项（当压缩/解压缩数据比网络带宽更快时），并且从不用于本地复制。我也倾向于使用( ) 而不是( )，因为这会告诉我文件传输的确切原因。rsync-i--itemize-changes-v--verbose

    为了安全备份大量数据，我一般会推荐使用专门编写的备份软件rsync，例如restic或borgbackup。这两个额外进行重复数据删除和加密，并且borgbackup可以选择进行压缩。restic从某种意义上说是好的，它允许将备份保存到外部服务器（例如sftp），即使该服务器尚未restic安装，而borgbackup需要在目标系统上安装该软件。两者都restic处理borgbackup备份存储库锁定。

    • 3
  2. Best Answer

    解决这个问题的一种方法（如果备份目录在它自己的分区上）是让卷不挂载，在启动 rsync 命令之前挂载。这消除了使用的需要，flock并且可能具有延长驱动器寿命/降低功耗的好处。

    /etc/fstab：将noauto选项添加到分区，使其不会在启动时自动挂载

    在daily.local或cron.daily计划任务中：

    #!/bin/sh
mount /mnt/media_backup && \
/usr/local/bin/rsync -avz /mnt/media_primary/ /mnt/media_backup/ && \
umount /mnt/media_backup

    双与号运算符 ( &&) 将仅在前一个命令成功时启动下一个命令。因此，如果无法挂载备份磁盘（因为它已经挂载并且 rsync 已经在分区上运行），则命令的其余部分将不会继续。

    • 1

相关问题