AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / server / 问题 / 614906
Accepted
SnakeDoc
SnakeDoc
Asked: 2014-07-24 09:10:46 +0800 CST2014-07-24 09:10:46 +0800 CST 2014-07-24 09:10:46 +0800 CST

BackupPC 需要超过 72 小时来备份 250GB 的

  • 772

我BackupPC用来备份办公室的一些工作站。与其他工作站相比,一个工作站尤其具有大量数据,但是,一般来说并没有那么大(谈论大约 250 GB 的实际数据)。

BackupPC似乎需要永远支持这个系统(几天,即超过 72 小时+)。rsync所有工作站都通过网络上的autofs本地安装进行备份。

基本上,autofs将 安装administrative C share在工作站上,然后BackupPC将其视为本地目录,将cd' 放入automount directory,然后将rsync所有数据。

总的来说它很慢,我通常将其归因于BackupPC机器是慢速硬件,但这种性能在所有工作站上或多或少都可以接受,除了这个具有大量数据的工作站。

rsync flags:

/usr/bin/rsync --numeric-ids --perms --owner --group -D --links --hard-links --times --block-size=2048 --recursive

这些是BackupPC设置的默认参数。

我在网上阅读了一些atime关于挂载的内容可能会减慢速度 - 所以我更改了我的autofs配置以挂载带有noatime标志的目录......没有区别。

我读了一些东西,这些东西表明它rsync可能是罪魁祸首,因为它是如何检查文件的……并建议改用它tar。所以我做了......但没有区别。

tar flags:

tarPath="/bin/gtar"
env LC_ALL=C $tarPath -c -v -f - -C $shareName+ --totals

# where $shareName is the autofs mounted directory

这些是设置 BackupPC 的默认参数。

没变。

用监控BackupPC盒子的网络活动iftop,它似乎会在一段时间内使用量激增(有时高达 90Mbps),但随后会回落到 Kbps 甚至有时是 Bps 范围。当它处于慢速模式时,会使用作为备份作业top的命令显示活动BackupPC_dump......所以它正在做一些事情并且没有卡住。

当前备份已运行超过 24 小时,但根据iftop.

linux
  • 2 2 个回答
  • 3072 Views

2 个回答

  • Voted
  1. Best Answer
    BillThor
    2014-07-24T17:31:13+08:002014-07-24T17:31:13+08:00

    直接在服务器上运行 rsync 可能会更快。您有大约一百万个文件可以通过网络访问。rsync您可以运行几个最小的安装。我以这种方式在 Windows 上设置了 BackupPC 。您可以运行完整的 Cygwin 安装,或 BackupPC 项目中可用的最小cygwin-rsycnd安装。

    • 3
  2. higuita
    2014-07-25T14:34:35+08:002014-07-25T14:34:35+08:00

    您应该检查 backuppc 配置两侧的所有内容。首先,检查服务器并尝试提高它的性能,但如果你有其他性能更好的机器,让我们跳过这个。

    接下来检查网络!由台式机检测的网络速度、包装尺寸、电缆质量。做一些基准测试,做一个大文件的 rsync (rsync-rsyncd) 测试。从其他桌面和其他桌面进行测试。你应该看看那里是否有问题。

    最后是桌面。机器上的 CIFS 可能不是最佳状态,正如我上面所说,来自网络文件系统的 rsync 将一次又一次地通过网络下载每个文件,因为 rsync 文件系统是本地的,并将检查文件的 md5。 ..但文件需要通过网络获取,只需进行检查即可。因此,正如 BillThor 所指出的,桌面上的一个 rsyncd 会更有效率。此外,校验和缓存将帮助 backuppc 服务器不检查文件,从而减少其负载。对桌面进行碎片整理并删除(或排除)任何不需要的文件(Windows 到处都有许多无用的文件)。

    最后,文件的数量...许多文件使通过网络进行的任何备份都需要很长时间,因此请继续使用...而不是一个大备份,而是将其分解为较小的部分。某些文件比其他文件更改更多,因此按更改概率对目录进行分组。不是每 x 天一个大备份,而是有 3 个备份,一个在 X 天,另一个在 2 x 天,以及更新较少的文件,比如 3 x 天。这样,您就不必一直解析每个文件。如果您有“存档”文件,请考虑压缩。即使不可压缩(然后使用 zip 存储),它也会在 1 内变成 10.000 ......在备份期间大保存。

    如果你不能这样做,你可以考虑改变备份方法。在一台包含许多文件的大型机器上,我使用驱动器快照来制作高清图像,然后进行定期增量快照。可能看起来有点矫枉过正,但该程序在块级别上快速执行增量并且将绕过许多文件问题。对我来说,它将 48 小时的文件系统备份减少到 3 小时的备份块级别。不如 backuppc 灵活,但它可以工作。只是不要忘记,在进行碎片整理时,必须再次进行完整备份,否则增量将与完整备份一样大。:)

    查看这篇博客文章,了解如何从 Windows 备份(附带卷影副本奖励)。阅读所有评论,因为我在那里添加了许多重要信息和更新。

    • 1

相关问题

  • Linux 主机到主机迁移

  • 如何在 Linux 机器上找到有关硬件的详细信息?

  • 如何在 Linux 下监控每个进程的网络 I/O 使用情况?

  • 在 RHEL4 上修改 CUPS 中的现有打印机设置

  • 为本地网络中的名称解析添加自定义 dns 条目

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    新安装后 postgres 的默认超级用户用户名/密码是什么?

    • 5 个回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve