AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / server / 问题 / 27037
Accepted
resonator
resonator
Asked: 2009-06-17 21:49:14 +0800 CST2009-06-17 21:49:14 +0800 CST 2009-06-17 21:49:14 +0800 CST

异地备份 TB 级数据

  • 772

我正在寻找一种方法来创建大约 8TB 数据的异地备份。我目前已将数据分解为 2-4TB 文件系统,并且我正在使用 ShadowProtect 将数据从 SBS 2003 服务器备份到 Windows 2003 备份服务器,使用每周完整备份和每晚增量备份。

由于很多原因,我对这个解决方案不太满意。

  • 备份时间太长。
  • 保存超过一周的备份需要大量空间。
  • 到外部硬盘的异地备份将需要太多磁盘和太多时间。
  • 通过 Internet 进行异地备份会占用太多带宽。

如果可能的话,我正在寻找的是有一个本地备份服务器来容纳许多快照,而不像faubackup那样存储重复数据似乎能够做到。我还希望能够跨越在一组外部磁盘上进行的备份,而不会出现重复数据,因为文件系统比我可以在单个磁盘上容纳的要大。

如果我错了,请纠正我,但据我所知,由于 faubackup 使用硬链接,将新数据跨越比 faubackup 本身使用的更多的文件系统有点不可能。

我也一直在考虑以某种方式使用 openfiler 来实现相同的目标,但还没有想到方法。

其他人如何应对如此大量数据的异地备份。

编辑:
有关更多背景信息,我们是一家相对较小(约 15 名员工)的地质公司,我们基本上采用大量数据集,并使其可读。项目经常会遇到数百个演出。尽管异地备份很重要,但我将很难获得购买磁带自动加载机所需的资金来处理我们正在查看的那种数据。我试过了,基本上被告知必须有另一种方法,我必须找到它。

我们有两台服务器。一台 SBS2003 服务器和一台用作备份服务器的 Windows 2003 R2 服务器。两台机器都有一个 20TB 的 RAID6 阵列来存储我们的数据。在任何一天以及常规内容中,都会对许多非常大的文件进行微小的修改。

windows backup storage-area-network
  • 6 6 个回答
  • 1942 Views

6 个回答

  • Voted
  1. BradC
    2009-06-18T12:09:01+08:002009-06-18T12:09:01+08:00

    这正是大多数公司对磁带进行备份(比磁盘成本更低的介质,快速的流式写入速度),然后将磁带物理移动到异地的原因。

    您可以让 IT 人员将磁带拖回家,或者有数据存档公司会来您的企业,拿起磁带,并将它们存储在他们的安全设施中。恢复就像打电话给公司把磁带拿过来、加载它并访问您的数据一样简单。

    互联网对很多事情都有好处,但移动数 TB 的数据并不是其中之一。请参阅 Jeff 关于带宽经济学的文章,该文章引用了 Jim Gray 出色的 Microsoft Research 白皮书TeraScale SneakerNet (.DOC)

    • 4
  2. Matt Simmons
    2009-06-18T13:20:11+08:002009-06-18T13:20:11+08:00

    您正在寻找提供重复数据删除的存储系统:http ://en.wikipedia.org/wiki/Data_deduplication

    这不会减轻您以某种方式将数据移出现场的要求,但它肯定会有助于降低热/实时备份所需的空间量。

    • 2
  3. Best Answer
    Beep beep
    2009-06-18T20:58:17+08:002009-06-18T20:58:17+08:00

    我们有大约 1TB 的数据,并使用自定义 rsync 脚本每晚备份所有内容。rsync 的好处是它只复制修改过的字节(而不是整个修改过的文件)......加上它在传输之前压缩数据。

    在我们的旧系统中,我们不得不将磁带和磁盘带回家,因为每天大约有 200GB 的文件被修改。但是使用 rsync 只传输这些文件中 1GB 左右的修改数据,并压缩到 ~200MB。因此,我们能够在几分钟内通过 T1 将所有内容备份到远程站点(在非常繁重的维护日不到一小时)。这些脚本还利用 Linux 硬链接来维护 30 天的完整存档(非增量),仅使用 2-4TB(压缩前)的空间。因此,我们最终能够在几秒钟内恢复归档数据,同时还能保持异地存储。

    幸运的是,磁盘驱动器空间跟上了我们公司的增长……我认为我们在两个地点的整体解决方案成本约为 1000 美元。

    • 2
  4. Brendan
    2009-06-17T22:10:12+08:002009-06-17T22:10:12+08:00

    您可能想查看 backuppc,它必须在 linux 机器上运行,但它使用硬链接存储文件,所以如果文件自上次 inc/full 以来没有更改,那么它只是硬链接到它(所以要存储的空间量4x完全备份比其他备份系统小很多)它可以通过samba备份windows机器,显然也可以备份linux/unix/macs

    备份电脑

    • 0
  5. Chopper3
    2009-06-17T22:26:34+08:002009-06-17T22:26:34+08:00

    我们在另一个数据中心有一个副本 SAN,我们可以从中进行快照和备份。

    • 0
  6. Jim Blizard
    2011-06-11T07:25:54+08:002011-06-11T07:25:54+08:00

    既然您的数据很容易分成更易于管理的离散单元(项目或工作或您选择的任何名称),为什么不直接将副本复制到便宜的 USB 驱动器上并将它们存储在某个地方呢?您可以以低于 200 美元的价格获得 3TB 驱动器,而以更低的价格获得更小的驱动器。

    • -1

相关问题

  • 为什么添加新驱动器后我的磁盘驱动器访问速度如此之慢?

  • 在 Windows Server 2003 下使用 wscipt 从 .asp 文件运行 .exe

  • 最佳混合环境(OS X + Windows)备份?[关闭]

  • 如何从 SQL Server 2008 中的备份中排除索引

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    从 IP 地址解析主机名

    • 8 个回答
  • Marko Smith

    如何按大小对 du -h 输出进行排序

    • 30 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    Windows 中执行反向 DNS 查找的命令行实用程序是什么?

    • 14 个回答
  • Marko Smith

    如何检查 Windows 机器上的端口是否被阻塞?

    • 4 个回答
  • Marko Smith

    我应该打开哪个端口以允许远程桌面?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    MikeN 在 Nginx 中,如何在维护子域的同时将所有 http 请求重写为 https? 2009-09-22 06:04:43 +0800 CST
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    0x89 bash中的双方括号和单方括号有什么区别? 2009-08-10 13:11:51 +0800 CST
  • Martin Hope
    kch 如何更改我的私钥密码? 2009-08-06 21:37:57 +0800 CST
  • Martin Hope
    Kyle Brandt IPv4 子网如何工作? 2009-08-05 06:05:31 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve