我正在寻找一种方法来创建大约 8TB 数据的异地备份。我目前已将数据分解为 2-4TB 文件系统,并且我正在使用 ShadowProtect 将数据从 SBS 2003 服务器备份到 Windows 2003 备份服务器,使用每周完整备份和每晚增量备份。
由于很多原因,我对这个解决方案不太满意。
- 备份时间太长。
- 保存超过一周的备份需要大量空间。
- 到外部硬盘的异地备份将需要太多磁盘和太多时间。
- 通过 Internet 进行异地备份会占用太多带宽。
如果可能的话,我正在寻找的是有一个本地备份服务器来容纳许多快照,而不像faubackup那样存储重复数据似乎能够做到。我还希望能够跨越在一组外部磁盘上进行的备份,而不会出现重复数据,因为文件系统比我可以在单个磁盘上容纳的要大。
如果我错了,请纠正我,但据我所知,由于 faubackup 使用硬链接,将新数据跨越比 faubackup 本身使用的更多的文件系统有点不可能。
我也一直在考虑以某种方式使用 openfiler 来实现相同的目标,但还没有想到方法。
其他人如何应对如此大量数据的异地备份。
编辑:
有关更多背景信息,我们是一家相对较小(约 15 名员工)的地质公司,我们基本上采用大量数据集,并使其可读。项目经常会遇到数百个演出。尽管异地备份很重要,但我将很难获得购买磁带自动加载机所需的资金来处理我们正在查看的那种数据。我试过了,基本上被告知必须有另一种方法,我必须找到它。
我们有两台服务器。一台 SBS2003 服务器和一台用作备份服务器的 Windows 2003 R2 服务器。两台机器都有一个 20TB 的 RAID6 阵列来存储我们的数据。在任何一天以及常规内容中,都会对许多非常大的文件进行微小的修改。
这正是大多数公司对磁带进行备份(比磁盘成本更低的介质,快速的流式写入速度),然后将磁带物理移动到异地的原因。
您可以让 IT 人员将磁带拖回家,或者有数据存档公司会来您的企业,拿起磁带,并将它们存储在他们的安全设施中。恢复就像打电话给公司把磁带拿过来、加载它并访问您的数据一样简单。
互联网对很多事情都有好处,但移动数 TB 的数据并不是其中之一。请参阅 Jeff 关于带宽经济学的文章,该文章引用了 Jim Gray 出色的 Microsoft Research 白皮书TeraScale SneakerNet (.DOC)
您正在寻找提供重复数据删除的存储系统:http ://en.wikipedia.org/wiki/Data_deduplication
这不会减轻您以某种方式将数据移出现场的要求,但它肯定会有助于降低热/实时备份所需的空间量。
我们有大约 1TB 的数据,并使用自定义 rsync 脚本每晚备份所有内容。rsync 的好处是它只复制修改过的字节(而不是整个修改过的文件)......加上它在传输之前压缩数据。
在我们的旧系统中,我们不得不将磁带和磁盘带回家,因为每天大约有 200GB 的文件被修改。但是使用 rsync 只传输这些文件中 1GB 左右的修改数据,并压缩到 ~200MB。因此,我们能够在几分钟内通过 T1 将所有内容备份到远程站点(在非常繁重的维护日不到一小时)。这些脚本还利用 Linux 硬链接来维护 30 天的完整存档(非增量),仅使用 2-4TB(压缩前)的空间。因此,我们最终能够在几秒钟内恢复归档数据,同时还能保持异地存储。
幸运的是,磁盘驱动器空间跟上了我们公司的增长……我认为我们在两个地点的整体解决方案成本约为 1000 美元。
您可能想查看 backuppc,它必须在 linux 机器上运行,但它使用硬链接存储文件,所以如果文件自上次 inc/full 以来没有更改,那么它只是硬链接到它(所以要存储的空间量4x完全备份比其他备份系统小很多)它可以通过samba备份windows机器,显然也可以备份linux/unix/macs
备份电脑
我们在另一个数据中心有一个副本 SAN,我们可以从中进行快照和备份。
既然您的数据很容易分成更易于管理的离散单元(项目或工作或您选择的任何名称),为什么不直接将副本复制到便宜的 USB 驱动器上并将它们存储在某个地方呢?您可以以低于 200 美元的价格获得 3TB 驱动器,而以更低的价格获得更小的驱动器。