请阅读底部的更新。谢谢!;)
环境信息(所有 Windows):
- 2 个站点
- 30 台服务器站点 #1(3TB 备份数据)
- 5 个服务器站点 #2(1TB 的备份数据)
- 连接站点#1和站点#2的MPLS骨干隧道
当前备份过程:
在线备份(磁盘到磁盘)
站点 #1 有一台运行 Symantec Backup Exec 12.5 的服务器,带有四个 1TB USB 2.0 磁盘。用于完整备份的 BE 作业每晚在站点 #1 中的所有服务器上运行到这些磁盘。站点 #2 使用我们购买时已有的软件备份到那里的中央文件服务器。BE 作业每晚将这些数据拉到站点 #1 并将它们存储在所述磁盘上。
异地备份(磁带)
连接到我们的备份服务器的是一个磁带驱动器。BE 每周一次将外部磁盘备份到磁带上,然后由我们的异地存储公司获取。显然,我们轮换了两个磁带库,一个总是在这里,一个总是在那里。
要求:
- 通过在每个站点执行磁盘到磁盘并将站点#1 复制到站点#2 以及反之亦然,消除了对磁带和异地存储服务的需求。
- 作为硬件选项的基于软件的解决方案过于昂贵(例如,SonicWall、Arkeia)。
- Exchange、SharePoint 和 SQL 的代理。
到目前为止的一些想法:
贮存
每个站点的 DroboPro 初始存储为 8TB(目前可扩展至 16TB)。我喜欢这些,因为它们是机架式的,允许不同的驱动器,并且有 iSCSI 接口。它们也相对便宜。
软件
Symantec Backup Exec 12.5 已经拥有我们需要的所有代理和许可证。我想继续使用它,除非有更好的解决方案,价格相似,可以完成 BE 所做的一切以及重复数据删除和复制。
服务器
因为不再需要 SCSI 适配器(用于磁带驱动器),所以我们将虚拟化我们的备份服务器,因为它是目前除了 SQL 盒之外的唯一物理机器。
问题:
- 在站点之间进行复制时,我们希望通过管道传输尽可能少的数据。到目前为止,我在这里列出的内容没有重复数据删除或压缩。
- 被复制的文件是我们磁盘到磁盘备份中的 BE 虚拟磁带库。因此,这些巨大的文件中的每一个都会每周通过网络传输,因为它们每天都在变化。
最后,问题:
是否有任何软件可以执行重复数据删除或至少压缩来处理我们的站点到站点复制?或者,看看我们的设置,我是否还缺少任何其他可能更便宜、更快、更好的解决方案?
谢谢。抱歉这么久。
更新 2:
我已经在这个问题上设置了赏金以引起更多关注。我正在寻找能够使用尽可能少的数据(压缩、重复数据删除或其他方法)处理两个站点之间的数据复制的软件。类似于 rsync 的东西可以工作,但它需要是 Windows 原生的,而不是涉及恶作剧的端口才能启动和运行。更喜欢基于 GUI 的产品,如果它有效,我不介意掏出一些骨头。
请只回答符合上述标准的答案。如果您认为不存在,或者您认为我是限制性的,请保留给您自己。如果 7 天后根本没有答案,那就这样吧。再次感谢大家。
更新 2:
我真的很感谢大家提出建议。在赏金到期之前,我无法尝试所有这些。现在我要让这个赏金用完,谁得票最多,谁就得到 100 个代表点。再次感谢!
Windows Server 2003 R2 及更高版本支持 DFSR,我广泛使用 DFSR 通过一个相当小的管道跨三个站点同步和备份大量数据(在 T1<-->T1<-->T1 拓扑上超过 80GB)。
msdn.microsoft.com/en-us/library/bb540025(VS.85).aspx
DFSR 是完全多主控的,可以根据需要进行配置。这将使您的数据在“备份”位置保持同步,只占用很少的带宽和 CPU。从这里,您可以使用卷影复制服务。
technet.microsoft.com/en-us/library/cc785914.aspx
卷影副本驻留在磁盘上,除了从快照到快照的更改文件之外,“没有空间”。这是一个可以在没有不良影响的实时数据集上运行的过程,除了在创建快照时磁盘 I/O 略有增加。
我使用这个解决方案很长一段时间都取得了巨大的成功。对文件的更改会在几秒钟内写入其他站点(即使是通过低带宽链接),即使在非常大的文件更改中只有几个字节的情况下也是如此。快照可以独立于在任何时间点拍摄的任何其他快照进行访问,这既提供了紧急情况下的备份,又提供了非常少的开销。我将快照设置为每隔 5 小时触发一次,除了工作日开始前一次、午餐时间一次和一天结束后一次。
有了这个,您可以在两个位置并行存储所有数据,保持相对最新并尽可能频繁地“备份”(实际上相当于版本化)。
卷影复制客户端可以安装在客户端计算机上,以使他们也可以访问版本控制的文件。
www.microsoft.com/downloads/details.aspx?FamilyId=E382358F-33C3-4DE7-ACD8-A33AC92D295E&displaylang=en
如果用户不小心删除了文件,他们可以右键单击文件夹、属性、卷影副本,选择最新的快照并将其从快照复制到实时副本中,就在它所属的位置。
MSSQL 备份可以写入特定文件夹(或网络共享),然后会在站点之间自动同步,并按照您定义的时间表进行版本控制。
我发现数据冗余和版本控制可以作为一个很棒的备份系统。它还为您提供了在不干扰工作流程的情况下复制特定快照异地的选项,因为它读取的文件未在使用中......
这应该适用于您的设置,因为第二个备份站点可以配置为只读同步/镜像。
Windows 不是我的专业领域,但 rsync 可能有助于将备份从一个站点传输到另一个站点。Rsync 的工作原理是将文件分解成更小的块,然后只传输通过网络更改的块。它还可以在发送数据时压缩数据。
那里有一些适用于 Windows 的版本,但我从未使用过它们,所以我无法评论它们的工作情况。使用 cygwin,您可以在 Windows 上获得 rsync,但这可能会使事情变得有点混乱。但理想情况下,您应该找到一个用于 Windows 的 rsync 客户端,它允许您使用计划任务来自动执行它。
编辑:
我们正在使用 Software Pursuits 的“SureSync”(参见http://www.softwarepursuits.com/SureSync/SureSync.asp)在客户远程站点的生产服务器和备用服务器之间复制数据,取得了巨大成功。它是本机 Windows 应用程序,作为服务在发布者和订阅者机器上运行,复制增量,保持安全性,遵循 NTFS 更改日志,并且总体上满足了我们的需求。
(我们这样做的特定客户仍然有传统的异地磁带备份轮换。我认为您仍然需要离线备份,如果不保留我答案的那一部分,我无法良心回答您的问题,但我可以告诉你 SureSync 非常棒。阅读产品上的一些更改日志——我很清楚制造商真的非常关注细节。)
一项观察:如果您消除磁带,您就消除了离线存储。异地是一回事,线下又是另外一回事。当远程攻击者破坏您的生产系统时,在磁带和磁带驱动器之间设置气隙以阻止它们也破坏备份是非常非常好的。
您需要异地存储备份,也需要离线备份。
如果没有磁带之类的东西,也很难让独立的第三方进行测试还原和数据验证。也许在您的行业中这不是一个问题,但我曾为金融机构工作,这些机构通过磁带将数据发送到场外给第三方,以独立验证其数据的完整性,无论是从“可恢复性”的角度,并从“让我们看看您的总数是否与我们仅使用您的数据作为输入的应用程序的受信任安装计算的总数正确比较”。
如果您想提高站点到站点复制的速度,您可能会考虑使用 WAN 加速器。市面上有好几种。另一位管理员刚刚向我推荐了 Riverbed 的那些:http ://www.riverbed.com/index.php?cnt=1
本质上,他们在发送数据之前压缩数据,并在接收后解压缩数据。它对用户来说是无缝的。
向这个正在运行的线程添加一个新选项。
我们开始使用的软件是AppAssure做的,(现在被戴尔收购了)产品名称叫Replay。
它专为执行磁盘到磁盘备份的 Windows 服务器而设计,并且有一个复制选项,可让您自动将快照复制到远程站点。
它包括自动重复数据删除、自动版本汇总,并且复制非常高效,即使备份快照以 15 分钟或每小时的时间全天发生,也可以安排在下班时间发生。
只有更改通过 WAN 发送,而不是数据的完整副本,如果您需要制作全新的完整数据副本,您可以将初始备份卸载到外部磁盘并将其发送到远程站点以导入到使您不必通过 WAN 发送完整备份以进行初始同步。
Drobo B800i Iscsi san 系统是备份磁盘的完美伴侣。它相对便宜,可以将商品从现成的 SATA 驱动器中取出,并且在进行备份时具有合理的性能(但对于像 VMWare ESX 主机或 SQL 数据托管这样过于繁重的事情来说还不够好) Drobo 没有在B800i,与 Equallogic PS san 或 EMC 或 HP 等大型 SAN 供应商的任何产品相比,它是相当低端的。但它非常适合作为磁盘到磁盘系统的存储。
尽管我不想这么说,但执行多站点备份的最简单、最快的方法是使用良好的存储阵列。Dell/EqualLogic 和 HP/LeftHand 都在其 SAN 产品中内置了软件,允许跨多个 SAN 进行持续增量备份。它们设置起来既快速又容易,但可能不是最便宜的解决方案。
大约一年前,我遇到了类似的问题,研究了从 robocopy 和 rsync 到 Cisco WAAS 和 WAN 加速器的所有内容。最终,我偶然发现了一个愚蠢的廉价解决方案,它非常适合在站点之间安全、快速地同步文件。 增量同步是关键。大多数(如果不是全部)P2P 客户端仅执行完整文件同步。
Powerfolder
它具有 LAN-Only 模式,允许您指定允许客户端连接的 IP 集。它还具有很好的传输模式组合。
进行了一些挖掘以完全按照我的意愿进行设置。Powerfolder 的家伙绝对不是 UI 开发人员,但支持非常有帮助,即使 wiki 上的搜索功能不是,他们的 wiki 文档也很棒。:-)
我们还没有使用 Exchange、SQL 和 Sharepoint 的内联解决方案,但是将数据库备份保存到磁盘并让 Powerfolder 同步它们对我们来说已经足够安心了。
该解决方案运行良好,公司喜欢它,因为它的实施成本不到 100 美元(不包括研究和设置的工时)。
令人惊讶的是,Powerfolder 并不广为人知。
PS - 抱歉缺少链接(LAN-Only 模式、传输模式等)。“新用户最多只能发布一个超链接”
IBM 收购了一家以前名为“Softek”的公司,该公司拥有名为 Replicator 的软件解决方案。它是通过 TCP/IP 运行的块级复制。初始同步完成后,仅将更改的块复制到远程站点。因此,仅仅因为您的一个巨大的 BE 文件发生了一些变化,就没有必要复制整个文件。这是一个本机 Windows 应用程序,具有易于使用的控制台,并且是通过网络管理磁盘同步的一种非常好的方法。
IBM/Softek 复制器
BackupExec 并没有让这变得容易。理想情况下,您应该可以选择将备份“复制”到某个地方,但我不确定 BE 是否有。如果我在此环境中使用 HP Data Protector,我将构建以下内容。它确实有一份工作的“副本”。它还有一个重复数据删除选项,但我会在文件系统超过 500K 的文件系统上非常小心。
我相信您可以将磁盘备份设置为使用压缩,但这确实会降低您的备份速度,因为这将在软件中完成。
DataProtector 重复数据删除仅适用于 Windows 和 Linux 上的文件服务器。它不会重复 Exchange/MS-SQL/Sharepoint。
你应该看看robocopy,或者,如果你需要一个 gui,richcopy。这两种工具都是多线程的、快速的、高效的,并且有很多用于合并和同步的选项。您可以结合使用osql 备份数据库命令(用于 DB 备份)和 exmerge(用于砖级交换备份),并可以创建简单的计划任务来自动化。