我有一个 Linux 日志服务器,多个应用程序在其中写入数据。数据以突发方式写入,并且写入许多不同的文件中。我需要对这些混乱进行备份,最好在文件版本之间保持尽可能多的一致性,并避免截断文件。服务器上的数据总量约为 100Gb。我真正想要(但不能)是关闭,备份系统冷,然后重新启动它。
各种备份工具对并发修改提供了什么样的保证?他们什么时候“冻结”文件版本?我目前正在研究 rsync、dump 和 tar,但我对其他(开源)替代方案持开放态度。
遗憾的是,更改应用程序或阻止写入备份不是一种选择。系统(还)没有运行 LVM,但我已经考虑过重建系统,然后是快照。
某种日志轮换不是您的选择吗?只需备份已经轮换的日志文件 - 这不是一个解决方案吗?
是的-否则LVM级别的快照将是您的最佳选择[请记住,当快照处于活动状态时,您的写入性能会降低]。
如果您使用 syslog,您可以配置日志服务器以将日志实时复制到另一台服务器(例如 rsyslog)以进行实时备份。
然后按照长期存档的建议备份所有旋转的文件。
logrotate 也可以为自定义应用程序配置,并且可以在旋转日志上应用 bash 脚本。因此,您可以完全跳过外部备份工具中的 /var/log 并将日志复制到更加静态的存档目录。
您正在考虑的任何工具都不能保证防止并发修改。但是,您真的需要时间点快照吗?如果是这样,请使用上面给出的 LVM 快照选项。由于您已将 rsync 作为选项,我假设磁盘到磁盘备份是一个选项。
最不安全的是转储,它在读取磁盘块时获取磁盘块的副本。鉴于数据的大小,目录信息和数据之间可能存在显着差异。对于磁盘到磁盘的备份,您可以考虑 dd 到相同大小的分区作为替代方案。这两种解决方案基本上做同样的事情并且有同样的问题。
Tar 将一个一个地读取文件,并将读取到每个文件的末尾。如果在 tar 备份文件时重命名或删除文件,tar 将备份它开始读取的文件。这是日志文件的合理解决方案。
Rsync 的行为类似于 tar,但只复制更改。本质上,它将所有更改复制到目录。使用基于日期的日志轮换方案 (logfile. yyymmdd ) 而不是常见的轮换版本方案 (logfile.1 logfile.2gz ...)。它可以有效地备份您的日志文件。