每天一次,我想在由多个负载平衡服务器生成的网络服务器日志文件上运行 AWSStats。我想要一种有效的方式将它们转移到一个地方。是否已经有可以做到这一点的工具?
否则,我正在考虑使用 cron 作业在当天进行 grep,然后在发送文件之前 tar 和 gzip 文件,以便我可以合并和分析它们。这是一个好方法还是你能建议一个更好的方法?
谢谢!
每天一次,我想在由多个负载平衡服务器生成的网络服务器日志文件上运行 AWSStats。我想要一种有效的方式将它们转移到一个地方。是否已经有可以做到这一点的工具?
否则,我正在考虑使用 cron 作业在当天进行 grep,然后在发送文件之前 tar 和 gzip 文件,以便我可以合并和分析它们。这是一个好方法还是你能建议一个更好的方法?
谢谢!
只需将日志同步到您的分析机器,就可以节省大量不必要的逻辑。
使用 rsync
我会在 cron 作业中使用 rsync。快速、可靠、简单。
有些工具旨在成为 Linux 的中央日志管理系统,不需要复制它们。至少,不是你所说的,你可以在机器上设置 NFS 挂载或安装客户端。
Splunk是一个带有漂亮 Web 界面的简单工具,它每天免费提供高达 500MB 的索引,无需对 Web 界面进行身份验证。
经典的更手动的方法是syslog-ng,它可能已经在您的系统上。 这是一个关于使用它设置中央日志服务器的教程。
在AWstats 工具中,您可以找到一个 perl 脚本 (logresolvemerge.pl),用于在负载平衡的情况下合并日志文件。该脚本可以在复制 Web 服务器日志之后为您提供帮助(rsync 是不错的选择 - 请参阅 jodiek 和 KPWINC 的答案)。
您是否考虑过在服务器上使用 NFS 从另一台服务器挂载目录?