AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / server / 问题 / 506787
Accepted
Eric
Eric
Asked: 2013-05-11 09:12:44 +0800 CST2013-05-11 09:12:44 +0800 CST 2013-05-11 09:12:44 +0800 CST

系统日志负载均衡

  • 772

我正在设置一个 syslog-ng 服务器来接受来自各种来源的日志。一般设置将是:

Device1
Device2                               Syslog1
Device3   -->   Load balancer   -->   Syslog2   -->   Shared SAN storage
Device4                               Syslog3
Device5

我使用的是 514/udp,通过此设置,我应该可以轻松获得 HA 并能够循环并分散负载。我关心的是如何在后端共享和写入存储。理想情况下,我希望每台设备当天都有一个 deviceX.log 文件。如果 syslog1 从 device1 获取一个大日志文件并且仍在写入 device1.log 而当 syslog2 从 device1 获取一个小日志文件并同时开始尝试写入同一个文件时会发生什么情况?

我在 Linux 中读到,如果您附加文件并且不以“写入”模式打开它,那么您将永远不会收到写保护错误。我不确定 syslog 是如何做到这一点的。

所以我的问题是:

  1. 您会推荐哪种共享文件系统供 SAN 在系统日志框之间共享?
  2. 有没有更好的方法将多个系统日志服务器做成一个文件?如果系统日志只是附加,那么我应该没问题。

任何建议将不胜感激。提前致谢。

load-balancing
  • 2 2 个回答
  • 2519 Views

2 个回答

  • Voted
  1. YLearn
    2013-05-11T09:36:55+08:002013-05-11T09:36:55+08:00

    不确定您使用的负载均衡器是什么,但我建议您在负载均衡器上配置某种“粘性”,以便 Device1 日志始终定向到 Syslog1 等。

    这将解决您对日志文件的担忧,但它也可以防止我认为是同样糟糕的问题。

    我对您的示例的担心是,如果有很多日志条目从 Device1 传递到 Syslog1,然后从 Device1 传递到 Syslog2 的日志条目数量较少,那么 Syslog2 可能会无序地将后面的系统日志消息插入到您的日志文件中。

    • 0
  2. Best Answer
    Eric
    2013-07-30T05:11:16+08:002013-07-30T05:11:16+08:00

    我发现任何类型的集群文件系统(例如 GlusterFS)都可以很好地用于多个服务器写入一个文件。但是,由于我拥有的 SAN 基础架构,这是不可能的。因此,我最终每天为每个 syslog 集群写一个文件。

    Syslog1 --> 2012-07-29-sys01.log
    Syslog2 --> 2012-07-29-sys02.log
    

    然后我使用 logmerge 脚本和 cronjob 来组合文件并按正确的时间对它们进行排序。下面的 cron 作业在文件写入完成后的第二天运行。

    /local/bin/logmerge -f /logs/ date -d yesterday +\%Y-\%m-\%d-sys*.log | gzip -9 -c > date -d yesterday +\%Y-\%m-\%d/logs/.log.gz && rm -f /logs/ date -d yesterday +\%Y-\%m-\%d-sys*.log

    • 0

相关问题

  • 网络负载平衡服务器无法相互通信

  • 用于网络监控的路由/代理 SNMP 陷阱(或 Netflow、通用 UDP 等)的解决方案?

  • 防止拒绝服务攻击的最佳技术是什么?

  • 添加备份互联网连接需要哪些硬件?

  • 什么是最有效的 Windows 负载平衡解决方案?

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    新安装后 postgres 的默认超级用户用户名/密码是什么?

    • 5 个回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve