AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / computer / 问题 / 1734107
Accepted
Ashlanfox
Ashlanfox
Asked: 2022-07-29 05:49:42 +0800 CST2022-07-29 05:49:42 +0800 CST 2022-07-29 05:49:42 +0800 CST

Rsyslog:仅从 UDP 输入中继消息

  • 772

考虑一个 docker 容器,它接收 UDP 上的日志并使用 TLS 转发到中央日志服务器,我想知道我是否可以对一个队列感到满意,或者我是否需要几个。

事实上,我知道除了将日志发送到收集器之外我不会做任何其他事情,我并不真正理解需要多个队列。如果存在其他操作(例如在文件上写入日志或重复输出以进行故障转移),它们当然是有意义的,但是如果转发是唯一的任务呢?在直接队列模式(即无队列)下拥有主队列和“发送到收集器”操作还不够吗?如果中央服务器出现故障(或在网络中断期间),那么日志将简单地重新排队到主消息队列中?

例如,在下面的这种情况下Action Q完全有意义,但是如果我们放弃登录/var/log/messages不会Action Q没用吗?这不仅没用,而且还减慢了转发速度,对吧?

场景图:https ://i.stack.imgur.com/8kFQP.png (不能发图)

networking udp
  • 2 2 个回答
  • 94 Views

2 个回答

  • Voted
  1. David Lang
    2022-07-29T14:00:32+08:002022-07-29T14:00:32+08:00

    您想在需要解耦消息处理的地方使用队列。在您的简单(和常见)示例中,您正在写入本地文件并通过 TCP 将消息发送到远程计算机。

    通过 TCP 发送日志是一个可以阻塞的进程。如果出现网络问题或服务器问题,发件人会暂停日志传送。如果该操作没有队列,那么这将意味着您也不会将日志写入本地文件(包括诸如表示远程系统已关闭的日志之类的有用信息;-))

    所以在这种情况下,您确实需要一个操作队列,以便 TCP 连接可以阻塞而不阻塞对 /var/log/messages 的写入。

    这里还有一些其他的事情要考虑。

    1. 队列可以放置在操作或规则集上,如果您要发送到多个位置(或希望从一个位置故障转移到另一个位置),您希望将它们分组到一个规则集中并将队列放在规则集中。

    2. 如果您将队列放在操作上,您真的想使用新的 action() 语法,旧的语法(操作前的 $foo 行)太容易误解正在发生的事情

    3. 当 rsyslog 将消息提供给发送机器上的操作系统时,如果该操作系统接受它(即没有说“队列已满,请等待”),您仍然可以在 TCP 传输过程中丢失消息,发送方的 rsyslog 是强制的假设它将被交付。但是如果出现中断(网络或接收服务器),rsyslog 永远不会知道消息已经丢失。RELP 协议旨在处理这种情况并在出现网络/接收器问题时重新发送消息。

    就队列而言,“直接队列”是“无队列”,这是当您有多个操作时发生的正常情况

    所以一个传统的

    邮件。* /var/log/邮件内核。* /var/log/kern

    是“直接队列”的一个例子它们是处理消息的最快方式。

    磁盘队列在处理之前将每条消息保存到磁盘并且非常慢(大约 1000 倍减速),但可以在系统崩溃后幸存下来

    内存队列将日志存储在 ram 中(fixedarray 的链表在分配 ram 的方式和速度方面有所不同)

    磁盘辅助队列是内存队列,它将溢出到磁盘文件而不是阻止进一步的处理(排空队列不会按顺序发生,磁盘部分与内存队列中的处理日志并行排空)。这是处理长时间中断的好选择,请注意,在中断之后,您将开始快速获取当前日志,但较旧的日志将以较慢的速度到达。

    使用队列可能会过度使用它。当你有一个内存队列时,线程 A 需要锁定队列以将消息添加到队列中,然后线程 B 需要锁定队列以从队列中检索消息以处理它们。如果你有一个轻量级的输出(即写入一个文件),那么你花费的 CPU 锁定和解锁队列比你仅仅写出消息要多得多。

    • 1
  2. Best Answer
    eDonkey
    2022-07-29T06:37:14+08:002022-07-29T06:37:14+08:00

    首先,快速介绍一下 rsyslog 和queues。

    rsyslog 的每个输入都通过一个或多个线程,这些线程收集日志消息并将它们添加到主队列。然后,工作线程从主队列中拉出消息并将它们传递到它们的目的地和/或将消息添加到操作队列中。(这基本上就是您发布的图片正在做的事情)

    如果工作人员无法将消息传递到目标,则该队列的所有进度都将阻塞,直到该传递能够成功(或达到重试限制并永久失败)。如果您不希望这阻止所有日志处理,您应该为该目的地(或目的地组)创建一个操作队列。

    现在在您的情况下,最后一点您可能不感兴趣,因为您只想转发日志。

    因此,直言不讳,每个动作都有一个专用队列。该队列可以在内存中,也可以在磁盘上,也可以是两者的组合。还有直接模式,这意味着设计上有一个队列,但实际的驱动程序确实将消息转发给动作而不需要动作队列。

    因此,直接队列可能是您正在寻找的队列类型。如果输出动作失败,动作处理器会通知动作队列,然后队列会取回一个未处理的元素,并在一段时间间隔后再次尝试该动作。所以直接队列也有普通队列的好处。

    现在到最后一个问题:它不仅没用而且会减慢转发速度,对吗?

    我不太确定,如果直接队列比在linkedList或fixedArray模式下的动作队列(那么快),因为我以前从未测试过它(甚至没有使用过直接队列)。

    编辑:有关更深入的知识,请参阅下面的答案。

    • 0

相关问题

  • 三台电脑,没有路由器/交换机怎么组网?

  • 用户使用 FileZilla 连接到 SFTP 服务器拒绝连接

  • NAT 后面的 NAT 如何工作(路由器的 NAT 和 ISP 的 NAT)?

  • Win10 1803:如何让移动热点成为专用网络?

  • nc如何识别服务名称

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    如何减少“vmmem”进程的消耗?

    • 11 个回答
  • Marko Smith

    从 Microsoft Stream 下载视频

    • 4 个回答
  • Marko Smith

    Google Chrome DevTools 无法解析 SourceMap:chrome-extension

    • 6 个回答
  • Marko Smith

    Windows 照片查看器因为内存不足而无法运行?

    • 5 个回答
  • Marko Smith

    支持结束后如何激活 WindowsXP?

    • 6 个回答
  • Marko Smith

    远程桌面间歇性冻结

    • 7 个回答
  • Marko Smith

    子网掩码 /32 是什么意思?

    • 6 个回答
  • Marko Smith

    鼠标指针在 Windows 中按下的箭头键上移动?

    • 1 个回答
  • Marko Smith

    VirtualBox 无法以 VERR_NEM_VM_CREATE_FAILED 启动

    • 8 个回答
  • Marko Smith

    应用程序不会出现在 MacBook 的摄像头和麦克风隐私设置中

    • 5 个回答
  • Martin Hope
    Saaru Lindestøkke 为什么使用 Python 的 tar 库时 tar.xz 文件比 macOS tar 小 15 倍? 2021-03-14 09:37:48 +0800 CST
  • Martin Hope
    CiaranWelsh 如何减少“vmmem”进程的消耗? 2020-06-10 02:06:58 +0800 CST
  • Martin Hope
    Jim Windows 10 搜索未加载,显示空白窗口 2020-02-06 03:28:26 +0800 CST
  • Martin Hope
    v15 为什么通过电缆(同轴电缆)的千兆位/秒 Internet 连接不能像光纤一样提供对称速度? 2020-01-25 08:53:31 +0800 CST
  • Martin Hope
    andre_ss6 远程桌面间歇性冻结 2019-09-11 12:56:40 +0800 CST
  • Martin Hope
    Riley Carney 为什么在 URL 后面加一个点会删除登录信息? 2019-08-06 10:59:24 +0800 CST
  • Martin Hope
    zdimension 鼠标指针在 Windows 中按下的箭头键上移动? 2019-08-04 06:39:57 +0800 CST
  • Martin Hope
    jonsca 我所有的 Firefox 附加组件突然被禁用了,我该如何重新启用它们? 2019-05-04 17:58:52 +0800 CST
  • Martin Hope
    MCK 是否可以使用文本创建二维码? 2019-04-02 06:32:14 +0800 CST
  • Martin Hope
    SoniEx2 更改 git init 默认分支名称 2019-04-01 06:16:56 +0800 CST

热门标签

windows-10 linux windows microsoft-excel networking ubuntu worksheet-function bash command-line hard-drive

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve