考虑一个 docker 容器,它接收 UDP 上的日志并使用 TLS 转发到中央日志服务器,我想知道我是否可以对一个队列感到满意,或者我是否需要几个。
事实上,我知道除了将日志发送到收集器之外我不会做任何其他事情,我并不真正理解需要多个队列。如果存在其他操作(例如在文件上写入日志或重复输出以进行故障转移),它们当然是有意义的,但是如果转发是唯一的任务呢?在直接队列模式(即无队列)下拥有主队列和“发送到收集器”操作还不够吗?如果中央服务器出现故障(或在网络中断期间),那么日志将简单地重新排队到主消息队列中?
例如,在下面的这种情况下Action Q
完全有意义,但是如果我们放弃登录/var/log/messages
不会Action Q
没用吗?这不仅没用,而且还减慢了转发速度,对吧?
场景图:https ://i.stack.imgur.com/8kFQP.png (不能发图)
您想在需要解耦消息处理的地方使用队列。在您的简单(和常见)示例中,您正在写入本地文件并通过 TCP 将消息发送到远程计算机。
通过 TCP 发送日志是一个可以阻塞的进程。如果出现网络问题或服务器问题,发件人会暂停日志传送。如果该操作没有队列,那么这将意味着您也不会将日志写入本地文件(包括诸如表示远程系统已关闭的日志之类的有用信息;-))
所以在这种情况下,您确实需要一个操作队列,以便 TCP 连接可以阻塞而不阻塞对 /var/log/messages 的写入。
这里还有一些其他的事情要考虑。
队列可以放置在操作或规则集上,如果您要发送到多个位置(或希望从一个位置故障转移到另一个位置),您希望将它们分组到一个规则集中并将队列放在规则集中。
如果您将队列放在操作上,您真的想使用新的 action() 语法,旧的语法(操作前的 $foo 行)太容易误解正在发生的事情
当 rsyslog 将消息提供给发送机器上的操作系统时,如果该操作系统接受它(即没有说“队列已满,请等待”),您仍然可以在 TCP 传输过程中丢失消息,发送方的 rsyslog 是强制的假设它将被交付。但是如果出现中断(网络或接收服务器),rsyslog 永远不会知道消息已经丢失。RELP 协议旨在处理这种情况并在出现网络/接收器问题时重新发送消息。
就队列而言,“直接队列”是“无队列”,这是当您有多个操作时发生的正常情况
所以一个传统的
邮件。* /var/log/邮件内核。* /var/log/kern
是“直接队列”的一个例子它们是处理消息的最快方式。
磁盘队列在处理之前将每条消息保存到磁盘并且非常慢(大约 1000 倍减速),但可以在系统崩溃后幸存下来
内存队列将日志存储在 ram 中(fixedarray 的链表在分配 ram 的方式和速度方面有所不同)
磁盘辅助队列是内存队列,它将溢出到磁盘文件而不是阻止进一步的处理(排空队列不会按顺序发生,磁盘部分与内存队列中的处理日志并行排空)。这是处理长时间中断的好选择,请注意,在中断之后,您将开始快速获取当前日志,但较旧的日志将以较慢的速度到达。
使用队列可能会过度使用它。当你有一个内存队列时,线程 A 需要锁定队列以将消息添加到队列中,然后线程 B 需要锁定队列以从队列中检索消息以处理它们。如果你有一个轻量级的输出(即写入一个文件),那么你花费的 CPU 锁定和解锁队列比你仅仅写出消息要多得多。
首先,快速介绍一下 rsyslog 和queues。
rsyslog 的每个输入都通过一个或多个线程,这些线程收集日志消息并将它们添加到主队列。然后,工作线程从主队列中拉出消息并将它们传递到它们的目的地和/或将消息添加到操作队列中。(这基本上就是您发布的图片正在做的事情)
如果工作人员无法将消息传递到目标,则该队列的所有进度都将阻塞,直到该传递能够成功(或达到重试限制并永久失败)。如果您不希望这阻止所有日志处理,您应该为该目的地(或目的地组)创建一个操作队列。
现在在您的情况下,最后一点您可能不感兴趣,因为您只想转发日志。
因此,直言不讳,每个动作都有一个专用队列。该队列可以在内存中,也可以在磁盘上,也可以是两者的组合。还有直接模式,这意味着设计上有一个队列,但实际的驱动程序确实将消息转发给动作而不需要动作队列。
因此,直接队列可能是您正在寻找的队列类型。如果输出动作失败,动作处理器会通知动作队列,然后队列会取回一个未处理的元素,并在一段时间间隔后再次尝试该动作。所以直接队列也有普通队列的好处。
现在到最后一个问题:它不仅没用而且会减慢转发速度,对吗?
我不太确定,如果直接队列比在linkedList或fixedArray模式下的动作队列(那么快),因为我以前从未测试过它(甚至没有使用过直接队列)。
编辑:有关更深入的知识,请参阅下面的答案。