问题[fluentd](server)

我正在尝试在两台机器之间使用 td-agent 设置加密日志。我遵循了 fluentd 官方文档中的示例，但是我陷入了一个非常奇怪的情况。由于 shared_key 不匹配，客户端和服务器拒绝协商。

两台服务器上的关键短语都是正确的，但是客户端和服务器都表示密钥不匹配。

这是客户端配置（文本省略）：

<match uwsgi.**>
 type copy
<store>
    type secure_forward
    shared_key hello  
    send_timeout 30s
    self_hostname client.example.net

    <server>

            name server.example.net
            host server.example.net
            port 24225
    </server>
</store> 
</match>

这是服务器配置：

<source>
  type secure_forward
  shared_key    hello
  self_hostname server.example.net
  bind 0.0.0.0
  port 24225
  secure true
  ca_cert_path /etc/td-agent/mycert.crt
  ca_private_key_path /etc/td-agent/mykey.key
  ca_private_key_passphrase ""

我不断从服务器收到这些错误消息：

Shared key mismatch from 'client.example.net'

来自客户的相同：

[warn]: dead connection found: server.example.net, reconnecting...  
[warn]: connection refused to server.example.net:authentication failed: shared_key mismatch

有任何想法吗？

中描述的容器docker-compose.yml使用日志记录扩展将日志发送到 fluentd 容器。

version: "2"

services:

  fluentd:
    image: fluent/fluentd:v0.14.8
    container_name: fluentd

  nginx:
    image: nginx:1.11.5
    container_name: nginx
    links:
      - fluentd
    logging:
      driver: fluentd
      options:
        fluentd-address: fluentd:24224

但是这个配置不起作用，因为fluentd-address主机（又名主机）在外部而不是从 nginx 容器内看到。

所以它需要一种方法来知道容器外部容器的 IP 地址，但要以与 docker-compose 兼容的方式，知道吗？

我使用 fluentd ( type tail) 将日志从应用服务器转发到弹性搜索服务器。不明白以下内容：

我可以启用以减少使用type tail或其他类型的压缩传输日志的流量吗？

我想问一下关于流利的问题。

我的流利版本如下。

td-agent-2.1.5-0.x86_64
fluentd 0.10.61

我现在有一个使用多行格式的尾部输入插件，它从日志中解析多行并设置为一条记录，如下所示。

2016-07-31T14:48:06+09:00       arm       {"val1":"15:49:18.602384","val2":"5009","val3":"4896","val4":"3905","val5":"1811","val6":"10287","val7":"10271","val8":"1509","val9":"11064","val10":"10832","val11":"10673","val12":"9553","val13":"10660","val14":"9542","val15":"15:49:18.602509","val16":"3759","val17":"4758","val18":"2930","val19":"1261","val20":"7761","val21":"7767","val22":"1023","val23":"7905","val24":"7711","val25":"7918","val26":"7292","val27":"7940","val28":"6907"}

我需要将所有字段从 1 条记录拆分为 28 条记录，以便弹性搜索将其识别为不同的文档。

喜欢 ，

val1

val2

val3

...

val28

有没有办法在流利的配置中实现这一点？也许，嵌入红宝石代码？

最好的问候， Yu Watanabe

我有一个流利的服务器，平均处理 1000 个请求/秒。该服务器由 32 个 cpu 组成。在这台服务器上运行 32 个 fluentd docker 容器，配置相同。服务器的入口点是一个 nginx 作为负载均衡器，配置了循环算法并将其发送到不同的容器。容器和 nginx 都在 24224/tcp 上侦听。

该节点的输入是 6 个使用fluent-logger-csharp发送到 fluentd 服务器的 C# 应用程序。因此，对于每个应用程序打开一个到 Fluentd 服务器的连接，由于流量很大，应用程序会保持打开套接字。这导致 32 个 docker 中只有 6 个正在处理请求。

如何在不修改 C# 客户端的情况下更好地利用服务器？