主页 / server / 问题 / 1010465
Accepted
larsks
Asked: 2020-04-02 11:32:02 +0800 CST

Kibana 和 Logstash：什么时候字段不是字段？

  • 772

我已经grok在我们的 logstash 配置中启用了过滤器，以便使用%{HAPROXYHTTP}and%{HAPROXYTCP}模式解析来自 HAProxy 的日志。这似乎工作得很好，从 haproxy 查看任何日志条目的详细信息，我可以看到各种提取的字段（bytes_read、client_ip、client_port、termination_state、actconn、feconn 等）。

但是在 Kibana 的“创建新的可视化”屏幕中，配置 Y 轴时，“字段”弹出窗口中没有这些字段可用。

我需要做什么才能使这些提取的字段可用于可视化？

elasticsearch kibana logstash

2 个回答

  1. Best Answer

    Kibana 独立跟踪 ElasticSearch 映射，因此它可以在 ES 数据类型和 Kibana 使用的字段类型之间进行转换。该映射列表需要更新。您可以在管理 --> 索引模式中找到它。进入索引模式列表后，选择已将字段添加到的索引，然后单击圆形刷新按钮（当然，在垃圾桶按钮旁边）。它会提醒您它正在重置字段的受欢迎程度；但没关系，你希望它看到新的。

    • 1

  2. @sysadmin1138 的回答是问题的一半。问题的另一半是，由于当时一定看起来不错但现在看起来非常短视的原因，haproxy 的 logstash 模式没有为字段提供明确的数据类型。例如，HAPROXYTCP定义为：

    HAPROXYTCP (?:%{SYSLOGTIMESTAMP:syslog_timestamp}|%{TIMESTAMP_ISO8601:timestamp8601}) %{IPORHOST:syslog_server} %{SYSLOGPROG}: %{IP:client_ip}:%{INT:client_port} \[%{HAPROXYDATE:accept_date}
\] %{NOTSPACE:frontend_name} %{NOTSPACE:backend_name}/%{NOTSPACE:server_name} %{INT:time_queue}/%{INT:time_backend_connect}/%{NOTSPACE:time_duration} %{NOTSPACE:bytes_read} %{NOTSPACE:termin
ation_state} %{INT:actconn}/%{INT:feconn}/%{INT:beconn}/%{INT:srvconn}/%{NOTSPACE:retries} %{INT:srv_queue}/%{INT:backend_queue}

    例如，bytes_read由于定义为%{NOTSPACE:bytes_read}，因此它是一种string数据类型，因此不可用于可视化。解决此问题意味着在使用任何数据填充迟到的索引模板之前在索引模板中创建自定义映射，因此（a）折腾所有现有数据，并且（b）找出您要使用的所有输入错误字段的列表.

    （注意：这似乎也适用于httpd模式，例如%{HTTPD_COMMONLOG}。可能也适用于其他所有内容。）

    • 0

相关问题