主页 / server / 问题 / 707784
Accepted
Olly
Asked: 2015-07-23 14:04:16 +0800 CST

logstash 无法解析系统日志输入

  • 772

我已经配置了 logstash (v1.5.0)，带有一个简单的 syslog 输入，如下所示：

input {
  syslog {
    type => syslog
    port => 5514
  }
}

filter {
  kv {}
}

output {
  elasticsearch {
    cluster => "logs"
    host => "0.0.0.0"
    protocol => "transport"
  }
}

但是，它似乎在某些 cron 日志上失败了。以下行无法使用 a 解析_grokparsefailure_sysloginput：

<77>Jul 22 22:01:01 ip-172-31-2-48 run-parts(/etc/cron.hourly)[2599 finished 0yum-hourly.cron

最终的 JSON 输出是：

{
  "_index": "logstash-2015.07.22",
  "_type": "syslog",
  "_id": "AU63yLrC118PBgBqQxRA",
  "_score": null,
  "_source": {
    "message": "<77>Jul 22 22:01:01 ip-172-31-2-48 run-parts(/etc/cron.hourly)[2599 finished 0yum-hourly.cron\n",
    "@version": "1",
    "@timestamp": "2015-07-22T22:01:01.569Z",
    "type": "syslog",
    "host": "172.31.2.48",
    "tags": [
      "_grokparsefailure_sysloginput"
    ],
    "priority": 0,
    "severity": 0,
    "facility": 0,
    "facility_label": "kernel",
    "severity_label": "Emergency"
  },
  "fields": {
    "@timestamp": [
      1437602461569
    ]
  },
  "sort": [
    1437602461569
  ]
}

任何指针？

logstash

3 个回答

  1. Best Answer

    syslog 输入在内部使用 grok，您的消息可能没有 100% 遵循 syslog 标准。

    此链接中的解决方案对我有用：http: //kartar.net/2014/09/when-logstash-and-syslog-go-wrong/

    链接中的关键信息是：

    将 Logstash 配置中的现有 syslog 块替换为：

    input {
  tcp {
    port => 514
    type => syslog
  }
  udp {
    port => 514
    type => syslog
  }
}

    接下来，使用 grok 过滤器插件替换我们的 syslog 输入插件的解析元素。

    filter {
  if [type] == "syslog" {
    grok {
      match => { "message" => "<%{POSINT:syslog_pri}>%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
    }
  }
}

    您现在可以编辑过滤器匹配（“grok”）语法，以匹配您想要的格式。还可以通过创造性地使用 、 和 来支持多种不同if的else if语法else。

    • 6

  2. 4 年后来到这里，现在 logstash syslog 输入支持设置要使用的 grok 模式，如文档中所述。

    为了保持 syslog 输入功能，可以在grok_pattern设置中插入非标准模式来解析，例如：

    input {
  syslog {
    port => 514
    type => "syslog"
    grok_pattern => "(?:<%{POSINT:priority}>%{SYSLOGLINE}|YOUR NONSTANDARD PATTERN HERE)"
   }
}

    或者同样修改默认<%{POSINT:priority}>%{SYSLOGLINE}模式以使其也匹配非标准输入行。

    • 3

  3. 我在logstash 7.17上遇到了同样的问题。通过添加 ecs_compatibility => "v8"syslog 输入插件配置解决了这个问题：

    input {
    syslog {
        port => "514"
        ecs_compatibility => "v8"
    }
}
...
    • 0

相关问题