Início / server / Perguntas / 1010465
Accepted
larsks
Asked: 2020-04-02 11:32:02 +0800 CST

Kibana e Logstash: Quando um campo não é um campo?

  • 772

Habilitei o grokfiltro em nossa configuração do logstash para analisar os logs do HAProxy usando os padrões %{HAPROXYHTTP}e . %{HAPROXYTCP}Isso parece funcionar muito bem e, visualizando os detalhes de qualquer entrada de log do haproxy, posso ver os vários campos extraídos (bytes_read, client_ip, client_port, termination_state, actconn, feconn, etc).

Mas na tela "Criar uma nova visualização" do Kibana, nenhum desses campos está disponível no pop-up "Campos" ao configurar o eixo Y.

O que preciso fazer para disponibilizar esses campos extraídos para visualizações?

elasticsearch kibana logstash

2 respostas

  1. Best Answer

    O Kibana rastreia independentemente os mapeamentos do ElasticSearch para que possa fazer traduções entre os tipos de dados do ES e os tipos de campos que o Kibana usa. Essa lista de mapeamento precisa ser atualizada. Você pode encontrá-lo em Gerenciamento --> Padrões de Índice. Quando estiver na lista de padrões de índice, selecione o índice ao qual você adicionou os campos e clique no botão de atualização redondo (ao lado do botão da lixeira, é claro). Ele irá lembrá-lo de que está redefinindo os números de popularidade dos campos; mas tudo bem, você quer ver novos.

    • 1

  2. A resposta do @sysadmin1138 foi metade do problema. A outra metade do problema é que, por razões que devem ter parecido boas na época, mas parecem incrivelmente míopes agora, os padrões de logstash para haproxy não fornecem tipos de dados explícitos para campos. Por exemplo, HAPROXYTCPé definido como:

    HAPROXYTCP (?:%{SYSLOGTIMESTAMP:syslog_timestamp}|%{TIMESTAMP_ISO8601:timestamp8601}) %{IPORHOST:syslog_server} %{SYSLOGPROG}: %{IP:client_ip}:%{INT:client_port} \[%{HAPROXYDATE:accept_date}
\] %{NOTSPACE:frontend_name} %{NOTSPACE:backend_name}/%{NOTSPACE:server_name} %{INT:time_queue}/%{INT:time_backend_connect}/%{NOTSPACE:time_duration} %{NOTSPACE:bytes_read} %{NOTSPACE:termin
ation_state} %{INT:actconn}/%{INT:feconn}/%{INT:beconn}/%{INT:srvconn}/%{NOTSPACE:retries} %{INT:srv_queue}/%{INT:backend_queue}

    Como, por exemplo, bytes_readé definido como %{NOTSPACE:bytes_read}, é um stringtipo de dados e, portanto, não está disponível para visualizações. Corrigir isso significa criar mapeamentos personalizados em um modelo de índice antes de preenchê-lo com qualquer dado, então (a) jogue fora todos os seus dados existentes e (b) descubra uma lista de todos os campos que você deseja usar que estão digitados incorretamente .

    (NB: Isso também parece ser verdade para os httpdpadrões, como %{HTTPD_COMMONLOG}. E provavelmente para todo o resto também.)

    • 0

relate perguntas