Estou procurando há dias para encontrar uma boa explicação sobre como os índices são usados pelo Graylog/Elasticsearch e quando criar um novo. Há muitas informações sobre índices de fragmentação, mas não muito sobre os próprios índices, além de serem um conjunto de configurações de quantos dados reter e como gerenciá-los, mas não por quê. (Ou é o que me parece)
Fundo:
Estamos usando Graylog 4.0 com Elasticsearch 7.10 e MongoDB 3.
Tentamos centralizar os logs de 6 locais de armazenamento (todos a algumas centenas de quilômetros de distância um do outro). Cada um tem 6 a 20 portas RFID, cada uma com um log. Cada porta tem seu middleware de conector ligado a um middleware de controlador central e todos eles possuem logs. Em seguida, há o controlador do armazém automatizado 'AWMS', servidor WMS, servidor ERP e seus frontends. Também consideramos coletar pelo menos alguns dos eventos do Windows Eventlog dos servidores em que esses serviços são executados.
Normalmente, precisamos analisar um problema em um subsistema, portanto, precisamos pesquisar um desses logs. Ocasionalmente, precisamos olhar para todo o fluxo do portão RFID para AWMS, WMS e ERP.
No momento, considero ter um fluxo para cada um desses logs e usar os fluxos relevantes na pesquisa. (ou essa abordagem já é falha, se sim, por quê?)
Perguntas:
- Um índice definido no Graylog é apenas as configurações sobre a estratégia de retenção?
- Que impacto tem se eu tiver muitos ou poucos índices?
- no Elasticsearch Index Model , parece que os tamanhos dos fragmentos e sua distribuição têm o principal impacto no desempenho da pesquisa, e os índices são apenas uma estrutura para gerenciar os fragmentos
- Quantos conjuntos de índices devo ter para meu caso de uso?
- Múltiplos por stream?
- Um por stream?
- Um por local?
- Um por subsistema?
- Um por tempo de retenção ou intervalo de tamanho?
- Um global?
- Isso importa do ponto de vista do desempenho?
- Onde posso encontrar mais informações sobre essas coisas, que expliquem o 'Porquê', não apenas o 'Como' para gerenciar índices? (Eu estive olhando para o modelo de índice Graylog , modelo de índice Elasticsearch , modelos de índice Elasticsearch )
