我一直在寻找几天来找到关于 Graylog/Elasticsearch 如何使用索引以及何时创建新索引的一个很好的解释。有很多关于分片索引的信息,但关于索引本身的信息并不多,除了它们是一组关于要保留多少数据以及如何管理它们的设置,但不是为什么。(或者在我看来)
背景:
我们将 Graylog 4.0 与 Elasticsearch 7.10 和 MongoDB 3 一起使用。
我们尝试集中来自 6 个仓库位置的日志(彼此相距数百公里)。每个都有 6 到 20 个 RFID 门,每个门都有日志。每个门都有连接到中央控制器中间件的连接器中间件,并且所有这些中间件都有日志。然后是自动化仓库“AWMS”的控制器、WMS服务器、ERP服务器及其前端。我们还考虑从运行这些服务的服务器的 Windows 事件日志中收集至少一些事件。
通常我们需要分析一个子系统中的问题,因此需要搜索其中一个日志。有时我们需要查看从 RFID 门到 AWMS、WMS 和 ERP 的整个流程。
目前,我考虑为每个日志创建一个流,并在搜索中使用相关的流。(或者这种方法是否已经存在缺陷,如果是,为什么?)
问题:
- Graylog中设置的索引是否只是保留策略的设置?
- 如果我有很多或几个索引,会有什么影响?
- 在Elasticsearch Index Model中,听起来分片大小及其分布对搜索性能有主要影响,而索引只是管理分片的框架
- 我的用例应该有多少个索引集?
- 每个流多个?
- 每个流一个?
- 每个位置一个?
- 每个子系统一个?
- 每个保留时间或大小间隔一个?
- 一个全球的?
- 从性能的角度来看,这重要吗?
- 我在哪里可以找到关于这些东西的更多信息,这解释了“为什么”,而不仅仅是“如何”来管理索引?(我一直在研究Graylog 索引模型、Elasticsearch 索引模型、Elasticsearch 索引模板)