主页 / coding / 问题 / 78610062
Accepted
dabljues
Asked: 2024-06-12 07:15:58 +0800 CST

带有过滤器和出现次数的 ElasticSearch 查询

  • 772

我有一个 ES 实例，我将日志推送到该实例中。然后使用 ES 搜索这些日志。这并不理想，有计划对其进行更改，但这就是现状。很抱歉描述得比较长，但请耐心听我说，这个问题很简单。

目前的搜索过程如下：

  • 我有一个包含 N 条日志行的索引
  • 用户输入要搜索的短语
  • 我使用以下命令构建 ES 查询：
    • 查询中的这个短语
    • size=1（所以我只找到一行）
    • track_total_hits=true
    • from=0
    • sort=<something>

因此，这为我提供了包含特定查询的行的首次出现（因为它们已排序，即按时间戳排序）。我还获得了总命中数，因此我可以向用户显示：

  • 找到的线
  • 出现次数（初始搜索时始终为1）
  • 总点击数

因此用户知道这是 1/300 次出现，并且可以提示 UI 查找下一个。搜索是相同的，但如果用户想要搜索下一个出现，我只需传递from=1，from=2等等。而且这个的性能相当不错，因为我只需要从 ES 下载一行。

太棒了。但是，这一切都是在向用户显示日志的网站上进行的。我想要做的是，当用户进行初始搜索时（在进入下一个/上一个事件之前），我想向他们显示“光标位置之后”的第一行

例如，用户看到：

58 foo
59 bar
60 baz
[...]

所以我想将它向下滚动到第一行匹配的行之后58，而不是之前。

问题是，我仍然想显示1/<something>找到的匹配项。在这种情况下，初始搜索可能会返回例如第五个匹配项，即5/300。用户可以转到上一个/下一个。

因此，解决方案是下载所有匹配的行（没有查询from=和size=查询）。然后对它们进行 for 循环，找到行号高于用户看到的行（即58），并将其返回。通过这样做，我还可以计算“哪个出现”是那样，这样我就会知道在 UI 上显示5/300。

问题是：我必须从 ES 下载所有行才能做到这一点。如果索引有数百万行，这可能会对性能造成巨大影响。所以我想知道的是：有没有办法告诉 Elastic：

  • 获取所有匹配的行（匹配的短语）
  • 在这里应用另一个过滤器（行号 > 某些内容）
  • 获取此行，还返回“匹配行出现在哪一次”的信息（在所有匹配的行中，没有“行号”过滤器）

因此对于如下行：

54 content
55 content
56 content
57 content
58 foo
59 bar
60 baz
61 content
[...]

短语：content，搜索“从第 58 行开始”，我会得到如下响应：

{
  "line": {"line_number": 61, "content": "content"},
  "total_hits": 300,
  "occurrence": 5
}
elasticsearch

1 个回答

  1. Best Answer

    有几种不同的方法可以实现这一点，所有这些方法都基于相同的原理。您需要执行三次搜索：

    • 不使用线路过滤器来计算总发生次数
    • 一个在当前行之前带有过滤器的行，用于获取当前出现之前的记录数
    • 一个在当前行之后按范围进行过滤以查找当前发生的情况

    这可以通过多重搜索、过滤器 + top_hit 聚合以及过滤器 + 全局聚合来实现。以下是如何使用过滤器 + 全局聚合来实现此目的的示例：

    DELETE test
PUT test
{
  "mappings": {
    "properties": {
      "line_no": {
        "type": "integer"
      },
      "line": {
        "type": "text"
      }
    }
  }
}

POST test/_bulk?refresh=true
{ "index": { "_id": "1" } }
{ "line_no": 54, "line": "content"}
{ "index": { "_id": "2" } }
{ "line_no": 55, "line": "content"}
{ "index": { "_id": "3" } }
{ "line_no": 56, "line": "content"}
{ "index": { "_id": "4" } }
{ "line_no": 57, "line": "content"}
{ "index": { "_id": "5" } }
{ "line_no": 58, "line": "foo"}
{ "index": { "_id": "6" } }
{ "line_no": 59, "line": "bar"}
{ "index": { "_id": "7" } }
{ "line_no": 60, "line": "baz"}
{ "index": { "_id": "8" } }
{ "line_no": 61, "line": "content"}
{ "index": { "_id": "9" } }
{ "line_no": 62, "line": "content"}
{ "index": { "_id": "10" } }
{ "line_no": 63, "line": "content"}



POST test/_search?filter_path=hits.hits,aggregations.all.all_occurrencess.doc_count,aggregations.all.all_occurrences.previous_occurrences.doc_count
{
  "size": 1,
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "line_no": {
              "gt": 59
            }
          }
        },
        {
          "match": {
            "line": "content"
          }
        }
      ]
    }
  },
  "sort": [
    {
      "line_no": {
        "order": "asc"
      }
    }
  ],
  "aggs": {
    "all": {
      "global": {},
      "aggs": {
        "all_occurrences": {
          "filter": {
            "match": {
              "line": "content"
            }
          },
          "aggs": {
            "previous_occurrences": {
              "filter": {
                "range": {
                  "line_no": {
                    "lte": 59
                  }
                }
              }
            }
          }
        }
      }
    }
  }
}

    该查询的结果将是：

    {
  "hits": {
    "hits": [
      {
        "_index": "test",
        "_id": "8",
        "_score": 1.3829923,
        "_source": {
          "line_no": 61,
          "line": "content"
        },
        "sort": [
          61
        ]
      }
    ]
  },
  "aggregations": {
    "all": {
      "all_occurrences": {
        "previous_occurrences": {
          "doc_count": 4
        }
      }
    }
  }
}

    上面的结果hits.hits[0]将表示第 59 行之后与您的查询匹配的下一行。将aggregations.all.all_occurrences.doc_count表示包含“内容”的行数（在您的理论示例中为 300，但我将其减少到 7，因为示例要简洁）。最后aggregations.all.all_occurrences.previous_occurrences.doc_count表示当前行之前发生的事件数。要获取当前发生次数，您需要向其添加 1。

    • 1

相关问题