我有一个 ES 实例,我将日志推送到该实例中。然后使用 ES 搜索这些日志。这并不理想,有计划对其进行更改,但这就是现状。很抱歉描述得比较长,但请耐心听我说,这个问题很简单。
目前的搜索过程如下:
- 我有一个包含 N 条日志行的索引
- 用户输入要搜索的短语
- 我使用以下命令构建 ES 查询:
- 查询中的这个短语
size=1
(所以我只找到一行)track_total_hits=true
from=0
sort=<something>
因此,这为我提供了包含特定查询的行的首次出现(因为它们已排序,即按时间戳排序)。我还获得了总命中数,因此我可以向用户显示:
- 找到的线
- 出现次数(初始搜索时始终为
1
) - 总点击数
因此用户知道这是 1/300 次出现,并且可以提示 UI 查找下一个。搜索是相同的,但如果用户想要搜索下一个出现,我只需传递from=1
,from=2
等等。而且这个的性能相当不错,因为我只需要从 ES 下载一行。
太棒了。但是,这一切都是在向用户显示日志的网站上进行的。我想要做的是,当用户进行初始搜索时(在进入下一个/上一个事件之前),我想向他们显示“光标位置之后”的第一行
例如,用户看到:
58 foo
59 bar
60 baz
[...]
所以我想将它向下滚动到第一行匹配的行之后58
,而不是之前。
问题是,我仍然想显示1/<something>
找到的匹配项。在这种情况下,初始搜索可能会返回例如第五个匹配项,即5/300
。用户可以转到上一个/下一个。
因此,解决方案是下载所有匹配的行(没有查询from=
和size=
查询)。然后对它们进行 for 循环,找到行号高于用户看到的行(即58
),并将其返回。通过这样做,我还可以计算“哪个出现”是那样,这样我就会知道在 UI 上显示5/300
。
问题是:我必须从 ES 下载所有行才能做到这一点。如果索引有数百万行,这可能会对性能造成巨大影响。所以我想知道的是:有没有办法告诉 Elastic:
- 获取所有匹配的行(匹配的短语)
- 在这里应用另一个过滤器(行号 > 某些内容)
- 获取此行,还返回“匹配行出现在哪一次”的信息(在所有匹配的行中,没有“行号”过滤器)
因此对于如下行:
54 content
55 content
56 content
57 content
58 foo
59 bar
60 baz
61 content
[...]
短语:content
,搜索“从第 58 行开始”,我会得到如下响应:
{
"line": {"line_number": 61, "content": "content"},
"total_hits": 300,
"occurrence": 5
}