我计划写一篇关于根据条件搜索消息的博客。我觉得这个领域缺少工具/框架,而这对任何 Kafka 运营团队/开发团队来说都是一项常规活动。
这是我在 UI 中研究的第一个选项。大多数基于 UI 的 kafka 工具无法很好地搜索大型主题,至少我见过的是这样。
然后,如果我们可以使用基于 CLI 的工具,例如 kcat 或 kafka-*-consumer,它们可以在一定程度上扩展,但缺乏广泛的搜索功能。
这些促使我开始研究使用 kafka 连接器并添加过滤器 SMT 或可能使用 KSQL。或者用自己喜欢的语言编写完全原生的开发。
当然,我们可以将消息转储到存储桶或其他地方,然后在此基础上进行搜索。
我读到过 Conduktor 提供了一些使用 SQL 搜索的功能,但不确定它有多好?
向社区提问 - 您使用什么来搜索 Kafka 中的消息?我上面提到的任何一种工具...或者更好的工具。