我们正在使用 Kafka 构建一个简单的发布-订阅系统。发布者是一项从发布到 Kafka 主题的客户端应用程序接收消息数组(称为块)的服务。我们有 4 个分区和 4 个订阅者实例来处理这些。块(数组)当前最多可以包含 10 条消息(业务限制),但将来可能会增加到 25 条。将每条消息单独写入块中会更好,还是将整个块一次性放入一个 Kafka 事件?
我们的做法是一次执行一个块,以便一个消费者实例可以处理所有消息。其他消费者实例可以处理发布者正在接收的其他块。是否有围绕此类用例的任何指导/推荐实践?