我有一个 golang 程序，它一次对多个线程中的数据进行计算，所有数据都从 Postgres 中提取。线程数取决于先前的结果。因此可能有数百个线程试图同时从 Postgres 中提取数据。
golang sql 库允许指定连接限制，以防止 postgres 耗尽共享内存或空闲连接。
如果我硬编码最大连接数，当连接其他东西时，我将用完连接。另一方面，如果我硬编码来自 golang 程序的允许连接数量太少，性能将受到不必要的限制。
什么是允许 go 程序使用尽可能多的连接而不会遇到限制的最佳方法。我想这个数字是一个变量，取决于当时连接到数据库的其他服务的数量。
我正在考虑在数据库和 golang 程序之间运行 PgBouncer，希望接受来自 golang 程序的所有连接，允许尽可能多的连接，但阻止其余连接，直到连接空闲。然而，我不确定 PgBouncer 是否会这样做，但接下来我将对其进行测试。
是否有另一种方法可以让连接池在没有真正连接可用时阻止连接？阻塞，而不是拒绝，因为拒绝连接意味着我必须在我的 golang 程序中添加重试逻辑。
你能重写它以减少每个查询返回更多行吗？如果每行启动一个要返回的线程，则可能引入的开销比消除的开销要多。
除非“其他东西”是另一个 golang 程序，其功能与第一个程序大致相同，或者类似的东西，否则您可以使 max_connections 仅略大于 golang 中的最大池大小，并且您不应该有问题。它确实需要您对其他事物有一个相当好的了解。
你验证过这个吗？拥有 300 个连接超过 16 个 CPU 和 4 个硬盘驱动器不会提高生产力。只有这么多的硬件，现在你必须徒劳地争夺自旋锁（例如）以及做真正的工作。
它可以做到这一点，但为什么比让 golang 自己做更好呢？如果您可以通过 pgbouncer 推送“其他连接”，但不能通过 golang 推送它们，这可能是有意义的。然后，您可以拥有一个可以查看所有内容的 pooler。另一方面，它在每次网络往返时引入了另一层延迟。再加上另一层复杂性。