主页 / dba / 问题 / 306894
Accepted
Colin
Asked: 2022-02-02 13:51:05 +0800 CST

PostgreSQL 分区消耗大量内存

  • 772

我有一个相当大的（~10M 行）表，最近开始放慢速度。作为解决方案，我们决定将该表划分为 1,000 个表，按客户端 ID 的哈希进行分区。这样，我们通常每个表只有几个客户端。我们在生产中与现有表一起创建了这个分区，并填充了所有数据，并使它们与触发器函数保持同步。对分区表手动运行查询显示出巨大的希望，大多数人看到 10-100 倍以上的加速。认为一切都很好，我们在生产环境中交换了两个表名，它立即使我们的数据库崩溃。

  1. 可释放内存立即从 6 GB 降至 0
  2. 交换使用量从 0 GB 跃升至 3 GB
  3. 数据库变慢了，以至于我们不得不完全关闭网络应用程序，因此没有与数据库的连接并恢复表名交换。

我已经完成了使用该表的查询，并且所有查询都有一个明确的WHERE client_id = <client_id>，因此他们应该只使用他们的分区而不是父表。他们都没有选择跨多个分区。

什么可能使用这么多内存？Postgres 分区有那么多内存开销吗？根据我的阅读，Postgres 应该能够处理数万个分区，所以我的 1,000 个应该不是问题。

这一切都在具有 4 个 vCPU 和 16 GB RAM 的 RDS M5.xlarge 实例上。

更新： 我们将实例大小升级为具有 32 GB RAM 的实例，并将分区数量从 1,000 个缩减到仅 250 个，然后再次尝试。这次我们看到内存立即下降，但在趋于平稳之前只有大约 3-4 GB，这表明内存随着分区数量的增加而扩展。同样，在交换表名之前，我们已经通过触发器对分区执行了大量的 INSERT/UPDATE/DELETE 命令，并且没有看到明显的影响。只有当表名被交换以便 SELECT 开始命中它时，我们才看到内存的巨大下降。这似乎与说明内存命中对于 UPDATE 和 DELETE 命令特别糟糕的文档不一致。

postgresql partitioning

1 个回答

  1. Best Answer

    是的，更多的分区意味着更多的内存开销。

    请参阅以下从文档中获取的文本：

    在查询计划和执行期间考虑分区的开销也很重要。查询规划器通常能够处理多达几百个分区的分区层次结构。随着更多分区的添加，规划时间变得更长，内存消耗也变得更高。对于 UPDATE 和 DELETE 命令尤其如此。另一个需要关注大量分区的原因是服务器的内存消耗可能会在一段时间内显着增长，尤其是在许多会话涉及大量分区的情况下。这是因为每个分区都需要将其元数据加载到每个与其接触的会话的本地内存中。

    对于数据仓库类型的工作负载，使用比 OLTP 类型的工作负载更多的分区更有意义。通常，在数据仓库中，查询计划时间不太重要，因为大部分处理时间都花在查询执行期间。对于这两种类型的工作负载中的任何一种，尽早做出正确的决定很重要，因为重新分区大量数据可能会非常缓慢。预期工作负载的模拟通常有利于优化分区策略。永远不要假设更多的分区比更少的分区更好，反之亦然。

    参考： 5.11。表分区 - 5.11.6。声明式分区的最佳实践（PostgreSQL 14 | 文档）

    • 2

相关问题