AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 330877
Accepted
George G
George G
Asked: 2023-09-05 01:22:47 +0800 CST2023-09-05 01:22:47 +0800 CST 2023-09-05 01:22:47 +0800 CST

PostgreSQL - 将表分成两部分(当前和历史)

  • 772

我正在研究一个管理存储在 PostgreSQL 数据库中的对象的遗留应用程序。

每个对象都有多个存储为 JSONB 对象的属性集。每个属性集都描述对象的不同方面(每个对象可以有 1 到 10 个这样的属性集)。

与此相关的是,不同的部门通常只关心几个这样的属性集(方面),因此属性集的数量根据每个对象生命周期中涉及的人员而变化。

每当前端应用程序设置的属性发生变化(这超出了我的控制范围)时,它就会作为新的 JSON 文档推回到数据库中。

目前,该表(为了论证)的结构如下:

TABLE x (
  object_id INTEGER,
  aspect_id INTEGER,
  doc_ts TIMESTAMP,
  doc JOSNB,
  PRIMARY KEY (object_id, aspect_id, doc_ts)
)

数据输入由一个过程处理,该过程将文档的副本存储到表中,如下所示:

CREATE OR REPLACE PROCEDURE ingest.generic_object(IN in_object_id integer, IN in_aspect_id integer, IN in_doc_ts TIMESTAMP,  IN in_doc JSONB DEFAULT NULL::JSONB)
 LANGUAGE plpgsql
AS $procedure$
  BEGIN
      INSERT INTO ingest.x ( object_id, aspect_id, doc_ts, doc) 
      VALUES (in_object_id, in_aspect_id, in_doc_ts, in_doc)
      ;
  END;
$procedure$;

现在让我们转向我要解决的问题。该表随着时间的推移不断增长,并且可以变得非常大、非常快。内务管理进程只为每个 object_id 和aspect_id 组合保留一条记录(即仅具有最新 doc_ts 值的记录),运行时间太长。

我正在考虑将数据分成两个表。喜欢:

TABLE ingest.x (
  object_id INTEGER,
  aspect_id INTEGER,
  doc_ts TIMESTAMPZ,
  doc JOSNB,
  PRIMARY KEY (object_id, aspect_id, doc_ts)
);

TABLE ingest.x_history (
  object_id INTEGER,
  aspect_id INTEGER,
  doc_ts TIMESTAMP,
  doc JOSNB,
  PRIMARY KEY (object_id, aspect_id, doc_ts)
);

然后将摄取函数更改为如下所示:

CREATE OR REPLACE PROCEDURE ingest.generic_object(IN in_object_id integer, IN in_aspect_id integer, IN in_doc_ts TIMESTAMP, IN in_doc JSONB DEFAULT NULL::JSONB)
 LANGUAGE plpgsql
AS $procedure$
  BEGIN
      WITH 
        dd AS (
          DELETE FROM ingest.x
          WHERE object_id= in_object_id
            AND aspect_id = in_aspect_id
          RETURNING *
        ), 
        di AS (
          INSERT INTO ingest.x_history ( object_id, aspect_id, doc_ts, doc) 
          SELECT object_id, aspect_id, doc_ts, doc FROM dd            
        )
      INSERT INTO ingest.x ( object_id, aspect_id, doc_ts, doc) 
      VALUES (in_object_id, in_aspect_id, in_doc_ts, in_doc)
      ;
  END;
$procedure$;

这将使我能够显着简化内务处理流程,简化为:

TRUNCATE TABLE ingest.x_history;

我的问题如下:

  1. 考虑到上述更改,AUTOVACUUM 是否会导致 中已删除记录占用的空间被重用ingest.x?

  2. 我应该调整哪些表参数ingest.x才能改善已删除记录释放的空间的重用?- 假设 1 的答案是“是”。我考虑了 FILL FACTOR 以及更有针对性的 AUTOVACUUM 阈值。

  3. 您能找到一种替代方法来实现更简单、更有效的内务管理流程吗?

笔记:

  • 这一切都在 PostgreSQL v15 上运行
  • 在创建阶段(最初几天),文档记录可能会被写入数十次。然后在审查期间每隔几天/几周一次。此后可能会发生变化,但非常罕见。
  • 原始数据很快就会过时,这就是为什么截断历史记录不是问题。

编辑 1:JSON 文档范围在 100kb 到 2MB 之间。我相信那些都是针对TOAST的。此外,数据库位于 ZFS 文件系统上,因此 PostgreSQL 压缩被关闭,从而利用 ZFS 压缩。

亲切的问候

postgresql-15
  • 1 1 个回答
  • 10 Views

1 个回答

  • Voted
  1. Best Answer
    Vérace
    2023-09-05T02:28:56+08:002023-09-05T02:28:56+08:00
      1. 考虑到上述更改,AUTOVACUUM 是否会导致重新使用 ingest.x 中已删除记录所占用的空间?

    是的,它会 - 这就是 AUTOVACUUM 的用途 - 阻止表膨胀!

      1. 我应该调整 ingest.x 的哪些表参数才能提高已删除记录释放的空间的重用?

    “调整”各种表参数取决于您自己的使用情况、您自己的表速率INSERT以及记录的大小。这是另一个可以影响该过程的参数。除非您对此有更具体的问题,否则很难给出明确的答案。UPDDATEDELETEfillfactor

    这本身就是一门完整的科学 - 在CREATE TABLE手册部分的存储参数部分中,有 17 个以 开头的参数autovacuum_...,还有两个以 开头的参数vacuum_...。

      1. 您能找到一种替代方法来实现更简单、更有效的内务管理流程吗?

    计算机科学中任何问题的答案通常是“视情况而定!”

    历史表是这个问题的“经典”解决方案,当然,正如您所说,您可以使用TRUNCATE它们(或将它们放入某种“冷存储”中)。您可能还希望考虑PARTITION使用您的表 - 您必须阅读相关内容,看看它是否适合您的特定用例。

    除了 Fine Manual 之外,您还可以阅读这本书 - Postgrespro 的一本电子书 - PostgreSQL 世界的重量级人物,其中有一整章是关于 的AUTOVACUUM,这里(一本来自日本的电子书 - 有点旧)也可能值得一看。不过,这两本电子书都没有涉及分区 - FM 和您最喜欢的搜索引擎应该可以解决这个问题。电子书中也涉及了冻结的相关概念- Postgrespro 书中又有一整章!

    • 0

相关问题

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve