AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 224477
Accepted
d4nielfr4nco
d4nielfr4nco
Asked: 2018-12-09 09:07:42 +0800 CST2018-12-09 09:07:42 +0800 CST 2018-12-09 09:07:42 +0800 CST

PostgreSQL upsert 对批量加载后读取性能的影响

  • 772

在关于填充数据库的 PostgreSQL 文档中,他们提到了我们如何通过禁用约束和索引来改进批量加载操作,但是看到 INSERT ... ON CONFLICT (upsert) 需要使用唯一约束才能工作,这完全有道理,我一直想知道以下策略有多好:

  1. 创建多个连接以将数据批量并行加载到暂存未记录表中

  2. 创建延迟约束以对表的数据进行完整性验证

  3. 将暂存数据更新插入到一个大目标表 (5GB+) 中,该表还需要具有 PK、唯一索引或唯一约束才能使更新插入成为可能。

众所周知,冲突插入方法比手动创建 SQL 函数或脚本来连接两个表以发现要插入的“新记录”和要更新的“公共记录”要好。这就是为什么 INSERT ... ON CONFLICT 存在的全部意义。

然而,我仍然想知道加载数据后读取数据的性能影响。

问题:

  1. 就索引膨胀而言,upsert 会比简单的批量复制插入 + 更新到没有约束的表更糟糕吗?upsert 不利于索引维护吗?

  2. 如果是这种情况,我相信更快的加载也意味着加载表后查询性能不佳。我应该在 INSERT ... ON CONFLICT 之后重新创建索引吗?

  3. 与 INSERT ... ON CONFLICT 相比,执行此操作的函数/脚本方式虽然对负载的性能较低,但对于索引维护会更好,因为目标表不需要索引来进行更新插入?

postgresql
  • 1 1 个回答
  • 2787 Views

1 个回答

  • Voted
  1. Best Answer
    jjanes
    2018-12-09T12:48:15+08:002018-12-09T12:48:15+08:00

    这就是为什么 INSERT ... ON CONFLICT 存在的全部意义。

    我认为情况并非如此。我认为很重要的一点是方便,因此人们不必为单行插入时违反唯一约束而实现捕获和重试循环。由于一些违规行为而不回滚整个批量插入也是一个很好的改进,但我认为这不是重点。而且,如果您无论如何都要使表格脱机以供其他用途,那么我认为这实际上与 ON CONFLICT无关。

    ON CONFLICT 付出了高昂的代价来处理细粒度级别的并发。如果你能保证只有这个过程插入新记录,那么一个查询插入新键,第二个查询更新旧键几乎肯定会比使用 ON CONFLICT 更高效。如果您的第 3 点意味着除了支持 ON CONFLICT 所需的约束和索引之外,大表的所有约束和索引都已删除,那么您似乎处于维护窗口中,因此您可能可以保证没有并发插入。

    就索引膨胀而言,upsert 会比简单的批量复制插入 + 更新到没有约束的表更糟糕吗?upsert 不利于索引维护吗?

    如果您以任何一种方式保持唯一约束,我不希望这是一般情况。但这取决于诸如插入的行的唯一键值是主要按顺序出现还是随机出现的。此外,膨胀将取决于采用 UPDATE 路径的行是否有空间容纳旧版本最初所在的同一块中的更新行(因此是表填充因子),但如果 UPDATE 是单独的语句,这也是正确的. 您必须模拟与您的实际情况相似的东西并对其进行测试以获得明确的答案。

    与 INSERT ... ON CONFLICT 相比,执行此操作的函数/脚本方式虽然对负载的性能较低,但对于索引维护会更好,因为目标表不需要索引来进行更新插入?

    如果您将表脱​​机以供正常使用并删除所有约束和索引,那么一旦您重建它们,它应该既具有更高的性能,又会导致索引不那么臃肿(尽管可能只是稍微不那么臃肿)。无论您将其与在线使用 ON CONFLICT 进行比较,还是将其与放弃所有但一个约束并离线运行 ON CONFLICT 进行比较,情况都是如此。

    • 2

相关问题

  • 我可以在使用数据库后激活 PITR 吗?

  • 运行时间偏移延迟复制的最佳实践

  • 存储过程可以防止 SQL 注入吗?

  • PostgreSQL 中 UniProt 的生物序列

  • PostgreSQL 9.0 Replication 和 Slony-I 有什么区别?

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve