AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / server / 问题 / 1035630
Accepted
Rino Bino
Rino Bino
Asked: 2020-09-29 09:59:39 +0800 CST2020-09-29 09:59:39 +0800 CST 2020-09-29 09:59:39 +0800 CST

在 RDS 上创建 Postgres 索引比较弱的 linux 主机慢得多

  • 772

背景:

  • Postgres 10.9
  • DB 在开发主机上作为 docker 容器运行。(t3.large,gp2 500GB 存储空间)
  • DB 在 RDS 中运行,用于暂存和生产。(m5.2xlarge,gp2 1TB 存储)

一切都很好,很长一段时间都是这样,而且我的 db alter 时间似乎总是在 prod/staging 与 dev 中更快(如预期的那样)。

问题/问题:

我有一个特定的索引创建,它在 RDS(更强大)中比在本地开发主机上花费的时间长 20 倍。我在过去几年中看到的所有其他案例,RDS 主机都更快,因为它具有更强的计算能力和更高的 I/O 速度。

  • 实例之间的数据和模式是相同的。使用 pg_dump + pg_restore 每晚用新数据加载开发数据库。
  • 与我数据库中的其他表相比,该表相对较大(3000 万行)(大多小于 100 万行)

这是一个简单的索引操作:

CREATE INDEX idx_email_records_created ON email_records(created_at);

在本地 linux 开发盒上:

db=> CREATE INDEX idx_email_records_created ON email_records(created_at);
CREATE INDEX
Time: 68523.557 ms (01:08.524)

在 RDS 主机上:

db=> CREATE INDEX idx_email_records_created ON email_records(created_at);
CREATE INDEX
Time: 1490902.929 ms (24:50.903)

我检查了所有正常的东西: CPU 负载(在所有情况下都免费),内存(在所有情况下都免费)。锁定/表使用等

开发主机每晚都会使用新的 prod db 克隆恢复,因此行数没有差异。

我检查了 max_parallel 并尝试了类似ALTER TABLE email_records SET (parallel_workers = ##);但似乎没有任何区别的东西。

任何帮助表示赞赏

postgresql indexing amazon-rds
  • 1 1 个回答
  • 643 Views

1 个回答

  • Voted
  1. Best Answer
    Rino Bino
    2020-09-30T15:38:36+08:002020-09-30T15:38:36+08:00

    以下是根本原因的摘要:

    时间是在 RDS 快照还原后收集的。显然,在新恢复后实例变慢是正常的。我以前从未遇到过这个问题,但我从来不需要在还原后立即处理如此庞大的数据集。

    在此处查看更多信息:https ://stackoverflow.com/questions/47545414/aws-rds-instance-created-from-snapshot-very-slow

    就我而言,我只是为有问题的表进行了全表选择,以从初始还原中“预拉”数据。然后我运行了创建索引,它很快就完成了。

    因此,总而言之,RDS 快照还原在全新还原后会出现性能下降。

    更多信息:https ://cintia.me/blog/post/lazy-rds/

    从现有 EBS 快照创建的新卷在后台延迟加载。这意味着从快照创建卷后,无需等待所有数据从 Amazon S3 传输到您的 EBS 卷,您的附加实例就可以开始访问该卷及其所有数据。

    • 4

相关问题

  • OS X 上的 Postgresql 安装问题

  • 修复 mysql 命令行程序中的 Control-C?

  • 有哪些好的 PostgreSQL 管理工具?[关闭]

  • Access 通过 ODBC 连接到远程 Postgresql 数据库是否可用?

  • 哪个数据库服务器扩展性更好:PostgreSQL 还是 MySQL?

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    新安装后 postgres 的默认超级用户用户名/密码是什么?

    • 5 个回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve