AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / user-186310

Joe's questions

Martin Hope
Joe
Asked: 2022-11-22 13:52:04 +0800 CST

Postgres 是按顺序、IO 优化还是在并行线程中执行非并行计划节点?

  • 6

很难为此找到合适的标题,因此欢迎任何建议和编辑。

在分析计划时,您会被告知某些节点何时发出第一行以及何时发出最后一行。一些节点甚至可以在没有完整结果集的情况下开始运行(一个嵌套循环从内部节点接收行的索引查找在理论上已经开始这样做,甚至在内部节点被完全评估之前,当内部节点已经返回一个结果的子集)。

我可以actual times在评估中看到这些重叠,这意味着一些节点必须已经开始评估,甚至在内部节点完成之前。

我的问题:

  • 所有节点(除非指定了并行处理节点)是否按顺序运行,这意味着它们仅在内部节点完成后才真正开始工作?(注意:考虑到分析中的实际时间重叠,我不这么认为)
  • 如果它们不是按顺序运行,而是只在单个线程中运行,那么它们是否运行 IO 优化,例如,当一个内部节点正在做一些 IO 繁重的事情时,一个外部节点是否在可能的情况下进行计算,并在内部节点准备好了吗?
  • 或者,他们实际上是否只有多个线程,每个节点一个,一旦他们有事要做就醒来?

我知道内部情况比这更复杂,但我认为这是对我的想法的一个很好的高级解释。

postgresql
  • 1 个回答
  • 26 Views
Martin Hope
Joe
Asked: 2022-04-26 01:55:56 +0800 CST

使用表达式更改索引的定义而不删除/重新创建索引

  • 3

我处于一个特殊的情况:

我有多个索引以及使用函数的表达式。我想将它们切换到不同的函数,在那里我可以保证函数的行为相同(因此索引值不会无效)。理想情况下,我不想删除现有索引并重新索引它们,因为这需要更多的开发开销。

我可以在pg_index表格中看到,有一个indexprs列,其中包含索引的“内部”定义(该pg_indexes表格是这个的漂亮打印版本)。具体来说,我认为我确定了相关索引的格式类似于({FUNCEXPR :funcid 870 :funcresulttype 25 :funcretset false......

将其回溯funcid 870到 中information_schema.routines,我能够将其与specific_name(包含此 funcid)相关联,并且能够确定它确实是我想要更改的特定功能。

理论上是否可以用新的funcid替换这个funcid,然后索引将引用新的函数?我该怎么做,因为这个列是 pg_node_tree 类型的?如果没有,有没有办法以一种非hacky的方式实现我的目标?

附录:除非有一种被证明是安全的方法,否则我可能仍然会以“干净”的方式来做这件事,但这激起了我的兴趣,足以提出一个问题。

postgresql database-internals
  • 1 个回答
  • 78 Views
Martin Hope
Joe
Asked: 2022-03-05 07:06:34 +0800 CST

我是否需要索引在每个查询中使用但很少偏离默认值的列?

  • 0

一个非常实际的例子:

假设用户表有一个存储时间戳的“已删除”列。假设几乎每个访问该表的查询都有一个“deleted IS NOT NULL”过滤器。该字段很少不为空,并且当它为空时,它通常非常短暂。

问题:

  • 有必要索引吗?虽然该列的熵通常为1,但我认为 Postsgresql 不会在不创建索引的情况下跟踪熵,这意味着它需要对每个查询进行全表扫描(可能是最后一个操作,但是还是哎哟!)
  • 假设我不需要 B 索引中的所有其他运算符,将这个索引预先优化为哈希索引而不是 B 索引是否有意义?由于熵接近 1,我认为两个索引之间实际上并没有很大的大小差异,因此 B-Index 会更好。
postgresql index
  • 1 个回答
  • 50 Views
Martin Hope
Joe
Asked: 2021-09-23 02:29:38 +0800 CST

行级别安全策略过滤掉行时的日志事件

  • 0

我目前正在实现 2 层安全性,这意味着我们在应用程序代码和数据库中都有 orm 查询过滤。在数据库中,我使用的是 Postgre 行级安全性。

在理想情况下,应用程序代码中构建的所有过滤查询都是完美的,并且行级安全策略永远不会删除条目。但是,如果它确实过滤掉了一个结果,这意味着我们在过滤应用程序代码时有一个错误,必须修复。我希望能够记录下来。

是否可以配置 Postgresql 以通知我/记录这些事件?

postgresql postgresql-12
  • 1 个回答
  • 147 Views
Martin Hope
Joe
Asked: 2019-09-27 11:15:11 +0800 CST

如何在没有过多重复检查的情况下将值插入高度规范化的数据库?

  • 6

情况:

我们项目的负责人决定使用高度规范化的数据库作为我们的数据库设计。这意味着从字面上看,大表的每个字段都是一个 ID,而不是实际值。他的意图是没有任何形式的重复,即使在重复不会伤害的地方(人们的名字,那种东西)。

但是这确实会导致一个问题:插入新数据时,我们需要检查每个子表以查看该值是否存在(第一次查询),如果不存在则插入它(第二次查询)或检索 ID,执行这实际上适用于主表中的每一列(所以 30 次左右),然后我们可以创建我们真正想要获取的对象。(创建对象大约需要 60 次数据库命中!)。

我们在spring工作,所以我们使用jdbcTemplate来实际建立一个数据库连接,而且每次查询都是昂贵的。当我们插入或更新数以千计的新记录时,这实际上会大大降低数据库的速度。

整个过程对我来说完全是肮脏和错误的,因此我想问:有没有更好的方法?是否可以让子查询插入一个值(如果不存在,或者不存在),并在两种情况下返回实际键,立即用于在主表中设置 ID?是否有一个优雅的解决方案可以减少查询数量而不引入太多复杂的 SQL(为了团队成员)?

mysql mariadb
  • 2 个回答
  • 2458 Views
Martin Hope
Joe
Asked: 2019-07-26 05:02:16 +0800 CST

如何在应用约束时查询地址“预测”

  • 1

假设我有这个简化的数据库方案。数据库方案

该方案由三个表组成,街道、城市和邮政编码,它们之间都具有多对多的关系。

我想要做的是查询数据库以查找可能的匹配项以及预测缺失数据的预测。举个例子:假设用户开始输入一个城市,也许是“Wash”。他已经输入了一条街道,为了我不知道任何街道,我们称它为“新街大道”。这是一个约束,意味着它必须在我们的预测中实现。现在我希望城市查询“Wash”的可能完成者,并提供缺失的数据,在这种情况下,邮政编码有一条名为“New Street Avenue”的街道

以下是天真的方法:

  1. 过滤名称与“New Street Avenue”匹配的所有键的街道
  2. 过滤所有街道键的 street_city 并返回城市键
  3. 内连接 city_zipcode 上的城市键,然后内连接这些到邮政编码

这种方法的问题:街道和邮政编码之间的知识被完全忽略了。这意味着我们最终可能会得到邮政编码和城市对,我们知道城市包含我们寻找的街道,但邮政编码不一定。这将是一个无效的返回预测,因为地址不存在!

这意味着我需要“持久化”有关街道的信息。

我的方法是这样的:

  1. 在街道上过滤满足我们条件的键。
  2. 从#1 到城市的内部连接街道的钥匙。保留两个关键列。
  3. 内部连接到 city_zipcode 并保留邮政编码键
  4. 过滤掉所有不在 street_zipcode 中的街道和邮政编码对

(附带说明:为了“希望”提高性能,在每个“预测”之后,我会放一个 LIMIT 10(或类似的)命令,因为我们只需要合理数量的预测)。

这种方法应该有效。它可能不是最好的优化,但它会返回正确的结果。然而,这不仅让我觉得很脏,而且还带来了另一个问题:

我很确定它在表格大小以及其他表格中的扩展非常可怕

很有可能会有另一个表与街道和邮政编码具有多对多关系。现在,如果我想搜索一个有街道约束的城市,我需要做我上面所做的,并添加更多内容以过滤掉街道和新表之间的任何关系。

我觉得我用这种方法进入了死胡同。我很想有人在这里帮助我如何更好地解决这个问题。

database-design performance
  • 1 个回答
  • 49 Views

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve