主页 / user-118874

e_i_pi's questions

Martin Hope
e_i_pi
Asked: 2021-04-29 15:38:35 +0800 CST
  • 1

TL;博士; ETL 和 ELT 之间的区别仅仅是转换后的数据在加载到仓库之前是具体还是抽象？

所以请原谅我的主题标题过于宽泛，因为它掩盖了细节，但我试图以明确的方式理解 ETL 和 ELT 的不同之处。它们看起来非常相似，以至于您可以将它们描述为 ELTL。在这两种情况下，您都从原始数据开始，最终以表格中的具体转换数据结束。似乎介于两者之间的是差异，它可以采取多种形式，具体取决于从开始状态到结束状态的转换的数量/复杂性。

根据我对ETL的了解，步骤如下：

  1. 从源系统中提取数据并加载到原始表中
  2. 将原始表中的数据转换为临时表
  3. 将临时表中的数据加载到您的仓库中

在我见过的一些 ELT 定义中，这些步骤似乎是：

  1. 从源系统中提取数据并加载到原始表中
  2. 通过创建表示临时表的视图从概念上转换原始表中的数据
  3. 将暂存视图中的数据加载到您的仓库中

但是后来我看了其他关于ELT的文章，好像是：

  1. 从源系统中提取数据并加载到原始表中
  2. 通过创建表示临时表的视图从概念上转换原始表中的数据
  3. 恭喜，不再有从原始状态到转换状态的数据硬复制，一切都是视图！用户只需启动他们的查询并立即查看嵌套的n级*返回数据！

*结果可能会有所不同，具体取决于您是否有数百万美元可用于云处理和/或大规模量子计算是否可用

etl data-warehouse
Martin Hope
e_i_pi
Asked: 2017-10-25 14:25:40 +0800 CST
  • 3

为了从 PostgreSQL 中检索域模型数据，我有时会选择视图而不是表。我这样做是为了在一个查询中返回尽可能多的信息，而不是触发多个查询来解决所有关系依赖项。这主要是因为表之间存在一对一的关系，或者它们是查找表，我只需要某些列等。为了防止某些竞争条件，我使用的一种策略是SELECT ... FOR SHARE/UPDATE查询。我想知道当我们开始对视图使用它们时它们的行为如何。

假设我们有两个表A和B，每个表都有一列ID。现在，假设我们有一个视图AB，它是这两个表之间的连接操作。假设这是一个笛卡尔连接：

SELECT
    "A"."ID" AS "AID",
    "B"."ID" AS "BID"
FROM "A"
CROSS JOIN "B"

如果我们在以下情况下SELECT FOR UPDATE针对AB哪些表的哪些行会被锁定？

  • SELECT * FROM "AB" WHERE "AB"."AID" = :ID
  • SELECT * FROM "AB" WHERE "AB"."BID" = :ID
  • SELECT * FROM "AB" WHERE "AB"."AID" = :ID1 AND "AB"."BID" = :ID2
postgresql locking