主页 / user-160298

d4nielfr4nco's questions

Martin Hope
d4nielfr4nco
Asked: 2019-05-13 20:28:51 +0800 CST
  • 0

我正在使用以下示例中的事件数据集：

Event_Type  Event_Timestamp         Is_Active
A           2010-10-01 00:00:00     1
B           2010-10-01 00:00:01     1
A           2010-10-01 00:00:02     0
D           2010-10-01 00:00:03     1
B           2010-10-01 00:00:04     0
C           2010-10-01 00:00:05     1
A           2010-10-01 00:00:06     1
A           2010-10-01 00:00:07     1
A           2010-10-01 00:00:08     0

数据集按事件的时间戳排序，数据随着事件的实时发生而增长。数据集中可以随时包含更多事件类型（不仅限于示例中的 A、B、C、D），并且同一事件类型可以多次出现在表中。Is_Active 布尔字段用作指示事件是否仍处于活动状态 (1) 或不处于活动状态 (0) 的一种方式。

从这个意义上说，我尝试使用 SQL 窗口函数对这些数据进行一些转换。我不一定限于特定的产品或技术，因此请随时告诉您如何解决以下问题。

我想要做的是当它们具有相反的 Is_Active 值时动态配对相同类型的每个事件，然后获取该事件的活动时间。换句话说，给定一个事件 X，我需要在 Is_Active 第一次为 1 时获取它的 Event_Timestamp（Begin_Timestamp），然后使用 Is_Active 1 忽略此事件 X 的其余行，直到我得到 Is_Active 0 ，所以我可以再次获取 Event_Timestamp (End_Timestamp)。然后，当我再次在 Is_Active 列中发现事件 X 为 1 时，我将继续应用此逻辑。

结果表的一个示例是：

Event_Type  Begin_Timestamp         End_Timestamp           Duration
A           2010-10-01 00:00:00     2010-10-01 00:00:02     2 seconds
B           2010-10-01 00:00:01     2010-10-01 00:00:04     3 seconds
D           2010-10-01 00:00:03     null                    null
C           2010-10-01 00:00:05     null                    null
A           2010-10-01 00:00:06     2010-10-01 00:00:08     2 seconds

是否有任何窗口函数可以帮助我获取这些事件对，以便我可以计算每个事件的持续时间？

sql-server postgresql
Martin Hope
d4nielfr4nco
Asked: 2019-02-07 18:04:13 +0800 CST
  • 1

Google Cloud SQL 支持 PostGIS 扩展，但我还没有看到任何关于如何在其上处理栅格数据的文档。要将栅格数据加载到表中，我们必须使用 raster2pgsql 驱动程序。

从这个意义上讲，Cloud SQL 支持吗？此外，考虑到我们可以将数据存储在 Cloud Storage 中并从那里进行查询，如果它具有 out-of-db 栅格支持，那将非常有用。

postgresql postgis
Martin Hope
d4nielfr4nco
Asked: 2018-12-09 09:07:42 +0800 CST
  • 2

在关于填充数据库的 PostgreSQL 文档中，他们提到了我们如何通过禁用约束和索引来改进批量加载操作，但是看到 INSERT ... ON CONFLICT (upsert) 需要使用唯一约束才能工作，这完全有道理，我一直想知道以下策略有多好：

  1. 创建多个连接以将数据批量并行加载到暂存未记录表中

  2. 创建延迟约束以对表的数据进行完整性验证

  3. 将暂存数据更新插入到一个大目标表 (5GB+) 中，该表还需要具有 PK、唯一索引或唯一约束才能使更新插入成为可能。

众所周知，冲突插入方法比手动创建 SQL 函数或脚本来连接两个表以发现要插入的“新记录”和要更新的“公共记录”要好。这就是为什么 INSERT ... ON CONFLICT 存在的全部意义。

然而，我仍然想知道加载数据后读取数据的性能影响。

问题：

  1. 就索引膨胀而言，upsert 会比简单的批量复制插入 + 更新到没有约束的表更糟糕吗？upsert 不利于索引维护吗？

  2. 如果是这种情况，我相信更快的加载也意味着加载表后查询性能不佳。我应该在 INSERT ... ON CONFLICT 之后重新创建索引吗？

  3. 与 INSERT ... ON CONFLICT 相比，执行此操作的函数/脚本方式虽然对负载的性能较低，但对于索引维护会更好，因为目标表不需要索引来进行更新插入？

postgresql
Martin Hope
d4nielfr4nco
Asked: 2018-09-09 16:29:11 +0800 CST
  • 1

在两个数据库之间传输数据时，我想知道以下方法是否有任何缺点：

psql -h [HOST1] -U postgres -d [DB1] -c [SQL1] | psql -h [HOST2]  -d [DB2] -U postgres -c [SQL2]

在哪里

[SQL1]="\copy (SELECT [FIELDS_SUBSET] FROM [TABLE_NAME]) TO STDOUT"

[SQL2]="\copy [NEW_TABLE_NAME]( [FIELDS_SUBSET] ) FROM STDIN"

基本上，我从 DB1 提取一些数据到标准输出，然后我立即从标准输入读取它，以便将这些数据导入 DB2。两个数据库位于不同的网络中。这种方法消除了对中间文件的需要。

在这种情况下，我想知道与使用中间文件相比，这种策略是否有任何缺点。例如，这种方法是否适合传输大量数据（GB 数据）？

此外，通过将 COPY 与 STDIN 和 STDOUT 一起使用，我还需要担心 COPY 命令警告吗？（参考）

postgresql psql