问题[bulk](dba)

我一直在尝试使用单个更新查询执行批量更新，但无法在存储过程中执行此操作。以下是完美运行的批量更新查询

UPDATE `batch_requests_detail`
SET `processing_status` = 5
WHERE `batch_requests_detail_id`  IN (1,2,3);

当我在存储过程中使用它时它不起作用

CALL Update_Batch_Request_Detail_Bulk('1,2,3',10);

CREATE DEFINER=`root`@`%` PROCEDURE `Update_Batch_Request_Detail_Bulk`(
IN _batch_request_detail_ids VARCHAR(5000),
IN _processing_status INT
)
BEGIN
    UPDATE `batch_requests_detail`
    SET `processing_status` = _processing_status
    WHERE `batch_requests_detail_id`  IN (_batch_request_detail_ids);
    END$$

DELIMITER ;

• 国外服务器 9.2

• 本地服务器 9.5

• 表是 10GB

• 在与外国服务器相同的网络接口上执行数据传输

• 没有为数据设置索引

• 老办法：

  1. 复制到 - 2:36
  2. SCP-08:17
  3. 从 - 10:11 复制

• postgres_fdw：

  1. 到老方法完成时，它已经完成了 800MBinsert into .. select * from foreign_table

我是否错过了配置中的某些内容（意味着我可以改进它），或者postgres_fdw只是不适合批量加载（意味着我无法改进它）？

（我将它用于小数据量的协调，它工作正常。insert select from fdw代替运行 bash 命令的想法看起来很不错。）*

我尝试从本地服务器到远程服务器的 psql \copy table- 六分钟 - 比通过 ssh 更快。

该fetch_size选项在 9.6 之前不可用，可以模拟dblink_fetch(CURSOR, fetch_size)- 请参阅下面的答案。

我需要对表中的所有行执行简单更新。该表有 40-50 百万行。在结果期间删除索引和约束会UPDATE导致性能大幅提升。

但是自动真空呢？autovacuum 可以启动 aVACUUM或ANALYZE在 a 中间启动UPDATE吗？如果是这样，那将是消耗机器资源的无用工作。我可以在之前在桌子上禁用它，然后在UPDATE之后重新启用它：

ALTER TABLE my_table
SET (autovacuum_enabled = false, toast.autovacuum_enabled = false);
-- Drop constraints, drop indexes, and disable unnecessary triggers

UPDATE my_table SET ....;

-- Restore constraints, indexes, and triggers
ALTER TABLE my_table
SET (autovacuum_enabled = true, toast.autovacuum_enabled = true);

如果我在第一次之后不提交，这是否有效ALTER？

另外，如果我在 期间禁用它，它会在更新后UPDATE触发，还是会因为在更新期间被禁用而忽略这些更新？（我怀疑它会运行，但我宁愿确定。）

我现在正在使用 PG 9.3，但应该很快就会升级。因此，任何提及新版本中的更改都值得赞赏。

在 SQL Server 2008 R2 中，使用BulkCopy上传数千行数据是否会导致在同一张表上进行查询时出现问题？

具体来说，它会导致查询超时吗？

被查询的表有数百万行。

总结一下细节：我们需要将大约 500 万行暂存到供应商 (Oracle) 数据库中。使用 (ODP.NET) 批量处理 500k 行时，一切都很好OracleBulkCopy，但是当我们尝试扩展到 5M 时，性能一旦达到 1M 标记就会开始缓慢爬行，随着更多行的加载而逐渐变慢，最终3小时左右后超时。

我怀疑它与桌子上的主键有关，但我一直在搜索 Oracle 论坛和 Stack Overflow 以获取信息，而且我正在阅读的很多内容都与此相矛盾（而且，很多帖子似乎相互矛盾） . 我希望有人可以直接记录有关该过程的一些密切相关的问题：

1. 该类是否OracleBulkCopy使用常规或直接路径加载？有什么方法可以证实这一点，一种或另一种？

2. 假设它确实使用直接路径加载：Oracle 是否会在加载期间自动将所有索引设置为不可用并在之后将它们重新联机？我已经阅读了几篇关于此的声明，但再次无法确认。

3. 如果 #2 为真，那么在我启动大容量复制操作之前，表上的索引是否应该有所不同？如果是这样，为什么？

4. 与＃3相关，一般来说，在使用不可用索引的批量加载与在加载之前实际删除索引并在之后重新创建索引之间是否有任何实际区别？

5. 如果 #2不正确，或者如果有一些我不理解的警告，那么在批量加载之前显式使索引不可用，然后 显式重建它会有什么不同吗？

6. 随着越来越多的记录被添加，除了索引构建之外，还有什么其他可能导致批量复制操作逐渐变慢的吗？（也许与日志记录有关，尽管我希望不会记录批量操作？）

7. 如果除了首先删除 PK/index 之外真的没有其他方法可以让性能达到最佳状态，我可以采取哪些步骤来确保索引不会完全消失，即如果与数据库的连接丢失过程的中间？

有 1000 张 jpeg 格式的图片。如何将它们作为 varbinary(MAX) 格式加载到 SQL 数据库中？但同时我想要批量插入功能。