主页 / dba / 问题 / 156047
Accepted
Jason
Asked: 2016-11-23 09:29:19 +0800 CST

在 SQL Server 中并行导入数据

  • 772

我有 100 多个文件要导入 sql 服务器，其中大部分是 500 MB。我想利用 SQL Server 的并行导入实用程序并阅读了许多网页，例如以下网页：

如何在 30 分钟内加载 1 TB 数据

https://technet.microsoft.com/en-us/library/dd537533(v=sql.100).aspx

使用表级锁定并行导入数据

https://technet.microsoft.com/en-us/library/ms186341(v=sql.105).aspx

以及stackoverflow中的答案

并行插入单个表的最快方法

但是，他们都没有给出一个简单的代码示例。我知道如何使用批量插入/bcp，但我不知道从哪里开始并行导入？有人可以帮我吗？

我的系统是 Windows，我使用的是 SQL server 2016。源数据文件是 txt 格式。

在此先感谢您的帮助！

杰森

sql-server parameter

1 个回答

  1. Best Answer

    借用我的旧答案

    以下是一些改进 BULK INSERT 操作的好方法：

    1. 使用 TABLOCK 作为查询提示。
    2. 在批量加载操作期间删除索引，然后在完成后重新创建它们。
    3. 在加载操作期间将数据库的恢复模型更改为 BULK_LOGGED。
    4. 如果目标具有聚集索引，则在批量插入操作中指定 ORDER BY 子句将提高批量加载的速度。
    5. 在 BULK INSERT 操作开始时使用跟踪标志 610。

    最大并行度应该在服务器上配置而不是默认值。您可以参考我的回答，了解它是如何配置的。

    如果您使用的是 SQL Server 2014 及更高版本，SELECT ... INTO则为并行。

    此外，您应该监视服务器上的等待统计信息，尤其是 SOS_SCHEDULER_YIELD，这会导致具有多个 CPU 运行并发批量加载操作并竞争相同 CPU 周期的服务器上的调度程序争用。

    另请参阅：

    • 3

相关问题