AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 27264
Accepted
Jon Seigel
Jon Seigel
Asked: 2012-10-20 08:54:46 +0800 CST2012-10-20 08:54:46 +0800 CST 2012-10-20 08:54:46 +0800 CST

快速 XML,慢速 XML

  • 772

我们的数据库更新 Windows 应用程序需要在两个数据库之间传输一些数据,作为某个一次性更新过程的一部分。我选择 XML 作为媒介来移动数据。

该过程通过从源中选择一大块作为 XML 的行来工作,这些行通过应用程序传递到目标服务器,在那里它被分解成一个全局临时表。(源数据库和目标数据库可以位于 2 个不同的实例上。)重复该过程,直到所需的所有数据都在目标实例的临时表中。最后,将临时表记录合并到实际的目标数据库表中。

我们遇到的问题是,在某些情况下,第二个块非常慢,CPU 使用率非常高,而且它无处可去。我们能够在我们的托管环境中重现该问题,但不能在开发或 QA 中重现。我们的一些客户也遇到了这个问题——其中一个客户让它运行了一夜,最后在第二天早上运行了 18(!)小时后将其杀死。在那种情况下,我不确定它走了多远。等待约 2 小时后,我无法通过托管的第二块。

这是第一个块的语句批处理:

SET NOCOUNT ON;

DECLARE @src xml;
SET @src = CAST(@P1 AS xml);

SELECT
    n.x.value(N'field1[1]', 'uniqueidentifier') AS field1,
    n.x.value(N'field2[1]', 'smallint') AS field2,
    ... (8 more fields of various types) ...
    INTO [##target_2994] /*******/
    FROM @src.nodes('Rows[1]/Row') n(x);

这是第二个和后续块的批次,这就是问题所在:

SET NOCOUNT ON;

DECLARE @src xml;
SET @src = CAST(@P1 AS xml);

INSERT INTO [dbo].[##target_2994] /*******/
    SELECT
        n.x.value(N'field1[1]', 'uniqueidentifier') AS field1,
        n.x.value(N'field2[1]', 'smallint') AS field2,
        ... (8 more fields of various types) ...
        FROM @src.nodes('Rows[1]/Row') n(x);

这是我到目前为止所看到的:

  • 这不是一个阻塞问题:等待统计信息是声明中的 99 SOS_SCHEDULER_YIELD% INSERT。
  • sys.dm_io_virtual_file_stats在目标上tempdb显示它基本上是空闲的,所以这不是 I/O 问题。
  • 所有数据都只有固定宽度的列,因此没有大量长文本字段。
  • 数据块大小目前为 25,000 行,我们可能会降低这个值,但这并不能解释差异,因为我们已经用一些相同的数据集进行了测试。需要传输的最大表约为 725,000 行,测试结果很好。
  • 查询计划在问题与没有问题之间是相同的*(我对 XML 进行了文件比较)。
  • 问题与无问题之间的会话SET选项相同。
  • 版本似乎不是一个因素:托管是 2008 R2 SP1 Enterprise x64;我们已经在 2005 SP4+ Standard x64 一直到 2008 R2 SP1+ Developer x86 进行了测试,没有出现任何问题。有问题的客户是 2008 RTM/SP1 Standard/Enterprise x64(到目前为止)。
  • 虚拟化似乎不是一个因素:托管和 QA 是虚拟化的;dev 是部分虚拟化的;有问题的客户是身体上的。MAXDOP没有为我们的任何服务器设置(最大 = 4 个逻辑处理器);我不确定客户的设置。
  • 两个数据库在同一台服务器上与不同的服务器上没有区别。
  • 在 TS 盒上运行更新应用程序与在本地运行没有区别。
  • Tempdb 数据库设置是相同的。
  • 实例和数据库排序规则是相同的。
  • 将目标服务器上 tempdb 的兼容级别更改为 90 并没有帮助。(根据马克的回答)
  • 没有显着的实例配置差异。(根据金博的回答)

任何人都可以建议其他的东西看吗?

* 计算表达式的名称不同,其中一个估计的行大小差异 < 1%,但其他一切都相同,包括总成本估计。

sql-server sql-server-2008
  • 2 2 个回答
  • 10718 Views

2 个回答

  • Voted
  1. Best Answer
    Mark Storey-Smith
    2012-10-20T09:47:23+08:002012-10-20T09:47:23+08:00

    对于您遇到问题的版本,在连接上记录了一个类似的问题 -使用 XML.nodes() 的 INSERT 语句在 SQL2008 SP1 中非常非常非常慢。

    使用SQL2008,当使用节点查询粉碎XML时,仅SELECTing时性能很好。但是,当您想将数据插入表/临时表/表变量时,性能会变得很差。

    • 4
  2. Jimbo
    2012-10-20T09:30:06+08:002012-10-20T09:30:06+08:00

    使用 RedGate 中的 SQL 比较之类的东西比较数据库

    使用 Redgate 的 SQL 数据比较之类的方法比较表中的数据

    如果架构相同且数据差异不显着,则比较 SQL 实例属性。

    如果差异不显着,请查看您的临时文件使用情况。

    您正在插入全局表 - 尝试插入到您创建的实际表中。

    • 0

相关问题

  • 死锁的主要原因是什么,可以预防吗?

  • 我在索引上放了多少“填充”?

  • 是否有开发人员遵循数据库更改的“最佳实践”类型流程?

  • 如何确定是否需要或需要索引

  • 从 SQL Server 2008 降级到 2005

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    如何查看 Oracle 中的数据库列表?

    • 8 个回答
  • Marko Smith

    mysql innodb_buffer_pool_size 应该有多大?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    从 .frm 和 .ibd 文件恢复表?

    • 10 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    如何选择每组的第一行?

    • 6 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    pedrosanta 使用 psql 列出数据库权限 2011-08-04 11:01:21 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST
  • Martin Hope
    bernd_k 什么时候应该使用唯一约束而不是唯一索引? 2011-01-05 02:32:27 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve