AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 122791
Accepted
tombom
tombom
Asked: 2015-12-04 05:42:50 +0800 CST2015-12-04 05:42:50 +0800 CST 2015-12-04 05:42:50 +0800 CST

什么会导致 SSIS 执行 SQL 任务“滞后”?

  • 772

最近我注意到我的 ETL 过程将数据加载到暂存区的部分有时需要更长的时间,有时更短。

通过以下查询(在集成服务目录数据库中执行),我比较了两个不同的运行并发现重新创建表语句花费的时间更长(有时也是加载部分,但我认为主要问题是这个) . 这是比较不同运行的查询:

select
es1.execution_path,
es1.execution_duration as es1dura,
es2.execution_duration as es2dura,
(es2.execution_duration * 1.0) / es1.execution_duration * 100
from
catalog.executable_statistics es1
join catalog.executable_statistics es2 on es1.execution_path = es2.execution_path
where es1.execution_id = 239
and es2.execution_id = 10290
and es1.execution_path like '%create table%'
order by 
--(es2.execution_duration * 1.0) / es1.execution_duration * 100 desc
es1.execution_path

部分结果是这样的:

在此处输入图像描述

这对应于 ETL 的以下部分:

在此处输入图像描述

请不要介意屏幕截图中的额外绿线,这只是 Visual Studio 中的混乱格式。没有更多的任务并行运行,作业在午夜左右运行,没有其他作业同时在数据库上运行。

这些任务非常简单。例如,其中一项Recreate table任务如下所示:

IF EXISTS (
    SELECT * FROM sys.tables
    WHERE name = 'admin_perso_abteilung'
)
DROP TABLE admin_perso_abteilung
GO
CREATE TABLE admin_perso_abteilung (
    [id] int,
    [perso_abteilung] nvarchar(50)
)
GO

总之,问题是,从查询结果来看,整个流程卡住了一段时间,才并行执行recreate table语句,请问是什么原因导致的呢?我可以进一步检查什么以缩小问题范围?

由于我更像是一名开发人员而不是管理员,所以我在这里有点迷路,请多多指导。谢谢。

ssis ssis-2014
  • 2 2 个回答
  • 1168 Views

2 个回答

  • Voted
  1. SQLTuna
    2015-12-10T07:13:14+08:002015-12-10T07:13:14+08:00

    您的 drop/create 语句有时可能会相互阻塞。如前所述,您可以改为截断表,但是一个相当简单的测试是按顺序运行删除/创建任务,然后并行加载数据。

    如果您非常想知道可变时间背后的详细原因,请按照建议进行操作并运行跟踪或 XE 会话以捕获运行期间的锁定和阻塞。

    • 4
  2. Best Answer
    Kin Shah
    2015-12-10T06:35:55+08:002015-12-10T06:35:55+08:00

    (比评论长......所以发布作为答案)

    • 我建议你不要每次都创建表。您可以截断表格。这会更有效率——除非我遗漏了一些你在问题中没有描述的依赖。
    • 将DelayValidation属性设置True为数据流任务。
    • 为单个数据流组件设置ValidateExternalMetadata为。False
    • 为了加快您的数据加载速度,您可以在这里参考我的回答。
    • 2

相关问题

  • Microsoft BI 中的 BI 开发

  • 数据仓库设计:组合日期时间维度与单独的日期和时间维度和时区

  • 我可以降级 SSIS 包以在旧版本的 SQL 上运行吗

  • 在 Microsoft BI 中查找改进材料

  • 约束 SSIS 执行进程任务的最简单方法

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve