AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 122791
Accepted
tombom
tombom
Asked: 2015-12-04 05:42:50 +0800 CST2015-12-04 05:42:50 +0800 CST 2015-12-04 05:42:50 +0800 CST

O que poderia causar "atraso" na tarefa SQL de execução do SSIS?

  • 772

Recentemente, notei que a parte do meu processo de ETL que carrega os dados na área de preparação às vezes demora mais e às vezes demora mais.

Com a seguinte consulta (executada no banco de dados de catálogos de serviços de integração), eu estava comparando duas execuções diferentes e descobri que as instruções da tabela de recriação estão demorando muito mais (às vezes também a parte de carregamento, mas acho que o principal problema é esse) . Aqui está a consulta para comparar as diferentes execuções:

select
es1.execution_path,
es1.execution_duration as es1dura,
es2.execution_duration as es2dura,
(es2.execution_duration * 1.0) / es1.execution_duration * 100
from
catalog.executable_statistics es1
join catalog.executable_statistics es2 on es1.execution_path = es2.execution_path
where es1.execution_id = 239
and es2.execution_id = 10290
and es1.execution_path like '%create table%'
order by 
--(es2.execution_duration * 1.0) / es1.execution_duration * 100 desc
es1.execution_path

Parte do resultado é este:

insira a descrição da imagem aqui

Isso corresponde à seguinte parte do ETL:

insira a descrição da imagem aqui

Não se preocupe com a linha verde adicional na captura de tela, isso é apenas uma formatação confusa no Visual Studio. Não há mais tarefas em execução em paralelo e o trabalho está sendo executado por volta da meia-noite, não há outro trabalho em execução no banco de dados ao mesmo tempo.

Essas tarefas são realmente simples. Uma das Recreate tabletarefas, por exemplo, se parece com isso:

IF EXISTS (
    SELECT * FROM sys.tables
    WHERE name = 'admin_perso_abteilung'
)
DROP TABLE admin_perso_abteilung
GO
CREATE TABLE admin_perso_abteilung (
    [id] int,
    [perso_abteilung] nvarchar(50)
)
GO

De qualquer forma, a questão é, como o resultado da consulta sugere, que todo o processo fica parado por algum tempo antes de executar as instruções de recriação da tabela em paralelo, o que poderia causar isso? O que posso inspecionar mais para restringir o problema?

Como sou mais desenvolvedor do que administrador estou um pouco perdido aqui, por favor me oriente um pouco. Obrigado.

ssis ssis-2014
  • 2 2 respostas
  • 1168 Views

2 respostas

  • Voted
  1. SQLTuna
    2015-12-10T07:13:14+08:002015-12-10T07:13:14+08:00

    As chances são de que suas instruções drop/create estejam bloqueando umas às outras de vez em quando. Como já mencionado, você pode truncar as tabelas, no entanto, um teste bastante simples seria executar as tarefas drop/create sequencialmente e os dados carregados posteriormente em paralelo.

    Se você está desesperado para saber os motivos detalhados por trás dos tempos variáveis, faça o que foi sugerido e execute um rastreamento ou uma sessão XE para capturar bloqueios e bloqueios durante as execuções.

    • 4
  2. Best Answer
    Kin Shah
    2015-12-10T06:35:55+08:002015-12-10T06:35:55+08:00

    (mais longo que comentar... postando como resposta)

    • Eu sugiro que você não crie tabelas todas as vezes. Você pode simplesmente truncar a tabela. Isso será mais eficiente - a menos que eu esteja perdendo alguma dependência que você não descreveu em sua pergunta.
    • Defina DelayValidationa propriedade como Truepara a tarefa de fluxo de dados.
    • Defina ValidateExternalMetadatacomo Falsepara componentes de fluxo de dados individuais.
    • Para acelerar o carregamento de dados, consulte minha resposta aqui .
    • 2

relate perguntas

  • Desenvolvimento de BI em Microsoft BI

  • Projeto de datawarehouse: dimensão combinada de data e hora versus dimensões e fusos horários separados de dia e hora

  • Posso fazer o downgrade dos pacotes SSIS para serem executados em versões mais antigas do SQL

  • Encontre material para melhorias no Microsoft BI

  • A maneira mais simples de restringir uma tarefa de processo de execução do SSIS

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve