AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 154828
Accepted
Magier
Magier
Asked: 2016-11-11 05:57:18 +0800 CST2016-11-11 05:57:18 +0800 CST 2016-11-11 05:57:18 +0800 CST

MERGE rodando lentamente

  • 772

Criei instruções MERGE para transferir diferenças com um conjunto mínimo de colunas necessárias do banco de dados de produção para um banco de dados de teste. As tabelas mescladas são planejadas para serem usadas por diferentes cenários de relatório e análise (somente leitura). Todo o processo de obter as diferenças nas tabelas de teste deve ser rápido (pelo menos muito mais rápido do que a maneira atual de obter todo o conteúdo da tabela todos os dias fazendo um DELETE seguido de INSERT INTO para todos os dados, independentemente da quantidade de fato dados alterados que estimo em cerca de 5%).

Aqui está uma amostra:

SET TRANSACTION ISOLATION LEVEL READ COMMITTED;

SET NOCOUNT ON

IF NOT exists(select 1 from StagingDB.sys.tables t join StagingDB.sys.schemas s on t.schema_id = s.schema_id WHERE t.name like 'A' and s.name like 'staging') 
BEGIN
        SELECT Top 0 [ID],[OID]
        INTO [StagingDB].[staging].[A]
        From [LiveDB].[dbo].[A];
END;

MERGE INTO [StagingDB].[staging].[A] AS Target
USING ( 
    SELECT [ID], [OID] From [LiveDB].[dbo].[A] where X = 0
) AS Source ([ID],[OID])
ON (Target.[ID] = Source.[ID])
WHEN MATCHED AND (Target.[OID] <> Source.[OID]) THEN
    UPDATE SET [OID] = Source.[OID]
WHEN NOT MATCHED BY TARGET  THEN
    INSERT([ID],[OID]) VALUES(Source.[ID],Source.[OID])
WHEN NOT MATCHED BY SOURCE THEN 
    DELETE;


IF NOT EXISTS(
    SELECT * FROM sys.indexes ix Where ix.name = 'PK_A' AND ix.object_id = OBJECT_ID('[StagingDB].[staging].[A]')
)
BEGIN
        ALTER TABLE [StagingDB].[staging].[A] add constraint PK_A primary key CLUSTERED ([ID])
END

Isso é executado MUITO RAPIDAMENTE para a maioria das minhas tabelas. Infelizmente, existem duas tabelas que têm muito mais linhas e, além disso, muito mais colunas dessas duas tabelas estão sendo usadas posteriormente no processo de geração de relatórios, portanto, tenho que transferir muito mais dados.

Embora eu possa executar esse tipo de comando de mesclagem para 71 tabelas em menos de um minuto, as duas instruções MERGE problemáticas são executadas por cerca de 2 horas cada. Ainda não consegui descobrir o porquê.

Desconfio da quantidade de datas, mas também da forma como comparo as diferenças das tabelas. Para descobrir se devo executar uma instrução UPDATE, faço uma comparação para cada coluna incluída na instrução Merge. Portanto, caso eu tenha 10 colunas, a condição UPDATE do MERGE fica assim:

WHEN MATCHED AND (Target.[OID] <> Source.[OID] OR Target.[OID1] <> Source.[OID2]  OR Target.[Text1] <> Source.[Text1] OR Target.[varcharlong1] <> Source.[varcharlong1] )  etc...

Acontece que esse tipo de verificação de condição de atualização inclui todas as colunas e não terá um índice. As tabelas de preparação sempre têm uma chave primária agrupada em identificador único e (até agora) nenhum índice adicional.

Minha pergunta é: embora a instrução MERGE esteja sendo executada de maneira muito rápida e eficiente para a maioria de nossas tabelas, parece que esse procedimento não é adequado para as duas tabelas maiores, incluindo várias colunas. Estou usando a instrução MERGE corretamente neste caso usando a cláusula OR para garantir que as linhas precisem ser atualizadas ou existe uma maneira melhor? Existe uma maneira melhor de obter rapidamente o delta (alterações) para um subconjunto de colunas em uma tabela de preparo? todas as minhas tabelas têm um ROWVERSION, talvez isso possa ser usado para descobrir as linhas que foram alteradas de alguma forma?

sql-server sql-server-2008
  • 1 1 respostas
  • 12052 Views

1 respostas

  • Voted
  1. Best Answer
    Duane Lawrence
    2016-11-11T06:16:06+08:002016-11-11T06:16:06+08:00

    Não use merge, sempre teve problemas de performance em tabelas grandes. Este tem sido um problema contínuo desde que a palavra-chave merge foi colocada no SQL Server. Veja o Microsoft Connect e um outro site abaixo:

    https://connect.microsoft.com/SQLServer/feedback/details/635778/not-matched-and-matched-parts-of-a-sql-merge-statement-are-not-optimized

    http://www.sqlservercentral.com/Forums/Topic1465931-391-1.aspx

    OK, olhando para o seu código, parece que você está tentando fazer tudo em uma única passagem (o que geralmente é uma boa ideia). Nesse caso, você está usando o predicado WHEN NOT MATCHED, que requer uma Full Outer Join para incluir linhas correspondentes e linhas não correspondentes em uma única passagem. As instruções DELETE e UPDATE individuais não sofrem com esse problema, portanto, na verdade, elas têm um desempenho melhor.

    Espero ter ajudado Gianluca

    • 3

relate perguntas

  • Quais são as principais causas de deadlocks e podem ser evitadas?

  • Quanto "Padding" coloco em meus índices?

  • Existe um processo do tipo "práticas recomendadas" para os desenvolvedores seguirem para alterações no banco de dados?

  • Como determinar se um Índice é necessário ou necessário

  • Downgrade do SQL Server 2008 para 2005

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve