AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 273353
Accepted
Newbie-DBA
Newbie-DBA
Asked: 2020-08-07 11:30:37 +0800 CST2020-08-07 11:30:37 +0800 CST 2020-08-07 11:30:37 +0800 CST

Atualização de ajuste de consulta com operador distinto de fluxo de hash

  • 772

Preciso de ajuda para entender a lentidão em uma das UPDATEdeclarações como abaixo: -

UPDATE TOP (100) xyz
SET xyz.flag = 1
OUTPUT inserted.Rcode, inserted.EDR, inserted.id, abc.EID,abc.CID,abc.ENID,abc.Cdate
FROM dbo.table1 xyz WITH (UPDLOCK, READPAST)
INNER JOIN dbo.table2 abc WITH (NOLOCK)
on xyz.id=abc.id
WHERE xyz.flag = 0

A Tabela1 tem aprox. 0,5 milhão de linhas e a Tabela 2 tem aprox. 5 milhões de linhas

Plano lento

O operador de fluxo distinto Hash Match mostra um alarme amarelo e a mensagem é:

O operador usou Tempdb para derramar dados para execução com nível de derramamento 4 com 1 encadeamento derramado"

Resíduos de construção:

database.dbo.table2.id como abc.id = database.dbo.table2.id como abc.id

Eu tirei uma captura de tela. Infelizmente, por motivos de segurança, não posso fornecer mais do que isso, nem mesmo um plano anônimo. Da minha estação de trabalho, não consigo acessar a Internet, portanto, não há como fazer com que o explorer de planos seja executado lá.

insira a descrição da imagem aqui

Geralmente, para um subconjunto menor de linhas, é menos de segundos, como quando temos apenas 10 mil linhas correspondentes ou algo assim. Mas com uma quantidade maior de dados, isso parece ser o ponto de inflexão e o aplicativo não pode permitir 1 minuto de tempo de execução. Do SSMS, recebo 30 segundos, mas do aplicativo, temos o avg. 50 segundos aprox. RCSI está em fase de testes.

Meu bom plano não tem o operador Hash Match Flow Distinct visível como mostrado na minha captura de tela, enquanto o restante do plano permanece o mesmo. Um bom completa menos de 3 segundos ou mais. Como visto, quase 16 segundos são gastos nesse operador. Podemos eliminá-lo por meio de indexação adequada ou reescrita de consulta?

Esquema da tabela

CREATE TABLE dbo.table1
(
    Recid  VARCHAR(128) COLLATE SQL_Latin1_general_CP1_CI_AS NOT NULL,
    Cdate DATETIME NULL,
    flag BIT   NULL DEFAULT (0),
    Rcode INT NULL,
    EDR VARCHAR(255) COLLATE SQL_Latin1_general_CP1_CI_AS NULL,
    id BIGINT NULL
);

CREATE TABLE dbo.table2
(
    ENID BIGINT IDENTITY(1,1) NOT NULL,
    EID VARCHAR(50) COLLATE SQL_Latin1_general_CP1_CI_AS NOT NULL,
    CID VARCHAR(350) COLLATE SQL_Latin1_general_CP1_CI_AS NOT NULL,
    CDate DATETIME NOT NULL DEFAULT(getdate()),
    id BIGINT NOT NULL,

    CONSTRAINT PK_ENID PRIMARY KEY (ENID ASC, EID ASC),
);
-- table1
CREATE INDEX ix_Cdate on dbo.table1 (Cdate) WITH (FILLFACTOR=100);
CREATE CLUSTERED INDEX ix_Recid on dbo.table1 (Recid) WITH (FILLFACTOR=80);

-- table2
CREATE INDEX ix_ENID_id on dbo.table2 (ENID,id) WITH (FILLFACTOR=100);

Mudanças

Alterações que fiz e alguns números:

  • Adicionada dica OPTION (QUERYTRACEON 4138)- avg. execução 7 segundos abaixo dos 50 segundos originais, mas a equipe do aplicativo parece não ter acesso para fazer isso no código. Precisa verificar mais sobre isso.

  • OPTION (ORDER GROUP)deu os mesmos resultados de avg. 50 segundos, então não há melhora.

  • Índice adicionado conforme sugerido:

CREATE INDEX i ON dbo.table2 (id) INCLUDE (CID, CDate);

Não há muitas melhorias lá. Média 45 segundos e o plano era semelhante ao anexo nesta questão (plano superior).

Antes e depois de cada teste, verifiquei se o plano não foi gerado a partir do plano anterior em cache.

Plano rápido

Anexar o plano que é mais rápido e sem nenhuma alteração nos dados ou consulta ainda é rápido para a mesma quantidade de linhas em ambas as tabelas. A equipe do aplicativo envia continuamente a consulta acima ao longo do dia para concluir o lote, completando os TOP 100. Há uma mudança de plano com base em algum número de gorjeta e abaixo está a aparência do bom plano:

insira a descrição da imagem aqui

Edit : - Com tudo inalterado, nenhuma alteração de código ou qualquer índice sendo adicionado, como sugerido quando estou tentando adicionar dica (FORCESEEK) está me dando o erro abaixo

O processador de consultas não pôde produzir um plano de consulta devido às dicas definidas nesta consulta. Reenvie a consulta sem especificar nenhuma dica e sem usar SET FORCEPLAN.

sql-server query-performance
  • 1 1 respostas
  • 315 Views

1 respostas

  • Voted
  1. Best Answer
    Paul White
    2020-08-07T14:01:56+08:002020-08-07T14:01:56+08:00

    Você tem três problemas principais:

    1. Não há índice útil para dar suporte à junção em id.
    2. O TOP (100)introduz uma meta de linha , portanto, as estimativas podem ser muito baixas.
    3. O UPDATEé não determinístico .

    Várias linhas da tabela2 podem corresponder a id, portanto, não está claro qual linha correspondente da tabela2 deve ser usada para fornecer valores para a OUTPUTcláusula. O agregado existe para agrupar na tabela2 ide escolher os valores ANYcorrespondentes para as outras colunas. A agregação é um Flow Distinct devido à meta de linha .

    É preciso ter muito cuidado com ANYagregados em UPDATEdeclarações não determinísticas porque você pode obter resultados incorretos .

    Não há detalhes suficientes na pergunta para fazer recomendações de alta qualidade, mas:

    1. Adicione um índice comoCREATE INDEX i ON dbo.table2 (id) INCLUDE (CID, CDate);
    2. Use OPTION (QUERYTRACEON 4138)para desabilitar a meta de linha ou OPTION (ORDER GROUP)para usar um Stream Aggregate em vez de Hash.
    3. Como você corrige o não determinístico UPDATEdepende dos relacionamentos de dados. O ponto chave é identificar no máximo uma linha da origem que corresponda a cada linha de destino. Normalmente, isso envolverá um índice ou restrição exclusivo ou o uso de ROW_NUMBERou TOP (1).

    O passo 2 pode ou não ser necessário. Eu adiciono para completar.

    Você pode achar mais fácil visualizar os problemas e ajustar a consulta escrevendo-a neste formulário:

    UPDATE TOP (100) 
        xyz WITH (UPDLOCK, READPAST)
    SET xyz.flag = 1
    OUTPUT 
        inserted.Rcode, inserted.EDR, inserted.id, 
        abc.EID, abc.CID, abc.ENID, abc.Cdate
    FROM dbo.table1 AS xyz
    CROSS APPLY
    (
        -- At most one source row per target row
        SELECT TOP (1) 
            abc.* 
        FROM dbo.table2 AS abc
        WHERE
            abc.id = xyz.id
        -- ORDER BY something to choose the one row
    ) AS abc
    WHERE 
        xyz.flag = 0;
    

    Plano de execução:

    Formato do plano esperado

    Eu provavelmente não me incomodaria com um índice filtrado na tabela1, mas se você quisesse experimentá-lo, isso parece ser adequado:

    CREATE INDEX i 
    ON dbo.table1 (Recid) 
    INCLUDE (id, flag) 
    WHERE flag = 0;
    

    Se você quiser continuar com a sintaxe de atualização fornecida na pergunta sem abordar todos os problemas subjacentes corretamente, poderá achar que isso é mais rápido:

    UPDATE TOP (100) xyz
    SET xyz.flag = 1
    OUTPUT inserted.Rcode, inserted.EDR, inserted.id, abc.EID,abc.CID,abc.ENID,abc.Cdate
    FROM dbo.table1 xyz WITH (UPDLOCK, READPAST)
    INNER JOIN dbo.table2 abc WITH (NOLOCK, FORCESEEK)
    on xyz.id=abc.id
    WHERE xyz.flag = 0;
    
    • 8

relate perguntas

  • SQL Server - Como as páginas de dados são armazenadas ao usar um índice clusterizado

  • Preciso de índices separados para cada tipo de consulta ou um índice de várias colunas funcionará?

  • Quando devo usar uma restrição exclusiva em vez de um índice exclusivo?

  • Quais são as principais causas de deadlocks e podem ser evitadas?

  • Como determinar se um Índice é necessário ou necessário

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve