AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 115793
Accepted
Alex Shelemin
Alex Shelemin
Asked: 2015-09-23 08:05:35 +0800 CST2015-09-23 08:05:35 +0800 CST 2015-09-23 08:05:35 +0800 CST

Por que as estimativas de linha do SQL Server mudam quando adiciono uma dica de junção?

  • 772

Eu tenho uma consulta que une algumas tabelas e tem um desempenho muito ruim - as estimativas de linha estão muito (1000 vezes) erradas e a junção de loops aninhados é escolhida, resultando em várias varreduras de tabela. A forma da consulta é bastante simples, parecendo algo assim:

SELECT t1.id
FROM t1
INNER JOIN t2 ON t1.id = t2.t1_id
LEFT OUTER JOIN t3 ON t2.id = t3.t2_id
LEFT OUTER JOIN t4 ON t3.t4_id = t4.id 
WHERE t4.id = some_GUID

Brincando com a consulta, notei que, quando sugiro usar uma junção de mesclagem para uma das junções, ela é executada muito mais rápido. Isso eu posso entender - Merge join é uma opção melhor para os dados que são unidos, mas o SQL Server simplesmente não estima corretamente escolhendo os Nested Loops.

O que não entendo completamente é por que essa dica de junção altera todas as estimativas para todas as operadoras de planos? Ao ler diferentes artigos e livros, presumi que as estimativas de cardinalidade são executadas antes de o plano ser criado, portanto, usar uma dica não alteraria as estimativas, mas diria explicitamente ao SQL Server para usar uma implementação de junção física específica.

O que vejo, no entanto, é que a sugestão de mesclagem faz com que todas as estimativas se tornem praticamente perfeitas. Por que isso acontece e existem técnicas comuns para fazer o otimizador de consulta fazer uma estimativa melhor sem uma dica - considerando que as estatísticas obviamente permitem isso?

UPD: planos de execução anônimos podem ser encontrados aqui: https://www.dropbox.com/s/hchfuru35qqj89s/merge_join.sqlplan?dl=0 https://www.dropbox.com/s/38sjtv0t7vjjfdp/no_hints_join.sqlplan?dl =0

Eu verifiquei as estatísticas usadas por ambas as consultas usando TF 3604, 9292 e 9204, e elas são idênticas. No entanto, os índices que são verificados/buscados diferem entre as consultas.

Além disso, tentei executar a consulta com OPTION (FORCE ORDER)- ela é ainda mais rápida do que usar merge join, escolhendo HASH MATCH para cada junção.

sql-server t-sql
  • 2 2 respostas
  • 620 Views

2 respostas

  • Voted
  1. Best Answer
    Paul White
    2015-09-23T09:15:34+08:002015-09-23T09:15:34+08:00

    A partir da leitura de diferentes artigos e livros, presumi que as estimativas de cardinalidade são realizadas antes da construção do plano.

    Não exatamente. Uma estimativa de cardinalidade inicial é derivada (após simplificações e outros trabalhos), o que influencia a ordem de junção inicial escolhida pelo otimizador.

    No entanto, explorações subseqüentes (durante a otimização baseada em custo) podem resultar, e geralmente o fazem, no cálculo de novas estimativas de cardinalidade. Esses CEs posteriores podem ser mais ou menos 'precisos'. Se o resultado for subestimado, o otimizador pode escolher um plano que pareça mais barato, mas que na verdade funcione por muito mais tempo.

    Em geral, não há garantia de que as estimativas de cardinalidade para subárvores semanticamente idênticas produzirão os mesmos resultados. Afinal, é um processo estatístico, e algumas operações têm um suporte de CE mais profundo do que outras.

    No seu caso, parece haver outro fator - o otimizador introduz (ou move) um Top, que define um objetivo de linha na subárvore abaixo dele:

    Fragmento de plano

    Se você habilitar o sinalizador de rastreamento 4138 (no 2008 R2 ou posterior), poderá encontrar as estimativas mais alinhadas com as expectativas ou talvez até mesmo que o otimizador não escolha mais loops aninhados.

    O que vejo, no entanto, é que a sugestão de mesclagem faz com que todas as estimativas se tornem praticamente perfeitas.

    Há um elemento de sorte envolvido aqui. As pessoas tendem a escrever consultas, ou pelo menos as junções, na ordem em que esperam que sejam executadas fisicamente. O uso de uma dica de junção vem com um implícito FORCE ORDER, corrigindo assim a ordem de junção para corresponder à forma textual e desativando muitas regras de exploração do otimizador que podem levar à reestimativa de cardinalidade.

    Além disso, tentei executar a consulta com OPTION (FORCE ORDER)- ela é ainda mais rápida do que usar merge join, escolhendo HASH MATCH para cada junção.

    Isso é o mesmo que sugerir uma junção, mas não restringe a escolha do operador de junção física. Novamente, se você escrever a ordem de junção da consulta de maneira lógica, é bem provável que obtenha um plano razoável. Claro, você perde muitas das habilidades do otimizador dessa maneira, o que pode não produzir resultados ideais em situações mais gerais.

    Você provavelmente não vai querer usar com FORCE ORDERmuita frequência porque é uma dica (diretiva) extremamente poderosa que tem efeitos mais amplos do que simplesmente forçar a ordem das junções; por exemplo, evita que o otimizador mova agregações e introduza agregações parciais. Eu desaconselho o uso dessa dica, exceto em circunstâncias muito excepcionais e por sintonizadores verdadeiramente experientes .

    Uma análise detalhada exigiria mais tempo do que tenho agora e acesso a uma cópia do banco de dados apenas com estatísticas.

    • 22
  2. paparazzo
    2015-09-23T10:22:21+08:002015-09-23T10:22:21+08:00

    O where nega a esquerda
    Por que dificultar o otimizador?
    Em 3 ou mais uniões, o otimizador tenderá a ficar na defensiva e entrar em loops, pois isso protege a memória
    An ou condição na junção, ele também tenderá a entrar em uma junção de loop - tenho evidências concretas de que isso acontecerá sempre - não - ainda é uma realidade
    Com várias junções, puxe as condições de onde para a junção quando você puder

    SELECT t1.id
      FROM t1
      JOIN t2 
            ON t1.id = t2.t1_id
      JOIN t3 
            ON t2.id = t3.t2_id
      JOIN t4 
            ON t3.t4_id = t4.id 
           AND t4.id = some_GUID 
    

    Ou melhor ainda - aposto que isso vai atender ou vencer suas dicas ou força

    SELECT t1.id
      FROM t1
      JOIN t2 
            ON t1.id = t2.t1_id
      JOIN t3 
            ON t2.id = t3.t2_id
           AND t3.t4_id = some_GUID
    

    O problema com as dicas é que elas são para dados em um estado específico. Escreva uma consulta limpa e deixe o otimizador fazer seu trabalho. Algumas vezes, só precisa de mais estatísticas para fazer a coisa certa, mas então travará.

    Por que estimativas diferentes. Um planos diferentes. Comece com consultas que dão ao otimizador uma chance de lutar.

    • -10

relate perguntas

  • SQL Server - Como as páginas de dados são armazenadas ao usar um índice clusterizado

  • Preciso de índices separados para cada tipo de consulta ou um índice de várias colunas funcionará?

  • Quando devo usar uma restrição exclusiva em vez de um índice exclusivo?

  • Quais são as principais causas de deadlocks e podem ser evitadas?

  • Como determinar se um Índice é necessário ou necessário

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve