AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 40280
Accepted
Luis Ferrao
Luis Ferrao
Asked: 2013-04-18 10:05:37 +0800 CST2013-04-18 10:05:37 +0800 CST 2013-04-18 10:05:37 +0800 CST

Como otimizar uma consulta lenta em loops aninhados (inner join)

  • 772

TL;DR

Como essa pergunta continua recebendo visualizações, vou resumi-la aqui para que os recém-chegados não tenham que sofrer com a história:

JOIN table t ON t.member = @value1 OR t.member = @value2 -- this is slow as hell
JOIN table t ON t.member = COALESCE(@value1, @value2)    -- this is blazing fast
-- Note that here if @value1 has a value, @value2 is NULL, and vice versa

Eu percebo que isso pode não ser um problema de todos, mas ao destacar a sensibilidade das cláusulas ON, isso pode ajudá-lo a olhar na direção certa. De qualquer forma, o texto original está aqui para futuros antropólogos:

Texto original

Considere a seguinte consulta simples (apenas 3 tabelas envolvidas)

    SELECT

        l.sku_id AS ProductId,
        l.is_primary AS IsPrimary,
        v1.category_name AS Category1,
        v2.category_name AS Category2,
        v3.category_name AS Category3,
        v4.category_name AS Category4,
        v5.category_name AS Category5

    FROM category c4
    JOIN category_voc v4 ON v4.category_id = c4.category_id and v4.language_code = 'en'

    JOIN category c3 ON c3.category_id = c4.parent_category_id
    JOIN category_voc v3 ON v3.category_id = c3.category_id and v3.language_code = 'en'

    JOIN category c2 ON c2.category_id = c3.category_id
    JOIN category_voc v2 ON v2.category_id = c2.category_id and v2.language_code = 'en'

    JOIN category c1 ON c1.category_id = c2.parent_category_id
    JOIN category_voc v1 ON v1.category_id = c1.category_id and v1.language_code = 'en'

    LEFT OUTER JOIN category c5 ON c5.parent_category_id = c4.category_id
    LEFT OUTER JOIN category_voc v5 ON v5.category_id = c5.category_id and v5.language_code = @lang

    JOIN category_link l on l.sku_id IN (SELECT value FROM #Ids) AND
    (
        l.category_id = c4.category_id OR
        l.category_id = c5.category_id
    )

    WHERE c4.[level] = 4 AND c4.version_id = 5

Esta é uma consulta bastante simples, a única parte confusa é a última junção de categoria, é assim porque a categoria de nível 5 pode ou não existir. No final da consulta, estou procurando informações de categoria por ID do produto (ID do SKU), e é aí que entra a tabela muito grande category_link. Finalmente, a tabela #Ids é apenas uma tabela temporária contendo 10.000 IDs.

Quando executado, recebo o seguinte plano de execução real:

Plano de Execução Real

Como você pode ver, quase 90% do tempo é gasto nos Loops Aninhados (Inner Join). Aqui estão informações extras sobre esses loops aninhados:

Loops aninhados (junção interna)

Observe que os nomes das tabelas não correspondem exatamente porque editei os nomes das tabelas de consulta para facilitar a leitura, mas é muito fácil corresponder (ads_alt_category = category). Existe alguma maneira de otimizar essa consulta? Observe também que em produção, a tabela temporária #Ids não existe, é um parâmetro com valor de tabela dos mesmos 10.000 IDs passados ​​para o procedimento armazenado.

Informação adicional:

  • índices de categoria em category_id e parent_category_id
  • índice category_voc em category_id, language_code
  • índice category_link no sku_id, category_id

Editar (resolvido)

Conforme apontado pela resposta aceita, o problema era a cláusula OR no category_link JOIN. No entanto, o código sugerido na resposta aceita é muito lento, mais lento até que o código original. Uma solução muito mais rápida e também muito mais limpa é simplesmente substituir a condição JOIN atual pela seguinte:

JOIN category_link l on l.sku_id IN (SELECT value FROM @p1) AND l.category_id = COALESCE(c5.category_id, c4.category_id)

Este ajuste de minuto é a solução mais rápida, testada contra a junção dupla da resposta aceita e também testada contra o CROSS APPLY, conforme sugerido por valverij.

sql-server performance
  • 2 2 respostas
  • 100321 Views

2 respostas

  • Voted
  1. Best Answer
    Gordon Linoff
    2013-04-18T10:43:25+08:002013-04-18T10:43:25+08:00

    O problema parece estar nesta parte do código:

    JOIN category_link l on l.sku_id IN (SELECT value FROM #Ids) AND
    (
        l.category_id = c4.category_id OR
        l.category_id = c5.category_id
    )
    

    orem condições de junção é sempre suspeito. Uma sugestão é dividir isso em duas junções:

    JOIN category_link l1 on l1.sku_id in (SELECT value FROM #Ids) and l1.category_id = cr.category_id
    left outer join
    category_link l1 on l2.sku_id in (SELECT value FROM #Ids) and l2.category_id = cr.category_id
    

    Em seguida, você precisa modificar o restante da consulta para lidar com isso. . . coalesce(l1.sku_id, l2.sku_id)por exemplo, na selectcláusula.

    • 19
  2. valverij
    2013-04-18T13:02:21+08:002013-04-18T13:02:21+08:00

    Como outro usuário mencionou, essa junção é provavelmente a causa:

    JOIN category_link l on l.sku_id IN (SELECT value FROM #Ids) AND
    (
        l.category_id = c4.category_id OR
        l.category_id = c5.category_id
    )
    

    Além de dividi-los em várias junções, você também pode tentar umCROSS APPLY

    CROSS APPLY (
        SELECT [some column(s)]
        FROM category_link x
        WHERE EXISTS(SELECT value FROM #Ids WHERE value = x.sku_id)
        AND (x.category_id = c4.category_id OR x.category_id = c5.category_id)        
    ) l
    

    No link do MSDN acima:

    A função com valor de tabela atua como a entrada direita e a expressão de tabela externa atua como a entrada esquerda. A entrada direita é avaliada para cada linha da entrada esquerda e as linhas produzidas são combinadas para a saída final .

    Basicamente, APPLYé como uma subconsulta que filtra os registros à direita primeiro e depois os aplica ao restante da sua consulta.

    Este artigo explica muito bem o que é e quando usá-lo: http://explainextended.com/2009/07/16/inner-join-vs-cross-apply/

    É importante observar, no entanto, que o CROSS APPLYnem sempre funciona mais rápido que um INNER JOIN. Em muitas situações, provavelmente será o mesmo. Em casos raros, porém, eu realmente o vi mais lento (novamente, tudo isso depende da estrutura da sua tabela e da própria consulta).

    Como regra geral, se eu me encontrar juntando-se a uma mesa com muitas declarações condicionais, tende a me inclinar paraAPPLY

    Também uma nota divertida: OUTER APPLYvai agir como umLEFT JOIN

    Além disso, tome nota da minha escolha de usar EXISTSem vez de IN. Ao fazer INuma subconsulta, lembre-se de que ela retornará todo o conjunto de resultados, mesmo depois de encontrar seu valor. Com EXISTS, no entanto, ele interromperá a subconsulta no instante em que encontrar uma correspondência.

    • 9

relate perguntas

  • Quais são as principais causas de deadlocks e podem ser evitadas?

  • Como determinar se um Índice é necessário ou necessário

  • Onde posso encontrar o log lento do mysql?

  • Como posso otimizar um mysqldump de um banco de dados grande?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Conceder acesso a todas as tabelas para um usuário

    • 5 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    pedrosanta Listar os privilégios do banco de dados usando o psql 2011-08-04 11:01:21 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve