AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 332293
Accepted
Arie S.
Arie S.
Asked: 2023-10-19 02:18:21 +0800 CST2023-10-19 02:18:21 +0800 CST 2023-10-19 02:18:21 +0800 CST

Plano de execução incorreto no MySQL 8.0 ao usar JOIN na cláusula WHERE NOT IN

  • 772

Após uma migração do MySQL 5.7 para o MySQL 8.0.34, temos um comportamento muito estranho com uma consulta quando semijoinestá onno otimizador_switch.

1. A consulta problemática:
SELECT COUNT(s0_.id)
FROM stores_shoppers s0_
WHERE s0_.id NOT IN (
    SELECT s4_.id
    FROM emails_history i5_
    INNER JOIN stores_shoppers s4_ ON i5_.shopper_id = s4_.id
    WHERE i5_.rule_id IN (1517676 , 1517677)
)

Neste caso este é o plano de execução:

eu ia selecione o tipo mesa partições tipo chaves_possíveis chave key_len referência linhas filtrado Extra
1 SIMPLES s0_ NULO índice NULO lojas_shoppers_store_id_idx 4 NULO 361627391 100,00 Usando índice
1 SIMPLES NULO eq_ref <auto_distinct_key> <auto_distinct_key> 5 remarkety_prod.s0_.id 1 100,00 Usando onde; Não existe
2 MATERIALIZADO i5_ datas_inválidas,p2022m03,... TODOS emails_history_rule_id_idx NULO NULO NULO 7526556120 100,00 Usando onde
2 MATERIALIZADO s4_ NULO eq_ref PRIMÁRIO PRIMÁRIO 4 remarkety_prod.i5_.shopper_id 1 100,00 Usando índice

O problema é que o tipo i5_JOIN é ALL, nenhum índice é usado no JOIN.

2. Com apenas um valor na cláusula IN:

Se a INcláusula na consulta incluir apenas um valor:

SELECT COUNT(s0_.id)
FROM stores_shoppers s0_
WHERE s0_.id NOT IN (
    SELECT s4_.id
    FROM emails_history i5_
    INNER JOIN stores_shoppers s4_ ON i5_.shopper_id = s4_.id
    WHERE i5_.rule_id IN (1517676) -- only one value
)

O plano de execução passa a ser:

eu ia selecione o tipo mesa partições tipo chaves_possíveis chave key_len referência linhas filtrado Extra
1 SIMPLES s0_ NULO índice NULO lojas_shoppers_store_id_idx 4 NULO 361632497 100,00 Usando índice
1 SIMPLES NULO eq_ref <auto_distinct_key> <auto_distinct_key> 5 remarkety_prod.s0_.id 1 100,00 Usando onde; Não existe
2 MATERIALIZADO i5_ datas_inválidas,p2022m03,... referência emails_history_rule_id_idx emails_history_rule_id_idx 5 const 56944 100,00 NULO
2 MATERIALIZADO s4_ NULO eq_ref PRIMÁRIO PRIMÁRIO 4 remarkety_prod.i5_.shopper_id 1 100,00 Usando índice

Neste caso, o JOIN usa um índice mas o plano de execução ainda é diferente do plano de execução que temos no MySQL 5.7

3. Usando i5_.shopper_id em vez de s4_.id (que deveria ser idêntico)
SELECT COUNT(s0_.id)
FROM stores_shoppers s0_
WHERE s0_.id NOT IN (
    SELECT i5_.shopper_id -- using i5_.shopper_id instead of s4_.id
    FROM emails_history i5_
    INNER JOIN stores_shoppers s4_ ON i5_.shopper_id = s4_.id
    WHERE i5_.rule_id IN (1517676 , 1517677)
eu ia selecione o tipo mesa partições tipo chaves_possíveis chave key_len referência linhas filtrado Extra
1 PRIMÁRIO s0_ NULO índice NULO lojas_shoppers_store_id_idx 4 NULO 361632516 100,00 Usando onde; Usando índice
2 SUBCONSULTA i5_ datas_inválidas,p2022m03,... faixa emails_history_rule_id_idx emails_history_rule_id_idx 5 NULO 56945 100,00 Usando condição de índice; Usando onde
2 SUBCONSULTA s4_ NULO eq_ref PRIMÁRIO PRIMÁRIO 4 remarkety_prod.i5_.shopper_id 1 100,00 Usando índice

Neste caso, o plano de execução é o mesmo que tínhamos no MySQL 5.7

4. Com semijoin=off
SET optimizer_switch = 'semijoin=off';
SELECT COUNT(s0_.id)
FROM stores_shoppers s0_
WHERE s0_.id NOT IN (
    SELECT s4_.id
    FROM emails_history i5_
    INNER JOIN stores_shoppers s4_ ON i5_.shopper_id = s4_.id
    WHERE i5_.rule_id IN (1517676 , 1517677)
)
eu ia selecione o tipo mesa partições tipo chaves_possíveis chave key_len referência linhas filtrado Extra
1 PRIMÁRIO s0_ NULO índice NULO lojas_shoppers_store_id_idx 4 NULO 361632550 100,00 Usando onde; Usando índice
2 SUBCONSULTA i5_ datas_inválidas,p2022m03,... faixa emails_history_rule_id_idx emails_history_rule_id_idx 5 NULO 56945 100,00 Usando condição de índice; Usando onde
2 SUBCONSULTA s4_ NULO eq_ref PRIMÁRIO PRIMÁRIO 4 remarkety_prod.i5_.shopper_id 1 100,00 Usando índice

O mesmo plano de execução de antes.

Questões:

Alguém pode me explicar o que está acontecendo?
Isso é um bug no otimizador?
Por que a junção não usa índice na primeira consulta?

mysql
  • 1 1 respostas
  • 27 Views

1 respostas

  • Voted
  1. Best Answer
    Rick James
    2023-10-19T08:08:07+08:002023-10-19T08:08:07+08:00

    Problema com otimizador_switch – Envie um relatório de bug em bugs.mysql.com

    Recomendo adicionar estes índices:

    emails_history:  INDEX(shopper_id, rule_id)
    emails_history:  INDEX(rule_id, shopper_id)
    

    Algumas dicas gerais:

    • COUNT(x)testes xpara ser NOT NULL. Você provavelmente queria COUNT(*).
    • NOT IN ( SELECT ... )há muito tempo é uma construção mal otimizada. 5,7 melhorou; 8.0 tentou melhorar ainda mais, mas talvez não neste caso.
    • IN(1517676)é otimizado como = 1517676, mas IN (1517676 , 1517677)também não é otimizado. Às vezes, um multiitem INé melhor otimizado com UNION.
    • "semijoin" é provavelmente sinônimo deEXISTS(SELECT ...)

    Pensamentos sobre desempenho

    Não entendo o objetivo da consulta, mas aqui estão algumas coisas que eu tentaria fazer:

    • Reescreva a consulta para evitar usá-la stores_shoppersduas vezes.
    • Experimente NOT EXISTSeLEFT JOIN ... IS NULL
    • Tentar( SELECT ... rule_id = 123 ) UNION ALL ( SELECT ... rule_id = 123 )
    • 0

relate perguntas

  • Existem ferramentas de benchmarking do MySQL? [fechado]

  • Onde posso encontrar o log lento do mysql?

  • Como posso otimizar um mysqldump de um banco de dados grande?

  • Quando é o momento certo para usar o MariaDB em vez do MySQL e por quê?

  • Como um grupo pode rastrear alterações no esquema do banco de dados?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve