AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / dba / Perguntas / 317155
Accepted
GabrielNexT
GabrielNexT
Asked: 2022-09-21 11:36:35 +0800 CST2022-09-21 11:36:35 +0800 CST 2022-09-21 11:36:35 +0800 CST

Como evitar condições na junção esquerda e otimizar a consulta?

  • 772

Estou com um pequeno problema no trabalho, o ORM está gerando uma consulta muito estranha e preciso otimizar um pouco o resultado dele. Eu escrevi uma versão mais legível da consulta e o resultado é semelhante, mas o tempo de execução ainda é o mesmo.

Consulta Original
Explicar Detalhado

Esta é a consulta formatada atual, ela retorna o valor correto, mas leva cerca de 13 segundos para ser executada.

select count(*)
from reservation as r
         JOIN companyclient as cc ON r.companyclientid = cc.companyclientid
         JOIN reservationitem as ri ON r.reservationid = ri.reservationid
         LEFT JOIN billingaccount as bi
                   ON (r.reservationid = bi.reservationid AND cc.companyclientid = bi.companyclientid AND
                       bi.propertyid = '84'
                       AND NOT bi.isdeleted
                       AND bi.groupkey = bi.billingaccountid
                       AND bi.billingaccounttypeid = '3'
                       AND bi.reservationid IS NOT NULL
                       AND bi.statusid = '1')
WHERE r.propertyid = '84'
  AND NOT r.isdeleted
  AND r.companyclientid is not null
  AND ri.tenantid = '025aa64f-67fb-4c23-b975-2b0fc3f5d65a'
  AND NOT ri.isdeleted
  AND ri.reservationitemstatusid NOT IN (6, 3, 7, 8);

Explicação detalhada

Esta é a versão que escrevi na tentativa de otimizar (de 13 segundos para 5), ​​evitando as condições dentro da junção esquerda, mas o resultado é diferente da consulta original. A primeira consulta retorna 29490 e a segunda consulta retorna 29397.

select count(*)
from reservation as r
         JOIN companyclient as cc ON r.companyclientid = cc.companyclientid
         JOIN reservationitem as ri ON r.reservationid = ri.reservationid
         LEFT JOIN billingaccount as bi
                   ON (r.reservationid = bi.reservationid AND cc.companyclientid = bi.companyclientid)
WHERE r.propertyid = '84'
  AND NOT r.isdeleted
  AND r.companyclientid is not null
  AND ri.tenantid = '025aa64f-67fb-4c23-b975-2b0fc3f5d65a'
  AND NOT ri.isdeleted
  AND ri.reservationitemstatusid NOT IN (6, 3, 7, 8)
  AND (bi is null or bi.propertyid = '84'
  AND NOT bi.isdeleted
  AND bi.groupkey = bi.billingaccountid
  AND bi.billingaccounttypeid = '3'
  AND bi.reservationid IS NOT NULL
  AND bi.statusid = '1')

Explicação detalhada

Minha dúvida é, como posso otimizar a primeira consulta, já tentei alguns métodos mas não tive muito sucesso. Entendo que a contagem é linear e seu tempo é baseado no tamanho do retorno da consulta, mas imagino que seja muito lento para uma consulta de 30 mil linhas.

Neste caso específico, preciso do total de itens para calcular o número de páginas na paginação de deslocamento limite.

Desde já agradeço a todos que tiveram a paciência de ler, aceito qualquer ajuda.

Tamanho das tabelas usadas no exemplo:

  • reserva: 288549 linhas
  • empresacliente: 50614 linhas
  • item de reserva: 387820 linhas
  • conta de cobrança: 772521 linhas
postgresql postgresql-performance
  • 2 2 respostas
  • 71 Views

2 respostas

  • Voted
  1. jjanes
    2022-09-21T13:57:05+08:002022-09-21T13:57:05+08:00

    Embora essa certamente seja uma consulta estranhamente escrita, usando o plano, podemos ver que há um índice ausente na conta de cobrança, sem ter que entender qual é o design da consulta geral.

    Você não precisa verificar e rejeitar 7.649 linhas apenas para retornar 84, portanto, algumas das colunas no filtro devem fazer parte do índice. Não sabemos quão seletiva é cada parte do filtro, mas com base nos nomes e constantes das colunas, suponho que você precise de um índice de várias colunas sobre companyclientid e propertyid. (E provavelmente deve ter billingaccounttypeid e statusid nele também, não deve doer muito e pode ajudar)

    • 1
  2. Best Answer
    ypercubeᵀᴹ
    2022-09-21T14:18:32+08:002022-09-21T14:18:32+08:00

    Algumas considerações sobre a consulta. Se tivéssemos a estrutura e os índices das tabelas, seria mais útil (e o conselho talvez fosse diferente):

    • A 2ª consulta não é equivalente à 1ª, portanto, não é incomum que você obtenha resultados diferentes. Então, vamos nos ater à primeira consulta:

        select count(*)
        from reservation as r
                 JOIN companyclient as cc ON r.companyclientid = cc.companyclientid
                 JOIN reservationitem as ri ON r.reservationid = ri.reservationid
                 LEFT JOIN billingaccount as bi
                           ON (r.reservationid = bi.reservationid
                               AND cc.companyclientid = bi.companyclientid
                               AND bi.propertyid = '84'
                               AND NOT bi.isdeleted
                               AND bi.groupkey = bi.billingaccountid
                               AND bi.billingaccounttypeid = '3'
                               AND bi.reservationid IS NOT NULL
                               AND bi.statusid = '1')
        WHERE r.propertyid = '84'
          AND NOT r.isdeleted
          AND r.companyclientid is not null
          AND ri.tenantid = '025aa64f-67fb-4c23-b975-2b0fc3f5d65a'
          AND NOT ri.isdeleted
          AND ri.reservationitemstatusid NOT IN (6, 3, 7, 8);
      
    • As condições r.companyclientid is not nulle bi.reservationid IS NOT NULLsão redundantes, pois essas colunas já participam das condições de associação e qualquer valor NULL não passará nas condições de associação. Portanto, esses dois podem ser removidos com segurança (mas ainda verifique se você obtém os mesmos resultados).

    • A cc.companyclientid = bi.companyclientidcondição (dentro da subconsulta) pode ser substituída r.companyclientid = bi.companyclientiddesde que você tenha a condição de igualdade na consulta externa: r.companyclientid = cc.companyclientid. Isso não deixa nenhuma cccoluna na subconsulta e todas as condições da subconsulta envolvem apenas 2 tabelas, bie risso pode ajudar o planejador do Postgres a obter um plano mais simples (especialmente se houver índices adequados em billingaccounte reservation.

    • Se e somente se o reservation. companyclientidnão for anulável e houver uma FOREIGN KEYrestrição que REFERENCES companyclient (companyclientid), podemos remover completamente o JOIN companyclient as cc ON r.companyclientid = cc.companyclientiddesde para qualquer linha em reservation, o estrangeiro garante que há uma única linha companycliente a contagem não seria afetada.

    • usar count(1)em vez de count(*). Esta é apenas uma pequena melhoria em algumas versões.

    Se todos os itens acima forem aplicados, a consulta se tornará
    (e não se esqueça de comparar os resultados com a consulta correta original após cada modificação!) :

        select count(1)
        from reservation as r
                 JOIN reservationitem as ri ON r.reservationid = ri.reservationid
                 LEFT JOIN billingaccount as bi
                           ON (r.reservationid = bi.reservationid
                               AND r.companyclientid = bi.companyclientid
                               AND bi.propertyid = '84'
                               AND NOT bi.isdeleted
                               AND bi.groupkey = bi.billingaccountid
                               AND bi.billingaccounttypeid = '3'
                               AND bi.statusid = '1')
        WHERE r.propertyid = '84'
          AND NOT r.isdeleted
          AND ri.tenantid = '025aa64f-67fb-4c23-b975-2b0fc3f5d65a'
          AND NOT ri.isdeleted
          AND ri.reservationitemstatusid NOT IN (6, 3, 7, 8);
    

    Agora vamos sugerir alguns índices, especificamente para esta consulta e um para cada tabela:

    CREATE INDEX suggested_index_a ON
    reservation
        (propertyid, reservationid, companyclientid)
    WHERE (NOT isdeleted) ;
    
    CREATE INDEX suggested_index_b ON
    reservationitem
        (tenantid, reservationid) 
    INCLUDE (reservationitemstatusid)
    WHERE (NOT isdeleted) ;
    
    CREATE INDEX suggested_index_c ON
    billingaccount
        (propertyid, billingaccounttypeid, statusid,
         reservationid, companyclientid)
    WHERE (groupkey = billingaccountid 
           AND NOT isdeleted) ;
    

    Por favor, tente com os índices acima adicionados. Tenha em mente que qualquer índice consome espaço em disco (e espaço de memória quando usado), portanto, é uma troca.

    • 0

relate perguntas

  • Posso ativar o PITR depois que o banco de dados foi usado

  • Práticas recomendadas para executar a replicação atrasada do deslocamento de tempo

  • Os procedimentos armazenados impedem a injeção de SQL?

  • Sequências Biológicas do UniProt no PostgreSQL

  • Qual é a diferença entre a replicação do PostgreSQL 9.0 e o Slony-I?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host

    • 12 respostas
  • Marko Smith

    Como fazer a saída do sqlplus aparecer em uma linha?

    • 3 respostas
  • Marko Smith

    Selecione qual tem data máxima ou data mais recente

    • 3 respostas
  • Marko Smith

    Como faço para listar todos os esquemas no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Listar todas as colunas de uma tabela especificada

    • 5 respostas
  • Marko Smith

    Como usar o sqlplus para se conectar a um banco de dados Oracle localizado em outro host sem modificar meu próprio tnsnames.ora

    • 4 respostas
  • Marko Smith

    Como você mysqldump tabela (s) específica (s)?

    • 4 respostas
  • Marko Smith

    Listar os privilégios do banco de dados usando o psql

    • 10 respostas
  • Marko Smith

    Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL?

    • 4 respostas
  • Marko Smith

    Como faço para listar todos os bancos de dados e tabelas usando o psql?

    • 7 respostas
  • Martin Hope
    Jin conectar ao servidor PostgreSQL: FATAL: nenhuma entrada pg_hba.conf para o host 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane Como faço para listar todos os esquemas no PostgreSQL? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh Por que o log de transações continua crescendo ou fica sem espaço? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland Listar todas as colunas de uma tabela especificada 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney O MySQL pode realizar consultas razoavelmente em bilhões de linhas? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx Como posso monitorar o andamento de uma importação de um arquivo .sql grande? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison Como você mysqldump tabela (s) específica (s)? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas Como posso cronometrar consultas SQL usando psql? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas Como inserir valores em uma tabela de uma consulta de seleção no PostgreSQL? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas Como faço para listar todos os bancos de dados e tabelas usando o psql? 2011-02-18 00:45:49 +0800 CST

Hot tag

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve