Início / dba / Perguntas / 181674
Accepted
Yury Lysogorskiy
Asked: 2017-07-25 13:41:45 +0800 CST

Nest Loop indesejável vs. Hash Join no PostgreSQL 9.6

  • 772

Estou com problemas com o planejamento de consultas do PostgreSQL 9.6. Minha consulta está assim:

SET role plain_user;

SELECT properties.*
FROM properties
JOIN entries_properties
  ON properties.id = entries_properties.property_id
JOIN structures
  ON structures.id = entries_properties.entry_id 
WHERE structures."STRUKTURBERICHT" != ''
  AND properties."COMPOSITION" LIKE 'Mo%'
  AND (
    properties."NAME" LIKE '%VASP-ase-preopt%'
    OR properties."CALCULATOR_ID" IN (7,22,25)
  )
AND properties."TYPE_ID" IN (6)

Eu tenho a segurança em nível de linha habilitada para as tabelas usadas acima.

  • com set enable_nestloop = True, o planejador de consultas executa a junção do Nested Loop com um tempo total de execução de cerca de 37 segundos: https://explain.depesz.com/s/59BR

  • com set enable_nestloop = False, o método Hash Join é usado e o tempo de consulta é de cerca de 0,3 segundos: https://explain.depesz.com/s/PG8E

Eu fiz VACUUM ANALYZEantes de executar as consultas, mas não ajudou.

Eu sei que não é uma boa prática set enable_nestloop = False, e quaisquer outras opções semelhantes para o planejador. Mas como eu poderia "convencer" o planejador a usar junções de hash sem desabilitar loops aninhados?

Reescrever a consulta é uma opção.

Se eu executar a mesma consulta em uma função que ignora o RLS, ela será executada muito rapidamente. A política de segurança em nível de linha tem esta aparência:

CREATE POLICY properties_select
ON properties
FOR SELECT
USING (
  (
    properties.ouid = get_current_user_id()
    AND properties.ur
  )
  OR (
    properties.ogid in (select get_current_groups_id())
    AND properties.gr
  )
  OR properties.ar
);

Quaisquer idéias ou sugestões seriam muito apreciadas.

postgresql performance

1 respostas

  1. Best Answer

    O que está acontecendo aqui é que o Nested Loop está longe de um lado. Loops aninhados funcionam muito bem quando um lado é muito pequeno, como retornar uma linha. Em sua consulta, o planejador se atrapalha aqui e estima que um Hash Join retornará apenas uma linha. Em vez disso, esse Hash Join (property_id = id) retorna 1.338 linhas. Isso força a execução de 1.338 loops no outro lado do Nested Loop, que já possui 3.444 linhas. Isso é muito quando você está esperando apenas um (o que não é nem um "loop"). De qualquer forma..

    Um exame mais aprofundado à medida que descemos mostra que o Hash Join é realmente confuso pelas estimativas decorrentes disso,

    Filter: (((properties."COMPOSITION")::text ~~ 'Mo%'::text) AND (((properties."NAME")::text ~~ '%VASP-ase-preopt%'::text) OR (properties."CALCULATOR_ID" = ANY ('{7,22,25}'::integer[]))))

    O PostgreSQL espera que isso retorne uma linha. Mas não. E, esse é realmente o seu problema. Então, algumas opções aqui, que não envolvem pegar uma marreta e desabilitarnested_loop

    • Você pode adicionar um índice ou dois para propertiesajudá-lo a pular completamente a varredura seq ou estimar melhor o retorno.

      CREATE INDEX ON properties USING ( "TYPE_ID", "CALCULATOR_ID" );
-- the gist_trgm_ops may or may not be needed depending on selectivity of above.
CREATE INDEX ON properties USING GIST (
  "COMPOSITION" gist_trgm_ops,
  "NAME"        gist_trgm_ops
);
ANALYZE properties;

    • Alternativamente, você pode mover as propriedades para um CTE ou subselecionar com OFFSET 0o qual cria uma cerca.

      WITH t AS (
  SELECT *
  FROM properties.
  WHERE "COMPOSITION" LIKE 'Mo%'
  AND (
    "NAME" LIKE '%VASP-ase-preopt%'
    OR "CALCULATOR_ID" IN (7,22,25)
  )
  AND "TYPE_ID" IN (6)
)
SELECT * FROM structures
JOIN t ON (
  structures.id = entries_properties.entry_id
)
    • 22

relate perguntas