Início / dba / Perguntas / 257394
Accepted
Xophmeister
Asked: 2020-01-15 09:31:44 +0800 CST

Evitando deadlocks no PostgreSQL com vários clientes

  • 772

Estou desenvolvendo um software que lança vários clientes simultâneos para se conectar a um banco de dados PostgreSQL (12). Quando cada cliente é iniciado, a primeira coisa que ele faz ao se conectar ao PostgreSQL é executar o script de criação do esquema.

Este script foi escrito de forma idempotente - pelo menos em princípio - para que os vários clientes não tropecem em si mesmos. Em geral, isso funciona bem. No entanto, o PostgreSQL às vezes detecta deadlocks e falha de cliente(s) afetado(s). Examinando o registro, acredito que ocorram nessa sequência:

  1. Cliente A: Iniciar a transação de criação do esquema
  2. Cliente A: Concluir a transação de criação do esquema
  3. Cliente B: Iniciar a transação de criação do esquema
  4. Cliente A: Nova transação que usa esquema (selecione na visualização)
    • Cliente A e B agora em deadlock

Os logs não estão 100% claros e não consigo reproduzir isso de forma determinística, mas parece ser o que está acontecendo: o cliente A está tentando a SELECTpartir de uma visão definida pelo esquema, mas está travando porque o cliente B está tentando recriar isso view ( CREATE OR REPLACE VIEW) no script de esquema.

É possível garantir que o script de criação de esquema seja executado exclusivamente? Ou existe alguma outra solução (por exemplo, em vez de CREATE OR REPLACE VIEW, eu apenas CREATE VIEW uma vez que determinei que ainda não existe)?

postgresql transaction

2 respostas

  1. Best Answer

    Dos comentários à minha pergunta, o problema pode ser resumido, por @DanielVérité, como "DDL simultâneo é ruim; DDL e DML simultâneos são muito ruins". Eu não estava ciente disso - mesmo com o cuidado que tive para tornar o DDL idempotente - mas é bom saber. Então, isso me deixa com duas soluções amplas:

    1. Não faça o DDL simultaneamente (por exemplo, tenha um único cliente instanciando o esquema).

      Esta é provavelmente a solução "mais fácil" do ponto de vista do desenvolvimento de aplicativos - e eu vejo isso como meu plano de backup - mas tem consequências em como o aplicativo é arquitetado. Eu só quero fazer esse caminho se for preciso.

    2. Use bloqueios consultivos, por sugestão de @a_horse_with_no_name.

      Isso requer uma pequena modificação apenas na biblioteca de banco de dados do meu aplicativo, portanto, não há grandes alterações de arquitetura ou alterações no esquema. A desvantagem é que eu tenho que adquirir e liberar o bloqueio em todas as transações (para ter certeza de que já não está bloqueado pela seção DDL do código), o que necessariamente serializa todas as transações entre os clientes.

    Estou experimentando a opção 2 e parece estar funcionando. Eu preciso fazer mais algumas tentativas para me convencer de que o impasse acabou e qual o impacto no desempenho da serialização (anecdoticamente, até agora, é insignificante). Volto com os resultados quando tiver...

    • 2

  2. Como você está tentando criar um esquema, também conhecido como bloqueios consultivos de comandos DDL, acho que não funcionará

    A melhor solução que posso pensar é criar uma tabela que rastreie a criação do esquema ou consulte o pg_catalog diretamente e, em seguida, envolva essa chamada em um procedimento

    com um procedimento você pode iniciar e confirmar transações

    Aqui está o meu processo de pensamento, isso não foi testado

    create table schema_status (
name_of_schema char(55),
is_being_created bool default false,
);

Create or replace Procedure create_schema(pname_schema text)
language plpgsql
as
$code$

_check bool;

begin
    select is_being_created into _check from schema_status where 
        name_of_schema = pname_schema;
    if found then
        if _check then
            raise exception 'Schema % is being created', pname_schema;
        else
            raise exception 'Schema % has been created', pname_schema;
        end if;   
    end if ;
    begin ;
        insert into schema_status (pname_schema, true);
    commit;

    begin ;
        Call he Create scheam funciton ;
    commit; 
    update schema_status set is_being_created = false where
          name_of_schema = pname_schema;
end;
$code$

    Em seguida basta chamar este procedimento

    call create_schema('new_one');
    • 0

relate perguntas